W skrócie
- Sprawność modelu nie oznacza, że rozumiemy jego działanie. Zdaniem Pachockiego AI nie musi przewyższać człowieka we wszystkim, żeby wywierać ogromny wpływ na świat — także niebezpieczny.
- Wykonanie polecenia to za mało. System powinien respektować ludzkie wartości również w nowych sytuacjach i wtedy, gdy uważa, że nikt go nie nadzoruje.
- Jedna z głównych metod kontroli słabnie. OpenAI coraz trudniej polegać na monitorowaniu tekstowego zapisu rozumowania modeli.
- AI ma coraz większy udział w rozwijaniu kolejnych systemów AI. Autor oczekuje, że postęp może doprowadzić do samodoskonalenia, które będzie napędzać dalszy rozwój. Prognozę opiera na wewnętrznych wynikach badań; nie twierdzi, że taki system już powstał.
- Tempo prac powinno zależeć od bezpieczeństwa. Pachocki opowiada się za wspólnymi wymogami, zewnętrzną kontrolą i koordynacją międzynarodową. Do tego czasu liczy na dobrowolne spowolnienia.
Dlaczego Pachocki wzywa do ostrożności
AI rozwijamy szybciej, niż potrafimy ją wyjaśnić
W eseju „An Alien Mind” Pachocki wraca do badań nad modelami rozumującymi z 2023 roku. Ich wyniki przekonały go, że za jego życia powstaną maszyny wyraźnie inteligentniejsze od ludzi. Dziś spodziewa się dalszych dużych skoków możliwości, również dzięki automatyzacji samych badań nad AI.
Zastrzega jednak, że kolejne duże treningi modeli nadal są eksperymentami, których wynik potrafi zaskoczyć badaczy. Ustalają sposób uczenia, ale nie projektują ręcznie wszystkich mechanizmów, które powstają w jego wyniku. Potrafią wyjaśniać niektóre z nich; pełne działanie systemu nadal wymyka się ich rozumieniu. Dobre wyniki testów nie rozwiązują tego problemu.
Posłuszeństwo nie jest równoznaczne z bezpieczeństwem
Autor rozróżnia zgodność działania z powierzonym celem i zgodność z wartościami. Pierwsza oznacza, że model stara się wykonać zadanie. Druga — że zachowuje uczciwość i rozsądek także przy niejasnych poleceniach, sprzecznych oczekiwaniach czy wrogim otoczeniu.
Najtrudniejsze jest przeniesienie zasad poznanych podczas uczenia na sytuacje, których model wcześniej nie spotkał. Nagradzanie poprawnych zachowań może działać w typowych przypadkach, a zawodzić poza nimi. Z kolei model uczony osiągania coraz trudniejszych celów może zacząć naginać pozornie poprawne uzasadnienia do wyniku, który ma uzyskać.
Zapis rozumowania nie daje pełnego wglądu
OpenAI wykorzystuje do nadzoru tekstowy zapis rozumowania, czyli chain of thought. Według Pachockiego metoda jest szczególnie użyteczna, gdy model nagradza się za rezultat, a nie za to, jak przedstawia drogę do niego. Dzięki temu uczenie nie stwarza bezpośredniej zachęty do ukrywania niepożądanych zamiarów w tym zapisie.
Autor przyznaje jednak, że zaufanie do tej metody maleje. Rozumowanie coraz mocniej miesza się z komunikacją i użyciem narzędzi, modele lepiej potrafią wpływać na własny proces rozumowania, a część ich możliwości rozwija się bez zapisywania kolejnych kroków. OpenAI szuka więc także metod monitorowania wewnętrznej aktywności sieci.
Obrona jest potrzebna, lecz nie uzasadnia wyścigu za wszelką cenę
Pachocki uważa rozwój systemów obronnych za najmocniejszy argument za szybkim tworzeniem sprawniejszej AI. Wskazuje przede wszystkim cyberbezpieczeństwo: agent działający przez komputer może wyrządzać szkody bez fizycznego ciała. Ostrzega też, że działania złośliwego agenta mogą wykroczyć poza intencje osoby, która go uruchomiła.
Nie wyciąga z tego jednak wniosku, że trzeba bezwarunkowo przyspieszać. Zapowiada też, że OpenAI w razie potrzeby samodzielnie wstrzyma dalsze zwiększanie skali modeli. Proponuje połączenie badań nad skuteczniejszym nadzorem z gotowością do spowolnienia rozwoju. Dobrowolne polityki laboratoriów powinny z czasem ustąpić powszechnie obowiązującym wymogom, egzekwowanym przez niezależnych audytorów, państwa lub instytucje międzynarodowe.
Co wynika z tego eseju
Najmocniejsza deklaracja pada na końcu: w ocenie Pachockiego żadne laboratorium nie rozwiązało problemów zgodności z ludzkimi wartościami i monitorowania na tyle dobrze, by jeszcze długo odpowiedzialnie rozwijać AI z maksymalną prędkością. Autor oczekuje — i ma nadzieję — że dobrowolne spowolnienia staną się powszechne do czasu ustanowienia wspólnych zasad.
To nie jest ogłoszenie zatrzymania prac przez OpenAI ani dowód, że model już samodzielnie się ulepsza. To stanowisko szefa naukowego firmy: tempo rozwoju trzeba uzależnić od tego, czy potrafimy wiarygodnie ocenić bezpieczeństwo systemów. Ostatecznym celem ma być zachowanie ludzkiego wpływu na rozwój technologii i niedopuszczenie do skrajnej koncentracji władzy.