Odejście Sutskevera nie było wielkim zaskoczeniem. Sześć miesięcy temu był on jednym z inicjatorów odsunięcia od władzy w OpenAI Sama Altmana, choć później pożałował tej decyzji i podpisał list domagający się jego przywrócenia. Od tego czasu Sutskever odsunął się w cień, a w środowisku AI krążyły spekulacje o braku chemii między oboma panami, mimo że zarówno Sutskever, jak i Altman nie dawali wyrazu żadnym animozjom. Stanowisko Sutskevera jako głównego naukowca firmy objął Polak, Jakub Pachocki.
Rezygnacja głównego naukowca firmy ma jednak aspekt nie tylko osobisty. Pojawiają się w tym kontekście pytania o podejście firmy do bezpieczeństwa, zwłaszcza że Leike po ogłoszeniu odejścia zasygnalizował na portalu X, że coraz mniej mu się podobało, że firma mało uwagi poświęca zagadnieniom bezpieczeństwa i woli się skupiać na „błyszczących nowych produktach”. Rozwiązanie zespołu „superzgodności” zdaje się potwierdzać tę tezę.
Czym jest zgodność celów w ogólności i superzgodność w szczególności? Twórcy sztucznej inteligencji muszą zadbać o to, by zachowywała się ona w sposób przez pożądany. By nie zrobiła niczego szkodliwego czy bezsensownego. Przy obecnych systemach AI osiąga się to zwykle poprzez zastosowanie tzw. uczenia ze wzmocnieniem z ludzką informacją zwrotną (Reinforcement Learning from Human Feedback, RLHF), a więc technice, w której to człowiek wybiera jedną z proponowanych przez system AI odpowiedzi, a system wbudowuje taką odpowiedź w swój model.
O problemie zgodności celów i jego implikacjach pisał szerzej na naszych łamach prof. Jakub Growiec.
Niestety, to co nieźle działa w przypadku obecnych systemów, niekoniecznie sprawdzi się w przypadku superinteligencji (Artificial General Intelligence, AGI). Problem ten opisało swego czasu OpenAI we wpisie na blogu:
„Nasze obecne techniki zapewnienia zgodności celów AI, takie jak RLHF, polegają na zdolności ludzi do nadzorowania AI. Ale ludzie nie będą w stanie skutecznie nadzorować systemów sztucznej inteligencji, które będą znacznie od nas inteligentniejsze, tak więc obecnych technik zapewniania zgodności celów nie można przeskalować do superinteligencji. Potrzebujemy przełomów naukowych i technicznych”.
Teraz, jak można sądzić po decyzji o rozwiązaniu zespołu „superzgodności” celów, w OpenAI nastąpiło przesunięcie priorytetów z bezpieczeństwa na nowe produkty, choć szef OpenAI Sam Altman zapewnia, że wie, że firma ma jeszcze dużo do zrobienia w zakresie bezpieczeństwa i zgodności celów. I że to zrobi. Oby.
Źródło zdjęcia: Sztuczna inteligencja, model Dall-E 3.
0 komentarzy
ZALOGUJ SIĘ I ZOSTAW KOMENTARZ
