17 maja 2024

OpenAI likwiduje zespół „superzgodności” celów. Co dalej z priorytetami firmy?

Jak się wydaje, znamy już odpowiedź na pytanie o to, dlaczego z OpenAI odchodzą Ilya Sutskever i Jan Leike. Obaj byli współliderami zespołu do spraw „superzgodności” celów, czyli systemów bezpieczeństwa dla przyszłej superinteligencji. Po prostu OpenAI likwiduje ten team, przesuwając pozostałych jego członków do innych zespołów badawczych.

Odejście Sutskevera nie było wielkim zaskoczeniem. Sześć miesięcy temu był on jednym z inicjatorów odsunięcia od władzy w OpenAI Sama Altmana, choć później pożałował tej decyzji i podpisał list domagający się jego przywrócenia. Od tego czasu Sutskever odsunął się w cień, a w środowisku AI krążyły spekulacje o braku chemii między oboma panami, mimo że zarówno Sutskever, jak i Altman nie dawali wyrazu żadnym animozjom. Stanowisko Sutskevera jako głównego naukowca firmy objął Polak, Jakub Pachocki.

Rezygnacja głównego naukowca firmy ma jednak aspekt nie tylko osobisty. Pojawiają się w tym kontekście pytania o podejście firmy do bezpieczeństwa, zwłaszcza że Leike po ogłoszeniu odejścia zasygnalizował na portalu X, że coraz mniej mu się podobało, że firma mało uwagi poświęca zagadnieniom bezpieczeństwa i woli się skupiać na „błyszczących nowych produktach”. Rozwiązanie zespołu „superzgodności” zdaje się potwierdzać tę tezę.

Czym jest zgodność celów w ogólności i superzgodność w szczególności? Twórcy sztucznej inteligencji muszą zadbać o to, by zachowywała się ona w sposób przez pożądany. By nie zrobiła niczego szkodliwego czy bezsensownego. Przy obecnych systemach AI osiąga się to zwykle poprzez zastosowanie tzw. uczenia ze wzmocnieniem z ludzką informacją zwrotną (Reinforcement Learning from Human Feedback, RLHF), a więc technice, w której to człowiek wybiera jedną z proponowanych przez system AI odpowiedzi, a system wbudowuje taką odpowiedź w swój model.

O problemie zgodności celów i jego implikacjach pisał szerzej na naszych łamach prof. Jakub Growiec.

Niestety, to co nieźle działa w przypadku obecnych systemów, niekoniecznie sprawdzi się w przypadku superinteligencji (Artificial General Intelligence, AGI). Problem ten opisało swego czasu OpenAI we wpisie na blogu:

„Nasze obecne techniki zapewnienia zgodności celów AI, takie jak RLHF, polegają na zdolności ludzi do nadzorowania AI. Ale ludzie nie będą w stanie skutecznie nadzorować systemów sztucznej inteligencji, które będą znacznie od nas inteligentniejsze, tak więc obecnych technik zapewniania zgodności celów nie można przeskalować do superinteligencji. Potrzebujemy przełomów naukowych i technicznych”.

Teraz, jak można sądzić po decyzji o rozwiązaniu zespołu „superzgodności” celów, w OpenAI nastąpiło przesunięcie priorytetów z bezpieczeństwa na nowe produkty, choć szef OpenAI Sam Altman zapewnia, że wie, że firma ma jeszcze dużo do zrobienia w zakresie bezpieczeństwa i zgodności celów. I że to zrobi. Oby.

Źródło zdjęcia: Sztuczna inteligencja, model Dall-E 3.

Home Strona główna Subiektywnie o finansach
Skip to content email-icon