Mały, szybki model od OpenAI. Początek wojny o agentów?

Jak dobry jest GPT-4o mini? Jak widać na poniższym wykresie, gorszy od swojego większego krewniaka, choć w niektórych kategoriach przegrywa o włos. Ma za to przewagę nad małymi modelami konkurencji: Google Gemini Flash i Claude Haiku od firmy Anthropic.

Model GPT-4o mini zastąpi w ChatGPT starszy model GPT-3.5, nie będzie to więc zmiana istotnie odczuwalna dla użytkowników, zwłaszcza tych korzystających z usługi OpenAI za darmo. GPT-3.5 był modelem włączanym wyłącznie wtedy, gdy infrastruktura obsługująca GPT-4o, podstawowy model ChatGPT, była przeciążona.

Jakie zastosowania ma GPT-4o mini?

O wiele bardziej interesujące są zastosowania nowego modelu do budowania systemów sztucznej inteligencji, zwłaszcza tych autonomicznych czy półautonomicznych, czyli tak zwanych agentów. To systemy, które wyposażamy w narzędzia – na przykład możliwość czytania stron internetowych, ale które swoją inteligencję najczęściej czerpią z dużych modeli językowych.

W systemach takich użytkownik daje systemowi sztucznej inteligencji zadanie, które ona ma wykonać. By to osiągnąć, system taki często wielokrotnie zadaje pytania modelowi językowemu. Tak więc nie mamy sytuacji jedno pytanie – jedna odpowiedź, ale system jedno zadanie – ciąg zapytań – odpowiedź. A ciąg zapytań może być dość długi – czyli kosztowny.

I tu ujawnia się przewaga modelu GPT-4o mini – dane wejściowe (w przeliczeniu na tak zwane tokeny) są przeszło 30x tańsze, a dane wyjściowe 25x tańsze niż dla GPT-4o. Wygląda więc na to, że OpenAI, dostrzegając potencjał – również biznesowy – agentów, postanowił powalczyć ceną o serca rozwijających tę technologię deweloperów.

Kolejną zaletą nowego małego modelu od OpenAI jest to, że jest o wiele szybszy od modeli wcześniejszych, co znacznie przyspieszy działanie opartych na nim agentów.

O systemach opartych na agentach pisaliśmy już w kontekście nowego produktu oferowanego przez startup Bartka Pucka.

Należy pamiętać, że systemy takie są często wysoce wyspecjalizowane, więc nie potrzebują wiedzy całego internetu ze wszystkich dziedzin. Nie potrzebna jest im wiedza zgromadzona w GPT-4o, wystarczy im umiejętność rozumowania oferowana przez mniejszy model.

A firmom AI udaje się budować coraz lepsze małe modele, trenowane na wysokiej jakości danych syntetycznych, a więc generowanych przez większe modele. Jak żartobliwie odnotował Andrej Karpathy, jeden z guru generatywnej AI, wyścig na wielkość modeli zmienił teraz kierunek – idziemy ku jak najmniejszym.

Źródło grafiki: Sztuczna inteligencja, model Dall-E 3