Polscy naukowcy z Llamy zrobili Qrę, czyli o nowym polskim LLM

Tak naprawdę Qra to nie jest jeden model, ale trzy – każdy oparty na odpowiednim modelu Llama 2. Mamy więc najmniejszy model Qra 1B, który zmieści się nawet na co lepszych smartfonach. Nastepnie – Qrę 7B, do której będzie już potrzebny solidny desktop. Mamy również Qre 13B, do której potrzebny jest już raczej komputer high-end desktop (HEDT). Oznaczenia liczbowe odnoszą się do liczby parametrów w modelu – 1B oznacza 1 miliard parametrów, 7B – 7 miliardów i tak dalej.

Naukowcy wzięli wytrenowane modele od Mety – ich parametry są dostępne dla wszystkich – i dotrenowali je na około 1 TB polskich danych.

Czemu jest to istotne? Bo modele otwarte dotąd nie umiały generować tekstu po polsku. Llama 2 czy Mistral 8x7B były przetrenowane na pewnych korpusach polskiego tekstu, na przykład Mistral potrafi streścić (po angielsku) polski tekst. Jednak ich znajomość języka polskiego nie pozwalała na generowanie polskiego tekstu. Modele językowe od OpenAI, Google czy Anthropic mówią po polsku, ale są to modele zamknięte i możemy z nich korzystać tylko na platformach ich twórców (lub Microsoftu w przypadku modeli OpenAI).

Do przetrenowania modeli polscy naukowcy wykorzystali klaster 21 kart Nvidia A100 z 80GB pamięci każda.

Jak pisze OPI na swoim profilu na LinkedIn, „modele Qra 7B oraz Qra 13B uzyskują istotnie lepszy wynik perplexity, (…) niż oryginalne modele Llama-2-7b-hf (Meta) oraz Mistral-7B-v0.1 (Mistral-AI)”.

Perplexity to zdolności do modelowania języka polskiego w zakresie jego rozumienia, warstwy leksykalnej, czy samej gramatyki. Porównanie wskaźników perplexity (niższy jest lepszy) dla różnych modeli zostało opublikowane na stronie modelu 13B na serwisie Hugging Face, skąd można również pobrać przetrenowane modele.

Nie tylko Qra, są inne projekty

Qra to nie jest jedyny projekt stworzenia polskiego LLM-a z prawdziwego zdarzenia. Jak już pisaliśmy w grudniu, na Politechnice Wrocławskiej, przy współpracy paru innych polskich instytucji, powstaje model PLLuM. Wówczas wyrażano nadzieję, że pierwsze modele pokażą się pod koniec pierwszego kwartału tego roku. Jeśli ten termin jest aktualny, to w marcu – oprócz… kury – możemy mieć jeszcze śliwkę…

Nieco niepokoju co do losów PLLuM zaserwował nam w zeszłym tygodniu minister cyfryzacji Krzysztof Gawkowski. Powiedział on w Sejmie, że nie chciałby, żeby było tak, że „wydamy dużo pieniędzy, ale na koniec będziemy w sytuacji, w której i tak nas wszyscy inni wyprzedzą”. Czyli – niedobrze by było, żeby zbudować coś, co jest na rynku „całkowicie nie w pierwszej lidze, nawet nie w drugiej”.

Cóż, przy dofinansowaniu z budżetu na poziomie 14,5 mln złotych trudno oczekiwać zbudowania GPT-4. Sam Microsoft wydał na wsparcie OpenAI 13 miliardów dolarów, a więc parę tysięcy razy więcej niż Polska na PLLuM. I to chyba nigdy nie było celem. To miał być po prostu pierwszy model, który świetnie mówi po polsku. Nawet te duże modele od OpenAI i Google wciąż mają z tym pewne problemy. Polski model miałby dobrze znać polskie konteksty kulturowo-historyczne. W ich przypadku wiedza modeli od technologicznych globalnych gigantów jest żałośnie słaba.

Otwarty model mówiący po polsku ma jeszcze jedną zaletę. Umożliwiałby szersze zastosowanie sztucznej inteligencji w polskich bankach czy instytucjach ochrony zdrowia. Są to podmioty, które ze względu na kwestie regulacyjne nie mogą „wyprowadzać” danych na zewnątrz. Dla nich korzystanie z technologii OpenAI czy Google często nie jest opcją. Mogą bowiem używać tylko tych modeli GenAI, które są uruchomione na ich własnej infrastrukturze.

Źródło grafiki: Sztuczna inteligencja, model Dall-E 3