Nowy Bielik już jest. I dostał własnego chatbota

Nowa wersja modelu, według projektu SpeakLeash, współtwórca – obok Cyfronetu – dorównuje jakością w języku polskim dużo większym modelom.

Nowy Bielik już jest. Również jako chatbot

Bielik nie tylko doczekał się nowej wersji, ale i nowego chatbota dostępnego pod adresem chat.bielik.ai. Można tam odpytywać nowy model bez konieczności korzystania z Chat Areny PL – która służy głownie do porównywania modeli.

Jak wypada Bielik na nowym chatbocie? Bardzo dobrze. Odpowiedzi generuje szybko i podczas krótkiego testowania nie stwierdziłem żadnych błędów językowych. Pamiętajcie tylko, że to model relatywnie niewielki – 11 miliardów parametrów nie wystarczy na przechowanie wiedzy całego internetu. Więc – w pewnych tematach będzie miał pewnie mniejszą wiedzę niż duże modele od na przykład OpenAI, które mają przeszło bilion parametrów.

Nowy Bielik mówi nie tylko po polsku – sam twierdzi, że jest w stanie mówić w wielu językach, choć nie we wszystkich równie dobrze. Moje szybkie testy tłumaczenia polskiego tekstu na angielski i hiszpański – a więc na dwa języki, które znam dość dobrze – wypadły nieźle dla najnowszej wersji polskiego LLM-a. Moje niegdysiejsze próby z jego pierwszą wersją nie były, jak pamiętam, aż tak udane.

Mam tylko jedno zastrzeżenie techniczne – w momencie, gdy odpowiedź wychodzi poza dół strony, to strona nie przewija się automatycznie, by pokazać całą odpowiedź. Jedyną oznaką, że model dalej generuje odpowiedź jest przemieszczający się suwak przewijania strony.

Wypróbować można też u siebie – byle na silnej maszynie

Jeśli chcecie wypróbować Bielika na własnym sprzęcie, to możecie go sobie ściągnąć ze strony HuggingFace. Instrukcje, co trzeba zrobić i przykładowe notatniki Jupyter, możecie znaleźć na stronie projektu w serwisie GitHub. Model dostępny jest w aż 15 wersjach, w tym wielu skwantyzowanych, czyli takich, które są mniej dokładne od modelu wyjściowego. Ale jednocześnie sporo mniejsze i znacznie szybsze w użyciu, co pozwala na uruchomienie ich na mniej wydajnym sprzęcie.

To jak działa skwantyzowany model na lokalnej (choć mocarnej) maszynie pokazał na swoim profilu na LinkedIn jeden z technicznych liderów zespołu Remigiusz Kinas.

Źródło grafiki: SpeakLeash