Mały model, specjalistyczny słownik: jak dopasowanie tokenizatora do branży tnie koszty AI o ponad trzy czwarte

Modele językowe „myślą" w tokenach, nie w słowach. Tokenizator dzieli tekst na kawałki zanim model zacznie pracę, a standardowy słownik budowany jest na ogólnym tekście z internetu. Problem pojawia się, gdy do takiego modelu trafia tekst specjalistyczny: numery kont, kody celne, nazwy leków, skróty branżowe albo po prostu długie polskie słowa, których internet nie używa zbyt często. Każdy taki fragment rozbija się na wiele małych tokenów. Więcej tokenów to więcej operacji, więcej pamięci i wyższy rachunek za czas procesora lub GPU.

Okazuje się, że to nie jest nieuchronne. Dostosowanie słownika tokenizatora do konkretnej domeny, bez trenowania modelu od zera, może zmienić sytuację radykalnie. Wyniki badań w realnych zastosowaniach pokazują obniżkę kosztów wnioskowania nawet o 77% przy zachowaniu jakości odpowiedzi. Siedemdziesiąt siedem procent to nie margines. To inny rząd wielkości, który potrafi zdecydować o tym, czy firmowy automat oparty na AI ma sens ekonomiczny, czy nie.

Co to oznacza dla polskich firm (sprzedaż, obsługa klienta, księgowość, HR, marketing, operacje)

Pierwsza myśl: to chyba sprawa dla dużych firm z własnym działem ML. Niekoniecznie. Trend idzie w stronę małych, wyspecjalizowanych modeli, które firma może uruchamiać na własnym serwerze. Jeśli taki model obsługuje codzienny przepływ dokumentów, zamówień albo zapytań klientów, koszt każdego wywołania przekłada się bezpośrednio na rachunek za infrastrukturę.

Weźmy obsługę klienta w logistyce. Standardowy tokenizator słabo radzi sobie z numerami listów przewozowych, kodami taryf czy nomenklaturą spedycji. Model dostosowany do tego słownika przetworzy ten sam tekst szybciej i taniej, bo rozpozna powtarzające się wzorce jako całość, nie jako ciąg nieznanych fragmentów. To samo dotyczy księgowości, gdzie bez przerwy pojawiają się kody MPK, numery dokumentów i nazwy kont, oraz HR, gdzie co chwila trafiają się nazwy stanowisk i wewnętrzne kody organizacyjne.

Dla firm planujących wdrożenie AI na własnych danych, ten kierunek otwiera kilka praktycznych pytań:

• Jaki procent Waszych danych wejściowych to słownictwo specyficzne dla branży? Im więcej, tym większy potencjał oszczędności.
• Czy Wasz dostawca AI może dostosować tokenizator do Waszego słownika? Nie każda platforma to oferuje, ale pytanie warto zadać już na etapie wyboru.
• Czy Wasze wdrożenie jest na tyle duże, żeby różnica była odczuwalna? Przy kilkuset wywołaniach dziennie tak. Przy kilku nie.

Polszczyzna ma tu dodatkowy wymiar. Język polski jest fleksyjny, więc to samo słowo w różnych formach to z punktu widzenia ogólnego tokenizatora kilka różnych ciągów znaków. Modele trenowane głównie na angielskim tekście radzą sobie z polskim gorzej, niż wynikałoby z testów na ogólnych danych. Specjalizacja słownika pod język i branżę jednocześnie może dawać efekty większe niż pokazują globalne statystyki.

Nie ma tu magicznego przycisku. Przygotowanie dobrego słownika branżowego wymaga reprezentatywnych danych i kilku dni pracy. Ale w porównaniu do trenowania modelu od nowa to i tak bardzo mało. I to podejście, w przeciwieństwie do kupowania większej mocy obliczeniowej, obniża koszty trwale, nie jednorazowo.

Jeśli planujesz wdrożenie modelu językowego na własnych danych lub chcesz sprawdzić, czy obecny model nie pochłania więcej zasobów niż potrzeba, zapraszamy na bezpłatny audyt.