Nowa klasa modeli AI nie pisze tekstu, tylko zwraca gotową decyzję

Przez ostatnie trzy lata każda automatyzacja z AI wyglądała tak samo: wysyłaliśmy do modelu językowego tekst, model pisał odpowiedź, a nasz kod próbował z tej odpowiedzi wyłuskać jedno słowo decyzji. Pilne czy niepilne. Reklamacja czy zapytanie ofertowe. Warte uwagi handlowca czy nie. Płaciliśmy za wygenerowanie zdania, choć potrzebna była jedna etykieta. W połowie września pojawiła się klasa modeli zbudowana odwrotnie: dostaje stan sprawy i pytania, a oddaje wyłącznie decyzję o z góry ustalonym kształcie, razem z prawdopodobieństwem i miarą pewności.

Na czym polega różnica

Model językowy generuje tekst słowo po słowie i dopiero z tego tekstu powstaje decyzja. Model decyzyjny liczy wszystkie odpowiedzi równolegle w jednym przebiegu i zwraca strukturę, którą program bierze bez parsowania. Do dyspozycji są trzy rodzaje pytań: wybór jednej kategorii z listy, ocena na uporządkowanej skali oraz pytanie rozstrzygające tak lub nie z prawdopodobieństwem. Dorzucenie kolejnych pytań do tej samej sprawy prawie nie wydłuża odpowiedzi, więc jednym zapytaniem można ocenić temat, pilność, ryzyko i kierunek obiegu naraz.

Liczby, które robią różnicę

Producent podaje czas odpowiedzi od 70 do 500 milisekund zamiast kilku sekund oraz cenę rzędu czterech centów za milion tokenów wejścia, przy wyjściu rozliczanym na zero. W praktyce oznacza to, że decyzja kosztuje ułamek grosza i można ją podejmować w pętli, przy każdej wiadomości, przy każdym kroku procesu, bez patrzenia na licznik. Na testach producenta trafność wypada blisko najdroższych modeli i wyraźnie powyżej małych modeli, które zwykle bierze się do klasyfikacji z oszczędności. Niezależne sprawdzenia potwierdzają kierunek, choć w węższym zakresie niż materiały marketingowe.

Czego taki model nie zrobi

Nie napisze maila, nie streści dokumentu, nie uzasadni swojej decyzji zdaniem dla człowieka. Nie odmówi też odpowiedzi: jeśli sprawa jest niejednoznaczna, wybierze najmniej złą opcję i zasygnalizuje to niską pewnością, więc próg eskalacji do człowieka trzeba ustawić samemu. Gorzej znosi też zaśmiecony kontekst, bo dokładność spada, gdy wrzucamy do zapytania wszystko, co mamy, zamiast tylko tego, co istotne dla pytania. Najlepszy język to nadal angielski, a zachowanie na polskich tekstach wymaga własnego sprawdzenia.

Co to oznacza dla firm

To nie jest zamiennik asystenta AI, tylko druga warstwa obok niego. Rozsądna architektura na najbliższe miesiące wygląda tak: szybki model decyzyjny podejmuje tysiące drobnych rozstrzygnięć, czyli sortuje skrzynkę, ocenia pilność zgłoszenia, kwalifikuje leada, sprawdza ryzyko operacji przed jej wykonaniem, a model językowy wchodzi tylko tam, gdzie trzeba coś napisać, wyjaśnić albo przeprowadzić rozmowę. Efekt jest podwójny: automatyzacja robi się tańsza i szybsza, a drogi model przestaje być zajmowany pracą, która nigdy nie wymagała pisania.

Jeśli macie procesy, w których AI codziennie podejmuje setki powtarzalnych decyzji, warto policzyć je osobno i sprawdzić na własnych danych, zanim technologia trafi do ofert dostawców jako hasło. Porozmawiajmy o Waszych procesach i o tym, które z nich rzeczywiście należą do tej kategorii.