Agent poradził sobie świetnie. Ale czy zrobi to samo jutro?

Model językowy nie działa jak kalkulator. Wyślij to samo zapytanie dwa razy, a odpowiedź będzie podobna, ale nie identyczna. Zmień kontekst choćby o jeden akapit, zaktualizuj model przez dostawcę, przestaw temperaturę, a wynik może się zmienić. Agenci AI są z natury probabilistyczni. To nie wada, to cecha, z którą trzeba się umieć obchodzić.

Problem pojawia się, gdy firma uruchamia agenta, działa poprawnie przez kilka dni, a potem coś się sypie. Czasem jest to subtelna zmiana, trudna do złapania od razu: agent odpowiada trochę inaczej, pomija jeden krok, formatuje dane w sposób, który nie pasuje do kolejnego etapu procesu. Na etapie testów wszystko wyglądało dobrze. W codziennej pracy okazuje się, że "działało" nie znaczy "działa zawsze".

Co to oznacza dla polskich firm (sprzedaż, obsługa klienta, księgowość, HR, marketing, operacje)

Zacznijmy od tego, gdzie jest największe ryzyko. Agent obsługi klienta może przez tydzień sprawnie kategoryzować zgłoszenia, a po aktualizacji modelu zacząć wrzucać połowę reklamacji do złego koszyka. Nikt tego nie zauważy, jeśli firma nie mierzy dokładności klasyfikacji. W działach sprzedaży i HR podobnie: skrypt scorujący leady albo przeglądający CV działa dobrze przy jednym typie danych, a gorzej przy innym. Jeśli testy opierały się na próbce jednorodnych przykładów, firma nigdy nie zobaczyła tego problemu przed wdrożeniem.

W księgowości i operacjach stawka jest wyższa. Agent analizujący faktury, wyciągi bankowe czy dane z systemów ERP musi działać tak samo niezawodnie przy setce dokumentów jak przy jednym. Liczby są nieubłagane. Jeśli agent pomyli kategorię kosztu w pięciu procentach przypadków, a przetwarza trzysta dokumentów miesięcznie, to piętnaście błędów wymaga ręcznej korekty. Oszczędność czasu znika.

Jak się przed tym chronić? Trzy rzeczy:

• Zestaw testowy z prawdziwymi przypadkami. Nie przykłady wymyślone do demo, lecz kilkadziesiąt realnych danych z produkcji, w tym te trudne, brzegowe, z wyjątkami. Agent powinien przejść przez nie przed każdą zmianą konfiguracji albo aktualizacją modelu.
• Pomiar, nie obserwacja. "Wydaje się działać" to za mało. Loguj wyniki, mierz dokładność na wybranej próbce, porównuj z poprzednim tygodniem. To można zautomatyzować bez dużych nakładów.
• Wersjonowanie promptów. Zmiana opisu zadania dla agenta to zmiana jego zachowania. Traktuj prompty jak kod: zapisuj wersje, testuj przed wdrożeniem, wracaj do poprzedniej, jeśli coś się pogarsza.

Najdroższy błąd, jaki widzimy u firm wdrażających agentów, to skupienie na tym, czy coś zadziała raz, zamiast na tym, czy będzie działać konsekwentnie przez miesiące. Jeden udany pokaz to nie gwarancja. Gwarancją jest dobrze zaprojektowany proces testowania i monitorowania.

Jeśli masz już agenta w produkcji albo planujesz wdrożenie i chcesz wiedzieć, gdzie są realne ryzyka w Twoim procesie, umów się na bezpłatny audyt. Spojrzymy na to, zanim problem sam da znać.