Jak dobrze AI śledzi zmiany w długich dokumentach. Wyniki testów, które warto znać przed wdrożeniem

Wyobraźcie sobie umowę z czterema aneksami, historię zamówienia po piętnastu mailach albo kartę pracownika z kilkoma zmianami wynagrodzenia. Ktoś pyta AI, jaki jest aktualny stan. I tu zaczyna się problem. Nowe testy porównawcze sprawdziły systematycznie, jak dobrze popularne modele językowe śledzą zmiany stanu w długich dokumentach. Wynik? Zależy od modelu, długości tekstu i od tego, gdzie w dokumencie pojawia się ostatnia aktualizacja.

Chodzi o konkretny mechanizm. Modele mają tendencję do "zapamiętywania" wartości z początku lub końca dokumentu lepiej niż ze środka. Gdy stan czegoś zmienia się wielokrotnie przez cały tekst, model może zwrócić wersję sprzed dwóch aktualizacji, nie tę ostatnią. To nie jest kwestia złego promptu. To ograniczenie, które pojawia się przy wystarczająco długich i złożonych dokumentach, niezależnie od instrukcji.

Co to oznacza dla polskich firm

Zacznijmy od księgowości. Faktury korygujące, korekty korekt, zmiany kursów walut w długich rozliczeniach, historia należności z wieloma płatnościami częściowymi. Gdy pytacie AI o aktualną kwotę do zapłaty na podstawie długiego eksportu z systemu, model może wskazać wartość sprzed ostatniej korekty. Błąd niewidoczny, dopóki nie trafi na pulpit kontrolera.

Obsługa klienta też dostaje tu po rękach. Dłuższe wątki mailowe, w których status reklamacji zmieniał się kilka razy, historia zgłoszeń serwisowych, rozmowy o warunkach dostawy. AI podpowiadający agentowi "aktualny status" może podać ten z trzeciej odpowiedzi, nie z ostatniej. Klient słyszy coś, co dawno zostało zmienione.

W HR: karta pracownika z historią zmian stanowiska, stawek, wymiaru etatu. Automat sprawdzający uprawnienia urlopowe albo naliczający premię może trafić na wartość archiwalną. W sprzedaży: historia negocjacji cenowych, gdzie warunki zmieniały się kilkakrotnie przed podpisaniem. W operacjach: procedura po trzech aktualizacjach, a model czyta całość od góry i wyciąga wnioski z wersji środkowej.

Nie chodzi o to, żeby nie używać AI do długich dokumentów. Chodzi o to, żeby wiedzieć, gdzie jest ryzyko. Kilka praktycznych wniosków:

• Streśćcie stan aktualny na wejściu. Zamiast podawać AI całą historię, dajcie mu podsumowanie bieżącego stanu plus tylko ostatnią zmianę. Mniej tekstu, mniejsze ryzyko pomyłki.
• Weryfikacja na wyjściu. Gdy AI ma wyciągnąć konkretną wartość z długiego dokumentu, poproście, żeby wskazał, skąd pochodzi ta liczba i kiedy ostatni raz się zmieniła.
• Strukturyzacja zamiast narracji. Dane zmieniające się w czasie lepiej trzymać w bazie i pokazywać AI już przetworzone zestawienie, nie surową historię w formacie ciągłego tekstu.

Modele poprawiają się w tym obszarze, ale powoli. Różnice między nimi są wyraźne, więc dobór narzędzia do konkretnego zadania ma znaczenie. Zanim powierzycie AI przetwarzanie dokumentów, w których aktualny stan liczy się bardziej niż historia, warto to sprawdzić na prawdziwych danych z Waszej branży.

Chcecie wiedzieć, gdzie w Waszych procesach AI działa pewnie, a gdzie warto dodać warstwę weryfikacji? Umówcie się na bezpłatny audyt.