Lepsze wyszukiwanie w AI za mniej pieniędzy. Co zmienia nowe podejście do trenowania modeli wektorowych

Wyszukiwanie semantyczne, czyli takie, które rozumie sens pytania, a nie tylko szuka słów kluczowych, opiera się na modelach zwanych embeddingami. Większość z nich zamienia cały dokument w jeden wektor, jeden punkt w przestrzeni matematycznej. Modele wielowektorowe robią coś innego: tworzą osobny wektor dla każdego fragmentu tekstu, nawet każdego słowa. To daje dużo lepsze wyniki. Problem w tym, że taki indeks zajmuje wielokrotnie więcej miejsca i działa wolniej.

Odpowiedzią jest tzw. pooling, czyli spłaszczanie wielu wektorów do mniejszej liczby. Coś jak kompresja, ale na reprezentacji matematycznej tekstu. Brzmi rozsądnie. Praktyczny kłopot był jednak taki, że model był trenowany bez wiedzy o tym, że potem i tak zostanie skompresowany. Wynikowa kompresja psuła efekty, bo model nie uczył się produkować wektorów odpornych na to spłaszczenie.

Nowe podejście, które pojawia się teraz w badaniach i implementacjach, trenuje model od razu z uwzględnieniem poolingu. W czasie uczenia symuluje się kompresję, która będzie stosowana przy wdrożeniu. Model uczy się więc robić swoje, wiedząc, że wynik zostanie potem przygnieciony do mniejszej formy. Efekt: po kompresji traci się znacznie mniej jakości niż dotąd.

Co to oznacza dla polskich firm

Jeśli Wasza firma korzysta z RAG, czyli systemu, w którym AI przeszukuje Wasze dokumenty przed odpowiedzią, to jakość tego wyszukiwania bezpośrednio przekłada się na jakość odpowiedzi asystenta. Błąd na etapie pobierania dokumentu oznacza, że AI odpowiada na podstawie złego fragmentu, albo nie odpowiada wcale. Modele wielowektorowe były dotąd zarezerwowane dla większych budżetów właśnie ze względu na koszt indeksu.

To się zmienia. Firmy, które przeszukują setki umów, tysiące maili od klientów, dokumentację techniczną albo archiwa przetargów, mogą teraz rozważyć bardziej zaawansowane wyszukiwanie bez proporcjonalnego wzrostu kosztów infrastruktury. Skompresowany indeks wielowektorowy to realnie kilkukrotnie mniejsze zapotrzebowanie na pamięć i szybszy czas odpowiedzi, przy jakości wciąż wyraźnie lepszej niż klasyczne modele jednoweektorowe.

Gdzie to wchodzi w grę praktycznie:

• Obsługa klienta oparta na bazie wiedzy, gdzie liczy się precyzja, nie samo podobieństwo słów.
• Przeszukiwanie umów i dokumentów prawnych, gdzie kontekst zdania zmienia sens klauzuli.
• Wewnętrzne wyszukiwarki dla działów HR, operacji i zakupów, szczególnie gdy dokumentacja jest obszerna i nieustrukturyzowana.
• Systemy rekomendacji produktów, gdzie wielowektorowe dopasowanie treści działa lepiej niż kategorie i tagi.

Warto też pamiętać, że poprawa trenowania to zmiana po stronie samego modelu, nie infrastruktury. Firma nie musi nic przebudowywać. Nowszy model osadza się w istniejącym systemie, zmienia się jakość wyszukiwania i rozmiar indeksu. To jeden z tych przypadków, gdzie wymiana modelu na nowszy przynosi mierzalny zysk bez przeprojektowania całości.

Jeśli chcecie sprawdzić, czy Wasze obecne wyszukiwanie semantyczne daje Wam tyle, ile powinno, zapraszamy na bezpłatny audyt. Patrzymy konkretnie: co przeszukujecie, jak działa pobieranie dokumentów i gdzie tracicie na jakości odpowiedzi asystenta.