Fine-tuning czy RAG: kiedy trenować model AI na danych firmy, a kiedy wystarczy baza wiedzy na własnym serwerze?

Fine-tuning zmienia wagi samego modelu AI: dosłownie przepisuje jego "pamięć" na podstawie Twoich danych. RAG nie rusza modelu, tylko podsuwa mu właściwy fragment dokumentu tuż przed odpowiedzią. Dla zdecydowanej większości polskich firm, które chcą, żeby AI znało ich cennik, procedury albo bazę pytań od klientów, RAG na własnym serwerze daje taki sam efekt praktyczny: szybciej, taniej i bez ryzyka, że model "zapamięta" dane, których nie powinien ujawniać.

Co robi fine-tuning, a co robi RAG: bez żargonu

Wyobraź sobie, że zatrudniasz nowego pracownika. Fine-tuning to wielotygodniowe szkolenie przed pierwszym dniem pracy: zanim trafi na stanowisko, przerabia tysiące przykładów z Twojej firmy, zapamiętuje, jak pisać maile, jak odpowiadać na reklamacje, jakim językiem się posługiwać. Po szkoleniu "wie to" na stałe. Ale zmieniając cokolwiek w zasadach, musisz go szkolić od nowa.

RAG działa inaczej: pracownik trafia na stanowisko od razu, ale ma przy sobie firmową bazę wiedzy. Przed każdą odpowiedzią otwiera właściwy dokument i odpowiada na jego podstawie. Zmieniasz regulamin? Wrzucasz nowy plik. Od następnej minuty odpowiada według nowych zasad.

Technicznie: w fine-tuningu przekazujesz modelowi tysiące przykładów pytań i odpowiedzi, model aktualizuje swoje parametry wewnętrzne. W RAG Twoje dokumenty trafiają do bazy wektorowej (vector store) na Twoim serwerze. Gdy użytkownik zadaje pytanie, system wyszukuje semantycznie najbliższe fragmenty i dołącza je do kontekstu wysyłanego do modelu. Model widzi dokument w czasie rzeczywistym, nie z pamięci.

Dlaczego fine-tuning jest droższy, niż wygląda na papierze

Nie podamy tu konkretnych kwot, bo zależą od zbyt wielu zmiennych: rozmiaru modelu, liczby przykładów, infrastruktury. Zestawiamy za to realne składniki kosztu, o których rzadko się mówi na początku rozmowy:

• Przygotowanie danych treningowych. Model potrzebuje setek, często tysięcy par pytanie-odpowiedź. Ktoś musi je zebrać, sprawdzić i oczyścić. To godziny pracy eksperta, nie automatyczny skrypt.
• Koszt obliczeniowy trenowania. Nawet przy mniejszych modelach open-source, takich jak LLaMA czy Mistral, potrzebujesz serwera z mocnymi kartami GPU albo płacisz za chmurę przez cały czas trenowania.
• Utrzymanie w czasie. Model "zamraża" wiedzę na moment trenowania. Aktualizujesz cennik albo zmieniacie procedurę reklamacyjną? Musisz ponownie trenować lub dokładać kolejne warstwy adaptacyjne, co znowu kosztuje czas i zasoby obliczeniowe.
• Ryzyko wycieku danych treningowych. Model może odtworzyć fragmenty danych, na których był trenowany. Numery klientów, stawki z umów, dane kadrowe: wszystko, co trafiło do zbioru treningowego, może pojawić się w odpowiedzi przy odpowiednio skonstruowanym pytaniu. To dokumentowane przypadki, nie teoria.

Fine-tuning nie jest zły. Ale zanim po niego sięgniesz, warto sprawdzić, czy RAG nie da tego samego efektu przy ułamku nakładu.

Kiedy RAG na własnym serwerze naprawdę wystarczy

Większość pytań, z którymi firmy do nas przychodzą, wygląda podobnie: "chcemy, żeby AI znało nasze produkty", "żeby odpowiadało według naszych procedur", "żeby wiedziało, co jest w naszej ofercie". To dokładnie te przypadki, w których RAG sprawdza się bardzo dobrze.

Typowy scenariusz: firma dystrybucyjna z katalogiem kilku tysięcy pozycji. Handlowiec pyta: "Czy mamy pompę XYZ z przyłączem 3/4 cala i jakie są warunki gwarancji?" Model bez RAG nie wie nic o tym produkcie. Model z RAG przeszukuje bazę produktową, karty techniczne i regulamin gwarancji, które leżą na serwerze firmy, i odpowiada na podstawie aktualnych danych. Zmieni się oferta jutro? Nowy plik lub wiersz w bazie SQL wystarczy.

Drugi scenariusz: sieć gabinetów fizjoterapii. Recepcjonistki dostają codziennie te same pytania: co wchodzi w pakiet, jak odwołać wizytę, czy NFZ pokrywa konkretny zabieg. Wszystko jest w regulaminach i cennikach, które już istnieją jako dokumenty Word lub PDF. RAG zamienia te dokumenty w "pamięć" asystenta, bez jednego przykładu treningowego.

Na własnym serwerze dokumenty nie wychodzą na zewnątrz. Wyszukiwanie i budowanie kontekstu dzieje się lokalnie. Do modelu AI trafia tylko wybrany fragment, nie cały dokument, i tylko na czas tej jednej odpowiedzi. Z punktu widzenia RODO to zupełnie inna sytuacja niż wysyłanie całej bazy wiedzy do zewnętrznej usługi.

Gdzie RAG ma granicę: kiedy fine-tuning naprawdę ma sens

Są przypadki, gdzie samo podawanie dokumentów nie wystarczy. Warto je znać, żeby nie przepłacać w jedną ani drugą stronę:

• Bardzo specyficzny styl wypowiedzi. Jeśli chcesz, żeby model zawsze pisał jak Twoja marka, z konkretnym rytmem zdań i specyficznym tonem, którego nie ma w żadnym dokumencie, fine-tuning uczy go tego wzorca głębiej niż instrukcja systemowa.
• Wyspecjalizowane formaty wyjściowe. Generowanie dokumentów o bardzo ścisłej strukturze, na przykład konkretny układ XML albo niestandardowe protokoły komunikacyjne, może wymagać fine-tuningu, gdy model bazowy konsekwentnie odbiega od schematu.
• Żargon branżowy nieobecny w bazowym modelu. W medycynie, prawie patentowym albo inżynierii chemicznej zdarzają się terminy na tyle rzadkie, że bazowy model je myli. Fine-tuning na specjalistycznych tekstach może to poprawić w sposób, którego instrukcja i kontekst nie dają.
• Mały model na urządzeniu bez internetu. Gdy potrzebujesz szybkiego modelu na sprzęcie bez połączenia z siecią: terminal w hali produkcyjnej, urządzenie w terenie, fine-tuning mniejszego modelu open-source bywa jedyną drogą.

Żaden z powyższych przypadków nie dotyczy "chcemy, żeby model znał nasze dane". Dane to domena RAG.

Trzy branżowe przykłady: co kupuje RAG, a czego nie

Producent mebli na zamówienie. Handlowcy tracili czas na szukanie w PDF-ach, co można zrobić z danego materiału, jakie są terminy realizacji i co jest w standardzie, a co za dopłatą. Wgranie kart produktowych, cennika opcji i instrukcji konfiguracji do bazy wektorowej skróciło czas odpowiedzi na pytanie klienta z kilkunastu minut do sekund. Żadnego trenowania, żadnego specjalisty od ML. Wystarczył silnik wyszukiwania semantycznego i aktualny cennik w formacie, który system potrafi przetworzyć.

Biuro projektowe. Chcieli, żeby AI odpowiadało na pytania o normy budowlane i procedury według ich własnych checklist i szablonów. Checklisty były już w Confluence. RAG podłączony do Confluence wystarczył. Nie potrzebowali fine-tuningu, bo model nie musiał "wiedzieć inaczej", tylko mieć dostęp do właściwych dokumentów.

Gdzie fine-tuning miał sens. U jednego klienta z branży farmaceutycznej model bazowy konsekwentnie mylił nazwy substancji czynnych i skracał oznaczenia dawkowania w sposób, który mógł wprowadzać w błąd. Żaden dokument podany w kontekście tego nie naprawiał. Fine-tuning na wewnętrznych dokumentach technicznych, po starannej anonimizacji danych pacjentów, poprawił jakość odpowiedzi. Ale to był naprawdę specyficzny przypadek, a nie punkt startowy.

Od czego zaczyna firma, która chce AI z własną wiedzą

Dobry punkt startowy to inwentaryzacja, nie zakupy. Zanim zdecydujecie o architekturze, odpowiedzcie na kilka pytań:

• Jakich pytań pracownicy szukają w dokumentach najczęściej i ile czasu na to schodzi tygodniowo?
• Gdzie te dokumenty są teraz: PDF na dysku sieciowym, Confluence, SharePoint, baza SQL w ERP?
• Jak często się zmieniają? Cennik aktualizowany co tydzień to argument za RAG, nie za fine-tuningiem.
• Czy dane są na tyle poufne, że nie mogą trafić na zewnętrzny serwer w żadnej formie?

W praktyce wyglada to tak, że zaczynamy od pilotu RAG na jednym zbiorze dokumentów: na przykład FAQ klientów albo regulaminie usług. Uruchamiamy, mierzymy jakość odpowiedzi, zbieramy opinie od osób, które z tego korzystają. Dopiero jeśli po kilku tygodniach użytkowania okaże się, że model konsekwentnie myli się w jakimś obszarze, który nie wynika z braku dokumentów, zaczynamy rozmowę o fine-tuningu.

Masz wątpliwości, co ma sens w Twoim przypadku? Umów się na bezpłatny audyt, przyjrzymy się Twoim dokumentom i źródłom danych i powiemy wprost, które podejście pasuje do Twojej sytuacji. Na realnych wdrożeniach widać, jak konkretne firmy podeszły do tego wyboru i co z tego wynikło.