Granite Switch 4.1.1: jak automatyczny routing modeli obniża rachunki za AI bez utraty jakości

Jednym z realnych problemów przy wdrożeniu AI w firmie jest to, że każde zapytanie kosztuje tyle samo, niezależnie od tego, czy chodzi o proste wyciągnięcie liczby z tabelki, czy o analizę wielostronicowej umowy. Duży, drogi model obsługuje jedno i drugie, bo nie ma żadnego mechanizmu, który powiedziałby: "to pytanie jest proste, daj je tańszemu." Granite Switch 4.1.1 od IBM to właśnie taki mechanizm. Mały model-router, który siedzi przed właściwymi modelami i decyduje, który z nich ma podjąć pracę.

Idea nie jest nowa, ale dotąd wymagała albo ręcznego projektowania reguł, albo własnego rozwiązania. Tutaj IBM upakował tę logikę w gotowy, lekki model działający w ramach rodziny Granite. Switch analizuje przychodzące zapytanie i kieruje je do najtańszego modelu, który z dużym prawdopodobieństwem da wystarczająco dobry wynik. Pytania złożone idą wyżej, proste – do mniejszego i szybszego modelu.

Co to oznacza dla polskich firm (sprzedaż, obsługa klienta, księgowość, HR, marketing, operacje)

Obsługa klienta i sprzedaż. Duża część zapytań do chatbota firmowego to pytania o godziny, ceny, statusy zamówień. Obsługuje je mały model w ułamku kosztu. Tylko trudne przypadki trafiają do większego. Efekt: ta sama jakość rozmowy, znacząco niższy miesięczny rachunek za API.

Księgowość i dokumenty. Klasyfikacja faktur, wyciąganie kwot, sprawdzanie zgodności z wzorcem – to zadania powtarzalne i schematyczne. Switch może je kierować do szybkiego, taniego modelu, a tylko wyjątki (nieczytelny skan, niestandardowy format) wysyłać do mocniejszego narzędzia. Przy setkach dokumentów dziennie różnica w koszcie jest odczuwalna.

HR i onboarding. Pytania pracowników o urlopy, świadczenia, procedury – prosta baza wiedzy obsługiwana małym modelem. Złożone przypadki (interpretacja umowy, prośba o wyjątek) trafiają wyżej. Nie trzeba utrzymywać jednego drogiego modelu do wszystkiego.

Marketing i operacje. Generowanie krótkich opisów produktów, tagowanie treści, kategoryzacja zgłoszeń – to prace seryjne, gdzie precyzja jest ważna, ale nie wymaga modelu flagowego. Routing sprawia, że te zadania idą lekką ścieżką. Kampania licząca tysiące wariantów kosztuje tyle, ile powinna, a nie tyle, ile kosztuje analiza strategiczna.

Warto też spojrzeć na stronę infrastrukturalną. Granite Switch działa w ekosystemie open source, co oznacza, że można go uruchomić na własnym serwerze. Dla firm, które już zdecydowały się trzymać modele lokalnie ze względu na poufność danych, to gotowy element układanki – bez zależności od zewnętrznego API.

Routing modeli to kierunek, który szybko staje się standardem przy poważniejszych wdrożeniach. Firmy, które do tej pory płaciły za duży model do każdego zadania, mają teraz konkretne narzędzie, żeby to zmienić. Jeśli chcecie sprawdzić, gdzie w Waszej firmie kryją się podobne oszczędności, zapraszamy na bezpłatny audyt.