AI on-premise dla firm: co to znaczy w praktyce i kiedy to ma sens

Mecenas z kancelarii, z którą rozmawialiśmy kilka tygodni temu, zadał nam proste pytanie: chcemy używać AI do analizy umów, ale żaden dokument nie może opuścić naszej sieci. Czy to w ogóle możliwe?

Możliwe. I właśnie temu służy AI on-premise: model sztucznej inteligencji zainstalowany bezpośrednio na serwerze w infrastrukturze klienta, nie u dostawcy gdzieś w chmurze. W tym artykule wyjaśniamy, co to oznacza fizycznie, gdzie trafiają dane i dla jakiego rodzaju firm ta architektura naprawdę ma sens.

Co stoi fizycznie w firmie i jak to działa

Konkretnie: w serwerowni albo w wydzielonej szafie sprzętowej pojawia się serwer wyposażony w mocną kartę graficzną GPU. Na tym serwerze uruchamiany jest model językowy, na przykład z rodziny Llama albo Mistral, lub inny model open source, który można legalnie uruchamiać lokalnie. Obok modelu stoi warstwa aplikacji: interfejs dla pracowników oraz łączniki do systemów firmowych, ERP, bazy dokumentów, skrzynki mailowej.

Dla pracownika wygląda to identycznie jak ChatGPT: otwiera przeglądarkę, wchodzi na adres wewnętrzny w sieci firmowej i pisze pytania. Różnica jest niewidoczna, ale decydująca. Zapytanie trafia na serwer stojący w tej samej sieci i tam jest przetwarzane. Nigdzie nie wychodzi.

Uproszczona ścieżka danych:

• pracownik wpisuje pytanie w przeglądarce na urządzeniu firmowym
• zapytanie trafia do serwera w tej samej sieci lokalnej
• model przetwarza je lokalnie, bez połączenia z zewnętrznymi API
• odpowiedź wraca do przeglądarki pracownika

Żaden z tych kroków nie przekracza granicy sieci firmowej. Jeśli serwer w ogóle nie ma połączenia z internetem, model nadal działa.

Gdzie trafiają dane, a dokładniej gdzie nie trafiają

Przy standardowym abonamencie na ChatGPT czy podobne narzędzie treść zapytań wysyłana jest na serwery dostawcy za granicą. Dostawca może te dane przetwarzać w różnych celach, między innymi do doskonalenia swoich modeli. Warunki użytkowania bywają długie, zmieniają się co jakiś czas i nie każda firma ma realną możliwość sprawdzenia, co dokładnie się z nimi dzieje.

W modelu on-premise dane zostają w firmie. Nie ma transmisji do zewnętrznych serwerów. Nie ma zależności od polityki prywatności żadnego zagranicznego dostawcy.

Jedno ważne zastrzeżenie: aktualizacje modelu i oprogramowania muszą być dostarczane osobno, bo serwer jest odcięty od automatycznych aktualizacji z sieci. To jest obowiązek dostawcy wdrożenia lub działu IT. Jeśli nikt o to nie dba, model pracuje na starszej wersji i mogą pojawić się luki w bezpieczeństwie samego środowiska serwerowego.

Czym to się różni od chmury prywatnej i od zwykłego abonamentu

Trzy pojęcia, które często się mylą nawet w rozmowach z osobami z IT:

• Abonament na ChatGPT lub narzędzie SaaS. Płacisz miesięcznie, model jest u dostawcy, Twoje dane idą do jego serwerów. Najszybciej zacząć, najłatwiej obsługiwać, ale najmniej kontroli nad tym, co dzieje się z danymi.
• Chmura prywatna. Masz wydzielone zasoby w centrum danych operatora, na przykład Azure, AWS albo polskie centrum danych. Twoje dane nie mieszają się z innymi klientami, ale serwer fizycznie stoi poza Twoim budynkiem i administrujesz nim zdalnie.
• On-premise. Serwer fizycznie stoi w Twojej siedzibie albo w centrum danych, nad którym masz pełną kontrolę administracyjną. Maksymalne panowanie nad danymi i sprzętem. Wymaga więcej nakładów technicznych i logistycznych niż pozostałe dwa podejścia.

Wybór między tymi trzema modelami nie jest zero-jedynkowy. Firmy, z którymi pracujemy, często zaczynają od chmury prywatnej i przechodzą na on-premise dopiero wtedy, gdy konkretna regulacja albo umowa z klientem tego wymaga.

Kiedy on-premise ma sens, a kiedy to niepotrzebne skomplikowanie

Są sytuacje, gdzie on-premise przestaje być wyborem, a staje się wymogiem.

• Dane osobowe pacjentów, klientów lub pracowników przetwarzane przez AI. RODO wymaga konkretnej podstawy prawnej i gwarancji co do miejsca przetwarzania. Spełnienie tych wymogów jest prostsze, gdy dane fizycznie nie opuszczają firmy.
• Tajemnica przedsiębiorstwa. Projekty techniczne, modele kosztowe, receptury, strategie handlowe: wszystko, co firma budowała latami i co nie może trafić na zewnętrzne serwery, nawet szyfrowane.
• Umowy NDA z klientami. W sektorach takich jak motoryzacja, obronność czy przemysł specjalistyczny, umowy o zachowaniu poufności bywają bardzo precyzyjne co do tego, na jakiej infrastrukturze mogą być przetwarzane dane klienta. On-premise to wtedy jedyna droga, która spełnia te warunki bez wyjątków.
• Sektory regulowane. Finanse, ochrona zdrowia, energetyka. Audytorzy sprawdzają nie tylko to, czy dane są szyfrowane, ale też gdzie fizycznie się znajdują i kto ma do nich dostęp fizyczny i logiczny.

Kiedy on-premise to przerost formy? Gdy firma przetwarza głównie dane publiczne lub wewnętrzne, które nie podlegają ścisłym ograniczeniom co do lokalizacji. Gdy zależy jej przede wszystkim na szybkim uruchomieniu przy minimalnym zaangażowaniu IT. Dla takiej firmy środowisko chmurowe u sprawdzonego dostawcy będzie tańsze i wystarczające. Nie każda firma potrzebuje własnego serwera, żeby bezpiecznie korzystać z AI.

Co firma musi mieć, a czego nie musi

Tu jest sporo mitów. Nie trzeba mieć własnego administratora serwera na pełen etat. Nie trzeba mieć wiedzy o modelach językowych. Trzeba natomiast zadbać o kilka rzeczy fizycznych i organizacyjnych.

• Miejsce na serwer: szafa serwerowa albo wydzielone pomieszczenie z odpowiednią wentylacją lub klimatyzacją i dostępem do zasilania.
• Stabilne zasilanie z UPS. Serwer GPU nie lubi nagłych zaników prądu, a awaria zasilania może uszkodzić dyski z danymi.
• Sieć lokalna z odpowiednią przepustowością dla liczby użytkowników, którzy będą korzystać z asystenta równocześnie.
• Zewnętrzna firma IT lub wsparcie dostawcy wdrożenia, która odbierze telefon, gdy coś przestanie działać. Nie musi to być pracownik na etacie.

Czego firma nie musi mieć: kompetencji do instalacji modelu, konfiguracji GPU, pisania łączników do systemów firmowych. To jest po stronie dostawcy wdrożenia. Firma musi wiedzieć tylko, co chce osiągnąć i jakie dane mają być dostępne dla asystenta.

Sprzęt w abonamencie zamiast jednorazowego zakupu

Bariera wejścia w AI on-premise tradycyjnie była wysoka, bo serwery z kartami GPU nie są tanie. To się zmienia. Coraz więcej dostawców oferuje sprzęt w modelu abonamentowym lub leasingowym. Firma nie wykłada dużej kwoty na starcie, tylko płaci miesięcznie za sprzęt, oprogramowanie i serwis razem.

Taki układ jest szczególnie sensowny dla firm 20-80 osób, gdzie jednorazowy zakup serwera byłby sporym obciążeniem budżetowym, a regularna miesięczna opłata jest przewidywalna i łatwiejsza do wbudowania w koszty operacyjne. Przy modelu abonamentowym dostawca zazwyczaj odpowiada też za aktualizacje modelu i oprogramowania, co odciąża firmę od obowiązków technicznych.

Na co zwrócić uwagę w takiej umowie: co dzieje się z danymi po zakończeniu współpracy. Jeśli serwer wraca do dostawcy, firma powinna mieć w umowie zapisaną procedurę bezpiecznego usunięcia danych z dysków oraz pisemne potwierdzenie, że to faktycznie nastąpiło. To szczegół, o który mało kto pyta na etapie podpisywania umowy i który potrafi być problemem przy rozstaniu.

Od czego zaczynamy przy wdrożeniu on-premise

Zanim zapyta się o serwer i model, warto zrobić krok wcześniej: określić, które procesy mają trafić do asystenta i jakie kategorie danych będą do tego potrzebne. To wyznacza wymagania techniczne i pozwala ocenić, czy faktycznie potrzeba on-premise, czy wystarczy inne podejście.

U jednego z klientów w branży doradczej zaczęliśmy od inwentaryzacji dokumentów: wylistowaliśmy kategorie materiałów, z których pracownicy chcieli korzystać przez AI. Okazało się, że część była objęta NDA z wymogiem lokalizacji infrastruktury, ale spora część była zupełnie publiczna i nie wymagała żadnych specjalnych zabezpieczeń. To pozwoliło zaproponować podejście hybrydowe: on-premise dla wrażliwych dokumentów, chmura dla reszty. Zamiast budować drogie środowisko dla wszystkiego bez wyjątku.

Jeśli nie jesteś pewny, która architektura pasuje do sytuacji Twojej firmy, chętnie przez to przejdziemy razem. Sprawdź realne wdrożenia, które przeprowadziliśmy dla polskich firm, albo umów się na bezpłatny audyt i opowiedz nam o swoich procesach i danych.