Multimodalny model AI na laptopie, bez chmury: co zmienia architektura zapętlonego transformera
Przez lata zakładaliśmy, że zaawansowany model AI potrzebuje centrum danych. Kolejna ekipa pokazuje, że to założenie przestaje być prawdą. Thinking Machines Lab, startup prowadzony przez Mirę Murati, dawną dyrektor techniczną OpenAI, wydał model Inkling 2 Mini. Uruchamia się na MacBooku Pro z 32 GB RAM albo na jednej karcie graficznej. Jest multimodalny, rozumie jednocześnie tekst i obraz. I jest open-weights, czyli możecie go pobrać i uruchomić samodzielnie.
Technicznie to coś innego niż dotychczasowe podejścia. Standardowy transformer przetwarza dane w jednym przebiegu, warstwa po warstwie. Zapętlony transformer (looped transformer) wraca do tych samych bloków obliczeniowych kilka razy, zamiast mnożyć osobne warstwy. Daje to więcej możliwości w mniejszym pliku. Efekt: model zdolny do pracy z dokumentami, zdjęciami i tekstem jednocześnie, mieszczący się na sprzęcie, który stoją w biurze od lat.
Co to oznacza dla polskich firm (sprzedaż, obsługa klienta, księgowość, HR, marketing, operacje)
Pierwsza konsekwencja to dane, które nie opuszczają firmy. Modele chmurowe przetwarzają Wasze dokumenty na zewnętrznych serwerach, nawet przy najlepszych warunkach umownych. Model lokalny nie wysyła niczego. Dla kancelarii, biur rachunkowych, firm HR i każdego, kto przetwarza wrażliwe dokumenty kontrahentów, to nie jest detal. To podstawa decyzji o wdrożeniu.
Multimodalność lokalnie otwiera kilka praktycznych ścieżek:
- Obsługa klienta i reklamacje: zdjęcie uszkodzonego towaru razem z treścią wiadomości e-mail analizowane przez jeden model, bez ręcznego opisywania i bez osobnego kroku OCR.
- Sprzedaż i ofertowanie: zdjęcia produktów, pliki techniczne i zapytania ofertowe jednocześnie, w jednym zapytaniu.
- Księgowość: skan faktury z odręcznymi adnotacjami odczytany łącznie, bez łączenia dwóch osobnych narzędzi.
- HR: dokumenty aplikacyjne z załączonymi certyfikatami, sprawdzane lokalnie, bez wysyłki danych osobowych do zewnętrznego API.
Open-weights zmienia też zależność od dostawcy. Firma nie jest związana z API, które może zmienić cennik albo wycofać model. Model jest Wasz. Można go dostosować do specyfiki branży, zintegrować z systemami wewnętrznymi, uruchomić bez pośrednika. Przy procesach cyklicznych, gdzie model działa kilkaset razy dziennie, to zupełnie inna kalkulacja niż subskrypcja chmurowa.
Warto pamiętać, skąd pochodzi ten model. Mira Murati przez lata budowała GPT-4, DALL-E i Codex w OpenAI. Jej nowa firma stawia na otwarte wagi i lokalną pracę zamiast zamkniętych API. To sygnał szerszego trendu, nie tylko kolejna premiera.
Lokalne modele multimodalne nie zastąpią od razu wszystkich zastosowań chmurowych. Są zadania, gdzie moc centrum danych wciąż robi różnicę. Ale coraz więcej procesów firmowych mieści się w możliwościach sprzętu, który już posiadacie, i ta granica z każdym miesiącem przesuwa się dalej.
Chcecie sprawdzić, które procesy w Waszej firmie można dziś obsłużyć modelem lokalnym, a gdzie chmura wciąż ma sens? Zapraszamy na bezpłatny audyt.
Napiszcie jednym zdaniem, co chcecie połączyć z AI
Program, skrzynka, dokumenty albo proces, który zabiera zespołowi czas. Odpiszemy, co da się zrobić u Was i od czego zacząć.
Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.