Model 180 miliardów parametrów na laptopie: jak architektura MoE zmienia dostęp do dużych modeli AI

20.11.2026 · 3 min czytania

Większość modeli AI działa tak: im więcej parametrów, tym więcej pamięci potrzeba do uruchomienia. Model 70B wymaga sporego serwera, model 180B to już centrum obliczeniowe. Przynajmniej tak było. Architektura MoE, czyli Mixture of Experts, łamie tę logikę. Zamiast angażować całą sieć do każdego zapytania, model ma wyspecjalizowane "ekspertyzy" i przy każdym tokenie budzi tylko kilka z nich. Reszta śpi. W efekcie model nominalnie 180-miliardowy przy pracy zużywa pamięć porównywalną z modelem kilkukrotnie mniejszym. 32 gigabajty RAM to dziś realny próg dla takich konstrukcji.

Nie chodzi tu o magię ani żadne uproszczenie. Aktywna część sieci przy każdym wywołaniu to kilkanaście, może kilkadziesiąt miliardów parametrów. Reszta to zapas wiedzy, który model przywołuje selektywnie. Biblioteka Transformers w ostatnich tygodniach mocno poprawiła obsługę tego rodzaju modeli, optymalizując zarządzanie pamięcią i kolejkowanie ekspertów. Efekt: te same modele działają szybciej i na słabszym sprzęcie niż kilka miesięcy temu.

Co to oznacza dla polskich firm

Uruchomienie dużego modelu lokalnie przestaje być tematem na przyszłość. Firma z serwerem z 32 GB RAM, a nawet zaawansowaną stacją roboczą, może dziś uruchomić model, który jakością dorównuje temu, co jeszcze rok temu wymagało infrastruktury cloudowej za kilkadziesiąt tysięcy złotych miesięcznie. To zmiana, która dotyka konkretnych działów.

W dziale prawnym, HR i księgowości pojawia się praktyczny argument za lokalnym AI: dane nie wychodzą z firmy. Umowy, teczki pracownicze, faktury, dokumenty przetargowe. Niektóre firmy przez obawy o RODO albo wymogi branżowe w ogóle rezygnowały z AI. Teraz mogą uruchomić model na własnym serwerze, bez połączenia z zewnętrznym API, i mieć pełną kontrolę nad danymi.

W operacjach i obsłudze klienta lokalny model to stały koszt zamiast abonamentu uzależnionego od liczby zapytań. Przy dużych wolumenach, na przykład klasyfikacja setek dokumentów dziennie albo automatyczne odpowiedzi na maile, rachunek szybko przemawia za własną infrastrukturą. MoE sprawia, że nie trzeba rezygnować z jakości na rzecz dostępności sprzętu.

  • Sprzedaż i marketing: lokalne modele do personalizacji ofert, generowania treści, analizy kampanii, bez przesyłania danych klientów na zewnątrz
  • IT i bezpieczeństwo: możliwość uruchomienia modelu w sieci wewnętrznej, odciętej od internetu, do analizy logów i incydentów
  • Produkcja i logistyka: modele pracujące na dokumentach technicznych bez ryzyka wycieku know-how

Jedno zastrzeżenie: 32 GB RAM to minimum, nie komfort. Przy dużym obciążeniu i kilku równoległych użytkownikach potrzeba więcej. Ale próg wejścia jest dziś realnie niższy niż kiedykolwiek wcześniej, a wydajność rośnie z każdą kolejną wersją bibliotek obsługujących ten typ architektury.

Jeśli Wasza firma zastanawia się, czy AI lokalnie to temat na teraz czy za dwa lata, odpowiedź brzmi: na teraz, ale decyzja zależy od konkretnych danych, liczby użytkowników i wymagań co do prywatności. Zrobimy bezpłatny audyt i powiemy, co ma sens w Waszym przypadku.

Bez umawiania rozmowy

Napiszcie jednym zdaniem, co chcecie połączyć z AI

Program, skrzynka, dokumenty albo proces, który zabiera zespołowi czas. Odpiszemy, co da się zrobić u Was i od czego zacząć.

Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.

Więcej aktualności