Trenowanie modeli AI na MacBooku stało się poważną sprawą. Co to zmienia dla firm

PyTorch od kilku wersji buduje obsługę Metal Performance Shaders, czyli akceleracji GPU na układach Apple Silicon. Najnowsze wydanie idzie wyraźnie dalej: więcej operacji matematycznych działa bezpośrednio na GPU Maka, zarządzanie pamięcią jest sprawniejsze, a mieszana precyzja obliczeń, do tej pory kłopotliwa, zaczyna działać stabilnie. W praktyce oznacza to, że MacBook Pro czy Mac Studio przestaje być maszyną wyłącznie do wnioskowania na gotowych modelach. Teraz można na nim realistycznie trenować i dostrajać sieci neuronowe.

To nie jest rewolucja dla laboratoriów badawczych z tysiącem GPU. Ale dla firm, które chcą zacząć pracować z AI na własnych danych, zmiana jest zauważalna. Krótki cykl: pomysł, dane, trening, test, iteracja, i to wszystko bez logowania do AWS czy Azure.

Co to oznacza dla polskich firm

Dostrajanie modeli bez chmury. Fine-tuning małego modelu językowego na dokumentach firmy, kilka tysięcy przykładów, kilkadziesiąt minut treningu na M3 Max, wynik lokalnie. Dwa lata temu to wymagało instancji GPU w chmurze. Teraz wystarczy sprzęt, który i tak już stoi na biurku.

Dane zostają w firmie. To argument, który przeważa w rozmowach z działami prawnymi i compliance. Faktury, umowy, historia klientów do trenowania modelu klasyfikującego albo wyciągającego dane, żadna z tych informacji nie opuszcza urządzenia. Dla branż regulowanych, kancelarii, firm produkcyjnych z tajemnicą technologiczną, to konkretna wartość, nie marketingowe hasło.

Szybszy prototyp, tańszy eksperyment. Zespół developerów czy analityków może teraz testować różne architektury i zestawy danych zanim wyda złotówkę na cloud GPU. Iteracja kosztuje czas, a nie pieniądze. Przy kilkudziesięciu eksperymentach miesięcznie różnica w rachunkach bywa spora.

Gdzie to nie wystarczy. Duże modele, miliardy parametrów, nadal wymagają klastrów GPU. Na M-kach trenuje się sensownie modele do kilku miliardów parametrów, przy sprytnym podejściu do danych i technikach jak LoRA. Kto myśli o GPT-4-poziomowych modelach od zera, musi szukać gdzie indziej. Ale większość firmowych przypadków użycia mieści się w skromniejszych rozmiarach.

Operacje i HR. Klasyfikator dokumentów, model ekstrakcji danych ze skanów, prosty model scoringowy dla rekrutacji, to wszystko realistyczne projekty na Apple Silicon. Nie trzeba być startupem AI ani zatrudniać zespołu MLOps. Wystarczy jeden techniczny pracownik i sensowny zestaw danych.

Kierunek jest jasny: bariera wejścia w trenowanie własnych modeli opada. Sprzęt, który wiele polskich firm już ma, staje się wystarczający do poważnej pracy z AI. Kto chce wiedzieć, od czego zacząć i które dane firmy nadają się do pierwszego projektu, zapraszamy na bezpłatny audyt.