Szkolenia

Infrastruktura AI w firmie: modele lokalne, GPU, serwer

Dwa dni dla osób, które decydują o sprzęcie i będą go utrzymywać. Pierwszy dzień to decyzje i architektura, drugi to warsztat na serwerze z GPU.

Czas
2 dni
Grupa
3 do 8 osób
Forma
U Was albo online
Wymagania
Podstawy Linuksa

Dla kogo

Wymagamy podstaw administracji Linuksem. Bez tego lepiej zacząć od szkolenia dla administratora portalu.

CTO i kierownicy IT

Którzy decydują, co działa lokalnie, a co w chmurze.

Administratorzy serwerów

Którzy uruchomią model i będą go utrzymywać.

Osoby decydujące o zakupie sprzętu

Które muszą wiedzieć, jaka karta wystarczy pod Wasze obciążenie.

Program dwóch dni

Godzina po godzinie. Bloki oznaczone jako warsztat robicie na Waszych dokumentach.

Dzień 1: decyzje i architektura

  1. 9:00
    Chmura, serwer czy hybrydaKryteria: dane, przepisy, obciążenie i zespół, który to utrzyma.
  2. 10:30
    GPU i pamięć pod modelIle pamięci potrzebuje model, kwantyzacja, ilu użytkowników obsłuży jedna karta.
  3. 12:30
    Modele otwarteDo czego wystarczą modele otwarte, w tym polski Bielik, a gdzie potrzebny jest model z czołówki.
  4. 14:00
    Wyszukiwanie w dokumentach firmyRAG z uprawnieniami użytkowników, żeby każdy widział tylko swoje.
  5. 15:30
    Wasze obciążenieIlu użytkowników, jakie zadania i jaki sprzęt.warsztat

Dzień 2: warsztat na serwerze

  1. 9:00
    Ollama do testówPierwszy model lokalny uruchomiony i sprawdzony.warsztat
  2. 10:30
    vLLM dla zespołuObsługa wielu użytkowników naraz i punkt API zgodny z popularnymi bibliotekami.warsztat
  3. 12:30
    PomiarPrzepustowość, czas odpowiedzi i jakość na Waszych zadaniach.warsztat
  4. 14:00
    UtrzymanieMonitoring, aktualizacje, kopie i plan awaryjny.
  5. 15:30
    DecyzjaCo lokalnie, co w chmurze, i specyfikacja sprzętu.

Godziny są orientacyjne, kolejność bloków dopasowujemy do Waszych pytań.

Z czym wychodzicie

Specyfikacja sprzętu

Pod Wasze obciążenie, z zapasem na wzrost.

Działający model lokalny

Z punktem API, uruchomiony na warsztacie.

Wyniki pomiaru

Przepustowość i jakość na Waszych zadaniach.

Decyzja na piśmie

Co lokalnie, co w chmurze i dlaczego.

Co przygotować

Im bliżej Waszej codziennej pracy, tym więcej zostaje po szkoleniu.

Opis obciążenia

Ilu użytkowników, jakie zadania i jakie dokumenty.

Serwer z GPU

Jeśli go macie. Jeśli nie, na rozmowie ustalamy, na czym ćwiczymy.

Wymagania dla danych

Przepisy i zasady branżowe, które dotyczą Waszych danych.

Jak dopasowujemy program

  1. RozmowaUstalamy, kto bierze udział, na jakich dokumentach ćwiczymy i czego unikamy.
  2. ProgramUkładamy program pod Waszą firmę i przesyłamy go do akceptacji.
  3. SzkolenieU Was albo online, na Waszych przykładach. Robimy je w ciągu dwóch tygodni od zlecenia.
  4. Po szkoleniuPrzez 30 dni odpowiadamy na pytania uczestników.

Po szkoleniu zostaje

Dokumentacja pod art. 4 AI Act

Szkolenie z datą, zakresem i listą uczestników, do Waszego rejestru szkoleń.

Materiały z Waszych przykładów

Program, ćwiczenia i polecenia zostają w firmie.

30 dni pytań

Uczestnicy piszą do nas po szkoleniu. Z portalem redAi opiekun zostaje z Wami na stałe.

Model zbudowany pod Waszą firmę

Model uczony na Waszych dokumentach i pod Wasze procesy, który może działać w całości na serwerze u Was.

Własne modele AI

Następny krok

Umówcie rozmowę o tym szkoleniu

Program układamy pod Waszą firmę i Wasze dokumenty. Szkolenie robimy w ciągu dwóch tygodni od zlecenia.

  • Program ułożony pod Wasze role i dokumenty
  • Szkolenie u Was albo online, w ciągu dwóch tygodni od zlecenia
  • Dokumentacja szkolenia pod art. 4 AI Act
  • Przez 30 dni odpowiadamy na pytania uczestników

Wolicie od razu? +48 691 10 20 10 m@redai.pl

Ile osób w firmie?
Dla asystentów i agentów AI: wersja Markdown tej strony