# Infrastruktura AI w firmie: modele lokalne, GPU, serwer

> Szkolenia redAi: Infrastruktura AI: modele lokalne i GPU. Chmura, własny serwer czy hybryda. Dobór GPU do modelu, Ollama i vLLM, modele otwarte, w tym Bielik, i wyszukiwanie w dokumentach firmy. 2 dni, 3 do 8 osób.

Dwa dni dla osób, które decydują o sprzęcie i będą go utrzymywać. Pierwszy dzień to decyzje i architektura, drugi to warsztat na serwerze z GPU.

- Czas: 2 dni
- Grupa: 3 do 8 osób
- Forma: U Was albo online
- Wymagania: Podstawy Linuksa

## Dla kogo

Wymagamy podstaw administracji Linuksem. Bez tego lepiej zacząć od szkolenia dla administratora portalu.

- **CTO i kierownicy IT**: Którzy decydują, co działa lokalnie, a co w chmurze.
- **Administratorzy serwerów**: Którzy uruchomią model i będą go utrzymywać.
- **Osoby decydujące o zakupie sprzętu**: Które muszą wiedzieć, jaka karta wystarczy pod Wasze obciążenie.

## Program dwóch dni

Godzina po godzinie. Bloki oznaczone jako warsztat robicie na Waszych dokumentach.

### Dzień 1: decyzje i architektura

- 9:00 **Chmura, serwer czy hybryda**: Kryteria: dane, przepisy, obciążenie i zespół, który to utrzyma.
- 10:30 **GPU i pamięć pod model**: Ile pamięci potrzebuje model, kwantyzacja, ilu użytkowników obsłuży jedna karta.
- 12:30 **Modele otwarte**: Do czego wystarczą modele otwarte, w tym polski Bielik, a gdzie potrzebny jest model z czołówki.
- 14:00 **Wyszukiwanie w dokumentach firmy**: RAG z uprawnieniami użytkowników, żeby każdy widział tylko swoje.
- 15:30 **Wasze obciążenie**: Ilu użytkowników, jakie zadania i jaki sprzęt. (warsztat)

### Dzień 2: warsztat na serwerze

- 9:00 **Ollama do testów**: Pierwszy model lokalny uruchomiony i sprawdzony. (warsztat)
- 10:30 **vLLM dla zespołu**: Obsługa wielu użytkowników naraz i punkt API zgodny z popularnymi bibliotekami. (warsztat)
- 12:30 **Pomiar**: Przepustowość, czas odpowiedzi i jakość na Waszych zadaniach. (warsztat)
- 14:00 **Utrzymanie**: Monitoring, aktualizacje, kopie i plan awaryjny.
- 15:30 **Decyzja**: Co lokalnie, co w chmurze, i specyfikacja sprzętu.

## Z czym wychodzicie

- **Specyfikacja sprzętu**: Pod Wasze obciążenie, z zapasem na wzrost.
- **Działający model lokalny**: Z punktem API, uruchomiony na warsztacie.
- **Wyniki pomiaru**: Przepustowość i jakość na Waszych zadaniach.
- **Decyzja na piśmie**: Co lokalnie, co w chmurze i dlaczego.

## Co przygotować

Im bliżej Waszej codziennej pracy, tym więcej zostaje po szkoleniu.

- **Opis obciążenia**: Ilu użytkowników, jakie zadania i jakie dokumenty.
- **Serwer z GPU**: Jeśli go macie. Jeśli nie, na rozmowie ustalamy, na czym ćwiczymy.
- **Wymagania dla danych**: Przepisy i zasady branżowe, które dotyczą Waszych danych.

## Jak dopasowujemy program

1. **Rozmowa**: Ustalamy, kto bierze udział, na jakich dokumentach ćwiczymy i czego unikamy.
2. **Program**: Układamy program pod Waszą firmę i przesyłamy go do akceptacji.
3. **Szkolenie**: U Was albo online, na Waszych przykładach. Robimy je w ciągu dwóch tygodni od zlecenia.
4. **Po szkoleniu**: Przez 30 dni odpowiadamy na pytania uczestników.

## Po szkoleniu zostaje

- **Dokumentacja pod art. 4 AI Act**: Szkolenie z datą, zakresem i listą uczestników, do Waszego rejestru szkoleń.
- **Materiały z Waszych przykładów**: Program, ćwiczenia i polecenia zostają w firmie.
- **30 dni pytań**: Uczestnicy piszą do nas po szkoleniu. Z portalem redAi opiekun zostaje z Wami na stałe.

## Model zbudowany pod Waszą firmę

Model uczony na Waszych dokumentach i pod Wasze procesy, który może działać w całości na serwerze u Was.

[Własne modele AI](/rozwiazania/modele-ai)

## Pasuje do tego szkolenia

- **Claude Code i Codex dla programistów** (IT i programiści): Praca z agentem w repozytorium, hooki, MCP, subagenci i skille, AI w CI/CD i automatyczny przegląd kodu. 2 dni, 4 do 10 osób, u Was albo online. https://redai.pl/szkolenia/programisci
- **Bezpieczeństwo AI w firmie** (Bezpieczeństwo): Ukryte polecenia w mailach i PDF-ach, uprawnienia agentów, dane wrażliwe i hasła do systemów. Na bazie OWASP Top 10 dla modeli językowych. 1 dzień, 5 do 15 osób, u Was albo online. https://redai.pl/szkolenia/bezpieczenstwo
- **Koszty AI pod kontrolą** (Zarząd i IT): Skąd bierze się rachunek za AI, jak dobrać model do zadania i jak liczyć koszt na wynik, a nie na zapytanie. Ścieżka dla zarządu i dla IT. 1 dzień, 4 do 12 osób, u Was albo online. https://redai.pl/szkolenia/koszty

## Kontakt

- Prezentacja i do dwóch tygodni testów, dostęp tego samego dnia: https://redai.pl/spotkanie
- Telefon: +48 691 10 20 10
- Oferta: https://redai.pl/oferta.md
- Strona dla ludzi: https://redai.pl/szkolenia/infrastruktura