Integracje / BigQuery
Dokumenty i dane firmy
Integracja AI: BigQuery
Podłączamy BigQuery przez REST API i Jobs API, uwierzytelniając się kontem serwisowym z rolami Data Viewer i Job User w Google Cloud IAM. Asystent tłumaczy pytania po polsku na SQL, odpytuje wskazane datasety i tabele, monitoruje INFORMATION_SCHEMA.JOBS_BY_PROJECT i wysyła alert o nieudanych ładowaniach.
Po prezentacji do 2 tygodni testów, z dostępem tego samego dnia. Płacicie dopiero po decyzji.
W skrócie
Jak asystent AI łączy się z systemem BigQuery?
Łączymy się z BigQuery przez BigQuery REST API i Jobs API. Uwierzytelnienie odbywa się przez konto serwisowe (Service Account) z kluczem w formacie JSON.
- Na start potrzebujemy
- Projekt Google Cloud z dostępem do IAM (rola Owner albo Editor na projekcie)
- Czego asystent nie robi
- Asystent nie modyfikuje, nie usuwa ani nie dodaje danych w BigQuery: działa wyłącznie przez SELECT.
- Gdzie są dane
- Na Waszym serwerze. Zaczynamy od odczytu, zapis włączacie sami.
Dane z BigQuery w czacie i we własnym module
Pracujecie na dwa sposoby. W czacie pytacie o cokolwiek z programu i dostajecie odpowiedź na Waszych danych. Do rzeczy, które wracają co dzień, budujemy w portalu osobne narzędzie: BigQuery: Monitoring zadań ETL. Moduł wyświetla wszystkie zadania ETL uruchomione przez BigQuery w bieżącym cyklu, pobierając dane z INFORMATION_SCHEMA.JOBS_BY_PROJECT. Zespół IT widzi od razu, które ładowania zakończyły się błędem, a handlowcy i menedżerowie wiedzą, czy tabele raportowe są aktualne.
- Wyświetla status każdego zadania ETL: DONE, RUNNING, PENDING, ERROR
- Pokazuje dataset i tabelę docelową dla każdego zadania BigQuery
- Wyciąga treść komunikatu error_result dla zadań zakończonych błędem
- Filtruje zadania po statusie i datasecie w bieżącym cyklu monitorowania
- Otwiera kartę zadania z historią uruchomień i sugestią naprawy jednym kliknięciem
Pytanie w czacie
Asystent przetłumaczył pytanie handlowca na SQL, odpytał BigQuery przez Jobs API i zwrócił gotową listę: bez czekania na analityka, bez logowania do Google Cloud.
Sprawdź w BigQuery, którzy klienci hurtowi nie składali zamówień od ponad 60 dni. Chcę listę z regionem i informacją, kiedy ostatnio kupowali.
Karta w narzędziu
Karta pokazuje pełny kontekst błędu: historię poprzednich uruchomień, komunikat z BigQuery i ostatni znany stan tabeli, żeby specjalista IT wiedział dokładnie, co naprawić.
Moduł zastępuje ręczne sprawdzanie konsoli Google Cloud: jeden ekran pokazuje stan wszystkich ładowań naraz, a kliknięcie w błąd otwiera pełny komunikat z BigQuery.
Ekrany na danych przykładowych. Narzędzie dla Waszej firmy układamy pod Wasz sposób pracy: inne kolumny, inne progi, inne powiadomienia.
Co podłączamy
Zaczynamy od odczytu danych. Zapis i akcje w systemie BigQuery włączamy dopiero wtedy, gdy sami tego chcecie.
CzytamyData zamówienia, kanał sprzedaży (Allegro, Sklep, Hurt, Amazon), kwota netto, region, status realizacji
AsystentLiczy sprzedaż w wybranym kanale i okresie, porównuje tygodnie, miesiące i regiony na podstawie danych z tabeli
CzytamyZwroty powiązane z produktami przez klucz obcy, kody i nazwy produktów, daty i kwoty zwrotów
AsystentWskazuje produkty z najwyższym odsetkiem zwrotów w zadanym okresie, łącząc tabele ZWROTY i PRODUKTY
CzytamyID klienta hurtowego, region, data ostatniego zamówienia, historia zakupów bez danych osobowych
AsystentIdentyfikuje klientów hurtowych, którzy nie złożyli zamówienia od ponad 60 dni, i wypisuje ich listę
CzytamyLiczba paczek wychodzących z poszczególnych magazynów, daty wysyłki, identyfikatory lokalizacji
AsystentPodaje liczbę paczek wydanych z danego magazynu w wybranym tygodniu lub innym przedziale czasowym
CzytamyStan zadań (DONE, RUNNING, PENDING), pole error_result, tabela docelowa, czas zakończenia zadania
AsystentWykrywa zadania zakończone błędem z ostatnich 24 godzin, raportuje tabelę docelową i treść komunikatu błędu
CzytamyZagregowane i odfiltrowane dane biznesowe, bez kolumn z danymi osobowymi klientów i pracowników
AsystentOdpytuje gotowe agregaty i nazwy zamiast ID, co zmniejsza ryzyko błędnego SQL przy niejednoznacznych strukturach
O co pytają w praktyce
Po polsku, jak koledze z pracy. Asystent odpowiada na danych z Waszego programu, a nie z ogólnej wiedzy.
- „Ile sprzedaliśmy na Allegro w poprzednim tygodniu i czy to więcej niż tydzień wcześniej?”
- „Które produkty miały najwyższy zwrot w tym miesiącu?”
- „Którzy klienci hurtowi nie złożyli zamówienia od ponad 60 dni?”
- „Czy nocne ładowanie z ERP zakończyło się sukcesem i co konkretnie poszło nie tak?”
Co się zmienia
Handlowiec i menedżer dostają odpowiedzi na rutynowe pytania o dane w kilkadziesiąt sekund, bez angażowania analityka.
Asystent działa na Waszym serwerze, na Waszych uprawnieniach. Każdy odczyt i każda akcja zostawiają ślad w logu. Program zostaje tam, gdzie jest, razem z historią danych i nawykami zespołu.
O programie
BigQuery to hurtownia danych Google Cloud. Firmy e-commerce, dystrybutorzy i producenci gromadzą w niej dane z wielu systemów operacyjnych jednocześnie: zamówienia z platform sprzedażowych, faktury z ERP, stany magazynowe z WMS i dane logistyczne z TMS. Dane spływają według harmonogramów, zwykle co noc, a stamtąd analitycy budują raporty dla zarządu i menedżerów.
Dane w BigQuery leżą w projektach podzielonych na datasety i tabele. W codziennej pracy analitycy piszą zapytania SQL, budują widoki i ładują dane z systemów źródłowych. BigQuery ma też warstwę systemową INFORMATION_SCHEMA z widokami opisującymi zadania, statusy ładowań i historię operacji na bazie. Rutynowe pytania o dane wymagały do tej pory za każdym razem pracy analityka.
Gdzie to działa najlepiej
Handlowiec
Poniedziałkowy poranek. Handlowiec chce wiedzieć, ile sprzedali na Allegro w poprzednim tygodniu i czy to więcej niż tydzień wcześniej. Do tej pory wysyłał pytanie do analityka i czekał na odpowiedź.
Z asystentem: Asystent tłumaczy pytanie na SQL, odpytuje tabelę zamówień przez Jobs API i w kilkadziesiąt sekund zwraca wynik z liczbami prosto z BigQuery. Handlowiec nie czeka na analityka.
Specjalista IT
Automat uruchamia się o 7:00 i sprawdza INFORMATION_SCHEMA.JOBS_BY_PROJECT za ostatnie 24 godziny. Nocne ładowanie danych z ERP zakończyło się błędem na jednej tabeli.
Z asystentem: Asystent wysyła alert z nazwą tabeli, komunikatem błędu i datą ostatniego poprawnego ładowania. Dział IT reaguje, zanim zarząd zapyta o stare dane w raporcie.
Menedżer sprzedaży
Koniec kwartału. Menedżer pyta, jakie były trzy najgorsze dni sprzedażowe w ostatnim kwartale i czy region Śląsk wypadł lepiej niż w poprzednim kwartale.
Z asystentem: Asystent generuje dwa zapytania SQL, łączy wyniki i odpowiada w języku polskim z konkretnymi datami i kwotami z tabeli sprzedaży w BigQuery.
Jak się łączymy
Łączymy się z BigQuery przez BigQuery REST API i Jobs API. Uwierzytelnienie odbywa się przez konto serwisowe (Service Account) z kluczem w formacie JSON. Kontu nadajemy dwie role w Google Cloud IAM: BigQuery Data Viewer na wybranym datasecie i BigQuery Job User do uruchamiania zapytań. Uprawnienia nadajemy na poziomie datasetu, nie całego projektu. AI pracuje wyłącznie w trybie odczytu.
Portal z plikami, bazami danych i historią rozmów stoi na serwerze klienta. Do modelu AI trafia polecenie i fragmenty danych potrzebne do odpowiedzi, bez trenowania cudzych modeli na danych klienta. Schemat tabel, nazwy kolumn i przykładowe wartości dla pól słownikowych przekazujemy AI jako kontekst. Bez tego kontekstu AI nie zna struktury Waszej hurtowni.
Czego potrzebujemy od Was
- Projekt Google Cloud z dostępem do IAM (rola Owner albo Editor na projekcie)
- Lista datasetów i tabel, które AI ma widzieć, z nazwami kolumn i typami danych
- Przykładowe wartości dla pól słownikowych w tabelach (np. status, kanał sprzedaży)
- Uprawnienie do założenia konta serwisowego (Service Account) w Google Cloud Console
- Osoba techniczna po stronie firmy do weryfikacji pierwszych zapytań SQL i struktury widoków
Czego asystent nie robi
- Asystent nie modyfikuje, nie usuwa ani nie dodaje danych w BigQuery: działa wyłącznie przez SELECT.
- Asystent nie zna reguł biznesowych specyficznych dla firmy, jeśli nie opisano ich w widokach SQL lub kontekście przekazanym przy konfiguracji.
- Asystent nie odpowiada na pytania o datasety i tabele, do których nie nadano dostępu w IAM.
- Asystent nie zastępuje analityka przy złożonych analizach, które wymagają znajomości wewnętrznych procesów i definicji firmy.
Częste pytania
Ile czasu zajmuje pierwsze podłączenie AI do naszego BigQuery?
Samo nadanie uprawnień kontu serwisowemu i wskazanie datasetów to kwestia godzin. Więcej czasu zabiera zebranie listy pytań biznesowych i przygotowanie kontekstu tabel, bo od tego zależy jakość odpowiedzi. Zazwyczaj pierwsze działające zapytania są gotowe w ciągu jednego dnia roboczego.
Co się stanie, jeśli zmienimy strukturę tabeli w BigQuery?
Jeśli zmienią się nazwy kolumn albo dojdą nowe pola, trzeba zaktualizować schemat przekazany AI jako kontekst. Bez tego AI może generować błędne zapytania SQL. Dlatego utrzymuje się widoki SQL: zmiana struktury tabeli źródłowej wymaga tylko aktualizacji widoku, a AI dalej działa bez modyfikacji po swojej stronie.
Czy kilka osób z firmy może jednocześnie zadawać pytania do BigQuery?
Tak. Każde pytanie generuje osobne zapytanie SQL wysyłane przez Jobs API. BigQuery obsługuje wiele równoległych zadań. Jedynym ograniczeniem są limity projektu Google Cloud, które firma ustawia samodzielnie w konsoli IAM.
Skąd będziemy wiedzieć, do jakich danych AI ma dostęp?
Dostęp wynika bezpośrednio z uprawnień nadanych kontu serwisowemu w Google Cloud IAM. Możecie sprawdzić je w konsoli Google Cloud w sekcji IAM w dowolnym momencie. AI widzi tylko te datasety i tabele, które wprost wskazaliście przy konfiguracji.
Jak zaczynamy
- Bezpłatna prezentacja. Mówicie, na czym pracujecie i co Was korkuje. Mówimy wprost, czy da się to spiąć, a jeśli nie ma czego automatyzować, też to powiemy.
- Do 2 tygodni testów. Dostęp do portalu tego samego dnia, podłączenie w trybie odczytu, sprawdzacie na własnych danych.
- Rozszerzanie. Kolejne moduły i akcje dokładamy, gdy zespół ufa temu, co dostaje. W abonamencie jest wdrożenie, integracja, szkolenie i opieka.
Inne programy: dokumenty i dane firmy
BigQuery jest znakiem towarowym swojego właściciela. Nie jesteśmy z nim powiązani ani przez niego autoryzowani. Nazwy używamy wyłącznie po to, żeby wskazać, z jakim programem integrujemy asystenta.