Asystent wiedzy firmowej to czat, który odpowiada na pytania pracowników na podstawie Twoich procedur, regulaminów, instrukcji i dokumentacji, a przy każdej odpowiedzi pokazuje źródło. Technicznie nazywa się to RAG (Retrieval-Augmented Generation). Jeśli model działa na Twoim serwerze, dokumenty nie trafiają do publicznej chmury AI.
Ten artykuł pokazuje temat od strony biznesowej: jaki problem rozwiązuje asystent, jak działa w prostych słowach, jak pilnuje uprawnień, jakiego sprzętu potrzebuje i na czym najczęściej wykładają się wdrożenia.
Problem: wiedza rozproszona po dyskach, skrzynkach i głowach
W większości firm wiedza leży w kilku miejscach naraz: na dysku sieciowym, w wiki, w systemie zgłoszeń, w mailach i w głowach kilku doświadczonych osób. Skutki widać codziennie:
- nowy pracownik przez pierwsze tygodnie pyta kolegów o rzeczy, które gdzieś są opisane,
- eksperci tracą czas na odpowiadanie wciąż na te same pytania,
- ludzie korzystają z nieaktualnej wersji procedury, bo to ją znaleźli jako pierwszą,
- wyszukiwarka plików znajduje dokumenty po słowach, a nie po sensie pytania.
Asystent wiedzy firmowej nie zastąpi dobrze prowadzonej dokumentacji, ale sprawia, że da się z niej korzystać szybko: pracownik pyta zwykłym językiem, a dostaje konkretną odpowiedź z odnośnikiem do źródła.
Jak działa asystent wiedzy firmowej (RAG) w prostych słowach
Model językowy nie „uczy się” Twoich dokumentów na pamięć. Zamiast tego przy każdym pytaniu dostaje do przeczytania kilka najtrafniejszych fragmentów. Proces wygląda tak:
- Przygotowanie: dokumenty są dzielone na fragmenty, a każdy fragment jest zamieniany na wektor, czyli liczbowy opis jego znaczenia. Wektory trafiają do bazy wektorowej.
- Wyszukanie: pytanie pracownika też jest zamieniane na wektor, a system wyszukuje fragmenty o najbardziej zbliżonym znaczeniu.
- Odpowiedź: model językowy dostaje pytanie i znalezione fragmenty z poleceniem „odpowiedz tylko na podstawie tych materiałów i podaj źródła”.
Dzięki temu nie trzeba trenować modelu na firmowych danych, a po zmianie dokumentu wystarczy go ponownie zaindeksować. Szczegóły techniczne, takie jak dobór bazy wektorowej, dzielenie dokumentów i optymalizacja wyszukiwania, opisujemy w artykule o wektorowych bazach danych w zastosowaniach RAG.
Uprawnienia: asystent nie może wiedzieć więcej niż pytający
To najważniejszy element i najczęściej pomijany w prototypach. Jeśli do bazy trafią umowy zarządu, dane kadrowe i procedury magazynu, a asystent nie sprawdza uprawnień, każdy pracownik może o nie zapytać. Dobre wdrożenie:
- przy każdym fragmencie przechowuje informację, kto ma do niego dostęp, przeniesioną z systemu źródłowego (dysk, wiki, system dokumentów),
- filtruje wyniki wyszukiwania według uprawnień zalogowanego użytkownika, zanim trafią do modelu,
- loguje pytania i wskazane źródła, żeby dało się przeprowadzić audyt,
- synchronizuje uprawnienia regularnie, żeby odebranie dostępu działało też w asystencie.
Drugi aspekt to miejsce przetwarzania. Przy publicznych usługach AI fragmenty dokumentów wychodzą poza firmę przy każdym pytaniu. Model na własnym serwerze w polskiej serwerowni usuwa ten problem. Szerzej piszemy o tym w artykule jak uniknąć wycieku danych do publicznych AI.
Jaki sprzęt jest potrzebny
Asystent RAG nie wymaga największych modeli, bo odpowiedź opiera się na dostarczonych fragmentach, a nie na wiedzy modelu. Dobrze sprawdzają się modele 20–120B. Orientacyjnie:
| Skala | Przykładowe modele | Sprzęt |
|---|---|---|
| Pilot w jednym dziale | Qwen3.8-27B, gpt-oss-20b, Gemma 4 31B (4-bit) | 1 GPU 24–48 GB, np. nasze pakiety z kartą A10, A30 lub A40 |
| Prototyp z większym modelem, mały zespół | gpt-oss-120b, Mistral Small 4 (4-bit, ok. 67–68 GB) | DGX Spark (128 GB) lub 1× RTX PRO 6000 96 GB |
| Cała firma, wielu użytkowników naraz | jak wyżej, z zapasem pamięci na kontekst | serwer z 2 kartami GPU, np. 2× RTX PRO 6000, i vLLM |
Model do tworzenia wektorów (embeddingów) i baza wektorowa są małe w porównaniu z modelem językowym i zwykle działają na tym samym serwerze. DGX Spark to dobry wybór na prototyp i dla małego zespołu, ale przy wielu równoczesnych użytkownikach jego przepustowość pamięci staje się ograniczeniem. Więcej piszemy w artykule NVIDIA DGX Spark jako usługa. Jak policzyć pamięć dla konkretnego modelu i liczby użytkowników, wyjaśniamy w artykule Ile VRAM potrzebuje model LLM, a wybór modelu ułatwi porównanie modeli open source.
Wdrożenie krok po kroku
- Wybierz jeden obszar. Na przykład procedury HR, dokumentację techniczną produktu albo bazę wiedzy działu obsługi klienta. Mniej dokumentów, ale dobrze utrzymanych.
- Zbierz 30–50 prawdziwych pytań od pracowników razem z poprawnymi odpowiedziami. To Twój zestaw testowy.
- Uporządkuj źródła. Usuń duplikaty i stare wersje, oznacz właściciela każdego dokumentu.
- Uruchom pilota na jednym GPU lub DGX Spark z mapowaniem uprawnień od pierwszego dnia.
- Zmierz jakość na zestawie testowym i zbieraj oceny od użytkowników (przycisk „pomocne / niepomocne”).
- Rozszerzaj na kolejne działy dopiero wtedy, gdy pilot daje trafne odpowiedzi, a pracownicy z niego korzystają.
Pułapki: nieaktualne dokumenty i halucynacje
Nieaktualne dokumenty
Asystent jest tak dobry, jak dokumenty, które dostaje. Jeśli w bazie leżą trzy wersje procedury, odpowiedź może opierać się na najstarszej. Rozwiązanie jest organizacyjne, nie techniczne: każdy dokument ma właściciela i datę przeglądu, indeksowanie działa automatycznie po każdej zmianie, a archiwalne wersje są wyłączone z wyszukiwania.
Halucynacje
Model może odpowiedzieć przekonująco, ale niezgodnie z dokumentem albo „dopowiedzieć” coś, czego w źródłach nie ma. Trzy praktyki ograniczają ten problem: cytowanie źródeł przy każdej odpowiedzi (z odnośnikiem do dokumentu i fragmentu), polecenie odpowiadania „nie wiem”, gdy w znalezionych fragmentach nie ma odpowiedzi, oraz regularne testy na zestawie pytań. Cytaty mają też drugi efekt: pracownik w kilka sekund sprawdza, czy odpowiedź się zgadza, i z czasem bardziej ufa narzędziu.
FAQ: najczęściej zadawane pytania
Co to jest RAG w sztucznej inteligencji?
RAG (Retrieval-Augmented Generation) to sposób działania, w którym model językowy przed odpowiedzią wyszukuje pasujące fragmenty w Twoich dokumentach i odpowiada na ich podstawie. Dzięki temu nie trzeba trenować modelu na danych firmy.
Czy asystent AI może korzystać z firmowych dokumentów bez wysyłania ich do chmury?
Tak. Model językowy, baza wektorowa i dokumenty mogą działać na Twoim serwerze lub na serwerze GPU w polskiej serwerowni, bez połączenia z publicznymi usługami AI.
Jak zabezpieczyć dostęp do poufnych dokumentów w asystencie AI?
Przenieś uprawnienia z systemu źródłowego do bazy wektorowej i filtruj wyniki według zalogowanego użytkownika, zanim trafią do modelu. Do tego logowanie pytań i regularna synchronizacja uprawnień.
Ile kosztuje wdrożenie asystenta wiedzy firmowej?
Zależy od liczby użytkowników i dokumentów. Pilot w jednym dziale zmieści się na jednym GPU z naszych gotowych pakietów: wersje z kartą 24–48 GB kosztują od 2 999 do 5 499 zł netto miesięcznie. Do tego dochodzi praca nad przygotowaniem dokumentów i integracją. Większe konfiguracje i DGX Spark wyceniamy indywidualnie.
Czy model AI trzeba trenować na danych firmy?
Zwykle nie. W RAG model czyta znalezione fragmenty przy każdym pytaniu. Dostrajanie ma sens dopiero przy specyficznym stylu odpowiedzi lub bardzo branżowym słownictwie.
Chcesz uruchomić pilota asystenta wiedzy na własnych dokumentach? Dobierzemy model i sprzęt, od jednego GPU po DGX Spark i serwery GPU w naszej serwerowni Tier III w Polsce, oraz zajmiemy się administracją 24/7. Napisz do nas.