Wybór GPU do LLM w 2026 roku sprowadza się do trzech pytań: ile pamięci potrzebuje Twój model, ilu użytkowników będzie z niego korzystać jednocześnie i czy model będziesz tylko uruchamiać, czy także trenować. Porównujemy NVIDIA HGX B300, HGX B200, H200, RTX PRO 6000 Blackwell Server Edition i Intel Gaudi 3 – bez marketingowych wykresów, za to z tym, co ma znaczenie przy wdrożeniu.
Piszemy z perspektywy firmy, która te systemy dostarcza i utrzymuje. Jako partner Supermicro i NVIDIA instalujemy serwery GPU w naszej serwerowni Tier III w Polsce i udostępniamy je jako usługę albo w kolokacji. Dlatego skupiamy się na pamięci, platformie, zasilaniu i chłodzeniu, a nie na szczytowych FLOPS-ach z kart katalogowych. Dane sprzętowe są aktualne na listopad 2026.
Krótka odpowiedź: jaki GPU do LLM wybrać
Jeśli potrzebujesz punktu wyjścia przed lekturą całości:
- RTX PRO 6000 Blackwell Server Edition (96 GB) – najlepszy stosunek ceny do możliwości w inferencji, RAG i fine-tuningu średnich modeli. Od 1 do 8 kart w jednym serwerze.
- HGX B200 (8 × 180 GB) – produkcyjna inferencja dużych modeli przy wielu równoległych użytkownikach oraz trening.
- HGX B300 (8 × 288 GB) – największe modele (1T+ parametrów), trening, najwyższa gęstość obliczeń. Wymaga przemyślanego zasilania i chłodzenia.
- H200 (141 GB) – poprzednia generacja (Hopper), nadal szeroko używana. Rozsądna, gdy Twoje oprogramowanie i procesy są pod nią sprawdzone.
- Intel Gaudi 3 (8 × 128 GB) – ekonomiczna alternatywa do treningu i inferencji, jeśli Twój stos opiera się na PyTorch i vLLM.
- DGX Spark (128 GB) – prototypy, R&D, mały zespół. Nie do produkcji z dużą liczbą równoczesnych zapytań.
Porównanie GPU do LLM: pamięć, platforma, zastosowanie
Najważniejszy parametr przy LLM to pamięć: jej pojemność decyduje, czy model w ogóle się zmieści, a przepustowość – jak szybko będzie generował tokeny.
| Akcelerator | Pamięć na GPU | Typ pamięci | Platforma / forma | Najlepsze zastosowanie |
|---|---|---|---|---|
| NVIDIA HGX B300 (Blackwell Ultra) | 288 GB (ok. 2,3 TB na system 8 GPU) | HBM3e | 8 GPU, NVLink 1,8 TB/s, do 1 100 W na GPU; Supermicro 8U (powietrze), 4U i 2-OU OCP (ciecz); ConnectX-8 800 Gb/s | Trening, modele 1T+, inferencja o bardzo dużej współbieżności |
| NVIDIA HGX B200 | 180 GB (1 440 GB na system) | HBM3e | 8 GPU, NVLink 1,8 TB/s; Supermicro 8U/10U (powietrze) lub 4U (ciecz) | Produkcyjna inferencja dużych modeli, trening i fine-tuning |
| NVIDIA H200 | 141 GB | HBM3e | Generacja Hopper, systemy 8-GPU | Istniejące środowiska, inferencja modeli 70B–400B |
| NVIDIA RTX PRO 6000 Blackwell Server Edition | 96 GB | GDDR7 ECC, ok. 1,6 TB/s | Karta PCIe, do 600 W; Supermicro 5U z maks. 8 kartami, system MGX z 4 GPU | Inferencja, RAG, fine-tuning średnich modeli, środowiska wielodostępne |
| Intel Gaudi 3 | 128 GB (1 024 GB na system) | HBM2e | 8 akceleratorów OAM (HL-325L – powietrze, HL-335 – ciecz), 6 portów 800 GbE na płycie; Supermicro SYS-822GA-NGR3 | Ekonomiczny trening i inferencja na PyTorch i vLLM |
| NVIDIA DGX Spark (dla porównania) | 128 GB współdzielone z CPU | LPDDR5X, 273 GB/s | Urządzenie 150 × 150 × 50,5 mm, zasilacz 240 W | Prototypy, fine-tuning do 70B, prywatna inferencja w małym zespole |
Celowo nie podajemy przepustowości pamięci ani wydajności obliczeniowej B200 i B300. Zależą od konfiguracji i trybu precyzji, a porównywanie szczytowych liczb z różnych kart katalogowych częściej myli, niż pomaga. Jakościowo: pamięć HBM3e w systemach HGX ma wyraźnie wyższą przepustowość niż GDDR7 w RTX PRO 6000, a GPU w węźle HGX wymieniają dane przez NVLink. Karty RTX PRO 6000 komunikują się przez PCIe, co przy inferencji zwykle nie przeszkadza, ale przy treningu dużych modeli na wielu GPU już tak.
Inferencja a trening – inne wąskie gardła
Inferencja: pojemność i przepustowość pamięci
Przy generowaniu każdego tokenu GPU musi odczytać z pamięci wagi modelu (w modelach gęstych wszystkie, w MoE – aktywne). Dlatego szybkość generowania odpowiedzi dla pojedynczego użytkownika ogranicza głównie przepustowość pamięci, a nie moc obliczeniowa. Pojemność decyduje z kolei, czy obok wag zmieści się KV cache dla wielu równoległych rozmów. Silniki takie jak vLLM grupują zapytania (continuous batching), więc lepiej wykorzystują GPU przy wielu użytkownikach – ale tylko wtedy, gdy jest wolna pamięć.
W praktyce: do inferencji modeli do ok. 120B parametrów serwer z kilkoma RTX PRO 6000 daje dużo możliwości za rozsądne pieniądze. Systemy HGX z HBM opłacają się wtedy, gdy model jest bardzo duży albo obsługujesz wielu użytkowników jednocześnie i liczy się czas odpowiedzi.
Trening i fine-tuning: obliczenia, interkonekt, pamięć
Trening przechowuje w pamięci nie tylko wagi, ale też gradienty, stany optymalizatora i aktywacje – to kilkukrotnie więcej niż przy samej inferencji. GPU stale wymieniają między sobą dane, dlatego liczy się NVLink wewnątrz węzła (1,8 TB/s w HGX B200 i B300) i sieć między węzłami (ConnectX-8 800 Gb/s w B300, sześć portów 800 GbE wbudowanych w płytę Gaudi 3). Fine-tuning metodą LoRA/QLoRA modeli średniej wielkości spokojnie zrobisz na RTX PRO 6000. Pełny trening dużych modeli to zadanie dla HGX lub Gaudi 3.
Który GPU do jakiego rozmiaru modelu
Wagi modelu zajmują w przybliżeniu: liczba parametrów × liczba bajtów na parametr (FP8 – 1 bajt, 4-bit – ok. 0,5 bajta). Do tego dochodzi KV cache i 10–20% narzutu. Dokładną metodę z przykładami opisujemy w artykule ile VRAM potrzebuje model językowy. Poniższa tabela to orientacyjny dobór na podstawie modeli dostępnych w listopadzie 2026 – rynek zmienia się co miesiąc.
| Rozmiar modelu (przykłady) | Wagi: FP8 / 4-bit (ok.) | Sensowna konfiguracja |
|---|---|---|
| 7–12B (Bielik 11B, PLLuM-12B, Gemma 4 12B) | 7–12 GB / 4–6 GB | 1 GPU 24–48 GB; 1× RTX PRO 6000 przy wielu użytkownikach |
| 24–32B (Qwen3.8-27B, Gemma 4 31B, Devstral Small 2) | 24–32 GB / 12–16 GB | 1× RTX PRO 6000; DGX Spark |
| 70B (Llama-PLLuM-70B) | 70 GB / 35 GB | 1–2× RTX PRO 6000; 1× H200 lub B200 |
| ok. 120B, także MoE (gpt-oss-120b, Mistral Small 4, Devstral 2) | 117–125 GB / 59–63 GB | 1× RTX PRO 6000 (4-bit), 2× RTX PRO 6000 (FP8); DGX Spark (4-bit) |
| ok. 400B (Llama 4 Maverick) | 400 GB / 200 GB | 4× RTX PRO 6000 (4-bit), 8× RTX PRO 6000 (FP8); HGX H200/B200; klaster 2× DGX Spark do prototypów |
| 700B–1T (DeepSeek-V4.1-Flash, GLM-5.3, Mistral Large 4) | 750–1 000 GB / 375–500 GB | HGX B200 lub B300; w 4-bit także 8× RTX PRO 6000; klaster 4× DGX Spark (do ok. 700B) do prototypów |
| 1,6–2,8T (DeepSeek-V4-Pro, Qwen3.8-2.4T, Kimi K3) | 1 650–2 780 GB / 825–1 390 GB | HGX B300 (4-bit; dla ok. 1,65T także FP8); HGX B200 w 4-bit dla ok. 1,65T; większe modele w FP8 – kilka węzłów |
Pamiętaj, że w modelach MoE w pamięci muszą się zmieścić wszystkie parametry, choć przy każdym tokenie liczone są tylko aktywne. Model 1T-A52B potrzebuje pamięci jak model o bilionie parametrów, a liczy się szybciej niż model gęsty tej wielkości. Jeśli dopiero wybierasz model, zacznij od tego, do czego ma służyć, a sprzęt dobierz na końcu.
Kiedy wystarczy DGX Spark
NVIDIA DGX Spark to małe urządzenie z układem GB10 Grace Blackwell i 128 GB pamięci zunifikowanej. Według NVIDIA uruchamia inferencję modeli do 200B parametrów i fine-tuning do 70B. Dwa urządzenia połączone kablem QSFP dają 256 GB (modele do ok. 400B), a cztery z przełącznikiem 200 GbE – 512 GB (do ok. 700B).
Ograniczenie jest jedno, ale istotne: przepustowość pamięci 273 GB/s to ułamek tego, co oferuje HBM. Duże modele gęste generują więc tokeny wolno, a przy wielu równoczesnych użytkownikach różnica jest jeszcze większa. DGX Spark wystarczy do prototypowania, R&D, fine-tuningu i prywatnej inferencji dla małego zespołu. Do produkcji z wieloma użytkownikami lepszy będzie serwer z RTX PRO 6000 lub HGX. Szczegóły znajdziesz w artykułach NVIDIA DGX Spark jako usługa oraz DGX Spark, RTX PRO 6000 czy HGX B200 – drabina wyboru sprzętu.
Zasilanie i chłodzenie: koszt, o którym łatwo zapomnieć
Wybór GPU to także wybór serwerowni. Jeden GPU B300 pobiera do 1 100 W, więc system z ośmioma układami to 8,8 kW samych GPU – bez procesorów, pamięci, sieci i wentylatorów. Według Supermicro w szafie chłodzonej powietrzem zmieści się do 32 GPU B200, a w szafie chłodzonej cieczą do 96. Nawet serwer z ośmioma RTX PRO 6000 (do 600 W każda) to do 4,8 kW na same karty.
Takich systemów nie postawisz w biurowej serwerowni z klimatyzatorem komfortu. Potrzebne są dedykowane zasilanie, redundancja i – przy Blackwell w dużej gęstości – chłodzenie cieczą. Porównanie obu podejść opisujemy w artykule chłodzenie serwerów GPU: powietrze czy ciecz. Jeśli kupujesz własny sprzęt, możesz go umieścić w naszej kolokacji serwerów, gdzie oferujemy także szafy chłodzone cieczą.
Kupić, wynająć czy skolokować?
Masz trzy drogi i wszystkie realizujemy w jednym miejscu:
- GPU jako usługa – wynajmujesz serwer GPU (od VPS z dedykowanym GPU, przez bare metal do 8 GPU, po klastry wielowęzłowe) bez inwestycji w sprzęt.
- Zakup i kolokacja – dostarczamy serwer Supermicro z GPU NVIDIA lub Intel Gaudi 3, instalujemy go w naszej serwerowni i utrzymujemy.
- Gotowe pakiety dla mniejszych modeli – serwery GPU z DeepSeek od 899 zł netto miesięcznie (RTX A2000 12 GB) do 8 599 zł (2× A40, 96 GB). Uruchomisz na nich także Llamę, Qwen, Mistrala, Gemmę czy Bielika.
Systemy Blackwell (B200, B300, RTX PRO 6000) i Gaudi 3 wyceniamy indywidualnie, zależnie od konfiguracji i okresu umowy. W każdym wariancie możesz wybrać pełną administrację 24/7 albo dostęp root i samodzielne zarządzanie. Podstawy, od których zależy wydajność kart, wyjaśniamy w artykule o tym, czym jest moc obliczeniowa GPU.
FAQ: najczęściej zadawane pytania
Jaki GPU do LLM na start w firmie?
Dla większości firm rozsądnym startem jest jedna karta RTX PRO 6000 (96 GB) albo DGX Spark do prototypów. Na RTX PRO 6000 uruchomisz modele do ok. 30B w pełnej precyzji BF16, 70B w FP8 i modele ok. 120B w kwantyzacji 4-bit. Mniejsze modele (do ok. 12B) pracują też na tańszych GPU z 24–48 GB.
Czy NVIDIA B200 jest lepszy od H200?
B200 to nowsza generacja (Blackwell) z większą pamięcią: 180 GB HBM3e wobec 141 GB w H200. Zmieści więcej modelu i więcej KV cache na GPU. H200 nadal jest szeroko używany i dobrze wspierany przez oprogramowanie, więc może mieć sens, jeśli jest dostępny w korzystnej cenie albo masz już infrastrukturę Hopper.
Ile GPU potrzeba do modelu 70B?
W FP8 wagi modelu 70B zajmują ok. 70 GB, więc zmieszczą się na jednym RTX PRO 6000, ale zostanie mało miejsca na kontekst. Dla kilku–kilkunastu użytkowników bezpieczniej zaplanować dwie karty albo jeden GPU H200 lub B200. W kwantyzacji 4-bit (ok. 35 GB) jedna karta 96 GB daje duży zapas.
Czy RTX PRO 6000 nadaje się do produkcji?
Tak, to karta serwerowa z pamięcią ECC, przeznaczona do pracy ciągłej. Dobrze sprawdza się w produkcyjnej inferencji, RAG i środowiskach wielodostępnych. Słabszą stroną jest brak NVLink, więc do pełnego treningu dużych modeli lepsze będą systemy HGX.
Czy Intel Gaudi 3 obsługuje vLLM i PyTorch?
Tak. Gaudi 3 korzysta z pakietu Intel Gaudi Software, obsługuje PyTorch, a vLLM ma wsparcie dla Gaudi. Przed decyzją warto sprawdzić, czy konkretne modele i funkcje, z których korzystasz, są już wspierane na tej platformie.
Nie wiesz, który GPU wybrać do swojego modelu? Napisz, jaki model chcesz uruchomić i dla ilu użytkowników, a przygotujemy konfigurację i wycenę serwera GPU w naszej serwerowni. Skontaktuj się z nami.