Intel Gaudi 3 to akcelerator AI, który Intel i Supermicro pozycjonują jako tańszą alternatywę dla GPU NVIDIA w treningu i inferencji modeli językowych. Ma 128 GB pamięci HBM2e na akcelerator, wbudowaną sieć 800 GbE i działa z PyTorch oraz vLLM. Wyjaśniamy, gdzie jest realną opcją, a gdzie przewaga ekosystemu CUDA nadal przesądza sprawę.
Większość rozmów o sprzęcie do LLM sprowadza się do pytania „który model NVIDIA”. Gaudi 3 warto jednak rozważyć, jeśli planujesz inferencję lub trening na większą skalę, używasz popularnych modeli otwartych i liczysz koszt każdego wdrożonego akceleratora. Poniżej opisujemy architekturę systemu, stan oprogramowania, porównanie z NVIDIA HGX B200 i sposób, w jaki sprawdzić Gaudi 3 na własnym obciążeniu, zanim podejmiesz decyzję zakupową.
Intel Gaudi 3: architektura systemu z 8 akceleratorami
Gaudi 3 nie jest kartą PCIe, którą wkłada się do dowolnego serwera. Akceleratory są w formacie OAM i montowane po osiem na wspólnej płycie bazowej. Supermicro oferuje je w systemie SYS-822GA-NGR3, w dwóch wariantach płyty:
- HL-325L – wersja chłodzona powietrzem,
- HL-335 – wersja chłodzona cieczą, dla gęstszych instalacji.
Najważniejsze parametry systemu:
- 8 akceleratorów Gaudi 3, każdy ze 128 GB HBM2e, czyli łącznie ok. 1 TB (1 024 GB) pamięci akceleratorów w jednym serwerze,
- 6 portów OSFP 800 GbE wbudowanych w płytę – sieć do łączenia serwerów w klaster (scale-out) jest częścią platformy, a nie osobnym dodatkiem,
- dwa procesory Intel Xeon 6 jako host.
Wbudowana sieć 800 GbE
To najciekawsza cecha architektury. Gaudi 3 opiera komunikację na standardowym Ethernecie, zarówno między akceleratorami, jak i między serwerami. W praktyce oznacza to, że klaster kilku systemów buduje się na przełącznikach Ethernet, które zespół sieciowy zna, a nie na osobnej sieci specjalizowanej. Mniej kart sieciowych do dokupienia i jeden rodzaj okablowania to konkretna oszczędność przy kilku lub kilkunastu serwerach. Przy jednym serwerze do inferencji ta zaleta ma mniejsze znaczenie.
Chłodzenie i zasilanie
System z ośmioma akceleratorami to urządzenie o dużym poborze mocy i dużej ilości ciepła. Wariant powietrzny wymaga serwerowni z odpowiednim zapasem zasilania i chłodzenia na szafę, a wariant cieczowy – infrastruktury do chłodzenia cieczą. To nie jest sprzęt do serwerowni biurowej, dlatego zwykle trafia do kolokacji w profesjonalnym centrum danych.
Oprogramowanie: PyTorch, vLLM i Intel Gaudi software suite
Sprzęt to połowa decyzji. O tym, czy Gaudi 3 sprawdzi się w Twoim projekcie, w dużej mierze decyduje oprogramowanie.
Intel dostarcza Intel Gaudi software suite: sterowniki, kompilator grafów, biblioteki komunikacyjne i integrację z PyTorch. Kod napisany w PyTorch można uruchomić na Gaudi z niewielkimi zmianami, o ile nie zawiera kodu pisanego bezpośrednio pod CUDA. Do serwowania modeli najważniejsze jest to, że vLLM obsługuje Intel Gaudi. Dostajesz więc ten sam serwer inferencji z ciągłym batchowaniem i API zgodnym z OpenAI, którego używa się na GPU NVIDIA. Aplikacja, która rozmawia z modelem przez to API, nie musi wiedzieć, na jakim sprzęcie działa model. Szerzej o serwerach inferencji piszemy w artykule Ollama, vLLM, SGLang czy NVIDIA NIM.
Gdzie trzeba uczciwie uważać
Ekosystem CUDA jest po prostu szerszy. Tworzy się go od kilkunastu lat i większość narzędzi AI powstaje najpierw dla GPU NVIDIA. Co to oznacza w praktyce:
- Nowe modele. Popularne architektury działają na Gaudi, ale świeżo wydany model może wymagać czasu, zanim zostanie zoptymalizowany i zweryfikowany. Na GPU NVIDIA zwykle działa od pierwszego dnia.
- Własne kernele CUDA. Jeśli Twój kod lub używane biblioteki zawierają kernele pisane pod CUDA, trzeba je przenieść albo zastąpić odpowiednikiem. To realna praca inżynierska.
- Formaty kwantyzacji. Część formatów i kerneli kwantyzacji powstała z myślą o GPU NVIDIA. Przed wyborem modelu sprawdź, czy wybrany wariant (np. FP8 albo 4-bit) jest obsługiwany na Gaudi.
- Narzędzia NVIDIA. TensorRT-LLM i NVIDIA NIM działają wyłącznie na GPU NVIDIA. Jeśli Twój zespół na nich bazuje, przejście na Gaudi oznacza zmianę stosu.
Dla typowej inferencji popularnych modeli przez vLLM te ograniczenia mogą nie mieć znaczenia. Dla zespołu badawczego, który codziennie testuje nowe architektury, będą odczuwalne.
Gaudi 3 vs NVIDIA HGX B200: porównanie jakościowe
Najbliższym punktem odniesienia dla 8-akceleratorowego systemu Gaudi 3 jest 8-GPU platforma NVIDIA HGX B200. Nie publikujemy tu wyników wydajności, bo zależą od modelu, kwantyzacji, długości kontekstu i liczby równoczesnych użytkowników. Porównujemy to, co da się porównać rzetelnie.
| Cecha | Gaudi 3 (Supermicro SYS-822GA-NGR3) | NVIDIA HGX B200 |
|---|---|---|
| Akceleratory w systemie | 8 (OAM) | 8 GPU |
| Pamięć na akcelerator | 128 GB HBM2e | 180 GB HBM3e |
| Pamięć w systemie | ok. 1 TB | ok. 1,44 TB |
| Generacja pamięci | HBM2e – starsza, niższa przepustowość | HBM3e – nowsza, wyższa przepustowość |
| Połączenie między akceleratorami | Ethernet zintegrowany z akceleratorami | NVLink 1,8 TB/s |
| Sieć między serwerami | 6× OSFP 800 GbE wbudowane w płytę | osobne karty sieciowe dobierane w konfiguracji |
| Procesory hosta | 2× Intel Xeon 6 | 2× Intel Xeon 6 lub AMD EPYC 9005/9004 |
| Chłodzenie | powietrze (HL-325L) lub ciecz (HL-335) | powietrze (8U/10U) lub ciecz (4U) |
| Oprogramowanie | Intel Gaudi software suite, PyTorch, vLLM | CUDA, TensorRT-LLM, NIM, vLLM, SGLang i praktycznie cały ekosystem AI |
| Nowe modele | wymagają weryfikacji | zwykle działają od razu |
| Pozycjonowanie cenowe | tańsza alternatywa, wycena indywidualna | segment najwyższy, wycena indywidualna |
Wniosek: B200 ma więcej i szybszej pamięci oraz dojrzalszy ekosystem. Gaudi 3 konkuruje kosztem i prostotą sieci. Pełne porównanie z B300, H200 i RTX PRO 6000 znajdziesz w artykule Jaki GPU do LLM w 2026.
Co zmieści się w pamięci systemu z Gaudi 3
Ok. 1 TB pamięci w jednym serwerze to dużo, ale nie nieskończenie dużo. Według prostej reguły: wagi to liczba parametrów × bajty na parametr (BF16 = 2 B, FP8 = 1 B, 4-bit ≈ 0,5 B), do tego KV cache rosnący z długością kontekstu i liczbą użytkowników oraz 10–20% narzutu. Modele MoE wymagają pamięci na wszystkie parametry, nie tylko na aktywne. Przykłady na modelach dostępnych w listopadzie 2026:
| Model | Parametry | Same wagi | Ile akceleratorów Gaudi 3 |
|---|---|---|---|
| Qwen3.8-27B | 27,8B | ok. 56 GB w BF16 | 1, z zapasem na KV cache |
| Mistral Small 4 | 119B | ok. 238 GB w BF16, ok. 119 GB w FP8 | 2–4, zależnie od precyzji i kontekstu |
| Llama 4 Maverick | ok. 400B (MoE) | ok. 400 GB w FP8 | 4–8 |
| DeepSeek-V4.1-Flash | ok. 763B (MoE) | ok. 763 GB w FP8 | cały system, mało miejsca na KV cache |
To szacunki pamięci, a nie potwierdzenie, że dany model w danej precyzji jest już zweryfikowany na Gaudi 3. Sposób liczenia krok po kroku opisujemy w artykule Ile VRAM potrzebuje model LLM.
Dla kogo Intel Gaudi 3 ma sens
Gaudi 3 jest rozsądnym wyborem, gdy spełniona jest większość z poniższych warunków:
- Skala. Planujesz kilka lub więcej serwerów, a koszt sprzętu i zasilania jest istotną pozycją w budżecie projektu.
- Popularne modele. Serwujesz lub dotrenowujesz znane modele otwarte przez PyTorch i vLLM, a nie eksperymentalne architektury.
- Stabilne obciążenie. Ten sam model lub kilka modeli działa produkcyjnie przez miesiące, więc jednorazowa walidacja się zwraca.
- Kompetencje. Masz inżynierów ML albo partnera, który przeprowadzi walidację i utrzyma stos.
- Sieć Ethernet. Chcesz budować klaster na standardowej infrastrukturze sieciowej.
NVIDIA będzie lepszym wyborem, gdy:
- potrzebujesz najnowszych modeli od dnia premiery,
- Twój kod korzysta z własnych kerneli CUDA, TensorRT-LLM lub NIM,
- masz mały zespół bez czasu na walidację platformy,
- potrzebujesz jednego lub dwóch akceleratorów – wtedy serwer z RTX PRO 6000 albo DGX Spark zwykle będzie prostszy i tańszy w starcie niż pełny 8-akceleratorowy system.
Jak ocenić Gaudi 3: proof of concept krok po kroku
Nie podejmuj decyzji na podstawie slajdów producentów, ani Intela, ani NVIDIA. Rzetelne porównanie wymaga testu na Twoim obciążeniu. Proponujemy taki plan:
- Zdefiniuj obciążenie. Konkretny model i precyzja, typowa i maksymalna długość kontekstu, docelowa liczba równoczesnych użytkowników, wymagany czas do pierwszego tokenu.
- Sprawdź zgodność. Czy model i wybrany format kwantyzacji działają na Gaudi 3 w aktualnej wersji oprogramowania i vLLM.
- Zmierz wydajność. Czas do pierwszego tokenu, tokeny na sekundę na użytkownika i łączna przepustowość przy docelowej współbieżności. Te same testy uruchom na platformie NVIDIA, z którą porównujesz.
- Zmierz jakość. Te same pytania testowe, porównanie odpowiedzi z wersją referencyjną. Różne kernele i kwantyzacje mogą minimalnie zmieniać wyniki.
- Policz koszt. Cena sprzętu lub usługi, zasilanie, kolokacja i praca zespołu w przeliczeniu na użytkownika albo milion tokenów.
- Zaplanuj wyjście. Jeśli aplikacja korzysta z API zgodnego z OpenAI, zmiana sprzętu nie wymaga przepisywania aplikacji.
Gaudi 3 w polskiej serwerowni: zakup, kolokacja i utrzymanie
Jako partner Supermicro dostarczamy systemy z akceleratorami Gaudi 3 oraz z GPU NVIDIA, instalujemy je i utrzymujemy w naszym centrum danych klasy Tier III z certyfikatem ISO 27001. Dane zostają w Polsce i w UE. Dla gęstych konfiguracji oferujemy szafy chłodzone cieczą. Możesz kupić serwer i oddać go do kolokacji serwerów albo zacząć od serwera GPU w modelu usługowym. Administrację 24/7 przejmujemy w całości lub zostawiamy Ci dostęp root. Kiedy zakup i kolokacja opłacają się bardziej niż chmura, pokazujemy w analizie TCO chmury i kolokacji GPU.
FAQ: najczęściej zadawane pytania
Czy Intel Gaudi 3 obsługuje vLLM?
Tak. vLLM obsługuje Intel Gaudi, więc możesz serwować modele przez ten sam serwer inferencji i to samo API zgodne z OpenAI co na GPU NVIDIA. Przed wdrożeniem sprawdź, czy konkretny model i format kwantyzacji są obsługiwane w aktualnej wersji.
Ile pamięci ma Intel Gaudi 3?
Każdy akcelerator ma 128 GB HBM2e. System Supermicro SYS-822GA-NGR3 z ośmioma akceleratorami ma łącznie ok. 1 TB pamięci akceleratorów. Dla porównania NVIDIA B200 ma 180 GB HBM3e na GPU.
Gaudi 3 czy H100 i H200 – co wybrać do inferencji?
Nie ma uniwersalnej odpowiedzi i nie warto ufać ogólnym wykresom porównawczym. H200 ma 141 GB HBM3e na GPU i pełny ekosystem CUDA, Gaudi 3 – 128 GB HBM2e i niższą pozycję cenową. Zdecyduje test Twojego modelu przy Twojej współbieżności.
Czy na Gaudi 3 działa CUDA?
Nie. Gaudi 3 korzysta z Intel Gaudi software suite i integracji z PyTorch. Kod w PyTorch zwykle przenosi się z niewielkimi zmianami, ale własne kernele CUDA trzeba przepisać lub zastąpić.
Czy Gaudi 3 nadaje się do treningu modeli?
Tak, Gaudi 3 jest przeznaczony zarówno do treningu, jak i inferencji, a wbudowana sieć 800 GbE ułatwia budowę klastra. Przy treningu znaczenie ekosystemu jest jednak jeszcze większe, więc walidacja potoku treningowego powinna być częścią testu.
Zastanawiasz się, czy Gaudi 3 obniży koszt Twojego wdrożenia? Przygotujemy porównanie z platformą NVIDIA i wycenę indywidualną. Zobacz ofertę serwerów GPU albo napisz do nas.