Spec-Card SPEC CARD
Intel Gaudi 3
Intels aktives KI-Beschleuniger-Flaggschiff (vorgestellt auf der Vision 2024), eine Drittanbieter-Rechenkarte mit nativer Ethernet-RoCE-Interconnect, die das geschlossene NVLink-Ökosystem aufbricht; bereits produktiv bei IBM Cloud und im Dell XE9680 im Einsatz, ergänzt die Herstellerabdeckung der Enzyklopädie
Überblick
Intel Gaudi 3 ist eine von Intel für groß angelegtes KI-Training und Inferenz entwickelte Beschleuniger-Produktlinie. Sie nutzt den 5-nm-Fertigungsprozess von TSMC und eine Dual-Die-Architektur, bei der zwei identische Rechen-Dies über ein Interposer mit hochbandbreitiger, latenzarmer Verbindung zusammenarbeiten. Die MME-Matrix-Engine liefert in BF16 und FP8 jeweils 1678 TFLOPS, ergänzt durch 64 TPC-Einheiten und 8 MME-Einheiten. Der Speicher umfasst 128 GB HBM2e (8 Stacks à 16 GB), dazu kommen 96 MB On-Chip-SRAM. Das Produkt zeichnet sich durch natives Ethernet-RoCE-Interconnect aus und ist in den Varianten OAM (HL-325L) und PCIe (HL-338) erhältlich. Typische Einsatzgebiete umfassen Training großer Modelle, Inferenz-Deployments und die Cluster-Erweiterung im Rechenzentrum.
Kernspezifikationen
| Architektur | Gaudi 3 (5. Generation der heterogenen KI-Beschleunigerarchitektur, 2 identische Compute-Dies über Interposer verbunden, softwaretransparent, TSMC 5nm) |
| Speicher | 128GB HBM2e (8×16GB Stacks, 3.6GHz, Dual-Die mit einheitlicher Adressierung) |
| VRAM-Bandbreite | 3,7 TB/s Peak |
| Rechenleistung | MME-Matrix: FP8 1678 / BF16 1678 / FP16 (signed) 459 / TF32 459 / FP32 229 TFLOPS; TPC-Vektor: FP8 57,3 / BF16 28,7 / FP16 28,7 / FP32 14,3 TFLOPS |
| Recheneinheiten | 8× MME (je MME 64K MACs) + 64× TPC-Kerne (beide Dies zusammen) |
| On-Chip-SRAM | 96 MB (12,8/6,4 TB/s Lesen/Schreiben) |
| Verbrauch | OAM HL-325L: 900W TDP (passive Kühlung; flüssigkeitsgekühlt ebenfalls 900W) | PCIe-Karte HL-338: 600W TDP (passive Kühlung) |
| Interconnect | 24× 200GbE RoCE (bidirektional insgesamt 1200 GB/s, über 48× 112G PAM4 SerDes; je Karte 21 Ports GPU-zu-GPU-Interconnect + 3 Ports Scale-out) + PCIe Gen5 x16 Host-Interface (128 GB/s, unidirektional 64 GB/s) |
| Mediendecodierung | 14 Media-Decoder |
| Formfaktor | OAM HL-325L (OCP OAM 2.0 Mezzanine) / PCIe-Karte HL-338 (CEM 5.1) / HLB-325 Universal-Baseboard (8 Karten all-to-all voll vernetzt, 6× OSFP800 Scale-out) |
| Erscheinungsjahr | 2024 (Ankündigung auf der Intel Vision am 09.04.2024, OEM-Verfügbarkeit im Q2 2024) |
Spezifikationen anhand offizieller Quellen verifiziert (
Offizielle Benchmarks , aktualisiert am 10.10.2026) · Der tatsächliche Preis richtet sich nach dem Angebot des Verkäufers
Einsatzszenarien
- Verteiltes Training großer Sprachmodelle, Aufbau von Clustern dank der 24-fach-200GbE-RoCE-Vernetzung mit 21 OAM-zu-OAM-Interconnects und 3 Erweiterungsports pro OAM
- Inferenzdienste mit gemischte Präzision in BF16/FP8, wobei die 128 GB HBM2e große Modellparameter tragen
- 8-Karten-Gesamtknoten auf Basis des HLB-325-Baseboards, geeignet für Trainingsaufgaben mit vollvernetzten Karten und geringem Kommunikations-Overhead
- HL-338-Karte mit PCIe Gen5 x16 Host-Interface, geeignet als flexible Rechenleistungsergänzung und Inferenzausbau in bestehenden Standard-Serverräumen
Modelle der Familie
Videoerklärung VIDEO
Wichtige Punkte für Kauf und Prüfung
- Achtung Formfaktor und Kühlung: Die OAM-Version HL-325L ist passiv gekühlt, die PCIe-Version HL-338 ebenfalls. Vor dem Kauf muss geprüft werden, ob Luftführung, Ducts und Airflow des Racks die Kühlung der gesamten Karte sicherstellen; bei geschlossenen Hochdichte-Knoten sollte die Kompatibilität mit flüssigkeitsgekühlt-Lösungen bewertet werden
- Netzwerkbedingungen des Rechenzentrums prüfen: Der Interconnect basiert auf 200GbE RoCE, das HLB-325-Baseboard stellt nach außen 6 OSFP800-Ports bereit. Ethernet-Switches, Optik und Verkabelung müssen vorab geplant werden; ein dediziertes, geschlossenes Interconnect-Ökosystem ist nicht erforderlich
- Bei der Abnahme Angaben aus dem Whitepaper abgleichen: Das offizielle technische Dokument (doc 817486) enthält keine Felder für Sparse-Leistung und Speicherbusbreite. Enthält die Angabe des Anbieters Sparse-Metriken, sollten die Testbedingungen angefordert werden; zudem prüfen, ob der PCIe-Gen5-x16-Steckplatz im Host und die Stromversorgung den Kartenanforderungen genügen
FAQ
Wie groß ist der Fortschritt von Intel Gaudi 3 gegenüber dem Vorgänger Gaudi 2?
Laut den auf der Vision 2024 veröffentlichten Zahlen von Intel bietet Gaudi 3 gegenüber Gaudi 2 die 4-fache BF16-KI-Rechenleistung und eine 1,5-fach höhere Speicherbandbreite; der Fertigungsprozess wurde von 7 nm bei Gaudi 2 auf 5 nm aktualisiert, und die Architektur basiert nun auf zwei über ein Interposer verbundenen Dies.
Was unterscheidet die OAM-Version von der PCIe-Version des Gaudi 3?
Die OAM-Version (HL-325L) zielt auf Hochdichte-Clusterknoten ab: Die Karten sind über 21 OAM-zu-OAM-Links voll vernetzt und bilden mit dem HLB-325-Baseboard ein 8-Karten-System mit 24-fach 200GbE RoCE nach außen. Die PCIe-Version (HL-338) nutzt das standardmäßige PCIe-CEM-5.1-Interface und lässt sich direkt in Standardserver einbauen; Vernetzung und Deployment sind flexibler, doch Interconnect-Topologie und Dichte reichen nicht an die OAM-Lösung heran.
Welche Netzwerkumgebung benötigt Gaudi 3? Ist ein proprietäres Interconnect-Protokoll erforderlich?
Gaudi 3 nutzt nativ Ethernet-RoCE-Interconnect. Jedes OAM bietet 24× 200GbE (realisiert über 48× 112G PAM4 SerDes), davon 21 für die OAM-Verkettung und 3 für Scale-out. Nutzer können Cluster damit auf Basis standardmäßiger Ethernet-Switches aufbauen, ohne auf ein geschlossenes proprietäres Interconnect-Ökosystem angewiesen zu sein – vorausgesetzt, es stehen 200GbE-RoCE-fähige Switches und die entsprechenden optischen Verbindungsressourcen bereit.