Spec-Card SPEC CARD
NVIDIA H100 SXM
Die faktische Standardkarte für KI-Training — Kern der DGX/HGX H100, Rückgrat von Clustern mit zehntausenden GPUs, härteste Währung auf dem Gebraucht- und Futures-Markt, König der Werthaltigkeit
Überblick
Die NVIDIA H100 SXM ist eine Beschleunigerkarte für Rechenzentren auf Basis der Hopper-Architektur. Sie bildet das Kernstück der DGX- und HGX-H100-Systeme und ist derzeit die de-facto-Standardhardware für großangelegtes KI-Training. Sie ist in SXM5-Bauform ausgeführt, verfügt über 80 GB HBM3-Speicher und bietet über NVLink der vierten Generation eine Interconnect-Bandbreite von 900 GB/s zwischen den GPUs; PCIe Gen5 wird nativ unterstützt. Ihre Tensor Cores decken Präzisionen von FP64 bis FP8 ab, und per MIG lässt sich die Karte in bis zu sieben Instanzen aufteilen. Die Karte ist weithin im Vortraining großer Sprachmodelle, im Inferenzbetrieb und in HPC-Clustern im Einsatz; zugleich erzielt sie auf dem Gebrauchtmarkt aufgrund knapper Verfügbarkeit eine überdurchschnittlich hohe Wertstabilität.
Kernspezifikationen
| Architektur | NVIDIA Hopper (GH100-Chip, TSMC-4N-Sonderprozess, 80 Milliarden Transistoren, 814 mm², Compute Capability 9.0) |
| Speicher | 80 GB HBM3 (SXM5-Ausführung, 5 HBM3-Stacks); PCIe-Version 80 GB HBM2e (5 Stacks, 2 TB/s) |
| Speicherbusbreite | 5120 Bit (SXM5 und PCIe-Version jeweils 10 Speichercontroller à 512 Bit) |
| VRAM-Bandbreite | 3,35 TB/s (SXM5); PCIe-Version 2 TB/s |
| Rechenleistung | FP8 Tensor Core 3.958 TFLOPS (mit Sparsity, dicht 1.979); FP16/BF16 TC 1.979*; TF32 TC 989*; FP64 TC 67; FP32 67; FP64 34 (SXM5-Ausführung, *=mit Sparsity) |
| Verbrauch | SXM5 bis 700 W (konfigurierbar); PCIe-Version 350 W |
| Interconnect | NVLink 4.0 mit 900 GB/s (SXM5, 18 Links) + PCIe Gen5 x16 mit 128 GB/s; PCIe-Version: PCIe Gen5 mit 128 GB/s, optional NVLink-Bridge für Zwei-Karten-Betrieb mit 600 GB/s |
| Erscheinungsjahr | 2022 (Ankündigung auf der GTC am 22.03.2022, SXM5-Marktstart Q3 2022) |
| SM und CUDA-Kerne | 132 SM / 16.896 FP32-CUDA-Kerne (SXM5); PCIe-Version 114 SM / 14.592 |
| Boost-Takt | SXM5: 1830 MHz (FP8/FP16/BF16/TF32 TC) / 1980 MHz (FP64 TC sowie FP32/FP64); PCIe-Version: 1620/1755 MHz |
| L2-Cache | 50MB |
| MIG-Slicing | Secure MIG der zweiten Generation, bis zu 7 Instanzen à 10 GB |
| Codecs | 7 NVDEC + 7 NVJPG |
| Formfaktor | SXM5-Modul (flüssigkeitsgekühlt oder luftgekühlt je nach Gesamtsystem, im HGX/DGX H100 mit 4 oder 8 Karten); PCIe-Version als Dual-Slot-Karte mit Luftkühlung |
Spezifikationen anhand offizieller Quellen verifiziert (
Offizielle Benchmarks , aktualisiert am 10.10.2026) · Der tatsächliche Preis richtet sich nach dem Angebot des Verkäufers
Einsatzszenarien
- Vortraining großer Sprachmodelle: Als Kern der HGX-/DGX-H100-Knoten bilden NVLink und NVSwitch Multi-GPU- bis hin zu Clustern mit zehntausenden Karten für langwierige Trainingsläufe parameterreicher Modelle
- Inferenzdienste für große Modelle: Mit FP8- und INT8-Tensor-Core-Beschleunigung sowie MIG-Multi-Instanz-Aufteilung eignet sie sich für hochskalierbare Online-Inferenz und Multi-Tenant-Szenarien
- Wissenschaftliches Rechnen und HPC: Dank Double-Precision- und FP64-Tensor-Core-Leistung ist die Karte für klassische HPC-Workloads wie CFD, Molekulardynamik und Klimasimulation gerüstet
- Training und Fine-Tuning multimodaler Modelle: Mit mehreren NVDEC-Decoder-Einheiten gut geeignet für Trainingspipelines und Medien-Workflows mit Bild-, Text- und Videodaten
Modelle der Familie
| Modell | Speicher | Verbrauch |
|---|
| NVIDIA T4 Vergleich | 16GB GDDR6 mit ECC (standardmäßig aktiviert) | 70W (Gesamtboardleistung, Standard) |
| NVIDIA A100 Vergleich | 40GB HBM2 / 80GB HBM2e in zwei Varianten (80-GB-Variante nachgelegt auf der SC20 am 16.11.2020), mit ECC | SXM4 400W (40GB/80GB identisch); PCIe-Version 40GB 250W / 80GB 300W |
| NVIDIA H20 Vergleich | 96GB HBM3 (konsistent bei Flopper/VipraTech/Tencent News) | 400W TDP (dreifach belegt: Flopper/VipraTech-Datenblatt/Tencent News mit „Wärmeleistung 400W“; widersprüchliche Angabe 350W im VipraTech-Fließtext verworfen) |
| NVIDIA GB300 Vergleich | 288GB HBM3e (pro GPU-Package; 576GB im Superchip; parallel HGX auf Board-Ebene 2,1 TB / Rack 20 TB) | TGP bis 1400W |
| NVIDIA A30 Vergleich | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 Vergleich | 24GB GDDR6X | 450W TGP (Spiele im Schnitt 315W, empfohlenes Netzteil 850W) |
Videoerklärung VIDEO
Wichtige Punkte für Kauf und Prüfung
- Bauform und Stromversorgung: Die H100 SXM ist ein Onboard-Design, das in herkömmliche PCIe-Gehäuse nicht passt — es muss ein DGX-/HGX-Komplettsystem oder ein Server mit SXM5-Trägerboard beschafft werden. Der hohe Verbrauch erfordert eine frühe Prüfung von Stromkapazität im Rechenzentrum, Rack-Leistungsdichte und Kühlszenario (flüssigkeitsgekühlt oder luftgekühlt)
- Interconnect- und Netzwerkvalidierung: Multi-GPU-Setups setzen auf NVLink der vierten Generation und NVSwitch für eine GPU-zu-GPU-Interconnect-Bandbreite von 900 GB/s. Bei der Abnahme sollten SXM-Trägerboard und NVSwitch-Module karteweise geprüft sowie der PCIe-Gen5-Linkstatus kontrolliert werden, um spätere Cluster-Erweiterungen nicht zu gefährden
- Herkunft und Zustandsprüfung: Auf dem Gebraucht- und Futures-Markt wird rege gehandelt; Seriennummer und Garantiestatus beim Hersteller abgleichen, Screenshots von Live-Tests verlangen (nvidia-smi zur Bestätigung von Modell, 80 GB VRAM und MIG-Fähigkeit), langwierige Stresstests zur Aufdeckung von Speicher- und Kühlproblemen durchführen und die NVLink-Topologie auf Vollständigkeit prüfen
FAQ
Worin unterscheiden sich H100 SXM und H100 PCIe, und welche Variante sollte man wählen?
Die SXM-Variante ist ein Onboard-Modul mit 900 GB/s GPU-zu-GPU-Interconnect über NVLink und höheren Tensor-Core-Spezifikationen — ideal für große Trainingscluster mit vielen Karten. Die PCIe-Version ist eine standardmäßige Dual-Slot-Karte mit Luftkühlung, optionaler NVLink-Bridge (zwei Karten, geringere Bandbreite), besserer Kompatibilität und niedrigerer Einstiegshürde — passend für Einzelserver und kleinere Umgebungen. Wer Cluster-Skalierbarkeit und Spitzenleistung sucht, nimmt SXM; wer flexible Bereitstellung priorisiert, PCIe.
Unterstützt die H100 MIG? Auf wie viele Nutzer lässt sich eine Karte aufteilen?
Ja. Die MIG-Funktion der H100 SXM allows — korrekt: ermöglicht — die Aufteilung einer Karte in bis zu 7 Instanzen mit jeweils 10 GB VRAM. Das eignet sich für Inferenzdienste, Entwicklungs- und Testumgebungen sowie Multi-Tenant-Szenarien und verbessert Isolation und Auslastung.
Lohnt sich eine gebrauchte H100? Wie steht es um die Wertstabilität?
Die H100 ist derzeit die Haupt-Hardware für großangelegtes KI-Training; die Nachfrage bleibt hoch, und auf dem Gebrauchtmarkt liegt ihr Preisniveau deutlich über dem der meisten Hardware derselben Generation — sie gilt als werthaltige Kategorie. Beim Kauf sollten jedoch Herkunftslegalität, Garantiestatus und Hardwarezustand (VRAM, NVLink, Kühlung) gründlich geprüft und die Spezifikation per Test am Gerät bestätigt werden, bevor abgeschlossen wird.