Fiche technique SPEC CARD
NVIDIA H100 SXM
La carte qui fait référence en matière d'entraînement IA — cœur des DGX/HGX H100, pilier des clusters à dizaines de milliers de GPU, valeur sûre du marché de l'occasion, championne de la conservation de valeur
Vue d'ensemble
NVIDIA H100 SXM est une carte de calcul accéléré pour datacenter basée sur l'architecture Hopper, pièce maîtresse des systèmes DGX et HGX H100 et standard de facto du matériel actuel d'entraînement IA à grande échelle. Au format SXM5, elle embarque 80 Go de mémoire HBM3 et offre une bande passante d'interconnexion GPU-GPU de 900 Go/s via la quatrième génération de NVLink, avec prise en charge native du PCIe Gen5. Ses Tensor Core couvrent les précisions du FP64 au FP8, et le MIG permet de découper la carte en jusqu'à sept instances. Déployée massivement pour le pré-entraînement de grands modèles, l'inférence et les clusters de calcul haute performance, elle conserve par ailleurs une bonne valeur sur le marché de l'occasion en raison de sa rareté.
Spécifications clés
| Architecture | NVIDIA Hopper (puce GH100, process 4N custom TSMC, 80 milliards de transistors, 814 mm², Compute Capability 9.0) |
| Mémoire vidéo | 80 Go HBM3 (spécification SXM5, 5 stacks HBM3) ; la version PCIe offre 80 Go HBM2e (5 stacks, 2 To/s) |
| Largeur du bus mémoire | 5120 bits (10 contrôleurs mémoire 512 bits pour les versions SXM5 et PCIe) |
| Bande passante mémoire | 3,35 To/s (SXM5) ; version PCIe : 2 To/s |
| Puissance de calcul | FP8 Tensor Core 3 958 TFLOPS (avec sparsity, dense 1 979) ; FP16/BF16 TC 1 979* ; TF32 TC 989* ; FP64 TC 67 ; FP32 67 ; FP64 34 (spécification SXM5, *=avec sparsity) |
| TDP | Jusqu'à 700 W en SXM5 (configurable) ; version PCIe : 350 W |
| Interconnexion | NVLink 4.0 900 Go/s (SXM5, 18 liens) + PCIe Gen5 x16 128 Go/s ; version PCIe : PCIe Gen5 128 Go/s, pont NVLink bi-carte en option 600 Go/s |
| Année de lancement | 2022 (annoncée au GTC du 22/03/2022, SXM5 disponible Q3 2022) |
| SM et CUDA cores | 132 SM / 16 896 cœurs CUDA FP32 (SXM5) ; version PCIe : 114 SM / 14 592 |
| Fréquence boost | SXM5 : 1830 MHz (FP8/FP16/BF16/TF32 TC) / 1980 MHz (FP64 TC et FP32/FP64) ; version PCIe : 1620/1755 MHz |
| Cache L2 | 50MB |
| Découpage MIG | Secure MIG de deuxième génération, jusqu'à 7 instances @ 10 Go |
| Codecs | 7 NVDEC + 7 NVJPG |
| Format | Module SXM5 (refroidi par liquide ou refroidi par air selon le système, au sein de configurations HGX/DGX H100 à 4 ou 8 cartes) ; version PCIe : double slot refroidi par air |
Spécifications vérifiées contre les sources officielles (
benchmarks officiels , mis à jour le 10/10/2026) · Le prix réel est soumis au devis du vendeur
Cas d'usage
- Pré-entraînement de grands modèles de langage : en tant que cœur des nœuds HGX/DGX H100, forme via NVLink et NVSwitch des clusters multi-GPU voire à dizaines de milliers de cartes, pour l'entraînement long de modèles à très grand nombre de paramètres
- Déploiement de services d'inférence de grands modèles : grâce à l'accélération FP8 et INT8 des Tensor Core et au découpage multi-instances MIG, fournit la puissance de calcul nécessaire à l'inférence en ligne à forte concurrence ou aux scénarios multi-locataires
- Calcul scientifique et HPC : ses performances en double précision et FP64 Tensor Core servent les charges HPC traditionnelles comme la mécanique des fluides numérique, la dynamique moléculaire ou la simulation climatique
- Entraînement et fine-tuning de modèles multimodaux : équipée de plusieurs unités de décodage NVDEC, adaptée aux pipelines d'entraînement sur données texte-image, vidéo et autres flux de traitement multimédia
Modèles de la même famille
| Modèle | Mémoire vidéo | TDP |
|---|
| NVIDIA T4 Comparer | 16 Go GDDR6 avec ECC (activé par défaut) | 70 W (puissance totale de la carte, par défaut) |
| NVIDIA A100 Comparer | Double version 40 Go HBM2 / 80 Go HBM2e (version 80 Go annoncée le 2020-11-16 à SC20), avec ECC | SXM4 400 W (identique en 40 Go et 80 Go) ; version PCIe : 40 Go 250 W / 80 Go 300 W |
| NVIDIA H20 Comparer | 96 Go HBM3 (concordance Flopper/VipraTech/Tencent News) | 400 W TDP (Flopper/tableau VipraTech/'400 W TDP' Tencent News, triple concordance ; les 350 W mentionnés dans le corps du texte de VipraTech, contradictoires, ont été écartés) |
| NVIDIA GB300 Comparer | 288 Go HBM3e (par cœur GPU ; 576 Go pour la superpuce ; 2,1 To au niveau carte HGX / 20 To par baie, deux chiffres coexistant) | TGP jusqu'à 1400 W |
| NVIDIA A30 Comparer | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 Comparer | 24GB GDDR6X | 450 W TGP (335 W en jeu en moyenne, alimentation système recommandée 850 W) |
Présentation vidéo VIDEO
Points d'achat et de vérification
- Format et alimentation : la H100 SXM est un design embarqué, incompatible avec les châssis PCIe classiques ; il faut impérativement un système DGX/HGX complet ou un serveur équipé d'une base SXM5. La consommation élevée impose de vérifier en amont la capacité d'alimentation de la salle, la densité de puissance des baies et l'adéquation du refroidissement (refroidi par liquide ou refroidi par air)
- Validation de l'interconnexion et du réseau : le déploiement multi-GPU repose sur le NVLink de quatrième génération et NVSwitch pour une bande passante d'interconnexion GPU-GPU de 900 Go/s ; lors de la réception, vérifier carte par carte le bon fonctionnement de la base SXM et des modules NVSwitch, contrôler l'état de négociation des liens PCIe Gen5 afin d'éviter tout blocage lors des extensions de cluster
- Contrôle de l'origine et de l'état : les transactions d'occasion et en précommande étant fréquentes, vérifier les numéros de série et le statut de garantie constructeur, exiger des captures d'écran de tests réels (nvidia-smi pour confirmer le modèle, les 80 Go de mémoire et la disponibilité du MIG), effectuer des tests de charge prolongés pour détecter les défauts mémoire ou thermiques, et vérifier l'intégrité de la topologie NVLink
FAQ
Quelle différence entre H100 SXM et H100 PCIe, et lequel choisir ?
La version SXM est au format embarqué et offre 900 Go/s d'interconnexion GPU-GPU via NVLink, avec des spécifications Tensor Core supérieures : idéale pour les clusters d'entraînement massifs multi-GPU. La version PCIe est une carte double slot refroidie par air, avec pont NVLink optionnel (deux cartes, bande passante plus faible), offrant une meilleure compatibilité et un déploiement plus simple : adaptée aux configurations mono-poste ou de taille moyenne. Privilégiez le SXM pour l'extensibilité en cluster et la puissance de crête, le PCIe pour la flexibilité de déploiement.
La H100 prend-elle en charge le MIG ? Combien d'utilisateurs par carte ?
Oui. Le MIG de la H100 SXM permet de découper une carte en jusqu'à 7 instances, chacune avec 10 Go de mémoire : idéal pour l'inférence, le développement, les tests et les scénarios multi-locataires, avec isolation des ressources et meilleure utilisation.
La H100 d'occasion vaut-elle l'achat ? Comment évolue sa valeur ?
La H100 est aujourd'hui le matériel de référence pour l'entraînement IA à grande échelle, avec une demande soutenue : sur le marché de l'occasion, son prix résiste nettement mieux que celui de la plupart des matériels de sa génération, ce qui en fait une valeur réputée sûre. À l'achat, vérifiez toutefois l'origine, le statut de garantie et la santé du matériel (mémoire, NVLink, refroidissement), et confirmez les spécifications et l'état par des tests sur machine avant toute transaction.