Fiche technique SPEC CARD
NVIDIA H200 SXM
Version de la H100 au même socket avec plus de mémoire — l'enveloppe thermique reste à 700 W, la mémoire grimpe à 141 Go de HBM3e à 4,8 To/s, le débit d'inférence des grands modèles double ; le serveur 8 GPU HGX H200 devient le nouveau pilier des clusters d'inférence. Après l'assouplissement des restrictions d'exportation vers la Chine en 2026, sa forte capacité mémoire en fait une valeur sûre du marché du spot.
Vue d'ensemble
NVIDIA H200 SXM est un GPU data center basé sur l'architecture Hopper, positionné comme la version au même socket que la H100 avec une mémoire renforcée. Son changement le plus notable : la mémoire par carte passe à 141 Go de HBM3e, NVIDIA revendiquant le premier GPU au monde avec cette capacité en HBM3e. À enveloppe thermique identique à celle de la H100, les chiffres officiels annoncent un débit d'inférence LLM environ deux fois supérieur. Côté calcul, le H200 SXM prend en charge FP64, FP32 et toutes les précisions Tensor Core, avec une puissance FP8 de 4 petaFLOPS (sparse incluse). Au format SXM, il s'interconnecte via NVLink à 900 Go/s pour former des systèmes HGX H200 à 4 ou 8 GPU. Largement utilisé pour l'inférence et l'entraînement de grands modèles, le HPC et le décodage vidéo, il s'impose comme le choix dominant des clusters d'inférence à forte capacité mémoire.
Spécifications clés
| Architecture | NVIDIA Hopper (puce GH100, process TSMC 4N sur mesure, 80 milliards de transistors, 814 mm², même GH100 que la H100 SXM) |
| Mémoire vidéo | 141 Go de HBM3e (bus 6 144 bits / 6,3 Gbps par broche, premier GPU au monde avec 141 Go de HBM3e selon NVIDIA) |
| Type de mémoire | HBM3e |
| Largeur du bus mémoire | 6144bit |
| Bande passante mémoire | 4.8TB/s |
| Puissance de calcul | FP8 Tensor Core 3 958 TFLOPS (sparse inclus, dense 1 979) ; FP16/BF16 TC 1 979* ; TF32 TC 989* ; INT8 TC 3 958 TOPS* ; FP64 TC 67 ; FP32 67 ; FP64 34 (valeurs SXM, * = avec sparsité) |
| TDP | SXM jusqu'à 700 W (configurable) ; même enveloppe thermique de 700 W que la H100 SXM au même socket |
| Interconnexion | NVLink 900 Go/s + PCIe Gen5 128 Go/s ; topologie fully-connected à 4/8 GPU via NVSwitch en HGX H200 (8 GPU : plus de 32 PFLOPS FP8 cumulés, 1,1 To de mémoire au total) |
| Année de lancement | 2024 |
| SM et CUDA cores | 132 SM / 16 896 cœurs CUDA FP32 |
| Fréquence boost | 1,980MHz |
| Cache L2 | 50MB |
| Découpage MIG | Jusqu'à 7 instances de 18 Go (18 Go par instance, contre 16,5 Go pour la H200 NVL et 10 Go pour la H100) |
| Codecs | 7 NVDEC + 7 JPEG |
| Calcul confidentiel | Confidential Computing Supported |
| Format | Module SXM (refroidi par liquide ou refroidi par air selon le serveur, en HGX H200 4 ou 8 GPU ; NVIDIA AI Enterprise en option payante) |
Spécifications vérifiées contre les sources officielles (
benchmarks officiels , mis à jour le 10/10/2026) · Le prix réel est soumis au devis du vendeur
Cas d'usage
- Services d'inférence LLM : les 141 Go de mémoire permettent d'héberger des modèles plus volumineux ou des contextes plus longs ; avec un débit d'inférence environ deux fois supérieur à la génération précédente selon les chiffres officiels, la carte convient aux API LLM de production et à l'inférence par lots
- Entraînement et fine-tuning de grands modèles : via l'interconnexion NVLink à 900 Go/s, un système HGX H200 à 4 ou 8 GPU cumule plus de 32 petaFLOPS en FP8, de quoi soutenir l'entraînement et le fine-tuning efficace en paramètres de modèles très larges
- Inférence multi-instances et découpage de ressources : grâce à MIG, la carte se découpe en 7 instances au maximum (18 Go chacune), idéal pour qu'un fournisseur cloud serve plusieurs locataires de façon isolée sur une même carte physique
- Pipelines vidéo et image : avec 7 décodeurs NVDEC et 7 moteurs JPEG, la carte peut gérer en parallèle du transcodage vidéo massif et du décodage d'images en complément de l'inférence de grands modèles
Modèles de la même famille
| Modèle | Mémoire vidéo | TDP |
|---|
| NVIDIA T4 Comparer | 16 Go GDDR6 avec ECC (activé par défaut) | 70 W (puissance totale de la carte, par défaut) |
| NVIDIA A100 Comparer | Double version 40 Go HBM2 / 80 Go HBM2e (version 80 Go annoncée le 2020-11-16 à SC20), avec ECC | SXM4 400 W (identique en 40 Go et 80 Go) ; version PCIe : 40 Go 250 W / 80 Go 300 W |
| NVIDIA H20 Comparer | 96 Go HBM3 (concordance Flopper/VipraTech/Tencent News) | 400 W TDP (Flopper/tableau VipraTech/'400 W TDP' Tencent News, triple concordance ; les 350 W mentionnés dans le corps du texte de VipraTech, contradictoires, ont été écartés) |
| NVIDIA GB300 Comparer | 288 Go HBM3e (par cœur GPU ; 576 Go pour la superpuce ; 2,1 To au niveau carte HGX / 20 To par baie, deux chiffres coexistant) | TGP jusqu'à 1400 W |
| NVIDIA A30 Comparer | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 Comparer | 24GB GDDR6X | 450 W TGP (335 W en jeu en moyenne, alimentation système recommandée 850 W) |
Présentation vidéo VIDEO
Points d'achat et de vérification
- Vérification de l'alimentation et du refroidissement : le H200 SXM est au format SXM avec un TDP maximal de 700 W configurable ; il faut s'assurer que le serveur (HGX H200 4 ou 8 GPU) dispose d'une redondance d'alimentation et d'une solution refroidi par liquide ou refroidi par air adaptée, pour éviter un manque de marge après une estimation basée sur la H100
- Contrôle de la mémoire et de l'interconnexion à la réception : vérifier qu'il s'agit bien de la version SXM et non de la H200 NVL (les deux diffèrent en enveloppe thermique, en format et en interconnexion) ; la version SXM repose sur le NVLink au niveau de la carte mère et une carte seule ne peut pas fonctionner hors du substrate HGX — à la commande d'un serveur complet, contrôler la configuration NVLink 900 Go/s
- Logiciels et conformité : vérifier le canal de distribution et le lot auprès du constructeur ou du fournisseur cloud, évaluer si une licence NVIDIA AI Enterprise additionnelle est nécessaire ; pour tout achat soumis au contrôle des exportations, confirmer le cadre réglementaire applicable, et noter que la carte prend en charge le Confidential Computing — à valider lors de la réception si l'isolation sécurisée est un besoin
FAQ
Quelle différence entre H200 et H100 ?
Le H200 est la version de la H100 avec plus de mémoire : la capacité passe à 141 Go de HBM3e, à enveloppe thermique inchangée (700 W max, configurable). Selon les chiffres officiels, le débit d'inférence LLM du H200 est environ deux fois supérieur à celui de la H100. Les deux cartes relèvent de l'architecture Hopper et partagent des capacités de calcul et un écosystème logiciel quasi identiques.
H200 SXM ou H200 NVL, lequel choisir ?
Les deux offrent 141 Go de mémoire, mais les différences sont nettes : le SXM est un format intégré au substrate qui s'appuie sur NVLink à 900 Go/s, avec un TDP maximal de 700 W, adapté aux serveurs HGX et aux clusters haute densité ; le NVL est une carte PCIe double slot refroidi par air, TDP maximal de 600 W, interconnectable par 2 ou 4 via un pont NVLink, avec des puissances de calcul plus faibles. Pour un cluster d'inférence haute densité en auto-hébergement, on choisit généralement le SXM en serveur complet ; le NVL convient aux serveurs PCIe existants ou aux environnements contraints en espace.
Quelle taille de modèle peut héberger la mémoire du H200 ?
Avec 141 Go par carte, la plupart des grands modèles open source majeurs se chargent intégralement en inférence, ou avec des fenêtres de contexte plus longues ; en système HGX H200 à 8 GPU via NVLink, la mémoire cumulée atteint 1,1 To, de quoi faire de l'inférence et de l'entraînement sur des modèles à centaines de milliards de paramètres. L'échelle réellement déployable dépend aussi de la précision de quantification, de la longueur du KV Cache et de l'implémentation du framework.