Ficha técnica SPEC CARD
NVIDIA H200 SXM
La versión con más memoria del H100 en el mismo factor de forma: la potencia se mantiene en 700 W, pero la memoria sube a 141 GB de HBM3e con 4,8 TB/s, duplicando el rendimiento de inferencia de modelos grandes. El sistema de 8 GPUs HGX H200 es el nuevo pilar de los clústeres de inferencia; tras la relajación de las restricciones de exportación a China en 2026, es un valor seguro en el mercado de memoria de gran capacidad disponible en stock.
Resumen
NVIDIA H200 SXM es la GPU de centro de datos basada en la arquitectura Hopper, posicionada como la versión con más memoria del H100 en el mismo factor de forma. Su cambio más notable es el aumento de la memoria por GPU hasta 141 GB de HBM3e, lo que según el fabricante la convierte en la primera GPU del mundo con esta capacidad de HBM3e. Manteniendo el mismo nivel de consumo que el H100, los datos oficiales indican que su rendimiento de inferencia en modelos de lenguaje a gran escala es aproximadamente el doble. En cuanto a capacidad de cómputo, el H200 SXM es compatible con FP64, FP32 y las distintas precisiones de Tensor Core, con una potencia de FP8 de 4 petaFLOPS (incluida la aceleración por dispersión). Su formato es SXM y, mediante NVLink con una interconexión de 900 GB/s, forma sistemas HGX H200 de cuatro u ocho GPUs. Se utiliza ampliamente en inferencia y entrenamiento de modelos grandes, cómputo de alto rendimiento y cargas de decodificación de vídeo, siendo la opción dominante en clústeres de inferencia con gran memoria.
Especificaciones clave
| Arquitectura | NVIDIA Hopper (núcleo GH100, proceso personalizado TSMC 4N, 80 000 millones de transistores, 814 mm², el mismo GH100 que el H100 SXM) |
| Memoria | 141 GB de HBM3e (bus de 6144 bit / 6,3 Gbps por pin, primer módulo de 141 GB HBM3e por GPU según el fabricante) |
| Tipo de memoria | HBM3e |
| Ancho de bus de memoria | 6144bit |
| Ancho de banda de memoria | 4.8TB/s |
| Potencia de cómputo | FP8 Tensor Core 3958 TFLOPS (con dispersión; denso 1979); FP16/BF16 TC 1979*; TF32 TC 989*; INT8 TC 3958 TOPS*; FP64 TC 67; FP32 67; FP64 34 (cifras SXM, *=con sparsity) |
| Consumo | SXM hasta 700 W (configurable); el mismo nivel de consumo que el H100 SXM, 700 W |
| Interconexión | NVLink 900 GB/s + PCIe Gen5 128 GB/s; mediante NVSwitch forma sistemas totalmente interconectados HGX H200 de 4/8 GPUs (más de 32 PFLOPS FP8 combinados en 8 GPUs, 1,1 TB de memoria total) |
| Año de lanzamiento | 2024 |
| SM y núcleos CUDA | 132 SM / 16 896 núcleos CUDA FP32 |
| Frecuencia acelerada | 1,980MHz |
| Caché L2 | 50MB |
| Segmentación MIG | Hasta 7 instancias de 18 GB (cada una con 18 GB, por encima de los 16,5 GB del H200 NVL y los 10 GB del H100) |
| Códecs | 7 NVDEC + 7 JPEG |
| Computación confidencial | Confidential Computing Supported |
| Formato | Módulo SXM (refrigerado por líquido o refrigerado por aire según el sistema completo; se configura con HGX H200 de 4 u 8 GPUs; AI Enterprise se adquiere aparte como complemento) |
Especificaciones verificadas con documentación oficial (
Benchmarks oficiales , actualizado el 2026-10-10) · El precio real está sujeto a la cotización del vendedor
Casos de uso
- Servicios de inferencia de modelos de lenguaje a gran escala: con 141 GB de memoria pueden alojarse modelos más grandes o contextos más largos; según cifras oficiales, el rendimiento de inferencia es aproximadamente el doble que el de la generación anterior, ideal para APIs de LLM de nivel de producción e inferencia por lotes
- Entrenamiento y ajuste fino de modelos grandes: mediante la interconexión NVLink de 900 GB/s se forman sistemas HGX H200 de cuatro u ocho GPUs con una potencia combinada superior a 32 petaFLOPS en FP8, capaz de soportar el entrenamiento y el ajuste fino eficiente de modelos con miles de millones de parámetros
- Inferencia multiinstancia y particionado de cómputo: gracias a MIG puede dividirse en hasta 7 instancias (de 18 GB cada una), ideal para que proveedores de nube ofrezcan recursos de inferencia aislados a varios inquilinos sobre la misma tarjeta física
- Pipelines de vídeo e imagen: con 7 decodificadores NVDEC y 7 motores JPEG, puede asumir en paralelo tareas masivas de transcodificación de vídeo y decodificación de imágenes junto a la inferencia de modelos grandes
Modelos de la misma familia
| Modelo | Memoria | Consumo |
|---|
| NVIDIA T4 Comparación | 16GB GDDR6 con ECC (activado por defecto) | 70W (potencia total de la placa, por defecto) |
| NVIDIA A100 Comparación | Doble versión: 40GB HBM2 / 80GB HBM2e (la de 80GB se presentó el 16-11-2020 en la SC20), con ECC | SXM4 400W (igual en 40GB/80GB); versión PCIe: 40GB 250W / 80GB 300W |
| NVIDIA H20 Comparación | 96GB HBM3 (coincidencia en tres fuentes: Flopper/VipraTech/Tencent News) | TDP de 400W (coincidencia en tres fuentes: Flopper/tabla de especificaciones de VipraTech/'TDP de 400W' en Tencent News; se descarta la cifra contradictoria de 350W en el texto de VipraTech) |
| NVIDIA GB300 Comparación | 288GB HBM3e (por paquete de GPU; 576GB en el superchip; coexisten 2,1TB a nivel de placa HGX y 20TB por rack) | TGP de hasta 1400W |
| NVIDIA A30 Comparación | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 Comparación | 24GB GDDR6X | TGP de 450W (315W en juegos de media, fuente de alimentación recomendada de 850W) |
Vídeo explicativo VIDEO
Puntos clave de compra e inspección
- Verificación de potencia y refrigeración del centro de datos: el H200 SXM tiene formato SXM con un TDP máximo de 700 W configurable; es imprescindible confirmar la redundancia de alimentación del sistema completo (HGX H200 de cuatro u ocho GPUs) y que la solución de refrigerado por líquido o refrigerado por aire sea compatible, para evitar quedarse corto si se estima según la línea base del H100
- Inspección de memoria e interconexión al recibir el equipo: confirmar que se trata de la versión SXM y no del H200 NVL (ambos difieren en nivel de consumo, formato e interconexión); la versión SXM depende del NVLink a nivel de placa y no puede usarse de forma independiente fuera de la placa base HGX, por lo que al comprar el sistema completo hay que verificar la configuración NVLink de 900 GB/s
- Software y conformidad: confirmar los canales de suministro y lotes del fabricante del sistema y del proveedor de nube, y evaluar si se necesita la licencia adicional de NVIDIA AI Enterprise; en compras sujetas a controles de exportación hay que verificar la situación de conformidad, y tener en cuenta que la tarjeta es compatible con Confidential Computing, que debe validarse en la aceptación si se requieren aislamiento y seguridad
Preguntas frecuentes
¿En qué se diferencian el H200 y el H100?
El H200 es la versión del H100 con más memoria: la capacidad sube a 141 GB de HBM3e manteniendo el mismo nivel de consumo (máximo 700 W, configurable). Según cifras oficiales, el rendimiento de inferencia en modelos de lenguaje del H200 es aproximadamente el doble que el del H100. Ambos pertenecen a la arquitectura Hopper y comparten una gran coherencia en capacidad de cómputo y ecosistema de software.
¿H200 SXM o H200 NVL: cuál elegir?
Ambos tienen 141 GB de memoria, pero las diferencias son notables: el SXM es un formato integrado en placa base que depende de NVLink para una interconexión de 900 GB/s, con un TDP máximo de 700 W, orientado a soluciones HGX completas y clústeres de alta densidad; el NVL es una tarjeta PCIe de doble ranura con refrigerado por aire, un TDP máximo de 600 W, interconexión de 2 o 4 vías mediante un puente NVLink y un nivel de cómputo más bajo. Para montar un clúster de inferencia de alta densidad lo habitual es el sistema SXM completo; para servidores PCIe existentes o entornos con espacio limitado, la opción es el NVL.
¿Qué tamaño de modelo puede ejecutar la memoria del H200?
Con 141 GB por GPU pueden cargarse por completo la mayoría de los grandes modelos de código abierto para inferencia, o manejar ventanas de contexto más largas; al formar un sistema HGX H200 de ocho GPUs mediante NVLink, la memoria total llega a 1,1 TB, suficiente para inferencia y entrenamiento de modelos de cientos de miles de millones de parámetros. La escala real desplegable depende también de la precisión de cuantización del modelo, la longitud del KV Cache y la implementación del framework.
Documentación actualizada el 2026-10-10 · profundice con la
Política editorial Ficha a fondo