Ficha técnica SPEC CARD
NVIDIA H100 SXM
La tarjeta estándar de facto para el entrenamiento de IA actual: núcleo de los sistemas DGX/HGX H100, columna vertebral de los clústeres de decenas de miles de GPUs, el activo más sólido del mercado de segunda mano y líder en retención de valor
Resumen
NVIDIA H100 SXM es una tarjeta de cómputo acelerado para centros de datos basada en la arquitectura Hopper, componente central de los sistemas DGX y HGX H100, y el hardware estándar de facto para el entrenamiento de IA a gran escala actual. Adopta el formato SXM5, está equipada con 80GB de memoria HBM3, ofrece un ancho de banda de interconexión GPU-GPU de 900GB/s mediante NVLink de cuarta generación y soporta de forma nativa PCIe Gen5. Sus Tensor Core cubren múltiples precisiones, desde FP64 hasta FP8, y admite MIG para dividir una sola tarjeta en hasta siete instancias. Está ampliamente desplegada en preentrenamiento de modelos de gran escala, servicios de inferencia y clústeres de cómputo de alto rendimiento, y en el mercado de segunda mano mantiene una alta retención de valor debido a la escasez de oferta.
Especificaciones clave
| Arquitectura | NVIDIA Hopper (núcleo GH100, proceso personalizado TSMC 4N, 80.000 millones de transistores, 814mm², Compute Capability 9.0) |
| Memoria | 80GB HBM3 (cifras SXM5, 5 stacks HBM3); la versión PCIe ofrece 80GB HBM2e (5 stacks, 2TB/s) |
| Ancho de bus de memoria | 5120bit (tanto en SXM5 como en PCIe: 10 controladores de memoria de 512bit) |
| Ancho de banda de memoria | 3.35TB/s (SXM5); la versión PCIe, 2TB/s |
| Potencia de cómputo | FP8 Tensor Core 3.958 TFLOPS (con sparsity, densa 1.979); FP16/BF16 TC 1.979*; TF32 TC 989*; FP64 TC 67; FP32 67; FP64 34 (cifras SXM5, *=With sparsity) |
| Consumo | SXM5: hasta 700W (configurable); versión PCIe: 350W |
| Interconexión | NVLink 4.0 900GB/s (SXM5, 18 enlaces) + PCIe Gen5 x16 128GB/s; versión PCIe: PCIe Gen5 128GB/s, con puente NVLink opcional de dos tarjetas a 600GB/s |
| Año de lanzamiento | 2022 (anunciado en la GTC del 22-03-2022, SXM5 disponible en el tercer trimestre de 2022) |
| SM y núcleos CUDA | 132 SM / 16.896 núcleos CUDA FP32 (SXM5); versión PCIe: 114 SM / 14.592 |
| Frecuencia acelerada | SXM5: 1830MHz (FP8/FP16/BF16/TF32 TC) / 1980MHz (FP64 TC y FP32/FP64); versión PCIe: 1620/1755MHz |
| Caché L2 | 50MB |
| Segmentación MIG | Secure MIG de segunda generación, hasta 7 instancias @10GB |
| Códecs | 7 NVDEC + 7 NVJPG |
| Formato | Módulo SXM5 (refrigerado por líquido o refrigerado por aire según el sistema completo, con HGX/DGX H100 de 4 u 8 tarjetas); versión PCIe: doble ranura refrigerado por aire |
Especificaciones verificadas con documentación oficial (
Benchmarks oficiales , actualizado el 2026-10-10) · El precio real está sujeto a la cotización del vendedor
Casos de uso
- Preentrenamiento de grandes modelos de lenguaje: como núcleo de los nodos HGX/DGX H100, forma clústeres de múltiples tarjetas e incluso de decenas de miles de GPUs mediante NVLink y NVSwitch, asumiendo entrenamientos de larga duración de modelos con gran cantidad de parámetros
- Despliegue de servicios de inferencia de grandes modelos: gracias a la aceleración con Tensor Core FP8 e INT8 y a la división multiinstancia de MIG, aporta capacidad de cómputo para inferencia en línea de alta concurrencia o escenarios multiusuario
- Cómputo científico y HPC: con su rendimiento de doble precisión y FP64 Tensor Core, atiende cargas HPC tradicionales como dinámica de fluidos computacional, dinámica molecular y simulación climática
- Entrenamiento y fine-tuning de modelos multimodales: equipada con múltiples unidades de decodificación NVDEC, es adecuada para pipelines de entrenamiento con datos de imagen, texto y vídeo, así como para flujos de procesamiento de medios
Modelos de la misma familia
| Modelo | Memoria | Consumo |
|---|
| NVIDIA T4 Comparación | 16GB GDDR6 con ECC (activado por defecto) | 70W (potencia total de la placa, por defecto) |
| NVIDIA A100 Comparación | Doble versión: 40GB HBM2 / 80GB HBM2e (la de 80GB se presentó el 16-11-2020 en la SC20), con ECC | SXM4 400W (igual en 40GB/80GB); versión PCIe: 40GB 250W / 80GB 300W |
| NVIDIA H20 Comparación | 96GB HBM3 (coincidencia en tres fuentes: Flopper/VipraTech/Tencent News) | TDP de 400W (coincidencia en tres fuentes: Flopper/tabla de especificaciones de VipraTech/'TDP de 400W' en Tencent News; se descarta la cifra contradictoria de 350W en el texto de VipraTech) |
| NVIDIA GB300 Comparación | 288GB HBM3e (por paquete de GPU; 576GB en el superchip; coexisten 2,1TB a nivel de placa HGX y 20TB por rack) | TGP de hasta 1400W |
| NVIDIA A30 Comparación | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 Comparación | 24GB GDDR6X | TGP de 450W (315W en juegos de media, fuente de alimentación recomendada de 850W) |
Vídeo explicativo VIDEO
Puntos clave de compra e inspección
- Planificación del formato y la alimentación: la H100 SXM es un diseño integrado en placa, incompatible con chasis PCIe convencionales; es necesario adquirir sistemas completos DGX/HGX o servidores con placa base SXM5. El consumo del sistema es elevado, por lo que conviene verificar de antemano la capacidad eléctrica de la sala, la densidad de potencia del rack y si la solución de disipación (refrigerado por líquido o refrigerado por aire) es adecuada
- Validación de interconexión y red: el despliegue multitarjeta depende de NVLink de cuarta generación y NVSwitch para lograr 900GB/s de ancho de banda de interconexión GPU-GPU. Al recibir el equipo, debe comprobarse tarjeta por tarjeta que la placa SXM y los módulos NVSwitch funcionen correctamente, verificar el estado de negociación de los enlaces PCIe Gen5 y evitar bloqueos en futuras ampliaciones del clúster
- Verificación de origen y estado: las transacciones en canales de segunda mano son frecuentes; conviene cotejar los números de serie y el estado de garantía del fabricante, solicitar capturas de pruebas reales (nvidia-smi para confirmar el modelo, los 80GB de memoria y la disponibilidad de MIG), ejecutar pruebas de estrés prolongadas para descartar problemas de memoria y disipación, y revisar la integridad de la topología NVLink
Preguntas frecuentes
¿En qué se diferencian la H100 SXM y la H100 PCIe, y cuál elegir?
La versión SXM es de formato integrado, ofrece 900GB/s de interconexión GPU-GPU vía NVLink y mayor potencia de cómputo en Tensor Core, ideal para clústeres de entrenamiento a gran escala con múltiples tarjetas; la versión PCIe es una tarjeta estándar de doble ranura refrigerado por aire, con puente NVLink opcional (dos tarjetas, menor ancho de banda), mejor compatibilidad y menor barrera de despliegue, adecuada para un solo equipo o escenarios de tamaño mediano o pequeño. Priorice SXM si busca escalabilidad de clúster y máximo rendimiento; PCIe si busca flexibilidad de despliegue.
¿La H100 admite partición MIG? ¿A cuántos usuarios se puede asignar una tarjeta?
Sí. La función MIG de la H100 SXM permite dividir una tarjeta en hasta 7 instancias, cada una con 10GB de memoria, ideal para servicios de inferencia, desarrollo y pruebas en escenarios multiusuario, logrando aislamiento de recursos y mayor utilización.
¿Vale la pena comprar una H100 de segunda mano? ¿Cómo se comporta en retención de valor?
La H100 es el hardware principal del entrenamiento de IA a gran escala actual, con una demanda sostenida; en el mercado de segunda mano su precio se comporta claramente mejor que el de la mayoría del hardware de su generación y se considera un producto con alta retención de valor. No obstante, al comprar conviene verificar especialmente la legalidad del origen, el estado de garantía y la salud del hardware (memoria, NVLink, disipación), y confirmar especificaciones y estado mediante pruebas en el equipo antes de cerrar la transacción.
Documentación actualizada el 2026-10-10 · profundice con la
Política editorial Ficha a fondo