Ficha técnica SPEC CARD
Intel Gaudi 3
Buque insignia de los aceleradores de IA vigentes de Intel (presentado en Vision 2024), tarjeta de cómputo de tercer fabricante que rompe el ecosistema cerrado de NVLink gracias a su interconexión RoCE nativa sobre Ethernet; ya desplegada en IBM Cloud y en el Dell XE9680, completa la cobertura de fabricantes de la enciclopedia
Resumen
Intel Gaudi 3 es la línea de aceleradores de Intel para entrenamiento e inferencia de IA a gran escala, fabricada en proceso TSMC de 5 nm con arquitectura de doble die: dos dies de cómputo idénticos trabajan de forma coordinada mediante un puente de alta banda ancha y baja latencia sobre interposer. Su motor matricial MME ofrece 1678 TFLOPS tanto en BF16 como en FP8, junto con 64 unidades TPC y 8 unidades MME; la memoria es de 128 GB HBM2e (8 apilamientos de 16 GB) y cuenta además con 96 MB de SRAM en chip. Su rasgo distintivo es la interconexión RoCE nativa sobre Ethernet, y se ofrece en dos formatos: OAM (HL-325L) y PCIe (HL-338). Sus usos típicos abarcan el entrenamiento de grandes modelos, el despliegue de inferencia y la ampliación de clústeres en centros de datos.
Especificaciones clave
| Arquitectura | Gaudi 3 (quinta generación de arquitectura de aceleración de IA heterogénea, 2 dies de cómputo idénticos puenteados mediante interposer de forma transparente al software, TSMC 5nm) |
| Memoria | 128 GB HBM2e (8×16 GB de stacks, 3,6 GHz, direccionamiento unificado de doble die) |
| Ancho de banda de memoria | 3,7 TB/s pico |
| Potencia de cómputo | MME matriz: FP8 1678 / BF16 1678 / FP16(signed) 459 / TF32 459 / FP32 229 TFLOPS; vectorial TPC: FP8 57,3 / BF16 28,7 / FP16 28,7 / FP32 14,3 TFLOPS |
| Motores de cómputo | 8× MME (64K MACs por MME) + 64× núcleos TPC (total de ambos dies) |
| SRAM en chip | 96MB (12,8/6,4 TB/s lectura/escritura) |
| Consumo | OAM HL-325L: TDP de 900 W (disipación pasiva; refrigerado por líquido también 900 W) | Tarjeta PCIe HL-338: TDP de 600 W (disipación pasiva) |
| Interconexión | 24× 200GbE RoCE (1200GB/s bidireccionales, vía 48×112G PAM4 SerDes; 21 puertos de interconexión GPU-GPU + 3 puertos scale-out por tarjeta) + interfaz de host PCIe Gen5 x16 (128GB/s, 64GB/s unidireccionales) |
| Decodificación multimedia | 14 decodificadores de medios |
| Formato | OAM HL-325L (mezzanine OCP OAM 2.0) / tarjeta PCIe HL-338 (CEM 5.1) / placa base universal HLB-325 (8 tarjetas con interconexión all-to-all, 6× OSFP800 scale-out) |
| Año de lanzamiento | 2024 (presentado en Intel Vision el 09-04-2024, disponibilidad OEM en el Q2 2024) |
Especificaciones verificadas con documentación oficial (
Benchmarks oficiales , actualizado el 2026-10-10) · El precio real está sujeto a la cotización del vendedor
Casos de uso
- Entrenamiento distribuido de grandes modelos de lenguaje, construyendo clústeres gracias a la capacidad de red de 24 puertos 200GbE RoCE por OAM, con 21 enlaces entre OAM y 3 puertos de escalado
- Servicios de inferencia en precisión mixta BF16/FP8, aprovechando los 128 GB HBM2e para alojar modelos de gran tamaño de parámetros
- Nodo integrado de 8 tarjetas basado en la placa HLB-325, ideal para tareas de entrenamiento que exijan interconexión GPU-GPU total y baja sobrecarga de comunicación
- Tarjeta HL-338 con interfaz de host PCIe Gen5 X16, adecuada como ampliación elástica de cómputo e inferencia en salas de servidores generales ya existentes
Modelos de la misma familia
| Modelo | Memoria | Consumo |
|---|
| Intel Gaudi 2 Comparación | 96GB HBM2E (6× HBM2E stacks) | Módulo OAM: TDP de 600 W |
| Intel Data Center GPU Max 1550 Comparación | 128 GB HBM2e (cada Xe-Stack con stacks HBM2e independientes; en pruebas STREAM de una sola tarjeta en Aurora se midieron 2,1 TB/s) | TDP de 600 W (ARK oficial; la configuración real del ECP de Aurora asigna a la GPU una potencia sostenida de 500 W en un equilibrio CPU/GPU de 4 kW) |
| Intel Data Center GPU Max 1100 Comparación | 48 GB HBM2e (ARK oficial; la configuración de nodos SURF lo registra como 'Max 1100 48G XeLink') | 300W TDP |
Vídeo explicativo VIDEO
Puntos clave de compra e inspección
- Atención al formato y a las restricciones térmicas: la versión OAM HL-325L utiliza diseño de disipación pasiva, y la versión PCIe HL-338 también es de disipación pasiva; antes de comprar hay que verificar que el flujo de aire del rack, los deflectores y la organización del flujo cubran las necesidades térmicas de la tarjeta completa; en nodos cerrados de alta densidad conviene evaluar la compatibilidad con refrigerado por líquido
- Verificar las condiciones de red de la sala: la interconexión de este producto se basa en 200GbE RoCE, y la placa HLB-325 sale al exterior mediante 6 puertos OSFP800; hay que planificar con antelación switches Ethernet, módulos ópticos y cableado, sin necesidad de un ecosistema cerrado de interconexión propietario
- Al recibir la mercancía, cotejar con la documentación oficial: el documento técnico oficial (doc 817486) no incluye campos de cómputo con dispersión ni ancho de bus de memoria; si el vendedor aporta cifras con sparsity, debe especificar las condiciones de prueba; verificar además que el slot PCIe Gen5 X16 del host y la alimentación cumplan los requisitos de la tarjeta
Preguntas frecuentes
¿Cuánta mejora supone Intel Gaudi 3 frente a la generación anterior Gaudi 2?
Según los datos publicados por Intel en Vision 2024, Gaudi 3 ofrece 4 veces el cómputo de IA en BF16 y 1,5 veces el ancho de banda de memoria respecto a Gaudi 2; el proceso pasa también de los 7 nm de Gaudi 2 a 5 nm, con una arquitectura rediseñada de doble die interconectado mediante interposer.
¿Qué diferencias hay entre la versión OAM y la versión PCIe de Gaudi 3?
La versión OAM (HL-325L) está orientada a nodos de clúster de alta densidad: las tarjetas se interconectan íntegramente mediante 21 enlaces entre OAM y forman un sistema de 8 tarjetas sobre la placa HLB-325, con 24 puertos 200GbE RoCE hacia el exterior; la versión PCIe (HL-338) usa la interfaz estándar PCIe CEM 5.1 y se inserta directamente en servidores generales, con mayor flexibilidad de despliegue y red, aunque su topología de interconexión y densidad no llegan al nivel de la solución OAM.
¿Qué entorno de red requiere Gaudi 3? ¿Depende de protocolos de interconexión propietarios?
Gaudi 3 utiliza de forma nativa interconexión RoCE sobre Ethernet: cada OAM ofrece 24 puertos 200GbE (implementados con 48 SerDes de 112G PAM4), de los cuales 21 se destinan a la interconexión entre OAM y 3 al escalado hacia el exterior. Esto permite construir clústeres con switches Ethernet estándar, sin depender de un ecosistema cerrado de interconexión propietario, aunque es necesario disponer de switches compatibles con 200GbE RoCE y de los recursos de interconexión óptica correspondientes.
Documentación actualizada el 2026-10-10 · profundice con la
Política editorial Ficha a fondo