Карточка характеристик SPEC CARD
Intel Gaudi 3
Флагманский действующий ИИ-ускоритель Intel (анонсирован на Vision 2024), ускоритель третьего производителя с нативной Ethernet-интерконнект-архитектурой RoCE, разрушающей закрытую экосистему NVLink; уже развернут в облаке IBM и в Dell XE9680, закрывает линейку покрытия производителей энциклопедии
Обзор
Intel Gaudi 3 — линейка ускорителей Intel для масштабного обучения и инференса ИИ-моделей, созданная по 5-нм техпроцессу TSMC с двухкристальной архитектурой: два одинаковых вычислительных кристалла соединены через интерпозер и работают совместно как высокоскоростной малозадерживающий интерконнект. Матричный движок MME обеспечивает 1678 TFLOPS как в BF16, так и в FP8, в паре с 64 блоками TPC и 8 модулями MME. Память — 128 ГБ HBM2e (8 чипов по 16 ГБ в стеке), плюс 96 МБ SRAM на кристалле. Отличительная особенность — нативный Ethernet-интерконнект RoCE; доступны исполнения в формате OAM (HL-325L) и PCIe (HL-338). Типичные сценарии: обучение больших моделей, инференс и расширение кластеров ЦОД.
Ключевые характеристики
| Архитектура | Gaudi 3 (гетерогенная ИИ-архитектура 5-го поколения, 2 одинаковых вычислительных кристалла, соединённых через интерпозер, прозрачно для ПО, TSMC 5nm) |
| Память | 128 ГБ HBM2e (8×16 ГБ stacks, 3,6 ГГц, единое адресное пространство двух кристаллов) |
| Пропускная способность памяти | пиковая пропускная способность 3,7 ТБ/с |
| Вычислительная мощность | MME-матрица: FP8 1678 / BF16 1678 / FP16(signed) 459 / TF32 459 / FP32 229 TFLOPS; TPC-вектор: FP8 57,3 / BF16 28,7 / FP16 28,7 / FP32 14,3 TFLOPS |
| Вычислительные движки | 8× MME (по 64K MACs на модуль) + 64× ядер TPC (суммарно по двум кристаллам) |
| SRAM на кристалле | 96 МБ (чтение 12,8 / запись 6,4 ТБ/с) |
| Потребление | OAM HL-325L: TDP 900 Вт (пассивное охлаждение; с жидкостным охлаждением также 900 Вт) | PCIe-карта HL-338: TDP 600 Вт (пассивное охлаждение) |
| Интерконнект | 24× 200GbE RoCE (суммарно двунаправленно 1200 ГБ/с, через 48× 112G PAM4 SerDes; 21 порт интерконнекта GPU-GPU и 3 порта scale-out на плату) + хост-интерфейс PCIe Gen5 x16 (128 ГБ/с, 64 ГБ/с в одном направлении) |
| Декодирование медиа | 14 аппаратных медиадекодеров |
| Форм-фактор | OAM HL-325L (мезонин OCP OAM 2.0) / карта PCIe HL-338 (CEM 5.1) / универсальная базовая плата HLB-325 (8 плат с полносвязной топологией all-to-all, 6× OSFP800 scale-out) |
| Год выпуска | 2024 (анонс на Intel Vision 09.04.2024, OEM-поступления в Q2 2024) |
Характеристики сверены с официальными материалами (
Официальные бенчмарки , обновлено 2026-10-10) · Фактическая цена определяется предложением продавца
Сценарии применения
- Распределённое обучение больших языковых моделей с построением кластера на базе 24 портов 200GbE RoCE — 21 интерконнект между OAM-платами и 3 порта расширения на каждую OAM
- Инференс-сервисы в BF16/FP8 со смешанной точностью, где 128 ГБ HBM2e позволяют размещать модели с большим числом параметров
- 8-платный цельный узел на базе платы HLB-325 — для задач обучения, требующих полносвязного интерконнекта GPU-GPU и низких накладных расходов на коммуникации
- Карта HL-338 с хост-интерфейсом PCIe Gen5 x16 — для гибкого наращивания вычислений и инференса в уже существующих стандартных серверных
Модели семейства
| Модель | Память | Потребление |
|---|
| Intel Gaudi 2 Сравнение | 96GB HBM2E (6× HBM2E stacks) | Модуль OAM: TDP 600 Вт |
| Intel Data Center GPU Max 1550 Сравнение | 128 ГБ HBM2e (к каждому Xe-Stack подключены собственные HBM2e stacks; измеренная в STREAM производительность одной карты Aurora — 2,1 ТБ/с) | TDP 600 Вт (официальный ARK; в реальной конфигурации Aurora ECP при балансе CPU/GPU 4 кВт GPU работает в режиме около 500 Вт) |
| Intel Data Center GPU Max 1100 Сравнение | 48 ГБ HBM2e (официальный ARK; в конфигурации узлов SURF записано «Max 1100 48G XeLink») | 300W TDP |
Видеообзор VIDEO
Покупка и проверка: на что обратить внимание
- Учитывайте форм-фактор и ограничения по охлаждению: OAM-версия HL-325L — пассивное охлаждение, PCIe-версия HL-338 также пассивная; до закупки убедитесь, что воздушные потоки стойки, воздуховоды и организация охлаждения обеспечивают отвод тепла с платы. Для герметичных высокоплотных узлов стоит оценить совместимость с решениями с жидкостным охлаждением
- Проверьте сетевые условия серверной: интерконнект построен на 200GbE RoCE, наружу плата HLB-325 выводит трафик через 6 портов OSFP800 — заранее спланируйте Ethernet-коммутаторы, оптические модули и кабельную разводку; закрытая проприетарная интерконнект-экосистема не требуется
- При приёмке сверяйтесь с whitepaper: в официальном техническом документе (doc 817486) отсутствуют поля по разреженной производительности и разрядности шины памяти; если поставщик указывает sparse-метрики, требуйте указания условий тестирования. Также убедитесь, что хост-слот PCIe Gen5 x16 и питание соответствуют требованиям платы
Частые вопросы
Насколько Intel Gaudi 3 превосходит предыдущий Gaudi 2?
По данным Intel, озвученным на Vision 2024, Gaudi 3 даёт в 4 раза больше вычислений BF16 для ИИ и в 1,5 раза выше пропускную способность памяти по сравнению с Gaudi 2; техпроцесс обновлён с 7 нм до 5 нм, а архитектура переработана на двухкристальную схему с соединением кристаллов через интерпозер.
Чем отличаются версии OAM и PCIe у Gaudi 3?
Версия OAM (HL-325L) ориентирована на высокоплотные кластерные узлы: платы связаны полносвязной топологией через 21 линию между OAM и в составе 8 плат на базе HLB-325 образуют систему с 24 портами 200GbE RoCE наружу. Версия PCIe (HL-338) использует стандартный интерфейс PCIe CEM 5.1 и устанавливается в обычные серверы — развертывание и построение сети гибче, но топология интерконнекта и плотность уступают решению OAM.
Какая сетевая инфраструктура нужна для Gaudi 3? Есть ли зависимость от проприетарных протоколов интерконнекта?
Gaudi 3 нативно использует Ethernet RoCE: каждая плата OAM предоставляет 24 порта 200GbE (реализованы через 48 линий 112G PAM4 SerDes), из них 21 используется для интерконнекта между OAM, 3 — для масштабирования наружу. Это позволяет строить кластер на стандартных Ethernet-коммутаторах без привязки к закрытой проприетарной экосистеме, однако потребуются коммутаторы с поддержкой 200GbE RoCE и соответствующие оптические ресурсы.