スペックカード SPEC CARD
Intel Gaudi 3
Intel の現行 AI アクセラレーターフラッグシップ(2024 Vision 発表)。イーサネット ネイティブの RoCE インターコネクトにより NVLink のクローズドエコシステムに対抗する第三勢力の演算カードで、IBM Cloud や Dell XE9680 で実際に採用済み。百科としてのベンダーカバーを補完する
概要
Intel Gaudi 3 は Intel が大規模 AI 学習・推論向けに投入したアクセラレーター製品ラインで、TSMC 5nm プロセスとデュアルダイ構成を採用し、同一の演算ダイ 2 個をインターポーザーでブリッジした高帯域・低レイテンシの接続により協調動作する。MME 行列エンジンは BF16 と FP8 のいずれでも 1678 TFLOPS の演算性能を発揮し、64 個の TPC ユニットと 8 個の MME ユニットを備える。メモリは 128 GB HBM2e(16GB スタック 8 個)で、加えて 96 MB のオンチップ SRAM を搭載。ネイティブのイーサネット RoCE インターコネクトを特徴とし、OAM(HL-325L)と PCIe(HL-338)の 2 形態を提供。大規模モデルの学習、推論デプロイ、データセンタークラスタの拡張などを主な用途とする
主要スペック
| アーキテクチャ | Gaudi 3(第5世代ヘテロジニアス AI アクセラレーターアーキテクチャ。同一仕様の演算ダイ 2 個をインターポーザーでブリッジしソフトウェア的に透過、TSMC 5nm) |
| メモリ | 128GB HBM2e(8×16GB スタック、3.6GHz、2 ダイの統一アドレッシング) |
| メモリ帯域幅 | 3.7 TB/s ピーク |
| 演算性能 | MME行列: FP8 1678 / BF16 1678 / FP16(符号付き) 459 / TF32 459 / FP32 229 TFLOPS; TPCベクトル: FP8 57.3 / BF16 28.7 / FP16 28.7 / FP32 14.3 TFLOPS |
| 演算エンジン | 8× MME(各MME 64K MACs)+ 64× TPCコア(双ダイ合計) |
| オンチップSRAM | 96MB(12.8/6.4 TB/s 読み/書き) |
| 消費電力 | OAM HL-325L:900W TDP(パッシブ冷却;液冷も 900W)|PCIe HL-338 カード:600W TDP(パッシブ冷却) |
| インターコネクト | 24× 200GbE RoCE(双方向合計1200GB/s、48×112G PAM4 SerDes 経由; カードあたりGPU間インターコネクト21ポート+スケールアウト3ポート)+ PCIe Gen5 x16 ホストインターフェース(128GB/s、一方向64GB/s) |
| メディアデコード | 14基のメディアデコーダー |
| フォームファクター | OAM HL-325L(OCP OAM 2.0 メザニン)/ PCIe HL-338 カード(CEM 5.1)/ HLB-325 汎用ベースボード(8カード all-to-all フルメッシュ、6× OSFP800 スケールアウト) |
| 発売年 | 2024(2024-04-09 Intel Vision で発表、2024年第2四半期に OEM 出荷) |
スペックは公式資料に基づき検証済み(
公式ベンチマーク、2026-10-10 更新)· 実際の価格は出品者の提示価格によります
適用シーン
- 大規模言語モデルの分散学習。OAM あたり 21 組の OAM 間インターコネクトと 3 組の拡張ポートによる 24 レーン 200GbE RoCE のネットワーク構成能力を活かしたクラスタ構築
- BF16/FP8 混合精度の推論サービス。128 GB HBM2e を活かして大パラメータモデルを搭載
- HLB-325 ベースボードによる 8 カード一体型ノード。GPU間フルメッシュと低通信オーバーヘッドが求められる学習タスクに適する
- PCIe Gen5 x16 ホストインターフェースを採用する HL-338 カード。既存の汎用サーバー設備における弾力的な演算能力の追加や推論拡張に適する
同族モデル
動画解説 VIDEO
調達・検品のポイント
- フォームファクタと放熱の制約に注意:OAM 版 HL-325L はパッシブ放熱設計、PCIe 版 HL-338 も同様にパッシブ放熱のため、購入前にラックのエアフロー、エアダクト、気流設計がカード全体の放熱要件を満たすかを確認すること。高密度の密閉型ノードでは液冷ソリューションとの互換性も評価すべき
- 設備のネットワーク環境を確認:本製品のインターコネクトは 200GbE RoCE ベースで、HLB-325 ベースボードは 6 個の OSFP800 ポート経由で外部接続する。イーサネットスイッチ、光モジュール、配線を事前に計画する必要があるが、専用のクローズドインターコネクトエコシステムは不要
- 検品時はホワイトペーパーの記載と照合:公式技術ドキュメント(doc 817486)にはスパース性能とメモリバス幅の項目が記載されていないため、ベンダーがスパース指標を含める場合は測定条件の明示を求めること。あわせてホスト側の PCIe Gen5 x16 スロット仕様と給電がカード全体の要件を満たすかを確認する
よくある質問
Intel Gaudi 3 は前世代の Gaudi 2 と比べてどの程度向上しているのか?
Intel が Vision 2024 で公表した内容によると、Gaudi 3 は Gaudi 2 対比で BF16 AI 演算性能 4 倍、メモリ帯域 1.5 倍の向上を実現し、プロセスも Gaudi 2 の 7nm から 5nm に刷新され、アーキテクチャは 2 つのダイをインターポーザーで接続する設計に変更された。
Gaudi 3 の OAM 版と PCIe 版の違いは?
OAM 版(HL-325L)は高密度クラスタノード向けで、カード間を 21 組の OAM 間リンクでフルメッシュ接続し、HLB-325 ベースボードで 8 カードシステムを構成、外部には 24 レーン 200GbE RoCE を提供する。PCIe 版(HL-338)は標準の PCIe CEM 5.1 インターフェースを採用し、汎用サーバーに直接挿入できるため、ネットワーク構成とデプロイの自由度は高いが、インターコネクトトポロジと密度は OAM 構成に及ばない。
Gaudi 3 の利用に必要なネットワーク環境は?専用インターコネクトプロトコルへの依存はあるか?
Gaudi 3 はネイティブでイーサネット RoCE インターコネクトを採用し、各 OAM は 24 レーンの 200GbE(48 レーンの 112G PAM4 SerDes で実現)を備え、うち 21 レーンが OAM 間接続、3 レーンが外部拡張に使用される。つまり標準的なイーサネットスイッチでクラスタを構築でき、クローズドな専有インターコネクトエコシステムに依存しないが、200GbE RoCE 対応のスイッチと相应的光接続リソースを用意する必要がある。
資料更新 2026-10-10 · 深掘り項目は
編集ポリシー 手順