스펙 카드 SPEC CARD
Intel Gaudi 3
Intel의 현역 AI 가속기 플래그십(2024 Vision 발표), 이더넷 네이티브 RoCE 인터커넥트로 NVLink 폐쇄 생태계에 도전하는 서드파티 연산 카드, IBM 클라우드와 Dell XE9680에 실제 배포되어 백과사전의 벤더 커버리지를 완성
개요
Intel Gaudi 3는 Intel이 대규모 AI 학습 및 추론을 위해 선보인 가속기 제품군으로, TSMC 5nm 공정과 듀얼 다이 아키텍처를 채택했습니다. 두 개의 동일한 컴퓨팅 다이가 인터포저를 통해 브리지된 고대역폭·저지연 인터커넥트로 협업합니다. MME 매트릭스 엔진은 BF16과 FP8에서 모두 1678 TFLOPS의 연산 성능을 제공하며, 64개의 TPC 유닛과 8개의 MME 유닛을 갖추고 있습니다. 메모리는 128 GB HBM2e(16GB 스택 8개)이며, 온칩 SRAM 96 MB를 추가로 탑재했습니다. 이 제품은 네이티브 이더넷 RoCE 인터커넥트가 특징으로, OAM(HL-325L)과 PCIe(HL-338) 두 가지 폼팩터로 제공되며, 대형 모델 학습, 추론 배포, 데이터센터 클러스터 확장 등에 활용됩니다.
핵심 스펙
| 아키텍처 | Gaudi 3 (5세대 이기종 AI 가속 아키텍처, 2개의 identical compute die가 interposer로 브리지되며 소프트웨어에 투명, TSMC 5nm) |
| 메모리 | 128GB HBM2e (8×16GB stacks, 3.6GHz, 듀얼 die 통합 어드레싱) |
| 메모리 대역폭 | 3.7 TB/s 피크 |
| 연산 성능 | MME 매트릭스: FP8 1678 / BF16 1678 / FP16(signed) 459 / TF32 459 / FP32 229 TFLOPS; TPC 벡터: FP8 57.3 / BF16 28.7 / FP16 28.7 / FP32 14.3 TFLOPS |
| 연산 엔진 | 8× MME (MME당 64K MACs) + 64× TPC 코어 (듀얼 다이 합계) |
| 온칩 SRAM | 96MB (읽기/쓰기 12.8/6.4 TB/s) |
| 소비 전력 | OAM HL-325L: 900W TDP (패시브 쿨링; 수랭 역시 900W) | PCIe HL-338 카드: 600W TDP (패시브 쿨링) |
| 인터커넥트 | 24× 200GbE RoCE (양방향 합계 1200GB/s, 48×112G PAM4 SerDes 경유; 카드당 21포트 GPU 간 인터커넥트 + 3포트 scale-out) + PCIe Gen5 x16 호스트 인터페이스 (128GB/s, 단방향 64GB/s) |
| 미디어 디코딩 | 14개 미디어 디코더 |
| 폼팩터 | OAM HL-325L (OCP OAM 2.0 미자닌) / PCIe HL-338 카드 (CEM 5.1) / HLB-325 범용 베이스보드 (8카드 all-to-all 풀 인터커넥트, 6× OSFP800 scale-out) |
| 출시 연도 | 2024 (2024-04-09 Intel Vision 발표, 2024년 2분기 OEM 출시) |
스펙은 공식 자료 기준으로 검증되었습니다(
공식 벤치마크, 2026-10-10 업데이트) · 실제 가격은 판매자 제시가 기준
적용 시나리오
- 대규모 언어 모델의 분산 학습, OAM당 21개의 OAM 간 인터커넥트와 3개의 확장 포트를 갖춘 24개 200GbE RoCE 네트워킹 능력으로 클러스터 구축
- BF16/FP8 혼합 정밀도 추론 서비스, 128 GB HBM2e로 대규모 파라미터 모델 탑재
- HLB-325 베이스보드 기반 8카드 일체형 노드, GPU 간 풀 인터커넥트와 낮은 통신 오버헤드가 요구되는 학습 작업에 적합
- PCIe Gen5 X16 호스트 인터페이스를 채택한 HL-338 카드, 기존 범용 서버 룸에서의 탄력적 연산 보강 및 추론 확장에 적합
동일 계열 모델
영상 해설 VIDEO
구매 및 검수 포인트
- 폼팩터와 발열 제약 주의: OAM 버전 HL-325L은 패시브 발열 설계이며, PCIe 버전 HL-338 역시 패시브 발열이므로, 구매 전 랙 공기 흐름·에어 덕트 및 기류 구성이 카드 전체 발열 요구를 충족하는지 확인하고, 밀폐 고밀도 노드는 액랭 솔루션 호환성을 평가해야 합니다
- 서버실 네트워크 환경 확인: 이 제품의 인터커넥트는 200GbE RoCE 기반이며, HLB-325 베이스보드는 6개의 OSFP800 포트로 외부에 출력합니다. 이더넷 스위치, 광모듈 및 배선을 사전에 계획해야 하며, 전용 폐쇄형 인터커넥트 생태계는 불필요합니다
- 검수 시 백서 기준 확인: 공식 기술 문서(doc 817486)에는 스파스 연산 성능과 메모리 버스 폭 항목이 제공되지 않으므로, 공급자가 스파스 지표를 포함해 설명할 경우 테스트 조건 명기를 요구해야 합니다. 또한 호스트 측 PCIe Gen5 X16 슬롯 사양과 전원 공급이 카드 요구 사항을 충족하는지 확인하십시오
자주 묻는 질문
Intel Gaudi 3는 전세대 Gaudi 2에 비해 얼마나 향상되었나요?
Intel이 Vision 2024에서 발표한 기준에 따르면, Gaudi 3는 Gaudi 2 대비 4배의 BF16 AI 연산 성능과 1.5배의 메모리 대역폭 향상을 제공하며, 공정도 Gaudi 2의 7nm에서 5nm로 업그레이드되고, 아키텍처는 인터포저로 인터커넥트하는 듀얼 다이 설계로 변경되었습니다.
Gaudi 3의 OAM 버전과 PCIe 버전의 차이는 무엇인가요?
OAM 버전(HL-325L)은 고밀도 클러스터 노드용으로, 카드 간 21조의 OAM 간 링크로 풀 인터커넥트를 구현하고 HLB-325 베이스보드로 8카드 시스템을 구성하며, 외부로 24포트 200GbE RoCE를 제공합니다; PCIe 버전(HL-338)은 표준 PCIe CEM 5.1 인터페이스를 채택해 범용 서버에 직접 장착 가능하며, 네트워킹과 배치 방식이 더 유연하지만 인터커넥트 토폴로지와 밀도는 OAM 솔루션에 미치지 못합니다.
Gaudi 3 사용에 필요한 네트워크 환경은? 전용 인터커넥트 프로토콜에 의존하나요?
Gaudi 3는 네이티브로 이더넷 RoCE 인터커넥트를 채택하며, 각 OAM은 24개 200GbE(48개 112G PAM4 SerDes로 구현)를 제공합니다. 이 중 21개는 OAM 간 인터커넥트에, 3개는 외부 확장에 사용됩니다. 즉 사용자는 표준 이더넷 스위치로 클러스터를 구축할 수 있고 폐쇄형 전용 인터커넥트 생태계에 의존하지 않지만, 200GbE RoCE를 지원하는 스위치와 상응하는 광 인터커넥트 자원을 준비해야 합니다.
자료 업데이트 2026-10-10 · 심층 항목 업그레이드는
편집 방침 프로세스