HBM(고대역폭 메모리)은 DRAM 다이를 수직으로 적층하고 GPU와 초단거리 인터커넥트로 연결하는 메모리 형태다. HBM3e는 그 최신 상용 진화형이다. 해결하는 문제는 하나: 대모델 시대에 데이터가 연산 코어로 공급되는 속도가 병목이 되어서는 안 된다는 것.
AI 서버 전체 시스템에서 메모리 용량은 '얼마나 큰 모델을 올릴 수 있는가'를 직접 결정한다. B300 세대 기종에서 가장 눈에 띄는 스펙이 바로 이것 — 카드당 288GB다.
| 항목 | 수치 / 기준 |
|---|---|
| 단일 카드 용량 (B300) | 288GB HBM3e |
| 8카드 합계 (NVL8) | 약 2.3TB |
| 이전 세대 H100 대비 | 80GB(HBM3) |
| H200 대비 | 141GB(HBM3e) |
모델 메모리 사용량을 추산하는 간단하지만 실용적인 공식이 있다: FP8 가중치 ≈ 파라미터 수 × 1바이트. DeepSeek R1 풀 버전은 671B 파라미터로 FP8 가중치 약 690GB — 단일 카드에는 들어가지 않지만, B300 NVL8 전체 시스템의 2.3TB 총 메모리로 단일 노드 풀 버전 배포가 가능하며 여유도 충분하다.
메모리는 시세의 분수령이기도 하다. 같은 시리즈라도 메모리 구성 차이(예: 3TB형과 4TB형)로 가격 차이가 수백만 위안 규모에 이를 수 있다.