HBM(고대역폭 메모리)은 DRAM 다이를 수직으로 적층하고 GPU와 초단거리로 연결되는 메모리로, JEDEC가 표준화했습니다: HBM2는 2016년에 확정되었고, HBM2e는 HBM 스택당 16GB로 끌어올렸습니다. HBM3는 2022년에 공개되어 핀당 대역폭이 6.4 Gb/s로 두 배가 되었고, HBM3e는 다시 9.6 Gb/s, 스택당 36GB에 도달했습니다. HBM4 표준은 2025년에 공개되었으며, 인터페이스가 2048비트로 넓어져 스택당 2TB/s를 지원합니다(JEDEC 기준).
AI 서버에서 메모리 세대는 '한 장의 카드에 얼마나 큰 모델을 올릴 수 있는가'를 직접 결정합니다: A100 80GB HBM2e, H100 80GB HBM3, H200 141GB HBM3e, B300 288GB HBM3e — 네 세대에 걸쳐 용량과 대역폭이 함께 상승했습니다(NVIDIA 공식 스펙 페이지 기준, 대역폭 2039GB/s에서 4.8TB/s까지). 메모리 세대는 중고 시장 유통에서도 기준선이 됩니다: 똑같이 80GB 표기라도 HBM3와 HBM2e는 서로 다른 세대 제품이며, 가격 차이는 세대에 따라 벌어집니다.
| 항목 | 수치 / 기준 |
|---|---|
| HBM2 / HBM2e | 핀당 최대 3.2 → 3.6 Gb/s · 스택당 8 → 16GB(JEDEC 기준/SK하이닉스 2020년 양산) |
| HBM3(2022-01 공개) | 핀당 6.4 Gb/s · H100 80GB, 3.35TB/s(JEDEC/NVIDIA 공식) |
| HBM3e | 핀당 9.6 Gb/s · 12단 스택 36GB(SK하이닉스 2024-09 세계 최초 양산) |
| HBM4(2025-04 공개) | JESD270-4 · 인터페이스 2048비트 · 스택당 최대 2TB/s(JEDEC 공식) |
B300 싱글 카드 288GB HBM3e는 바로 제품 계보의 현재 상용 정점임: 공식 기준으로 메모리가 전 세대(192GB HBM3e) 대비 5할 증가(NVIDIA GB300 NVL72 공식 페이지), 8카드 NVL8 합계 약 2.3TB——FP8 기준 671B 파라미터 풀성능 대형 모델을 정기 한 대에 담고도 남음. 견적을 읽을 때 먼저 메모리 세대를 물을 것: 같은 288GB라도 HBM3e와 HBM4는 2026년 시장에서 병행되기 시작하며, 플랫폼 가치와 시세는 세대별로 층위가 나뉨.
검수 관점: HBM 스택은 HBM 공급 3사(SK하이닉스/삼성/마이크론)의 오리지널 제품이어야 하며, 세대는 실크스크린과 공식 펌웨어 리포트로 대조해 구형을 신형으로 둔갑시키는 수법을 방지해야 합니다. A100 세대의 HBM2e와 H100/H200 세대의 HBM3/HBM3e는 외형이 비슷하지만 시세 차이가 두 배 이상 벌어지며, 세대를 섞어 보고하는 것은 중고 시장의 흔한 함정입니다.