스펙 카드 SPEC CARD
NVIDIA H200 SXM
H100과 같은 자리의 메모리 업그레이드 버전 — 전력 등급은 그대로 700W, 메모리는 141GB HBM3e/4.8TB/s로 확대, LLM 추론 처리량은 2배. HGX H200 8카드 머신은 추론 클러스터의 새로운 주력. 2026년 대중국 수출 규제 완화 후 물량 확대, 대용량 메모리 유통 시장의 필수 품목
개요
NVIDIA H200 SXM은 Hopper 아키텍처 기반의 데이터센터 GPU로, H100과 같은 자리의 메모리 업그레이드 버전으로 포지셔닝된다. 가장 두드러진 변화는 카드당 메모리가 141GB HBM3e로 확대된 점이며, NVIDIA는 이를 해당 용량의 HBM3e를 채택한 세계 최초의 GPU로 소개한다. H100과 동일한 전력 등급을 유지한 상태에서 공식 수치 기준 LLM 추론 처리량은 약 2배에 달한다. 컴퓨팅 성능 면에서 H200 SXM은 FP64, FP32 및 각종 Tensor Core 정밀도를 지원하며, FP8 연산 성능은 4 petaFLOPS(희소 가속 포함)에 이른다. 폼팩터는 SXM이며, NVLink로 900GB/s 상호 연결을 통해 HGX H200 4카드 또는 8카드 시스템을 구성할 수 있다. 대규모 모델 추론·학습, HPC, 비디오 디코딩 워크로드에 널리 쓰이며, 대용량 메모리 추론 클러스터의 주류 선택지다.
핵심 스펙
| 아키텍처 | NVIDIA Hopper(GH100 코어, TSMC 4N 커스텀 공정, 800억 트랜지스터, 814mm², H100 SXM과 동일한 GH100) |
| 메모리 | 141GB HBM3e(6144bit 버스/6.3Gbps 핀 속도, 공식 발표 기준 세계 최초의 141GB HBM3e 싱글 카드) |
| 메모리 타입 | HBM3e |
| 메모리 버스 폭 | 6144bit |
| 메모리 대역폭 | 4.8TB/s |
| 연산 성능 | FP8 Tensor Core 3,958 TFLOPS(희소 포함, Dense 1,979); FP16/BF16 TC 1,979*; TF32 TC 989*; INT8 TC 3,958 TOPS*; FP64 TC 67; FP32 67; FP64 34(SXM 기준, *=With sparsity) |
| 소비 전력 | SXM 최대 700W(구성 가능); 같은 자리의 H100 SXM 역시 700W 전력 등급 |
| 인터커넥트 | NVLink 900GB/s + PCIe Gen5 128GB/s; NVSwitch를 통해 HGX H200 4/8카드 풀 인터커넥트 구성(8카드 FP8 합산 32 PFLOPS 초과, 메모리 합산 1.1TB) |
| 출시 연도 | 2024 |
| SM 및 CUDA 코어 | 132 SM / 16,896 FP32 CUDA 코어 |
| 부스트 클럭 | 1,980MHz |
| L2 캐시 | 50MB |
| MIG 슬라이싱 | 최대 7개 인스턴스 @18GB(인스턴스당 18GB, H200 NVL의 16.5GB 및 H100의 10GB보다 큼) |
| 코덱 | 7 NVDEC + 7 JPEG |
| 기밀 컴퓨팅 | Confidential Computing Supported |
| 폼팩터 | SXM 모듈(수랭/공랭은 완제품 사양에 따름, HGX H200 4 또는 8카드 구성; AI Enterprise는 Add-on 별도 구매) |
스펙은 공식 자료 기준으로 검증되었습니다(
공식 벤치마크, 2026-10-10 업데이트) · 실제 가격은 판매자 제시가 기준
적용 시나리오
- LLM 추론 서비스: 141GB 메모리로 더 큰 모델이나 더 긴 컨텍스트를 수용할 수 있으며, 공식 수치 기준 추론 처리량은 전 세대의 약 2배로 프로덕션급 LLM API와 배치 추론에 적합
- 대규모 모델 학습 및 파인튜닝: NVLink 900GB/s 상호 연결로 HGX H200 4카드 또는 8카드 시스템을 구성하면 8카드 FP8 합산 성능이 32 petaFLOPS를 넘어, 대규모 파라미터 모델의 학습과 파라미터 효율 파인튜닝을 지원
- 멀티 인스턴스 추론 및 연산 분할: MIG를 활용해 최대 7개 인스턴스(인스턴스당 18GB)로 분할 가능하며, 클라우드 사업자가 동일 물리 카드에서 다중 테넌트에 격리된 추론 자원을 제공하기에 적합
- 비디오 및 이미지 처리 파이프라인: NVDEC 디코더 7개와 JPEG 엔진 7개를 탑재해 대규모 모델 추론과 별개로 대량의 비디오 트랜스코딩·이미지 디코딩 작업을 병행 처리할 수 있음
동일 계열 모델
| 모델 | 메모리 | 소비 전력 |
|---|
| NVIDIA T4 비교 | 16GB GDDR6 with ECC (기본 활성화) | 70W (보드 전체 전력, 기본값) |
| NVIDIA A100 비교 | 40GB HBM2 / 80GB HBM2e 듀얼 버전(80GB 버전은 2020-11-16 SC20에서 추가 공개), ECC 탑재 | SXM4 400W(40GB/80GB 공통); PCIe 버전 40GB 250W / 80GB 300W |
| NVIDIA H20 비교 | 96GB HBM3(Flopper/VipraTech/텐센트 뉴스 3개 소스 일치) | 400W TDP(Flopper/VipraTech 사양표/텐센트 뉴스 '열설계전력 400W' 3개 소스; VipraTech 본문의 350W 상충 수치는 기각) |
| NVIDIA GB300 비교 | 288GB HBM3e(단일 GPU 패키지 기준; 슈퍼칩 576GB; HGX 보드 레벨 2.1TB/랙 20TB 병기) | TGP 최대 1400W |
| NVIDIA A30 비교 | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 비교 | 24GB GDDR6X | 450W TGP (평균 게이밍 315W, 권장 시스템 파워 850W) |
영상 해설 VIDEO
구매 및 검수 포인트
- 서버실 전력 및 냉각 확인: H200 SXM은 SXM 폼팩터로 최대 TDP 700W이며 구성 가능하므로, 완제품(HGX H200 4카드 또는 8카드)의 전원 이중화와 수랭/공랭 방식의 적합성을 확인해야 한다. H100 기준선으로 여유 전력을 산정하면 부족해질 수 있음
- 메모리 및 인터커넥트 검수: 입고 품목이 H200 NVL이 아닌 SXM 버전인지 확인할 것(두 버전은 전력 등급, 폼팩터, 인터커넥트 방식이 다름). SXM 버전은 보드 레벨 NVLink에 의존하므로 단일 카드로는 HGX 베이스보드 없이 독립 사용이 불가능하며, 완제품 구매 시 NVLink 900GB/s 인터커넥트 구성을 확인해야 함
- 소프트웨어 및 컴플라이언스: 시스템 벤더와 클라우드 사업자의 공급 경로 및 로트를 확인하고, NVIDIA AI Enterprise 추가 라이선스 필요 여부를 평가할 것. 수출 규제가 관련된 구매는 해당 컴플라이언스 기준을 확인해야 하며, 이 카드는 Confidential Computing을 지원하므로 보안 격리 요건이 있다면 검수 단계에서 검증해야 함
자주 묻는 질문
H200과 H100의 차이는 무엇인가요?
H200은 H100의 메모리 업그레이드 버전입니다. 메모리가 141GB HBM3e로 확대되었고 전력 등급은 그대로 유지됩니다(최대 700W, 구성 가능). 공식 수치 기준 H200의 LLM 추론 처리량은 H100의 약 2배입니다. 두 제품 모두 Hopper 아키텍처로 컴퓨팅 성능과 소프트웨어 생태계가 높은 수준에서 일치합니다.
H200 SXM과 H200 NVL 중 무엇을 선택해야 하나요?
두 제품 모두 141GB 메모리를 갖지만 차이는 뚜렷합니다. SXM은 베이스보드 통합 형태로 NVLink를 통해 900GB/s 인터커넥트를 구현하며 최대 TDP 700W로 HGX 완제품 구성과 고밀도 클러스터에 적합합니다. NVL은 PCIe 듀얼 슬롯 공랭 카드로 최대 TDP 600W이며 NVLink 브리지로 2way 또는 4way 인터커넥트를 구성하고 연산 등급도 더 낮습니다. 자체 구축 고밀도 추론 클러스터라면 일반적으로 SXM 완제품을, 기존 PCIe 서버나 공간이 제한된 환경이라면 NVL을 선택할 수 있습니다.
H200의 메모리로 어느 정도 크기의 모델을 구동할 수 있나요?
카드당 141GB 메모리로 대부분의 주류 오픈소스 대규모 모델을 추론용으로 온전히 적재하거나, 더 긴 컨텍스트 윈도우를 처리할 수 있습니다. NVLink로 HGX H200 8카드 시스템을 구성하면 메모리 합계 1.1TB에 달해, 천억 급(100B+) 파라미터 모델의 추론과 학습을 지원합니다. 실제 배포 가능 규모는 모델 양자화 정밀도, KV Cache 길이, 프레임워크 구현에 따라 달라집니다.
자료 업데이트 2026-10-10 · 심층 항목 업그레이드는
편집 방침 프로세스