SECTIONS
EDITIONS
NETWORK
AIXXPedia연산 분야의 백과사전
스펙 카드 SPEC CARD

NVIDIA H200 SXM

H100과 같은 자리의 메모리 업그레이드 버전 — 전력 등급은 그대로 700W, 메모리는 141GB HBM3e/4.8TB/s로 확대, LLM 추론 처리량은 2배. HGX H200 8카드 머신은 추론 클러스터의 새로운 주력. 2026년 대중국 수출 규제 완화 후 물량 확대, 대용량 메모리 유통 시장의 필수 품목

개요

NVIDIA H200 SXM은 Hopper 아키텍처 기반의 데이터센터 GPU로, H100과 같은 자리의 메모리 업그레이드 버전으로 포지셔닝된다. 가장 두드러진 변화는 카드당 메모리가 141GB HBM3e로 확대된 점이며, NVIDIA는 이를 해당 용량의 HBM3e를 채택한 세계 최초의 GPU로 소개한다. H100과 동일한 전력 등급을 유지한 상태에서 공식 수치 기준 LLM 추론 처리량은 약 2배에 달한다. 컴퓨팅 성능 면에서 H200 SXM은 FP64, FP32 및 각종 Tensor Core 정밀도를 지원하며, FP8 연산 성능은 4 petaFLOPS(희소 가속 포함)에 이른다. 폼팩터는 SXM이며, NVLink로 900GB/s 상호 연결을 통해 HGX H200 4카드 또는 8카드 시스템을 구성할 수 있다. 대규모 모델 추론·학습, HPC, 비디오 디코딩 워크로드에 널리 쓰이며, 대용량 메모리 추론 클러스터의 주류 선택지다.

핵심 스펙

아키텍처NVIDIA Hopper(GH100 코어, TSMC 4N 커스텀 공정, 800억 트랜지스터, 814mm², H100 SXM과 동일한 GH100)
메모리141GB HBM3e(6144bit 버스/6.3Gbps 핀 속도, 공식 발표 기준 세계 최초의 141GB HBM3e 싱글 카드)
메모리 타입HBM3e
메모리 버스 폭6144bit
메모리 대역폭4.8TB/s
연산 성능FP8 Tensor Core 3,958 TFLOPS(희소 포함, Dense 1,979); FP16/BF16 TC 1,979*; TF32 TC 989*; INT8 TC 3,958 TOPS*; FP64 TC 67; FP32 67; FP64 34(SXM 기준, *=With sparsity)
소비 전력SXM 최대 700W(구성 가능); 같은 자리의 H100 SXM 역시 700W 전력 등급
인터커넥트NVLink 900GB/s + PCIe Gen5 128GB/s; NVSwitch를 통해 HGX H200 4/8카드 풀 인터커넥트 구성(8카드 FP8 합산 32 PFLOPS 초과, 메모리 합산 1.1TB)
출시 연도2024
SM 및 CUDA 코어132 SM / 16,896 FP32 CUDA 코어
부스트 클럭1,980MHz
L2 캐시50MB
MIG 슬라이싱최대 7개 인스턴스 @18GB(인스턴스당 18GB, H200 NVL의 16.5GB 및 H100의 10GB보다 큼)
코덱7 NVDEC + 7 JPEG
기밀 컴퓨팅Confidential Computing Supported
폼팩터SXM 모듈(수랭/공랭은 완제품 사양에 따름, HGX H200 4 또는 8카드 구성; AI Enterprise는 Add-on 별도 구매)
스펙은 공식 자료 기준으로 검증되었습니다(공식 벤치마크, 2026-10-10 업데이트) · 실제 가격은 판매자 제시가 기준

적용 시나리오

동일 계열 모델

모델메모리소비 전력
NVIDIA T4 비교16GB GDDR6 with ECC (기본 활성화)70W (보드 전체 전력, 기본값)
NVIDIA A100 비교40GB HBM2 / 80GB HBM2e 듀얼 버전(80GB 버전은 2020-11-16 SC20에서 추가 공개), ECC 탑재SXM4 400W(40GB/80GB 공통); PCIe 버전 40GB 250W / 80GB 300W
NVIDIA H20 비교96GB HBM3(Flopper/VipraTech/텐센트 뉴스 3개 소스 일치)400W TDP(Flopper/VipraTech 사양표/텐센트 뉴스 '열설계전력 400W' 3개 소스; VipraTech 본문의 350W 상충 수치는 기각)
NVIDIA GB300 비교288GB HBM3e(단일 GPU 패키지 기준; 슈퍼칩 576GB; HGX 보드 레벨 2.1TB/랙 20TB 병기)TGP 최대 1400W
NVIDIA A30 비교24 GB HBM2165 W
NVIDIA GeForce RTX 4090 비교24GB GDDR6X450W TGP (평균 게이밍 315W, 권장 시스템 파워 850W)

영상 해설 VIDEO

심층 읽기 자료:H200 상세 항목(20절 심층판) · 심층 항목H200 NVL 슬림 카드(PCIe 141GB) · 심층 항목H100 SXM 슬림 카드 · 심층 항목

구매 및 검수 포인트

자주 묻는 질문

H200과 H100의 차이는 무엇인가요?
H200은 H100의 메모리 업그레이드 버전입니다. 메모리가 141GB HBM3e로 확대되었고 전력 등급은 그대로 유지됩니다(최대 700W, 구성 가능). 공식 수치 기준 H200의 LLM 추론 처리량은 H100의 약 2배입니다. 두 제품 모두 Hopper 아키텍처로 컴퓨팅 성능과 소프트웨어 생태계가 높은 수준에서 일치합니다.
H200 SXM과 H200 NVL 중 무엇을 선택해야 하나요?
두 제품 모두 141GB 메모리를 갖지만 차이는 뚜렷합니다. SXM은 베이스보드 통합 형태로 NVLink를 통해 900GB/s 인터커넥트를 구현하며 최대 TDP 700W로 HGX 완제품 구성과 고밀도 클러스터에 적합합니다. NVL은 PCIe 듀얼 슬롯 공랭 카드로 최대 TDP 600W이며 NVLink 브리지로 2way 또는 4way 인터커넥트를 구성하고 연산 등급도 더 낮습니다. 자체 구축 고밀도 추론 클러스터라면 일반적으로 SXM 완제품을, 기존 PCIe 서버나 공간이 제한된 환경이라면 NVL을 선택할 수 있습니다.
H200의 메모리로 어느 정도 크기의 모델을 구동할 수 있나요?
카드당 141GB 메모리로 대부분의 주류 오픈소스 대규모 모델을 추론용으로 온전히 적재하거나, 더 긴 컨텍스트 윈도우를 처리할 수 있습니다. NVLink로 HGX H200 8카드 시스템을 구성하면 메모리 합계 1.1TB에 달해, 천억 급(100B+) 파라미터 모델의 추론과 학습을 지원합니다. 실제 배포 가능 규모는 모델 양자화 정밀도, KV Cache 길이, 프레임워크 구현에 따라 달라집니다.
심층 읽기:NVIDIA A10 · 심층 항목NVIDIA A100 · 심층 항목AIXX Pedia · 심층 항목
자료 업데이트 2026-10-10 · 심층 항목 업그레이드는 편집 방침 프로세스
본 아카이브
편집 방침본 아카이브 소개 (이해관계 선언)정정 채널
편집 헌장 요약
모든 서술에 출처 명기단점 필수 기재 · 정정 이력 공개유료 항목 수락 안 함항목 내 유도·판매 요소 제로시세 데이터는 데이터 모듈 마운트 용도로만 사용
AIXX 패밀리
AIXX 백과사전AIXX 거래소AIXX 뉴스
시세 데이터 출처:AIXX 거래소 · © 2026 AIXX 백과사전 AIXX Pedia · AIXX 제공