스펙 카드 SPEC CARD
NVIDIA H100 SXM
현재 AI 학습의 사실상 표준 카드 — DGX/HGX H100의 핵심, 만 카드 규모 클러스터의 중추이자 중고 선물 시장에서 가장 강력한 하드커런시, 보존가치의 왕
개요
NVIDIA H100 SXM은 Hopper 아키텍처 기반의 데이터센터 가속 컴퓨팅 카드로, DGX 및 HGX H100 시스템의 핵심 구성 요소이자 현재 대규모 AI 학습의 사실상 표준 하드웨어입니다. SXM5 폼팩터를 채택했으며 80GB HBM3 메모리를 탑재하고, 4세대 NVLink를 통해 900GB/s의 GPU 간 인터커넥트 대역폭을 제공하며 PCIe Gen5를 네이티브로 지원합니다. Tensor Core은 FP64부터 FP8까지 다양한 정밀도를 커버하고, MIG를 통해 단일 카드를 최대 7개 인스턴스로 분할할 수 있습니다. 이 카드는 대규모 언어모델 사전학습, 추론 서비스 및 고성능 컴퓨팅 클러스터에 널리 배포되어 있으며, 중고 시장 유통에서도 공급 희소성으로 인해 높은 보존가치를 보입니다.
핵심 스펙
| 아키텍처 | NVIDIA Hopper(GH100 코어, TSMC 4N 커스텀 공정, 800억 트랜지스터, 814mm², Compute Capability 9.0) |
| 메모리 | 80GB HBM3(SXM5 기준, 5개 HBM3 스택);PCIe 버전은 80GB HBM2e(5스택, 2TB/s) |
| 메모리 버스 폭 | 5120bit(SXM5와 PCIe 버전 모두 10개 512bit 메모리 컨트롤러) |
| 메모리 대역폭 | 3.35TB/s(SXM5);PCIe 버전 2TB/s |
| 연산 성능 | FP8 Tensor Core 3,958 TFLOPS(스파시티 포함, 덴스 1,979); FP16/BF16 TC 1,979*; TF32 TC 989*; FP64 TC 67; FP32 67; FP64 34(SXM5 기준, *=With sparsity) |
| 소비 전력 | SXM5 최대 700W(구성 가능);PCIe 버전 350W |
| 인터커넥트 | NVLink 4.0 900GB/s(SXM5, 18개 링크)+PCIe Gen5 x16 128GB/s;PCIe 버전: PCIe Gen5 128GB/s, 듀얼 카드 NVLink 브리지 600GB/s 선택 가능 |
| 출시 연도 | 2022(2022-03-22 GTC 발표, SXM5 2022년 3분기 출시) |
| SM 및 CUDA 코어 | 132 SM / 16,896 FP32 CUDA 코어(SXM5);PCIe 버전 114 SM / 14,592 |
| 부스트 클럭 | SXM5: 1830MHz(FP8/FP16/BF16/TF32 TC)/1980MHz(FP64 TC와 FP32/FP64);PCIe 버전: 1620/1755MHz |
| L2 캐시 | 50MB |
| MIG 슬라이싱 | 2세대 Secure MIG, 최대 7 인스턴스 @10GB |
| 코덱 | 7 NVDEC + 7 NVJPG |
| 폼팩터 | SXM5 모듈(액침/공랭은 완제품에 따라 결정, HGX/DGX H100 4 또는 8카드 구성);PCIe 버전 듀얼 슬롯 공랭 |
스펙은 공식 자료 기준으로 검증되었습니다(
공식 벤치마크, 2026-10-10 업데이트) · 실제 가격은 판매자 제시가 기준
적용 시나리오
- 대규모 언어 모델 사전학습: HGX/DGX H100 노드의 핵심으로서 NVLink와 NVSwitch를 통해 멀티카드 나아가 만 카드급 클러스터를 구성하여 대파라미터 모델의 장기간 학습 임무를 수행
- 대규모 모델 추론 서비스 배포: FP8 및 INT8 Tensor Core 가속 능력과 MIG 멀티 인스턴스 분할을 활용해 고동시 온라인 추론 또는 멀티 테넌트 환경에 연산 능력을 제공
- 과학 계산 및 고성능 컴퓨팅: 배정밀도 및 FP64 Tensor Core 성능을 바탕으로 전산유체역학, 분자동역학, 기후 시뮬레이션 등 전통적 HPC 워크로드 지원
- 멀티모달 모델 학습 및 파인튜닝: 다중 NVDEC 디코딩 유닛을 탑재해 이미지·텍스트·영상 등 멀티모달 데이터의 학습 파이프라인과 미디어 처리 워크플로우에 적합
동일 계열 모델
| 모델 | 메모리 | 소비 전력 |
|---|
| NVIDIA T4 비교 | 16GB GDDR6 with ECC (기본 활성화) | 70W (보드 전체 전력, 기본값) |
| NVIDIA A100 비교 | 40GB HBM2 / 80GB HBM2e 듀얼 버전(80GB 버전은 2020-11-16 SC20에서 추가 공개), ECC 탑재 | SXM4 400W(40GB/80GB 공통); PCIe 버전 40GB 250W / 80GB 300W |
| NVIDIA H20 비교 | 96GB HBM3(Flopper/VipraTech/텐센트 뉴스 3개 소스 일치) | 400W TDP(Flopper/VipraTech 사양표/텐센트 뉴스 '열설계전력 400W' 3개 소스; VipraTech 본문의 350W 상충 수치는 기각) |
| NVIDIA GB300 비교 | 288GB HBM3e(단일 GPU 패키지 기준; 슈퍼칩 576GB; HGX 보드 레벨 2.1TB/랙 20TB 병기) | TGP 최대 1400W |
| NVIDIA A30 비교 | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 비교 | 24GB GDDR6X | 450W TGP (평균 게이밍 315W, 권장 시스템 파워 850W) |
영상 해설 VIDEO
구매 및 검수 포인트
- 폼팩터 및 전원 설계: H100 SXM은 보드 탑재형 설계로 일반 PCIe 섀시와 호환되지 않으며, DGX/HGX 완제품 또는 SXM5 베이스보드를 갖춘 서버를 구매해야 합니다. 시스템 소비전력이 높아 데이터센터 전원 용량, 랙 전력 밀도, 냉각 방식(수랭 또는 공랭)의 적합성을 사전에 확인해야 합니다
- 인터커넥트 및 네트워킹 검증: 멀티 카드 배포는 4세대 NVLink와 NVSwitch를 통한 900GB/s GPU 간 인터커넥트 대역폭에 의존하므로, 검수 시 SXM 베이스보드와 NVSwitch 모듈의 정상 작동을 카드별로 확인하고 PCIe Gen5 링크 협상 상태를 점검하여 추후 클러스터 확장의 장애를 예방해야 합니다
- 출처 및 상태 확인: 중고 및 선물 유통 채널의 거래가 활발하므로, 장치 시리얼 번호와 제조사 보증 상태를 대조하고 실기 테스트 스크린샷(nvidia-smi로 모델명, 80GB 메모리, MIG 가용성 확인)을 요구하며, 장시간 스트레스 테스트로 메모리와 냉각 문제를 점검하고 NVLink 토폴로지 완전성에 주의해야 합니다
자주 묻는 질문
H100 SXM과 H100 PCIe의 차이는 무엇이며, 어떻게 선택해야 할까요?
SXM 버전은 보드 장착 형태로, NVLink를 통해 900GB/s 카드 간 상호연결 제공, Tensor Core 연산력 사양이 더 높아 멀티카드 협업 대규모 학습 클러스터에 적합;PCIe 버전은 표준 듀얼 슬롯 공랭 카드로, 선택적 NVLink 브리징 지원 (두 카드 상호연결, 대역폭 낮음), 호환성이 더 좋고 배포 장벽이 낮아 단일 머신 또는 중소 규모 시나리오에 적합. 클러스터 확장성과 피크 연산력을 원하면 SXM, 유연한 배포를 원하면 PCIe 선택.
H100은 MIG 분할을 지원하나요? 한 장의 카드를 몇 명의 사용자에게 나눠줄 수 있나요?
지원합니다. H100 SXM의 MIG 기능은 단일 카드를 최대 7개 인스턴스로 분할할 수 있으며, 각 인스턴스에 10GB 메모리를 할당할 수 있어 추론 서비스, 개발·테스트 등 멀티 테넌트 환경에서 연산 격리와 활용률 향상을 실현합니다.
중고 H100은 구매할 가치가 있나요? 보존가치는 어떤가요?
H100은 현재 대규모 AI 학습의 주력 하드웨어로 수요가 지속적으로 높으며, 중고 시장 유통에서 가격 방어력이 동세대 대부분의 하드웨어보다 뚜렷하게 강해 보존가치가 높은 품목으로 평가받습니다. 다만 구매 시 출처의 적법성, 보증 상태, 하드웨어 건강도(메모리, NVLink, 냉각)를 중점적으로 확인하고, 실기 테스트로 사양과 상태를 확인한 후 거래해야 합니다.
자료 업데이트 2026-10-10 · 심층 항목 업그레이드는
편집 방침 프로세스