SECTIONS
EDITIONS
NETWORK
AIXXPedia연산 분야의 백과사전
스펙 카드 SPEC CARD

NVIDIA H100 NVL

카드당 94GB HBM3, 듀얼 카드 NVLink 브리지로 188GB, 70B급 LLM 추론 전용 카드, 350-400W 공랭 2슬롯으로 호스팅이 용이, NVIDIA AI Enterprise 동봉, 중고 시장에서 피할 수 없는 준플래그십
NVIDIA H100 NVL 제조사 공식 이미지
NVIDIA 공식 제조사 이미지

개요

NVIDIA H100 NVL은 NVIDIA가 Hopper 아키텍처 기반으로 출시한 PCIe 폼팩터의 데이터센터 GPU로, 대용량 메모리 추론 시나리오를 위한 준플래그십 제품으로 자리매김합니다. 카드당 94GB HBM3 메모리를 탑재했으며, NVLink 브리지를 통해 두 장의 카드를 188GB 통합 메모리 풀로 구성할 수 있어 대규모 파라미터 언어 모델의 추론 워크로드를 감당하기에 적합합니다. 이 카드는 2슬롯 공랭 설계를 채택했으며 TDP를 일정 범위 내에서 설정할 수 있어 표준 랙 환경에 손쉽게 배포할 수 있습니다. 카드 간에는 NVLink로 양방향 600GB/s 인터커넥트 대역폭을 제공하며, PCIe Gen5 호스트 인터페이스도 지원합니다. NVIDIA AI Enterprise 소프트웨어 스위트가 카드와 함께 제공되어 기업급 AI 추론 및 배포 요구를 충족합니다.

핵심 스펙

아키텍처NVIDIA Hopper
메모리94GB
메모리 타입HBM3
메모리 대역폭3.9TB/s
FP64 연산 성능30 teraFLOPs
FP64 Tensor Core60 teraFLOPs
FP32 연산 성능60 teraFLOPs
FP8 연산 성능3,341 teraFLOPS
FP16 연산 성능1,671 teraFLOPS
INT8 연산 성능3,341 TOPS
전력 소모 TDP350-400W (configurable)
인터커넥트NVIDIA NVLink: 600GB/s | PCIe Gen5: 128GB/s
폼팩터PCIe dual-slot air-cooled
MIG 슬라이싱Up to 7 MIGS @ 12GB each
코덱7 NVDEC | 7 JPEG
스펙은 공식 자료 기준으로 검증되었습니다(공식 벤치마크,2026-10-09 업데이트)· 실제 가격은 판매자 제시가 기준

적용 시나리오

동일 계열 모델

모델메모리소비 전력
NVIDIA T4 비교16GB GDDR6 with ECC (기본 활성화)70W (보드 전체 전력, 기본값)
NVIDIA A100 비교40GB HBM2 / 80GB HBM2e 듀얼 버전(80GB 버전은 2020-11-16 SC20에서 추가 공개), ECC 탑재SXM4 400W(40GB/80GB 공통); PCIe 버전 40GB 250W / 80GB 300W
NVIDIA H20 비교96GB HBM3(Flopper/VipraTech/텐센트 뉴스 3개 소스 일치)400W TDP(Flopper/VipraTech 사양표/텐센트 뉴스 '열설계전력 400W' 3개 소스; VipraTech 본문의 350W 상충 수치는 기각)
NVIDIA GB300 비교288GB HBM3e(단일 GPU 패키지 기준; 슈퍼칩 576GB; HGX 보드 레벨 2.1TB/랙 20TB 병기)TGP 최대 1400W
NVIDIA A30 비교24 GB HBM2165 W
NVIDIA GeForce RTX 4090 비교24GB GDDR6X450W TGP (평균 게이밍 315W, 권장 시스템 파워 850W)

영상 해설 VIDEO

심층 읽기 자료:H100 · 심층 항목

구매 및 검수 포인트

자주 묻는 질문

H100 NVL과 일반 PCIe판 H100은 어떤 차이가 있나요?
H100 NVL은 PCIe 형태의 H100 변형으로, 주요 차이는 NVLink 브리지 기능을 갖추어 두 장의 카드를 188GB 연합 VRAM 풀로 브리징할 수 있으며, 카드 간 대용량 VRAM이 필요한 추론 시나리오를 위해 설계되었습니다; 표준 PCIe판은 보통 출고 시 브리징 솔루션이 없습니다. 양자는 모두 Hopper 아키텍처 기반입니다.
카드당 94GB로 대형 모델을 구동할 수 있나요? 언제 듀얼 카드 브리지가 필요한가요?
모델 파라미터 수와 양자화 방안에 따라 달라집니다. 단일 카드 메모리로 모델 가중치와 KV Cache 등 런타임 오버헤드를 수용하기 부족하다면, NVLink 브리지로 두 장의 H100 NVL을 연결해 188GB 통합 메모리를 확보할 수 있습니다. 브리지 후 메모리 풀은 NVLink가 600GB/s 대역폭으로 연결하여, PCIe Gen5를 경유하는 멀티 카드 방식보다 통신 효율이 높습니다.
H100 NVL은 임대나 호스팅에 적합한가요? MIG는 어떤 용도인가요?
적합합니다. 이 카드는 표준 PCIe 2슬롯 공랭 설계를 채택했으며, 설정 가능한 TDP 덕분에 일반 랙 서버에 배포할 수 있어 호스팅 진입 장벽이 상대적으로 낮습니다. MIG 기능은 카드 하나를 물리적으로 최대 7개의 독립 인스턴스로 분할할 수 있으며, 인스턴스당 12GB 메모리로 서로 격리되어 클라우드 사업자나 팀이 카드 한 장을 여러 테넌트 또는 여러 경량 추론 작업에 나누어 쓰기에 적합합니다.
심층 읽기:H100-NVL 심층 항목 · 심층 항목H100 vs H100-NVL · 심층 항목H200-NVL vs H100-NVL · 심층 항목NVIDIA A10 · 심층 항목NVIDIA A100 · 심층 항목
자료 업데이트 2026-10-09 · 심층 항목으로 이동 편집 방침 프로세스
본 아카이브
편집 방침본 아카이브 소개 (이해관계 선언)정정 채널
편집 헌장 요약
모든 서술에 출처 명기단점 필수 기재 · 정정 이력 공개유료 항목 수락 안 함항목 내 유도·판매 요소 제로시세 데이터는 데이터 모듈 마운트 용도로만 사용
AIXX 패밀리
AIXX 백과사전AIXX 거래소AIXX 뉴스
시세 데이터 출처:AIXX 거래소 · © 2026 AIXX 백과사전 AIXX Pedia · AIXX 제공