SECTIONS
EDITIONS
NETWORK
AIXXPedia연산 분야의 백과사전

AIXX 백과사전 › 기술 개념 › 모델 양자화

모델 양자화

MODEL QUANTIZATION · 기술 개념 용어

개요OVERVIEW

양자화(Quantization)는 모델의 가중치와 활성값을 고정밀도(FP16/BF16)에서 저정밀도(FP8/INT8/INT4/FP4)로 낮추는 기술로, 그 효과는 직접적입니다. VRAM 사용량과 연산 처리량이 동시에 최적화됩니다. 예컨대 INT4 양자화를 적용하면 70B 모델이 140GB에서 약 35GB로 줄어들어 48GB 카드 한 장에도 충분히 올라갑니다.

구매자 관점에서 양자화의 의미는 '같은 예산으로 어느 규모의 모델까지 돌릴 수 있는가'를 결정한다는 것입니다. 따라서 VRAM 사양을 선택할 때 대상 모델의 양자화 가능 여부, 어느 정도 정밀도까지 낮출지, 정밀도 손실이 수용 가능한 수준인지 반드시 고려해야 합니다. FP8/FP4는 NVIDIA의 최근 정밀도 로드맵(Hopper→Blackwell)이며, AMD도 MXFP4/FP6으로 맞대응하고 있습니다.

핵심 수치KEY NUMBERS

항목수치 / 기준
일반적인 정밀도 계단FP32 → BF16/FP16 → FP8/INT8 → INT4/FP4
70B FP16 VRAM약 140GB
70B INT4 VRAM약 35GB
양자화 도구GPTQ / AWQ / TensorRT-LLM / bitsandbytes

B300에서의 의미ON B300

B300은 FP4/FP6 정밀도를 네이티브로 지원합니다. 추론 시나리오에서는 FP4까지 양자화해 연산 성능을 최대로 끌어올릴 수 있고, 학습 시나리오에서는 FP8/BF16을 권장합니다(정밀도 손실 관리 가능). 양자화 후 정밀도 손실이 수용 가능한지는 모델과 작업에 따라 달라집니다. 분류·검색은 허용 범위가 넓지만 생성형 작업은 허용 범위가 좁습니다.

경계와 주의점LIMITS

  • 양자화는 정밀도 저하를 유발할 수 있습니다. INT4/FP4 양자화는 생성형 작업(창작 글쓰기/코드 생성)에서 정밀도 손실이 수용 불가능할 수 있으므로 모델별 평가가 필요합니다.
  • 양자화 도구 체인의 파편화: GPTQ/AWQ/bitsandbytes/TensorRT 등 도구마다 장단이 있어 원스톱 솔루션이 없으며, 모델별로 맞춤 대응이 필요합니다.
  • KV Cache 양자화는 더 민감합니다. KV cache 양자화는 가중치 양자화보다 추론 정밀도에 더 큰 영향을 미치므로 신중하게 사용해야 합니다.

영상 해설VIDEO

참고 자료REFERENCES

  1. NVIDIA 공식 사이트 — Blackwell Ultra / HGX B300 제품 페이지 https://www.nvidia.com/en-us/data-center/hgx/
  2. 시세 및 판매 데이터:AIXX 거래소(본 데이터베이스 시세 밴드)
버전 및 정정| 본 항목은 AIXX Pedia 편집부가 관리하며, AI 보조 초안 작성 후 사람이 사실을 검증했다. 업데이트: 2026-10-21 · 버전 v1.0 · 모든 변경 이력은 추적 가능하다.
본 아카이브
편집 방침본 아카이브 소개 (이해관계 선언)정정 채널
편집 헌장 요약
모든 서술에 출처 명기단점 필수 기재 · 정정 이력 공개유료 항목 수락 안 함항목 내 유도·판매 요소 제로시세 데이터는 데이터 모듈 마운트 용도로만 사용
AIXX 패밀리
AIXX 백과사전AIXX 거래소AIXX 뉴스
시세 데이터 출처:AIXX 거래소 · © 2026 AIXX 백과사전 AIXX Pedia · AIXX 제공