양자화(Quantization)는 모델의 가중치와 활성값을 고정밀도(FP16/BF16)에서 저정밀도(FP8/INT8/INT4/FP4)로 낮추는 기술로, 그 효과는 직접적입니다. VRAM 사용량과 연산 처리량이 동시에 최적화됩니다. 예컨대 INT4 양자화를 적용하면 70B 모델이 140GB에서 약 35GB로 줄어들어 48GB 카드 한 장에도 충분히 올라갑니다.
구매자 관점에서 양자화의 의미는 '같은 예산으로 어느 규모의 모델까지 돌릴 수 있는가'를 결정한다는 것입니다. 따라서 VRAM 사양을 선택할 때 대상 모델의 양자화 가능 여부, 어느 정도 정밀도까지 낮출지, 정밀도 손실이 수용 가능한 수준인지 반드시 고려해야 합니다. FP8/FP4는 NVIDIA의 최근 정밀도 로드맵(Hopper→Blackwell)이며, AMD도 MXFP4/FP6으로 맞대응하고 있습니다.
| 항목 | 수치 / 기준 |
|---|---|
| 일반적인 정밀도 계단 | FP32 → BF16/FP16 → FP8/INT8 → INT4/FP4 |
| 70B FP16 VRAM | 약 140GB |
| 70B INT4 VRAM | 약 35GB |
| 양자화 도구 | GPTQ / AWQ / TensorRT-LLM / bitsandbytes |
B300은 FP4/FP6 정밀도를 네이티브로 지원합니다. 추론 시나리오에서는 FP4까지 양자화해 연산 성능을 최대로 끌어올릴 수 있고, 학습 시나리오에서는 FP8/BF16을 권장합니다(정밀도 손실 관리 가능). 양자화 후 정밀도 손실이 수용 가능한지는 모델과 작업에 따라 달라집니다. 분류·검색은 허용 범위가 넓지만 생성형 작업은 허용 범위가 좁습니다.