量子化(Quantization)とは、モデルの重みとアクティベーションを高精度(FP16/BF16)から低精度(FP8/INT8/INT4/FP4)へ落とす技術です。直接的な効果は、VRAM使用量と計算スループットの双方が最適化されること——INT4量子化により70Bモデルは140GBから約35GBに削減され、48GBカード1枚に収まります。
調達担当者にとっての意義:量子化は「同じ予算でどれだけ大きなモデルを動かせるか」を左右します。VRAM仕様の選定では、対象モデルが量子化可能か、どの精度まで落とせるか、精度劣化が許容範囲かを必ず検討する必要があります。FP8/FP4はNVIDIAの最近の精度ロードマップ(Hopper→Blackwell)であり、AMDもMXFP4/FP6で追随しています。
| 項目 | 数値 / 基準 |
|---|---|
| 代表的な精度の階層 | FP32 → BF16/FP16 → FP8/INT8 → INT4/FP4 |
| 70B FP16 VRAM | 約 140GB |
| 70B INT4 VRAM | 約 35GB |
| 量子化ツール | GPTQ / AWQ / TensorRT-LLM / bitsandbytes |
B300はFP4/FP6精度をネイティブサポート——推論シーンではFP4まで量子化して計算性能を最大化できます。学習シーンではFP8/BF16を推奨(精度劣化を管理可能な範囲に抑えられます)。量子化後の精度劣化が許容できるかはモデルとタスク次第です——分類・検索は許容度が高く、生成タスクは許容度が低くなります。