SECTIONS
EDITIONS
NETWORK
AIXXPedia算力分野の百科事典

AIXX 百科 › 技術コンセプト › モデルの量子化

モデルの量子化

MODEL QUANTIZATION · 技術コンセプト用語

概要OVERVIEW

量子化(Quantization)とは、モデルの重みとアクティベーションを高精度(FP16/BF16)から低精度(FP8/INT8/INT4/FP4)へ落とす技術です。直接的な効果は、VRAM使用量と計算スループットの双方が最適化されること——INT4量子化により70Bモデルは140GBから約35GBに削減され、48GBカード1枚に収まります。

調達担当者にとっての意義:量子化は「同じ予算でどれだけ大きなモデルを動かせるか」を左右します。VRAM仕様の選定では、対象モデルが量子化可能か、どの精度まで落とせるか、精度劣化が許容範囲かを必ず検討する必要があります。FP8/FP4はNVIDIAの最近の精度ロードマップ(Hopper→Blackwell)であり、AMDもMXFP4/FP6で追随しています。

主要数値KEY NUMBERS

項目数値 / 基準
代表的な精度の階層FP32 → BF16/FP16 → FP8/INT8 → INT4/FP4
70B FP16 VRAM約 140GB
70B INT4 VRAM約 35GB
量子化ツールGPTQ / AWQ / TensorRT-LLM / bitsandbytes

B300 における意義ON B300

B300はFP4/FP6精度をネイティブサポート——推論シーンではFP4まで量子化して計算性能を最大化できます。学習シーンではFP8/BF16を推奨(精度劣化を管理可能な範囲に抑えられます)。量子化後の精度劣化が許容できるかはモデルとタスク次第です——分類・検索は許容度が高く、生成タスクは許容度が低くなります。

限界と留意点LIMITS

  • 量子化では精度が落ちる可能性あり:INT4/FP4量子化は生成タスク(創作文章・コード生成)で許容できない精度劣化が生じることがあります——モデルごとの評価が必要です。
  • 量子化ツールチェーンの断片化:GPTQ/AWQ/bitsandbytes/TensorRTなど各ツールに一長一短があり、ワンストップのソリューションは存在しません。モデルごとの対応が必要です。
  • KV Cacheの量子化はよりシビア:KVキャッシュの量子化は、重みの量子化よりも推論精度への影響が大きいため、適用は慎重に。

動画解説VIDEO

HBM3e メモリNVLink インターコネクトSXM / NVL8コールドプレート液冷 / CDUFP8 精度フォーマットMoE 混合エキスパートNVSwitch スイッチチップInfiniBand インターコネクトネットワークNVMe ストレージ液冷CDURDMA リモートダイレクトメモリアクセスGPUDirectTensor Core テンソルコアMIG マルチインスタンス GPUPCIe Gen5コンフィデンシャルコンピューティングvGPU 仮想 GPUFP4 / FP6 マイクロスケーリング浮動小数点精度KV Cache 推論キャッシュScale-up と Scale-outCPO コパッケージオプティクスNVLink FusionMGX モジュラーアーキテクチャテンソル並列集合通信AI ファクトリー液冷回路PUE エネルギー効率指標TensorRT-LLMvLLM 推論エンジンLoRA 低ランクアダプテーション計算資源サプライチェーンチャネルTCO 総所有コスト推論スループットベンチマークモデルの蒸留電力サプライチェーンToken 経済学学習データパイプライン推論最適化技術スタックGDDR7 メモリ電源コネクタ系譜(EPS/PCIe 8pin/12VHPWR/12V-2x6)対中輸出規制のタイムラインGPU 検証ガイド(nvidia-smi/GPU-Z)TensorRT 推論最適化CUDA Graphs グラフ実行NCCL 集合通信ライブラリONNX オープンモデルフォーマットHBM 世代系譜混合精度学習PCIe 世代ラックフォームファクター系譜GPU 型番命名規則の読み解き中古 GPU 流通経路空冷と液冷の比較メモリの健全性と故障判読HBM4 メモリUALink インターコネクトB300 機種項目

参考文献REFERENCES

  1. NVIDIA公式サイト — Blackwell Ultra / HGX B300 製品ページ https://www.nvidia.com/en-us/data-center/hgx/
  2. 相場と販売データ:AIXX 取引所(本データベースの相場帯)
バージョンと訂正|本項目は AIXX Pedia 編集部が管理し、AI が下書きし、人手で事実確認を行っています。更新:2026-10-20 · バージョン v1.0 · 変更履歴はすべて追跡可能です。
本ライブラリ
編集ポリシー本ライブラリについて(利益相反の表明)訂正窓口
編集憲法の概要
すべての記述に出典を明記弱点は必ず記載・訂正は公開で記録に残す有料項目は受け付けない項目内への誘導・販売要素は一切なし市況データはデータモジュールとしてのみ掲載
AIXX ファミリー
AIXX 百科AIXX 取引所AIXX ニュース
市況データの出典:AIXX 取引所 · © 2026 AIXX 百科 AIXX Pedia · AIXX 制作