AIXX Pedia › Technisches Konzept › Modellquantisierung
Quantisierung (Quantization) bezeichnet die Technik, Modellgewichte und Aktivierungen von hoher Präzision (FP16/BF16) auf niedrigere Präzision (FP8/INT8/INT4/FP4) zu reduzieren. Der direkte Effekt: Sowohl der VRAM-Bedarf als auch der Rechendurchsatz werden optimiert – INT4-Quantisierung senkt den Bedarf eines 70B-Modells von 140 GB auf rund 35 GB, womit eine einzige 48-GB-Karte ausreicht.
Bedeutung für Einkäufer: Die Quantisierung entscheidet darüber, „wie groß das Modell bei gleichem Budget sein darf“. Bei der Wahl der VRAM-Spezifikation muss daher geprüft werden, ob sich das Zielmodell quantisieren lässt, auf welches Maß an Präzision und ob der Präzisionsverlust akzeptabel ist. FP8/FP4 sind die jüngsten Präzisionsstufen von NVIDIA (Hopper→Blackwell), AMD zieht mit MXFP4/FP6 gleich.
| Position | Wert / Definition |
|---|---|
| Übliche Präzisionsstufen | FP32 → BF16/FP16 → FP8/INT8 → INT4/FP4 |
| VRAM-Bedarf 70B FP16 | 70B-Klasse-Inferenz (FP16) |
| VRAM-Bedarf 70B INT4 | rund 35 GB |
| Quantisierungs-Tools | GPTQ / AWQ / TensorRT-LLM / bitsandbytes |
Die B300 unterstützt FP4/FP6 nativ – im Inferenzbereich lässt sich per FP4-Quantisierung die Rechenleistung voll ausschöpfen; für das Training werden FP8/BF16 empfohlen (kontrollierbarer Präzisionsverlust). Ob der Verlust durch Quantisierung akzeptabel ist, hängt von Modell und Aufgabe ab – Klassifikation und Retrieval sind tolerant, generative Aufgaben wenig.