SECTIONS
EDITIONS
NETWORK
AIXX Pedia Die Enzyklopädie der Rechenleistung

AIXX Pedia › Technisches Konzept › Modellquantisierung

Modellquantisierung

MODELL-QUANTISIERUNG · Fachbegriff-Eintrag

Überblick OVERVIEW

Quantisierung (Quantization) bezeichnet die Technik, Modellgewichte und Aktivierungen von hoher Präzision (FP16/BF16) auf niedrigere Präzision (FP8/INT8/INT4/FP4) zu reduzieren. Der direkte Effekt: Sowohl der VRAM-Bedarf als auch der Rechendurchsatz werden optimiert – INT4-Quantisierung senkt den Bedarf eines 70B-Modells von 140 GB auf rund 35 GB, womit eine einzige 48-GB-Karte ausreicht.

Bedeutung für Einkäufer: Die Quantisierung entscheidet darüber, „wie groß das Modell bei gleichem Budget sein darf“. Bei der Wahl der VRAM-Spezifikation muss daher geprüft werden, ob sich das Zielmodell quantisieren lässt, auf welches Maß an Präzision und ob der Präzisionsverlust akzeptabel ist. FP8/FP4 sind die jüngsten Präzisionsstufen von NVIDIA (Hopper→Blackwell), AMD zieht mit MXFP4/FP6 gleich.

Kennzahlen KEY NUMBERS

PositionWert / Definition
Übliche PräzisionsstufenFP32 → BF16/FP16 → FP8/INT8 → INT4/FP4
VRAM-Bedarf 70B FP1670B-Klasse-Inferenz (FP16)
VRAM-Bedarf 70B INT4rund 35 GB
Quantisierungs-ToolsGPTQ / AWQ / TensorRT-LLM / bitsandbytes

Bedeutung für die B300 ON B300

Die B300 unterstützt FP4/FP6 nativ – im Inferenzbereich lässt sich per FP4-Quantisierung die Rechenleistung voll ausschöpfen; für das Training werden FP8/BF16 empfohlen (kontrollierbarer Präzisionsverlust). Ob der Verlust durch Quantisierung akzeptabel ist, hängt von Modell und Aufgabe ab – Klassifikation und Retrieval sind tolerant, generative Aufgaben wenig.

Grenzen und Hinweise LIMITS

  • Quantisierung kann Präzision kosten: INT4-/FP4-Quantisierung kann bei generativen Aufgaben (kreatives Schreiben/Code-Generierung) unakzeptabel sein – eine Bewertung pro Modell ist nötig.
  • Fragmentierte Toolchain: GPTQ/AWQ/bitsandbytes/TensorRT und andere Tools haben jeweils Stärken und Schwächen – es gibt keine All-in-One-Lösung, eine Anpassung pro Modell ist erforderlich.
  • KV-Cache-Quantisierung ist kritischer: Die Quantisierung des KV-Cache beeinflusst die Inferenzgenauigkeit stärker als die Quantisierung der Gewichte – mit Vorsicht einsetzen.

Videoerklärung VIDEO

Quellen REFERENCES

  1. NVIDIA-Website – Blackwell Ultra / HGX B300 Produktseite https://www.nvidia.com/en-us/data-center/hgx/
  2. Marktdaten und Angebote: AIXX Börse (Marktband dieser Datenbank)
Versionen und Korrekturen | Dieser Eintrag wird von der AIXX Pedia-Redaktion gepflegt, KI-gestützt verfasst, manuell faktengeprüft. Aktualisiert am 2026-10-20 · Version v1.0 · Alle Änderungen nachvollziehbar dokumentiert.
Datenbank
RedaktionsrichtlinienInteressenmeldung zu dieser DatenbankKorrekturkanal
Auszug aus der Redaktionsverfassung
Jede Aussage mit QuelleSchwächen immer benannt · Korrekturen öffentlich dokumentiertKeine bezahlten EinträgeKeine Werbung oder Verkaufselemente in EinträgenMarktdaten ausschließlich als Datenmodul eingebunden
AIXX-Familie
AIXX PediaAIXX BörseAIXX News
Quellen der Marktdaten: AIXX Börse · © 2026 AIXX Pedia · Ein Angebot von AIXX