SECTIONS
EDITIONS
NETWORK
AIXX Pedia Die Enzyklopädie der Rechenleistung

AIXX Pedia › Technisches Konzept › Inferenzdurchsatz-Benchmarks

Inferenzdurchsatz-Benchmarks

INFERENCE BENCHMARK · Technischer Begriff

Überblick OVERVIEW

Der Inferenz-Durchsatz-Benchmark (Inference Benchmark) ist der zentrale Test zur Bewertung der Inferenzleistung einer GPU: Es geht nicht darum, „eine Standard-Software laufen zu lassen und eine Punktzahl abzulesen“, sondern „mit dem echten Modell, der echten Präzision und der echten Batch-Größe des eigenen Geschäftsmodells Durchsatz und Latenz auf der Ziel-GPU zu messen“ – der Wert eines Benchmarks liegt darin, der Realität nahe zu kommen, nicht darin, schöne Zahlen zu liefern.

Kernmetriken: Der Durchsatz (tokens/s, generierte Token pro Sekunde) bestimmt die Dienstkapa­zität; die Latenz (TTFT als Time-to-First-Token / ITL als Inter-Token-Latenz) bestimmt das Nutzererlebnis; die Anzahl gleichzeitiger Anfragen bestimmt die Dienstfähigkeit. Als Beschaffungsmanager sollte man sich auf Messungen mit der Kombination „Zielmodell + Zielpräzision + Ziel-Batch-Größe“ stützen – nicht auf die allgemeinen Benchmark-Punktzahlen der Hersteller.

Kennzahlen KEY NUMBERS

PositionWert / Definition
Durchsatztokens/s (generierte Token pro Sekunde)
TTFTTime-to-First-Token (TTFT, entscheidend für das Nutzererlebnis)
ITLInter-Token-Latenz (ITL, Indikator für Flüssigkeit)
Bestehensgrenze≥ 80 % des öffentlichen Benchmarks (Referenzrahmen der Rechtsprechung)

Bedeutung für die B300 ON B300

FP4-Inferenz-Durchsatz-Benchmark des B300 – Beschaffer sollten den Benchmark mit dem echten Modell, der echten Präzision und der echten Batch-Größe ihrer eigenen Workloads auf dem B300 durchführen – die Demozahlen der Hersteller dürfen nicht als Beschaffungsgrundlage dienen. Empfohlene Benchmark-Tools: vLLM benchmark_serving / TensorRT-LLM benchmark / MLPerf Inference.

Grenzen und Hinweise LIMITS

  • Zahlenmäßige Fallstricke bei Benchmarks: Der vom Hersteller angegebene Durchsatz ist üblicherweise ein „maximaler theoretischer Wert“ – unter realer Geschäftslast liegt der Durchsatz oft nur bei 50–80 % des Nennwerts (abhängig von Batch-Größe, Kontextlänge und Präzisionsstrategie).
  • Unterschiede zwischen Benchmark-Tools: Verschiedene Benchmark-Tools (vLLM benchmark / MLPerf / TensorRT-LLM benchmark) verwenden unterschiedliche Testverfahren – ein Vergleich über Tools hinweg erfordert eine einheitliche Messmethodik.
  • Ein Benchmark ersetzt keinen POC: Benchmarkzahlen sind nur ein Ausgangspunkt – nur ein echter geschäftlicher Proof of Concept (POC) validiert das End-to-End-Verhalten (inkl. Datenpipeline, Vor-/Nachverarbeitung und Betriebsüberwachung).

Videoerklärung VIDEO

Quellen REFERENCES

  1. NVIDIA-Website – Blackwell Ultra / HGX B300 Produktseite https://www.nvidia.com/en-us/data-center/hgx/
  2. Marktdaten und Angebote: AIXX Börse (Marktband dieser Datenbank)
Versionen und Korrekturen | Dieser Eintrag wird von der AIXX Pedia-Redaktion gepflegt, KI-gestützt verfasst, manuell faktengeprüft. Aktualisiert am 2026-10-20 · Version v1.0 · Alle Änderungen nachvollziehbar dokumentiert.
Datenbank
RedaktionsrichtlinienInteressenmeldung zu dieser DatenbankKorrekturkanal
Auszug aus der Redaktionsverfassung
Jede Aussage mit QuelleSchwächen immer benannt · Korrekturen öffentlich dokumentiertKeine bezahlten EinträgeKeine Werbung oder Verkaufselemente in EinträgenMarktdaten ausschließlich als Datenmodul eingebunden
AIXX-Familie
AIXX PediaAIXX BörseAIXX News
Quellen der Marktdaten: AIXX Börse · © 2026 AIXX Pedia · Ein Angebot von AIXX