AIXX Pedia › Technisches Konzept › vLLM-Inferenz-Engine
vLLM ist derzeit die beliebteste Open-Source-Inferenz-Engine für große Modelle: Die zentrale Innovation ist PagedAttention (KV-Cache wird seitenweise verwaltet wie virtueller Speicher in einem Betriebssystem) – das steigert die Speicherauslastung und den Durchsatz bei hoher Parallelität erheblich. Unterstützung für Continuous Batching, Tensor Parallelism und Quantisierungsinferenz (GPTQ/AWQ/FP8) – vLLM hat die Wahl des Inferenz-Frameworks von proprietären NVIDIA-Lösungen (TensorRT-LLM) zu einer offenen Auswahl mit mehreren Optionen gemacht.
Bedeutung für Einkäufer: Die Leistung von vLLM beeinflusst die GPU-Auswahl direkt – mit derselben Karte kann der Durchsatz je nach vLLM-Version und Konfiguration um das Doppelte variieren. Vor dem Kauf Benchmarks mit dem Zielmodell und der vLLM-Zielversion zu fahren, ist ein zwingender Schritt bei der Auswahl. vLLM unterstützt sowohl CUDA (NVIDIA) als auch ROCm (AMD) – bei hardwareübergreifender Auswahl bildet es die gemeinsame Inferenz-Basisschicht.
| Position | Wert / Definition |
|---|---|
| Zentrale Innovation | PagedAttention (seitenbasierte KV-Cache-Verwaltung) |
| Unterstützte Hardware | NVIDIA CUDA + AMD ROCm |
| Parallelisierungsfähigkeit | Continuous Batching (dynamische Batchverarbeitung) |
| Open Source | Apache 2.0 |
Die B300-Unterstützung von vLLM reift mit dem CUDA/Blackwell-Ökosystem – Inferenzpfade mit FP8/FP4-Quantisierung erfordern die neueste Version von vLLM sowie entsprechende Modellunterstützung. Vor dem Kauf Benchmarks mit dem Zielmodell und der neuesten vLLM-Version fahren (Durchsatz/Latenz/Parallelität) – Benchmark-Daten sind die harte Grundlage jeder Auswahlentscheidung.