AIXX Pedia › Техническая концепция › Движок вывода vLLM
vLLM — самый популярный на сегодня опенсорсный инференс-движок для больших моделей. Ключевая инновация — PagedAttention: KV Cache управляется постранично, по аналогии с виртуальной памятью ОС, что радикально повышает утилизацию видеопамяти и пропускную способность при параллельных запросах. Поддерживаются Continuous Batching (динамическая батчинг-обработка), Tensor Parallelism и квантизация (GPTQ/AWQ/FP8) — именно vLLM превратил выбор инференс-фреймворка из проприетарного решения NVIDIA (TensorRT-LLM) в открытую мультивариантную задачу.
Что это значит для закупщика: производительность vLLM напрямую влияет на выбор GPU — на одних и тех же картах разница в версии и конфигурации vLLM может дать до 2-кратной разницы в пропускной способности. Перед закупкой обязательный шаг — прогнать бенчмарк на целевой модели с целевой версией vLLM. vLLM поддерживает одновременно CUDA (NVIDIA) и ROCm (AMD) — при выборе между лагерями это общий фундамент инференс-стека.
| Параметр | Значение / формат |
|---|---|
| Ключевая инновация | PagedAttention (постраничное управление KV Cache) |
| Поддерживаемое железо | NVIDIA CUDA + AMD ROCm |
| Параллелизм | Continuous Batching (динамическая батчинг-обработка) |
| Открытый код | Apache 2.0 |
Поддержка B300 в vLLM растёт вместе со зрелостью экосистемы CUDA/Blackwell — путь инференса с квантизацией FP8/FP4 требует свежей версии vLLM и соответствующей поддержки модели. Перед закупкой — бенчмарк на целевой модели с последней версией vLLM (пропускная способность/задержка/параллелизм): данные бенчмарков — главный аргумент при выборе.