SECTIONS
EDITIONS
NETWORK
AIXX Pedia Энциклопедия вычислительных мощностей

AIXX Pedia › Техническая концепция › Движок вывода vLLM

Движок вывода vLLM

vLLM · Технологический глоссарий

Обзор OVERVIEW

vLLM — самый популярный на сегодня опенсорсный инференс-движок для больших моделей. Ключевая инновация — PagedAttention: KV Cache управляется постранично, по аналогии с виртуальной памятью ОС, что радикально повышает утилизацию видеопамяти и пропускную способность при параллельных запросах. Поддерживаются Continuous Batching (динамическая батчинг-обработка), Tensor Parallelism и квантизация (GPTQ/AWQ/FP8) — именно vLLM превратил выбор инференс-фреймворка из проприетарного решения NVIDIA (TensorRT-LLM) в открытую мультивариантную задачу.

Что это значит для закупщика: производительность vLLM напрямую влияет на выбор GPU — на одних и тех же картах разница в версии и конфигурации vLLM может дать до 2-кратной разницы в пропускной способности. Перед закупкой обязательный шаг — прогнать бенчмарк на целевой модели с целевой версией vLLM. vLLM поддерживает одновременно CUDA (NVIDIA) и ROCm (AMD) — при выборе между лагерями это общий фундамент инференс-стека.

Ключевые цифры KEY NUMBERS

ПараметрЗначение / формат
Ключевая инновацияPagedAttention (постраничное управление KV Cache)
Поддерживаемое железоNVIDIA CUDA + AMD ROCm
ПараллелизмContinuous Batching (динамическая батчинг-обработка)
Открытый кодApache 2.0

Значение для B300 ON B300

Поддержка B300 в vLLM растёт вместе со зрелостью экосистемы CUDA/Blackwell — путь инференса с квантизацией FP8/FP4 требует свежей версии vLLM и соответствующей поддержки модели. Перед закупкой — бенчмарк на целевой модели с последней версией vLLM (пропускная способность/задержка/параллелизм): данные бенчмарков — главный аргумент при выборе.

Границы и оговорки LIMITS

  • vLLM итерируется очень быстро: новые версии выходят практически каждую неделю — стратегия обновления в продакшене требует осторожности (прирост производительности новых функций против риска нестабильности).
  • Многокарточный параллелизм чувствителен к конфигурации TP: степень TP, топология GPU, размер батча и другие параметры сильно влияют на пропускную способность — «универсальной конфигурации» нет, тюнинг под каждую модель необходим.
  • Покрытие моделей: vLLM поддерживает основные опенсорсные модели — однако поддержка отдельных архитектур (например, экспертной маршрутизации в MoE) может отставать от выхода моделей.

Видеообзор VIDEO

Видеопамять HBM3eИнтерконнект NVLinkSXM / NVL8Жидкостное охлаждение с холодной плитой / CDUФормат точности FP8MoE(смесь экспертов)Коммутационный чип NVSwitchСеть на базе InfiniBandХранилище NVMeЖидкостное охлаждение CDURDMA — удалённый прямой доступ к памятиGPUDirectTensor CoreMIG (Multi-Instance GPU)PCIe Gen5Конфиденциальные вычисленияВиртуальный GPU vGPUМикроформаты с плавающей точкой FP4 / FP6Кэш вывода KV CacheScale-up и Scale-outСовмещённая оптика CPONVLink FusionМодульная архитектура MGXКвантизация моделейТензорный параллелизмКоллективные коммуникацииAI-фабрикаКонтур жидкостного охлажденияПоказатель энергоэффективности PUETensorRT-LLMLoRA — низкоранговая адаптацияКаналы поставок вычислительной техникиСовокупная стоимость владения TCOБенчмарки пропускной способности при выводеДистилляция моделейЦепочка энергоснабженияЭкономика токеновКонвейер обучающих данныхСтек оптимизации выводаВидеопамять GDDR7Семейство разъёмов питания (EPS/PCIe 8pin/12VHPWR/12V-2x6)Хронология экспортного контроляРуководство по проверке GPU (nvidia-smi/GPU-Z)Оптимизация вывода TensorRTВыполнение графов CUDA GraphsБиблиотека коллективных коммуникаций NCCLОткрытый формат моделей ONNXПоколения памяти HBMОбучение со смешанной точностьюПоколения PCIeСемейство форм-факторов стоекРазбор правил именования моделей GPUЦепочка оборота подержанных GPUСравнение систем с воздушным и жидкостным охлаждениемДиагностика здоровья и неисправностей видеопамятиПамять HBM4Интерконнект UALinkСтатья о модели B300

Источники REFERENCES

  1. Официальный сайт NVIDIA — страница продукта Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Рыночные данные и предложения в наличии: AIXX Exchange (полоса рыночных данных базы)
Версии и исправления |Статья поддерживается редакцией AIXX Pedia: черновик подготовлен ИИ, факты проверены вручную. Обновлено 21.10.2026 · версия v1.0 · все изменения сохраняются и доступны для проверки.
Энциклопедия
Редакционная политикаО энциклопедии (декларация интересов)канал исправлений
Кратко о редакционном уставе
Каждое утверждение с источникомНедостатки обязательны · исправления публичныПлатные статьи не принимаютсяНоль рекламы и продаж внутри статейРыночные данные подключаются только как модуль данных
Семейство AIXX
AIXX PediaAIXX ExchangeAIXX News
Источник рыночных данных: AIXX Exchange · © 2026 AIXX Pedia · Продукт AIXX