AIXX Pedia › Техническая концепция › Стек оптимизации вывода
Стек оптимизации инференса — это полная технологическая система обслуживания инференса больших моделей: снизу вверх — аппаратный уровень (GPU/интерконнект/память) → уровень компиляции (TensorRT-LLM / vLLM / SGLang) → сервисный уровень (батчинг/маршрутизация/кэширование/мониторинг) → бизнес-уровень (пользовательские запросы/API-шлюз/биллинг). Каждый уровень имеет пространство для оптимизации — «оптимизация инференса» это не точечная технология, а полноуровневая инженерия.
Обзор ключевых технологий оптимизации: PagedAttention (постраничное управление KV Cache), Continuous Batching (динамический батчинг), Speculative Decoding (спекулятивное декодирование), Chunked Prefill (разбиение префилла на части), квантизация FP8/FP4, Prefix Caching (кэширование префиксов) — каждая технология даёт независимый выигрыш в пропускной способности/задержке, а в комбинации эффекты складываются.
| Параметр | Значение / формат |
|---|---|
| PagedAttention | Постраничное управление KV Cache (впервые в vLLM) |
| Continuous Batching | Динамический батчинг (кратный рост пропускной способности) |
| Speculative Decoding | Спекулятивное декодирование (малая модель угадывает + большая проверяет) |
| Prefix Caching | Кэширование префиксов (общий prompt без повторных вычислений) |
B300 полностью покрывает стек оптимизации инференса: квантизация FP4/FP8 (аппаратный уровень) + компиляция TensorRT-LLM/vLLM (уровень компиляции) + In-flight Batching/Prefix Caching (сервисный уровень) — каждый уровень даёт независимый выигрыш, в комбинации эффекты складываются. При выборе решения полнота стека инференса важнее пиковых показателей отдельной технологии.