SECTIONS
EDITIONS
NETWORK
AIXX Pedia Энциклопедия вычислительных мощностей

AIXX Pedia › Техническая концепция › Кэш вывода KV Cache

Кэш вывода KV Cache

KV CACHE · Технический термин

Обзор OVERVIEW

KV Cache (Key-Value Cache) — область видеопамяти, в которой при выводе большой языковой модели кэшируются промежуточные результаты механизма внимания: при генерации каждого токена его Key и Value сохраняются для последующих вычислений внимания. Размер KV Cache растёт линейно с длиной контекста — именно KV Cache является узким местом по видеопамяти при работе с длинным контекстом.

KV Cache — «скрытый убийца» при планировании видеопамяти в сценариях вывода: веса модели 7B могут занимать всего 14 ГБ, но KV Cache при длинном контексте может дополнительно съедать десятки гигабайт — учитывать только веса модели — типичная ошибка новичка. Преимущество карт с большим объёмом видеопамяти (H200 NVL 141GB / MI325X 256GB) в сценариях с длинным контекстом — как раз большой запас под KV Cache.

Ключевые цифры KEY NUMBERS

ПараметрЗначение / формат
Закон ростаЛинейно с длиной контекста
Сценарии узкого местаДлинный контекст / большой параллельный батч
Техники оптимизацииPagedAttention / MQA / GQA / квантизация
Доля видеопамятиМожет превышать сами веса

Значение для B300 ON B300

Преимущество 288 ГБ видеопамяти B300 наиболее заметно именно в сценариях вывода с длинным контекстом — пространство под KV Cache более чем в 3 раза больше, чем у карт на 80 ГБ. Однако реальный размер KV Cache зависит от размера батча, длины контекста и архитектуры модели (разница между MHA и GQA велика) — перед закупкой определяйте требования к видеопамяти по данным нагрузочного тестирования вывода целевой модели.

Границы и оговорки LIMITS

  • KV Cache нельзя сжать до нуля: квантизация KV Cache (FP8/INT4) экономит видеопамять, но может снизить точность — в задачах, чувствительных к точности, применяйте с осторожностью.
  • Риск изоляции при совместном использовании несколькими арендаторами: несколько пользователей делят пространство KV Cache одной карты — длинный контекст одного пользователя может вытеснять пространство других.

Видеообзор VIDEO

Видеопамять HBM3eИнтерконнект NVLinkSXM / NVL8Жидкостное охлаждение с холодной плитой / CDUФормат точности FP8MoE(смесь экспертов)Коммутационный чип NVSwitchСеть на базе InfiniBandХранилище NVMeЖидкостное охлаждение CDURDMA — удалённый прямой доступ к памятиGPUDirectTensor CoreMIG (Multi-Instance GPU)PCIe Gen5Конфиденциальные вычисленияВиртуальный GPU vGPUМикроформаты с плавающей точкой FP4 / FP6Scale-up и Scale-outСовмещённая оптика CPONVLink FusionМодульная архитектура MGXКвантизация моделейТензорный параллелизмКоллективные коммуникацииAI-фабрикаКонтур жидкостного охлажденияПоказатель энергоэффективности PUETensorRT-LLMДвижок вывода vLLMLoRA — низкоранговая адаптацияКаналы поставок вычислительной техникиСовокупная стоимость владения TCOБенчмарки пропускной способности при выводеДистилляция моделейЦепочка энергоснабженияЭкономика токеновКонвейер обучающих данныхСтек оптимизации выводаВидеопамять GDDR7Семейство разъёмов питания (EPS/PCIe 8pin/12VHPWR/12V-2x6)Хронология экспортного контроляРуководство по проверке GPU (nvidia-smi/GPU-Z)Оптимизация вывода TensorRTВыполнение графов CUDA GraphsБиблиотека коллективных коммуникаций NCCLОткрытый формат моделей ONNXПоколения памяти HBMОбучение со смешанной точностьюПоколения PCIeСемейство форм-факторов стоекРазбор правил именования моделей GPUЦепочка оборота подержанных GPUСравнение систем с воздушным и жидкостным охлаждениемДиагностика здоровья и неисправностей видеопамятиПамять HBM4Интерконнект UALinkСтатья о модели B300

Источники REFERENCES

  1. Официальный сайт NVIDIA — страница продукта Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Рыночные данные и предложения в наличии: AIXX Exchange (полоса рыночных данных базы)
Версии и исправления |Статья поддерживается редакцией AIXX Pedia: черновик подготовлен ИИ, факты проверены вручную. Обновлено 21.10.2026 · версия v1.0 · все изменения сохраняются и доступны для проверки.
Энциклопедия
Редакционная политикаО энциклопедии (декларация интересов)канал исправлений
Кратко о редакционном уставе
Каждое утверждение с источникомНедостатки обязательны · исправления публичныПлатные статьи не принимаютсяНоль рекламы и продаж внутри статейРыночные данные подключаются только как модуль данных
Семейство AIXX
AIXX PediaAIXX ExchangeAIXX News
Источник рыночных данных: AIXX Exchange · © 2026 AIXX Pedia · Продукт AIXX