AIXX Pedia › Техническая концепция › Кэш вывода KV Cache
KV Cache (Key-Value Cache) — область видеопамяти, в которой при выводе большой языковой модели кэшируются промежуточные результаты механизма внимания: при генерации каждого токена его Key и Value сохраняются для последующих вычислений внимания. Размер KV Cache растёт линейно с длиной контекста — именно KV Cache является узким местом по видеопамяти при работе с длинным контекстом.
KV Cache — «скрытый убийца» при планировании видеопамяти в сценариях вывода: веса модели 7B могут занимать всего 14 ГБ, но KV Cache при длинном контексте может дополнительно съедать десятки гигабайт — учитывать только веса модели — типичная ошибка новичка. Преимущество карт с большим объёмом видеопамяти (H200 NVL 141GB / MI325X 256GB) в сценариях с длинным контекстом — как раз большой запас под KV Cache.
| Параметр | Значение / формат |
|---|---|
| Закон роста | Линейно с длиной контекста |
| Сценарии узкого места | Длинный контекст / большой параллельный батч |
| Техники оптимизации | PagedAttention / MQA / GQA / квантизация |
| Доля видеопамяти | Может превышать сами веса |
Преимущество 288 ГБ видеопамяти B300 наиболее заметно именно в сценариях вывода с длинным контекстом — пространство под KV Cache более чем в 3 раза больше, чем у карт на 80 ГБ. Однако реальный размер KV Cache зависит от размера батча, длины контекста и архитектуры модели (разница между MHA и GQA велика) — перед закупкой определяйте требования к видеопамяти по данным нагрузочного тестирования вывода целевой модели.