AIXX 백과사전 › 기술 개념 › KV Cache 추론 캐시
KV Cache(Key-Value Cache)는 대규모 모델 추론 과정에서 어텐션 메커니즘의 중간 결과를 캐싱하는 VRAM 영역입니다. 토큰을 하나 생성할 때마다 해당 토큰의 Key와 Value를 캐싱해 두었다가 이후 토큰의 어텐션 계산에서 참조합니다. KV Cache 크기는 컨텍스트 길이에 비례해 선형적으로 증가하며, 롱 컨텍스트 추론의 VRAM 병목은 바로 KV Cache에 있습니다.
KV Cache는 추론 시나리오에서 VRAM 용량 계획의 '숨은 병목'입니다. 7B 모델의 가중치는 14GB 정도에 불과할 수 있지만, 롱 컨텍스트의 KV Cache는 수십 GB를 추가로 소모할 수 있습니다. 모델 가중치만 계산하는 것은 초심자가 저지르기 쉬운 실수입니다. 대용량 VRAM 카드(H200 NVL 141GB / MI325X 256GB)가 롱 컨텍스트 시나리오에서 갖는 강점은 넉넉한 KV Cache 공간입니다.
| 항목 | 수치 / 기준 |
|---|---|
| 증가 규칙 | 컨텍스트 길이에 선형 비례 |
| 병목 시나리오 | 롱 컨텍스트 / 대규모 배치 동시 처리 |
| 최적화 기술 | PagedAttention / MQA / GQA / 양자화 |
| VRAM 점유율 | 가중치 자체를 초과할 수 있음 |
B300 288GB의 VRAM 우위는 롱 컨텍스트 추론 시나리오에서 가장 뚜렷합니다. KV Cache 공간이 80GB급의 3배 이상이기 때문입니다. 다만 KV Cache의 실제 크기는 배치 크기, 컨텍스트 길이, 모델 아키텍처(MHA/GQA 차이가 큼)에 따라 달라지므로, 구매 전 대상 모델의 추론 스트레스 테스트 데이터로 VRAM 사양을 결정하는 것이 좋습니다.