SECTIONS
EDITIONS
NETWORK
AIXXPedia연산 분야의 백과사전

AIXX 백과사전 › 기술 개념 › KV Cache 추론 캐시

KV Cache 추론 캐시

KV CACHE · 기술 개념 용어

개요OVERVIEW

KV Cache(Key-Value Cache)는 대규모 모델 추론 과정에서 어텐션 메커니즘의 중간 결과를 캐싱하는 VRAM 영역입니다. 토큰을 하나 생성할 때마다 해당 토큰의 Key와 Value를 캐싱해 두었다가 이후 토큰의 어텐션 계산에서 참조합니다. KV Cache 크기는 컨텍스트 길이에 비례해 선형적으로 증가하며, 롱 컨텍스트 추론의 VRAM 병목은 바로 KV Cache에 있습니다.

KV Cache는 추론 시나리오에서 VRAM 용량 계획의 '숨은 병목'입니다. 7B 모델의 가중치는 14GB 정도에 불과할 수 있지만, 롱 컨텍스트의 KV Cache는 수십 GB를 추가로 소모할 수 있습니다. 모델 가중치만 계산하는 것은 초심자가 저지르기 쉬운 실수입니다. 대용량 VRAM 카드(H200 NVL 141GB / MI325X 256GB)가 롱 컨텍스트 시나리오에서 갖는 강점은 넉넉한 KV Cache 공간입니다.

핵심 수치KEY NUMBERS

항목수치 / 기준
증가 규칙컨텍스트 길이에 선형 비례
병목 시나리오롱 컨텍스트 / 대규모 배치 동시 처리
최적화 기술PagedAttention / MQA / GQA / 양자화
VRAM 점유율가중치 자체를 초과할 수 있음

B300에서의 의미ON B300

B300 288GB의 VRAM 우위는 롱 컨텍스트 추론 시나리오에서 가장 뚜렷합니다. KV Cache 공간이 80GB급의 3배 이상이기 때문입니다. 다만 KV Cache의 실제 크기는 배치 크기, 컨텍스트 길이, 모델 아키텍처(MHA/GQA 차이가 큼)에 따라 달라지므로, 구매 전 대상 모델의 추론 스트레스 테스트 데이터로 VRAM 사양을 결정하는 것이 좋습니다.

경계와 주의점LIMITS

  • KV Cache는 0까지 압축할 수 없습니다. KV Cache를 양자화(FP8/INT4)하면 VRAM을 절약할 수 있지만 정밀도가 떨어질 수 있으므로, 정밀도에 민감한 시나리오에서는 신중하게 사용해야 합니다.
  • 멀티 테넌트 공유 시 격리 위험: 여러 사용자가 동일한 카드의 KV Cache 공간을 공유하므로, 한 사용자의 롱 컨텍스트가 다른 사용자의 공간을 잠식할 수 있습니다.

영상 해설VIDEO

참고 자료REFERENCES

  1. NVIDIA 공식 사이트 — Blackwell Ultra / HGX B300 제품 페이지 https://www.nvidia.com/en-us/data-center/hgx/
  2. 시세 및 판매 데이터:AIXX 거래소(본 데이터베이스 시세 밴드)
버전 및 정정| 본 항목은 AIXX Pedia 편집부가 관리하며, AI 보조 초안 작성 후 사람이 사실을 검증했다. 업데이트: 2026-10-21 · 버전 v1.0 · 모든 변경 이력은 추적 가능하다.
본 아카이브
편집 방침본 아카이브 소개 (이해관계 선언)정정 채널
편집 헌장 요약
모든 서술에 출처 명기단점 필수 기재 · 정정 이력 공개유료 항목 수락 안 함항목 내 유도·판매 요소 제로시세 데이터는 데이터 모듈 마운트 용도로만 사용
AIXX 패밀리
AIXX 백과사전AIXX 거래소AIXX 뉴스
시세 데이터 출처:AIXX 거래소 · © 2026 AIXX 백과사전 AIXX Pedia · AIXX 제공