AIXX 백과사전 › 기술 개념 › 추론 최적화 기술 스택
추론 최적화 기술 스택은 대규모 모델 추론 서비스의 전체 기술 체계다. 하단부터 상단까지 하드웨어 계층(GPU/상호연결/스토리지) → 컴파일 계층(TensorRT-LLM / vLLM / SGLang) → 서비스 계층(배칭/라우팅/캐싱/모니터링) → 비즈니스 계층(사용자 요청/API 게이트웨이/과금)으로 구성된다. 각 계층마다 최적화 여지가 있으며, '추론 최적화'는 단일 기술이 아니라 풀스택 엔지니어링이다.
핵심 최적화 기술 한눈에 보기: PagedAttention(KV Cache 페이지 관리), Continuous Batching(동적 배칭), Speculative Decoding(투기적 디코딩), Chunked Prefill(분할 프리필), FP8/FP4 양자화, Prefix Caching(프리픽스 캐싱) — 각 기술은 독립적인 처리량/지연 시간 이득을 제공하며, 조합하면 효과가 누적된다.
| 항목 | 수치 / 기준 |
|---|---|
| PagedAttention | KV Cache 페이지 관리(vLLM 최초 도입) |
| Continuous Batching | 동적 배칭(처리량 수 배 향상) |
| Speculative Decoding | 투기적 디코딩(소형 모델 추측 + 대형 모델 검증) |
| Prefix Caching | 프리픽스 캐싱(공유 프롬프트 재계산 생략) |
B300은 추론 최적화 기술 스택을 완전히 커버한다: FP4/FP8 양자화(하드웨어 계층) + TensorRT-LLM/vLLM 컴파일(컴파일 계층) + In-flight Batching/Prefix Caching(서비스 계층) — 각 계층이 독립적인 최적화 이득을 제공하며, 조합하면 효과가 누적된다. 선택 시에는 단일 지점의 최대 성능보다 추론 스택의 완성도가 더 중요하다.