AIXX 백과사전 › 기술 개념 › vLLM 추론 엔진
vLLM은 현재 가장 널리 쓰이는 오픈소스 대규모 모델 추론 엔진입니다. 핵심 혁신은 PagedAttention(KV Cache를 운영체제의 가상 메모리처럼 페이지 단위로 관리)으로, GPU 메모리 활용률과 동시 처리 스루풋을 크게 끌어올립니다. Continuous Batching(동적 배칭), Tensor Parallelism, 양자화 추론(GPTQ/AWQ/FP8)을 지원합니다. vLLM 덕분에 「추론 프레임워크 선택」이 NVIDIA 전용(TensorRT-LLM)에서 오픈소스 다중 선택으로 바뀌었습니다.
구매 담당자에게 의미하는 바: vLLM의 성능은 GPU 선택에 직접적인 영향을 줍니다. 같은 카드라도 vLLM 버전과 설정에 따라 스루풋이 최대 2배까지 달라질 수 있습니다. 구매 전에 대상 모델 + 대상 vLLM 버전으로 벤치마크를 돌려보는 것은 필수 절차입니다. vLLM은 CUDA(NVIDIA)와 ROCm(AMD)을 모두 지원하므로, 진영을 넘는 선택 시 공통의 추론 스택 기반이 됩니다.
| 항목 | 수치 / 기준 |
|---|---|
| 핵심 혁신 | PagedAttention(KV Cache 페이지 관리) |
| 지원 하드웨어 | NVIDIA CUDA + AMD ROCm |
| 동시 처리 성능 | Continuous Batching(동적 배칭) |
| 오픈소스 | Apache 2.0 |
vLLM의 B300 지원은 CUDA/Blackwell 생태계가 성숙해짐에 따라 확대되고 있습니다. FP8/FP4 양자화 추론 경로에는 최신 버전의 vLLM과 모델 지원이 필요합니다. 구매 전에 대상 모델 + vLLM 최신 버전으로 벤치마크(스루풋/지연 시간/동시 처리)를 수행하세요. 벤치마크 데이터가 선택의 확실한 근거입니다.