AIXX 백과사전 › 기술 개념 › 추론 처리량 벤치마크
추론 처리량 벤치마크(Inference Benchmark)는 GPU의 추론 성능을 평가하는 핵심 테스트다. '표준 소프트웨어를 돌려 점수를 보는' 것이 아니라, '목표 비즈니스의 실제 모델, 실제 정밀도, 실제 배치 크기로 대상 GPU에서 처리량과 지연 시간을 측정하는' 것이다. 벤치마크의 가치는 '실제에 가까움'에 있지 '숫자가 좋아 보임'에 있지 않다.
핵심 지표: 처리량(tokens/s, 초당 생성 토큰 수)은 서비스 용량을 결정하고, 지연 시간(TTFT 첫 토큰 지연/ITL 토큰당 지연)은 사용자 경험을 결정하며, 동시 접속 수는 서비스 능력을 결정한다. 구매자의 선택 기준은 '목표 모델+목표 정밀도+목표 배치 크기' 조합의 실측이어야 하며, 벤더가 발표하는 범용 벤치마크 점수가 아니어야 한다.
| 항목 | 수치 / 기준 |
|---|---|
| 처리량 | tokens/s(초당 생성 토큰 수) |
| TTFT | 첫 토큰 지연(사용자 체감의 핵심) |
| ITL | 토큰당 지연(유려함 지표) |
| 합격선 | 공개 벤치마크의 80% 이상(판례 프레임워크 기준) |
B300의 FP4 추론 처리량 벤치마크 — 구매자는 자사 비즈니스의 실제 모델+실제 정밀도+실제 배치 크기로 B300에서 벤치마크를 돌려야 한다. 벤더의 데모 수치는 구매 근거로 삼을 수 없다. 추천 벤치마크 도구: vLLM benchmark_serving / TensorRT-LLM benchmark / MLPerf Inference.