AIXX Pedia › Техническая концепция › Бенчмарки пропускной способности при выводе
Бенчмарк пропускной способности инференса (Inference Benchmark) — ключевой тест для оценки производительности GPU в инференсе: речь не о «запуске стандартной программы ради цифры», а о «замере пропускной способности и задержки на целевом GPU с реальной моделью, реальной точностью и реальным размером батча из вашей бизнес-задачи» — ценность бенчмарка в «близости к реальности», а не в «красивых цифрах».
Ключевые метрики: пропускная способность (tokens/s — количество сгенерированных токенов в секунду) определяет ёмкость сервиса; задержка (TTFT — задержка первого токена / ITL — задержка на токен) определяет пользовательский опыт; число параллельных запросов определяет способность к обслуживанию. При выборе оборудования ориентируйтесь на результаты тестирования комбинации «целевая модель + целевая точность + целевой батч» — а не на универсальные цифры производителя.
| Параметр | Значение / формат |
|---|---|
| Пропускная способность | tokens/s (токенов в секунду) |
| TTFT | Задержка первого токена (ключевая для восприятия пользователем) |
| ITL | Задержка на токен (показатель плавности) |
| Критерий Пройдено | ≥80% публичного бенчмарка (судебная практика фреймворка) |
Бенчмарк пропускной способности FP4-инференса на B300 — закупщику следует прогнать бенчмарк на B300 с реальной моделью, реальной точностью и реальным батчем своей бизнес-задачи — демонстрационные цифры производителя не могут служить основанием для закупки. Рекомендуемые инструменты: vLLM benchmark_serving / TensorRT-LLM benchmark / MLPerf Inference.