AIXX Pedia › Concept technique › Benchmark de débit d'inférence
Le benchmark de débit d'inférence est le test central pour évaluer les performances d'inférence d'un GPU : il ne s'agit pas de « lancer un logiciel standard et regarder le score », mais de « mesurer le débit et la latence sur le GPU cible avec le modèle réel, la précision réelle et le batch réel de votre charge de travail » — la valeur d'un benchmark réside dans sa proximité du réel, non dans de jolis chiffres.
Indicateurs clés : le débit (tokens/s, nombre de tokens générés par seconde) détermine la capacité de service ; la latence (TTFT, latence du premier token / ITL, latence par token) détermine l'expérience utilisateur ; la concurrence détermine la capacité de service. Le critère de sélection de l'acheteur devrait être une mesure combinée « modèle cible + précision cible + batch cible » — et non les scores génériques publiés par les fabricants.
| Élément | Valeur / périmètre |
|---|---|
| Débit | tokens/s (nombre de tokens générés par seconde) |
| TTFT | Latence du premier token (cœur de la perception utilisateur) |
| ITL | Latence par token (indicateur de fluidité) |
| Ligne de conformité | ≥ 80 % du benchmark public (selon le cadre jurisprudentiel) |
Benchmark de débit d'inférence FP4 du B300 — l'acheteur devrait exécuter le benchmark sur le B300 avec le modèle réel, la précision réelle et le batch réel de son activité — les chiffres de démonstration des fabricants ne peuvent servir de base d'achat. Outils recommandés : vLLM benchmark_serving / TensorRT-LLM benchmark / MLPerf Inference.