SECTIONS
EDITIONS
NETWORK
AIXX Pedia L'encyclopédie du calcul intensif

AIXX Pedia › Concept technique › Benchmark de débit d'inférence

Benchmark de débit d'inférence

INFERENCE BENCHMARK · Entrée de concept technique

Vue d'ensemble OVERVIEW

Le benchmark de débit d'inférence est le test central pour évaluer les performances d'inférence d'un GPU : il ne s'agit pas de « lancer un logiciel standard et regarder le score », mais de « mesurer le débit et la latence sur le GPU cible avec le modèle réel, la précision réelle et le batch réel de votre charge de travail » — la valeur d'un benchmark réside dans sa proximité du réel, non dans de jolis chiffres.

Indicateurs clés : le débit (tokens/s, nombre de tokens générés par seconde) détermine la capacité de service ; la latence (TTFT, latence du premier token / ITL, latence par token) détermine l'expérience utilisateur ; la concurrence détermine la capacité de service. Le critère de sélection de l'acheteur devrait être une mesure combinée « modèle cible + précision cible + batch cible » — et non les scores génériques publiés par les fabricants.

Chiffres clés KEY NUMBERS

ÉlémentValeur / périmètre
Débittokens/s (nombre de tokens générés par seconde)
TTFTLatence du premier token (cœur de la perception utilisateur)
ITLLatence par token (indicateur de fluidité)
Ligne de conformité≥ 80 % du benchmark public (selon le cadre jurisprudentiel)

Ce que cela signifie sur le B300 ON B300

Benchmark de débit d'inférence FP4 du B300 — l'acheteur devrait exécuter le benchmark sur le B300 avec le modèle réel, la précision réelle et le batch réel de son activité — les chiffres de démonstration des fabricants ne peuvent servir de base d'achat. Outils recommandés : vLLM benchmark_serving / TensorRT-LLM benchmark / MLPerf Inference.

Limites et points de vigilance LIMITS

  • Pièges dans l'interprétation des chiffres de benchmark : le débit annoncé par les fabricants est généralement une « valeur théorique maximale » — le débit en charge réelle peut n'atteindre que 50 à 80 % de la valeur annoncée (selon la taille de batch, la longueur de contexte et la stratégie de précision).
  • Différences entre outils de benchmark : chaque outil (vLLM benchmark / MLPerf / TensorRT-LLM benchmark) utilise des méthodes de test différentes — toute comparaison croisée exige une méthodologie unifiée.
  • Le benchmark ne remplace pas le POC : les chiffres de benchmark ne sont qu'un point de départ — seul un POC (Proof of Concept) métier réel valide les performances de bout en bout (y compris pipelines de données, pré/post-traitement et supervision opérationnelle).

Présentation vidéo VIDEO

Mémoire HBM3eInterconnexion NVLinkSXM / NVL8Refroidissement liquide à plaque froide / CDUFormat de précision FP8MoE mélange d'expertsPuce de commutation NVSwitchRéseau d'interconnexion InfiniBandStockage NVMeCDU de refroidissement par liquideRDMA accès direct à la mémoire distanteGPUDirectTensor CoreMIG (Multi-Instance GPU)PCIe Gen5Calcul confidentielvGPU GPU virtuelFP4 / FP6 flottants basse précisionKV Cache cache d'inférenceScale-up et Scale-outCPO optique co-packagéeNVLink FusionArchitecture modulaire MGXQuantification de modèleParallélisme de tenseursCommunications collectivesUsine à IABoucle de refroidissement liquideIndicateur d'efficacité PUETensorRT-LLMMoteur d'inférence vLLMLoRA adaptation bas rangChaîne d'approvisionnement en calculTCO coût total de possessionDistillation de modèleChaîne d'alimentation électriqueÉconomie des tokensPipeline de données d'entraînementStack d'optimisation d'inférenceMémoire GDDR7Famille des connecteurs d'alimentation (EPS/PCIe 8pin/12VHPWR/12V-2x6)Chronologie des contrôles à l'exportation vers la ChineGuide de validation GPU (nvidia-smi/GPU-Z)Optimisation d'inférence TensorRTExécution par graphes CUDA GraphsBibliothèque de communications collectives NCCLFormat de modèle ouvert ONNXGénéalogie des générations HBMEntraînement en précision mixteGénérations PCIeGénéalogie des formats de rackDécoder la nomenclature des GPUCircuit de GPU d'occasionComparaison refroidi par air / refroidi par liquideSanté mémoire et diagnostic de pannesMémoire HBM4Interconnexion UALinkFiche modèle B300

Références REFERENCES

  1. Site officiel NVIDIA — page produit Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Marché et données de vente : AIXX Exchange (bande de marché de cette base)
Versions et corrections |Cette fiche est maintenue par la rédaction d'AIXX Pedia : rédaction assistée par IA, faits vérifiés à la main. Mise à jour le 2026-10-20 · version v1.0 · chaque modification est historisée et consultable.
Cette base
Politique éditorialeÀ propos de cette base (déclaration d'intérêts)le canal de corrections
Résumé de la charte éditoriale
Chaque affirmation sourcéeLes défauts obligatoirement mentionnés · Corrections publiques tracéesAucune entrée sponsorisée acceptéeZéro élément de prospection ou de vente dans les entréesDonnées de marché intégrées uniquement comme module de données
Famille AIXX
AIXX PediaAIXX ExchangeActualités AIXX
Source des données de marché : AIXX Exchange · © 2026 AIXX Pedia · Une production AIXX