SECTIONS
EDITIONS
NETWORK
AIXX Pedia L'encyclopédie du calcul intensif

AIXX Pedia › Concept technique › Quantification de modèle

Quantification de modèle

QUANTIFICATION DE MODÈLES · Article de concept technique

Vue d'ensemble OVERVIEW

La quantification est la technique qui consiste à réduire la précision des poids et des activations d'un modèle, de la haute précision (FP16/BF16) vers la basse précision (FP8/INT8/INT4/FP4) — l'effet direct est une optimisation conjointe de l'empreinte mémoire et du débit de calcul : la quantification INT4 fait passer un modèle 70B de 140 Go à environ 35 Go — une seule carte 48 Go suffit à l'héberger.

Ce que cela signifie pour l'acheteur : la quantification détermine « la taille de modèle que l'on peut exécuter à budget égal » — lors du choix des spécifications mémoire, il faut impérativement vérifier si le modèle cible peut être quantifié, à quel niveau de précision, et si la perte de précision reste acceptable. FP8/FP4 est la feuille de route de précision récente de NVIDIA (Hopper→Blackwell), avec AMD qui emboîte le pas via MXFP4/FP6.

Chiffres clés KEY NUMBERS

ÉlémentValeur / périmètre
Échelle de précision couranteFP32 → BF16/FP16 → FP8/INT8 → INT4/FP4
Mémoire 70B FP16environ 140 Go
Mémoire 70B INT4Environ 35 Go
Outils de quantificationGPTQ / AWQ / TensorRT-LLM / bitsandbytes

Ce que cela signifie sur le B300 ON B300

Le B300 prend en charge nativement les précisions FP4/FP6 — en inférence, on peut quantifier en FP4 pour exploiter pleinement la puissance de calcul ; pour l'entraînement, FP8/BF16 reste recommandé (perte de précision maîtrisée). L'acceptabilité de la perte de précision après quantification dépend du modèle et de la tâche — la classification et la recherche tolèrent bien, les tâches génératives beaucoup moins.

Limites et points de vigilance LIMITS

  • La quantification peut dégrader la précision : la quantification INT4/FP4 peut entraîner une perte inacceptable pour les tâches génératives (rédaction créative/génération de code) — à évaluer modèle par modèle.
  • Chaîne d'outils de quantification fragmentée : GPTQ/AWQ/bitsandbytes/TensorRT présentent chacun leurs forces et faiblesses — pas de solution tout-en-un, une adaptation modèle par modèle est nécessaire.
  • La quantification du KV Cache est plus sensible : la quantification du KV cache affecte la précision d'inférence davantage que celle des poids — à manipuler avec prudence.

Présentation vidéo VIDEO

Mémoire HBM3eInterconnexion NVLinkSXM / NVL8Refroidissement liquide à plaque froide / CDUFormat de précision FP8MoE mélange d'expertsPuce de commutation NVSwitchRéseau d'interconnexion InfiniBandStockage NVMeCDU de refroidissement par liquideRDMA accès direct à la mémoire distanteGPUDirectTensor CoreMIG (Multi-Instance GPU)PCIe Gen5Calcul confidentielvGPU GPU virtuelFP4 / FP6 flottants basse précisionKV Cache cache d'inférenceScale-up et Scale-outCPO optique co-packagéeNVLink FusionArchitecture modulaire MGXParallélisme de tenseursCommunications collectivesUsine à IABoucle de refroidissement liquideIndicateur d'efficacité PUETensorRT-LLMMoteur d'inférence vLLMLoRA adaptation bas rangChaîne d'approvisionnement en calculTCO coût total de possessionBenchmark de débit d'inférenceDistillation de modèleChaîne d'alimentation électriqueÉconomie des tokensPipeline de données d'entraînementStack d'optimisation d'inférenceMémoire GDDR7Famille des connecteurs d'alimentation (EPS/PCIe 8pin/12VHPWR/12V-2x6)Chronologie des contrôles à l'exportation vers la ChineGuide de validation GPU (nvidia-smi/GPU-Z)Optimisation d'inférence TensorRTExécution par graphes CUDA GraphsBibliothèque de communications collectives NCCLFormat de modèle ouvert ONNXGénéalogie des générations HBMEntraînement en précision mixteGénérations PCIeGénéalogie des formats de rackDécoder la nomenclature des GPUCircuit de GPU d'occasionComparaison refroidi par air / refroidi par liquideSanté mémoire et diagnostic de pannesMémoire HBM4Interconnexion UALinkFiche modèle B300

Références REFERENCES

  1. Site officiel NVIDIA — page produit Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Marché et données de vente : AIXX Exchange (bande de marché de cette base)
Versions et corrections |Cette fiche est maintenue par la rédaction d'AIXX Pedia : rédaction assistée par IA, faits vérifiés à la main. Mise à jour le 2026-10-20 · version v1.0 · chaque modification est historisée et consultable.
Cette base
Politique éditorialeÀ propos de cette base (déclaration d'intérêts)le canal de corrections
Résumé de la charte éditoriale
Chaque affirmation sourcéeLes défauts obligatoirement mentionnés · Corrections publiques tracéesAucune entrée sponsorisée acceptéeZéro élément de prospection ou de vente dans les entréesDonnées de marché intégrées uniquement comme module de données
Famille AIXX
AIXX PediaAIXX ExchangeActualités AIXX
Source des données de marché : AIXX Exchange · © 2026 AIXX Pedia · Une production AIXX