AIXX Pedia › Concept technique › Quantification de modèle
La quantification est la technique qui consiste à réduire la précision des poids et des activations d'un modèle, de la haute précision (FP16/BF16) vers la basse précision (FP8/INT8/INT4/FP4) — l'effet direct est une optimisation conjointe de l'empreinte mémoire et du débit de calcul : la quantification INT4 fait passer un modèle 70B de 140 Go à environ 35 Go — une seule carte 48 Go suffit à l'héberger.
Ce que cela signifie pour l'acheteur : la quantification détermine « la taille de modèle que l'on peut exécuter à budget égal » — lors du choix des spécifications mémoire, il faut impérativement vérifier si le modèle cible peut être quantifié, à quel niveau de précision, et si la perte de précision reste acceptable. FP8/FP4 est la feuille de route de précision récente de NVIDIA (Hopper→Blackwell), avec AMD qui emboîte le pas via MXFP4/FP6.
| Élément | Valeur / périmètre |
|---|---|
| Échelle de précision courante | FP32 → BF16/FP16 → FP8/INT8 → INT4/FP4 |
| Mémoire 70B FP16 | environ 140 Go |
| Mémoire 70B INT4 | Environ 35 Go |
| Outils de quantification | GPTQ / AWQ / TensorRT-LLM / bitsandbytes |
Le B300 prend en charge nativement les précisions FP4/FP6 — en inférence, on peut quantifier en FP4 pour exploiter pleinement la puissance de calcul ; pour l'entraînement, FP8/BF16 reste recommandé (perte de précision maîtrisée). L'acceptabilité de la perte de précision après quantification dépend du modèle et de la tâche — la classification et la recherche tolèrent bien, les tâches génératives beaucoup moins.