AIXX Pedia › Concept technique › MoE mélange d'experts
Le MoE (Mixture of Experts) est une architecture de grands modèles à « activation éparse » : la quantification totale des paramètres est très élevée, mais chaque inférence n'active qu'une partie des réseaux « experts ».
Exemple typique : DeepSeek R1, avec 671B de paramètres au total dont environ 37B seulement sont activés à chaque inférence — capacité et coût de calcul sont ainsi découplés.
| Élément | Valeur / périmètre |
|---|---|
| Paramètres totaux de l'exemple | DeepSeek R1 671B |
| Activation par passage | Environ 37B |
| Signification en mémoire vidéo | La totalité des paramètres doit néanmoins tenir sur la carte |
| Comparaison avec le B300 NVL8 | 2.3TB de mémoire totale permettent un déploiement mono-serveur complet |
L'appétit en mémoire du MoE se calcule sur le total des paramètres, pas sur les paramètres activés — c'est là que des modèles à grande mémoire comme le B300 prennent tout leur sens.
Le goulot d'étranglement du débit d'inférence se situe souvent dans les communications du parallélisme d'experts ; l'interconnexion et le réseau sont tout aussi déterminants.