AIXX Pedia › Technisches Konzept › MoE (Mixture of Experts)
MoE (Mixture of Experts) ist eine Architektur für große Modelle mit „sparsamer Aktivierung“: Die Gesamtzahl der Parameter ist sehr hoch, bei jeder Inferenz wird jedoch nur ein Teil der „Experten“-Netzwerke aktiviert.
Ein typisches Beispiel ist DeepSeek R1: 671B Parameter insgesamt, wobei jede Inferenz nur etwa 37B aktiviert – Kapazität und Rechenaufwand werden entkoppelt.
| Projekt | Wert / Bezugsgröße |
|---|---|
| Gesamtparameter im Beispiel | DeepSeek R1 671B |
| Pro Inferenz aktiviert | etwa 37B |
| Bedeutung für den VRAM | Alle Parameter müssen weiterhin im GPU-Speicher liegen |
| Vergleich B300 NVL8 | 2,3 TB Gesamtspeicher ermöglichen eine volldigitale Bereitstellung auf einem einzelnen System |
Der VRAM-Bedarf von MoE richtet sich nach der Gesamtzahl der Parameter, nicht nach den aktivierten – genau hier liegt der Kernnutzen von Speicherriesen wie dem B300.
Der Engpass beim Inferenzdurchsatz liegt häufig in der Kommunikation des Experten-Parallelismus; Interconnect und Netzwerkanbindung sind ebenso entscheidend.