AIXX 百科 › 技術コンセプト › MoE 混合エキスパート
MoE(Mixture of Experts)は「スパース活性化」型の大規模モデルアーキテクチャです。総パラメータ数は非常に大きいものの、推論時にはその一部の「エキスパート」ネットワークのみを活性化します。
代表的な例が DeepSeek R1 です。総パラメータ 671B のうち、推論ごとに活性化されるのは約 37B のみ——容量と計算コストを分離できる構造です。
| 項目 | 数値 / 基準 |
|---|---|
| 総パラメータ(例) | DeepSeek R1 671B |
| 1回の活性化パラメータ | 約 37B |
| VRAM上の意味 | 全パラメータは依然としてGPUに搭載が必要 |
| B300 NVL8 での対比 | 2.3TB の総VRAMでフルスペックの単体デプロイが可能 |
MoE の VRAM 要件は総パラメータ数で決まり、活性化パラメータ数ではありません。これが B300 のような大容量VRAM機の核心的な価値シーンです。
推論スループットのボトルネックは、しばしばエキスパート並列の通信にあります。インターコネクトとネットワーク構成も同様に重要です。