AIXX Pedia › Техническая концепция › MoE(смесь экспертов)
MoE (Mixture of Experts) — архитектура больших моделей с «разреженной активацией»: общий объём параметров очень велик, но при каждом инференсе активируется лишь часть «экспертных» сетей.
Типичный пример — DeepSeek R1: 671B параметров всего, при каждом инференсе активируется лишь около 37B — ёмкость и вычислительные затраты разделены.
| Параметр | Значение / формат |
|---|---|
| Общий объём параметров (пример) | DeepSeek R1 671B |
| Активируется за раз | Около 37B |
| Что это значит для видеопамяти | Все параметры всё равно должны разместиться на картах |
| Для сравнения: B300 NVL8 | 2,3 ТБ суммарной памяти — полноценное развёртывание на одном узле |
Аппетит MoE к видеопамяти считается по общему числу параметров, а не по активным — именно в этом ключевая ценность систем с большой памятью вроде B300.
Узким местом пропускной способности инференса часто становится обмен данными при параллелизме экспертов, поэтому не менее важны интерконнект и сетевая инфраструктура.