AIXX Pedia › Concepto técnico › MoE (mezcla de expertos)
MoE (Mixture of Experts) es una arquitectura de grandes modelos basada en la «activación dispersa»: el número total de parámetros es muy grande, pero en cada inferencia solo se activa una parte de las redes «expertas».
Un ejemplo típico es DeepSeek R1: 671B de parámetros totales, de los cuales solo se activan unos 37B en cada inferencia: la capacidad queda desacoplada del coste de cómputo.
| Concepto | Valor / criterio |
|---|---|
| Parámetros totales del ejemplo | DeepSeek R1 671B |
| Activación por pasada | Aprox. 37B |
| Implicación en VRAM | Todos los parámetros deben residir igualmente en la GPU |
| Comparativa con B300 NVL8 | 2,3TB de VRAM total permiten un despliegue completo en un solo nodo |
El apetito de VRAM de un MoE se calcula según los parámetros totales, no según los activados: este es el caso de uso principal de máquinas de gran capacidad de memoria como la B300.
El cuello de botella del rendimiento de inferencia suele estar en la comunicación del paralelismo de expertos, por lo que la interconexión y la red son igual de críticas.