AIXX 백과사전 › 기술 개념 › MoE 혼합 전문가
MoE(Mixture of Experts)는 '희소 활성화' 기반의 대규모 모델 아키텍처다. 전체 파라미터 수는 크지만, 추론 시에는 그중 일부 '전문가' 네트워크만 활성화한다.
대표적으로 DeepSeek R1을 보면: 전체 파라미터는 671B이지만 추론 시 약 37B만 활성화한다. 즉, 용량과 연산 비용이 분리되는 셈이다.
| 항목 | 수치 / 기준 |
|---|---|
| 전체 파라미터 예시 | DeepSeek R1 671B |
| 회당 활성화 | 약 37B |
| 메모리 의미 | 전체 파라미터는 여전히 GPU에 상주해야 함 |
| B300 NVL8 비교 | 총 2.3TB 메모리로 단일 서버 풀 버전 배포 가능 |
MoE의 메모리 요구량은 활성화 파라미터가 아닌 전체 파라미터 기준으로 계산된다. 이것이 B300 같은 대용량 메모리 기기의 핵심 가치가 발휘되는 시나리오다.
추론 처리량의 병목은 종종 전문가 병렬화의 통신에서 발생하므로, 상호연결과 네트워크 구성도 똑같이 중요하다.