موسوعة AIXX › مفهوم تقني › MoE الخبراء المختلطون
MoE (مزيج الخبراء) هو معمارية نماذج كبيرة تعتمد على «التنشيط المتناثر»: إجمالي المعاملات ضخم، لكن كل استدلال استدلالي ينشّط جزءًا فقط من شبكات «الخبراء».
مثال نموذجي DeepSeek R1: إجمالي المعاملات 671B، ويُنشَّط عند كل استدلال نحو 37B فقط — أي فصل السعة عن تكلفة الحوسبة.
| البند | القيمة / المنهجية |
|---|---|
| إجمالي المعاملات في المثال | DeepSeek R1 671B |
| المُنشَّط في كل مرة | نحو 37B |
| معنى الذاكرة | لا تزال جميع المعاملات بحاجة إلى التحميل على الكروت |
| مقارنة B300 NVL8 | ذاكرة إجمالية 2.3TB تتيح نشرًا كامل القدرة على جهاز واحد |
شهية MoE للذاكرة تُحسب على أساس المعاملات الإجمالية لا المعاملات المُنشَّطة — وهذا جوهر قيمة الأجهزة ذات الذاكرة الكبيرة مثل B300.
غالبًا ما يكمن عنق زجاجة معدل نقل الاستدلال في اتصالات التوازي بين الخبراء، لذا تُعد الربط البيني والشبكة المرافقة حاسمَين بالقدر نفسه.