موسوعة AIXX › مفهوم تقني › محرك الاستدلال vLLM
يُعد vLLM حالياً أشهر محرك استدلال مفتوح المصدر للنماذج الضخمة: الابتكار الجوهري فيه هو PagedAttention (إدارة KV Cache بنظام صفحات شبيه بالذاكرة الافتراضية في أنظمة التشغيل) — ما يرفع كفاءة استخدام ذاكرة الفيديو وإنتاجية المعالجة المتزامنة بشكل كبير. يدعم Continuous Batching (التجميع الديناميكي)، وتوازي الموترات، والاستدلال المكمَّم (GPTQ/AWQ/FP8) — وكان vLLM هو من حوّل «اختيار إطار الاستدلال» من الاحتكار الخاص بـ NVIDIA (TensorRT-LLM) إلى خيارات مفتوحة متعددة.
الأهمية لجهات الشراء: أداء vLLM يؤثر مباشرة على اختيار الـ GPU — فبالنفس الكرت، قد يختلف الإنتاجية بفارق الضعف تبعاً لإصدار vLLM وإعداداته. قبل الشراء، تشغيل اختبار مرجعي بالنموذج المستهدف وبإصدار vLLM المستهدف خطوة ضرورية في الاختيار. كما يدعم vLLM كلاً من CUDA (NVIDIA) وROCm (AMD) — ما يجعله الأساس المشترك لمنصة الاستدلال عند الاختيار عبر المعسكرين.
| البند | القيمة / المنهجية |
|---|---|
| الابتكار الجوهري | PagedAttention (إدارة KV Cache بنظام الصفحات) |
| الأجهزة المدعومة | NVIDIA CUDA + AMD ROCm |
| قدرات المعالجة المتزامنة | Continuous Batching (التجميع الديناميكي) |
| المصدر المفتوح | Apache 2.0 |
دعم vLLM لـ B300 يتطور مع نضج منظومة CUDA/Blackwell — مسارات الاستدلال بالتكميم FP8/FP4 تتطلب أحدث إصدارات vLLM ودعماً من النموذج. قبل الشراء، تشغيل اختبار مرجعي بالنموذج المستهدف وآخر إصدار من vLLM (الإنتاجية/زمن الاستجابة/التزامن) — فبيانات الاختبار المرجعي هي الأساس الصلب للاختيار.