موسوعة AIXX › مفهوم تقني › ذاكرة التخزين المؤقت للاستدلال KV Cache
ذاكرة KV Cache (Key-Value Cache) هي منطقة في ذاكرة الفيديو تُخزَّن فيها النتائج الوسيطة لآلية الانتباه أثناء استدلال النماذج الكبيرة — فعند توليد كل token، تُحفظ قيمتا المفتاح (Key) والقيمة (Value) الخاصة به ليُحيل إليهما حساب الانتباه للـ tokens اللاحقة. ينمو حجم KV Cache خطياً مع طول السياق — وعنق الزجاجة في ذاكرة الفيديو عند استدلال السياقات الطويلة يكمن تحديداً في KV Cache.
تُعد KV Cache «القاتل الخفي» في تخطيط ذاكرة الفيديو لسيناريوهات الاستدلال: أوزان نموذج بحجم 7B قد لا تتجاوز 14GB، لكن KV Cache لسياق طويل قد يستهلك عشرات الجيجابايتات إضافية — وحساب سعة الذاكرة بناءً على أوزان النموذج وحدها خطأ شائع لدى المبتدئين. ميزة بطاقات الذاكرة الكبيرة (H200 NVL بسعة 141GB / MI325X بسعة 256GB) في سيناريوهات السياقات الطويلة هي اتساع مساحة KV Cache لديها.
| البند | القيمة / المنهجية |
|---|---|
| نمط النمو | خطي مع طول السياق |
| سيناريوهات عنق الزجاجة | السياقات الطويلة / الدفعات الكبيرة المتزامنة |
| تقنيات التحسين | PagedAttention / MQA / GQA / التكميم |
| نسبتها من الذاكرة | قد تتجاوز حجم الأوزان نفسها |
تتجلى ميزة ذاكرة B300 البالغة 288GB بوضوح أكبر ما يكون في سيناريوهات استدلال السياقات الطويلة — إذ تتجاوز مساحة KV Cache ثلاثة أضعاف ما تتيحه فئة الـ 80GB. لكن الحجم الفعلي لـ KV Cache يتوقف على حجم الدفعة وطول السياق وبنية النموذج (والفروق بين MHA/GQA كبيرة) — فقبل الشراء، حدّد مواصفات الذاكرة بناءً على بيانات اختبارات الضغط لاستدلال النموذج المستهدف.