موسوعة AIXX › مفهوم تقني › التكيّف منخفض الرتبة LoRA
تُعد LoRA (التكيّف منخفض الرتبة) أكثر تقنيات ضبط النماذج الضخمة كفاءةً: بدلاً من ضبط كل أوزان النموذج (عشرات الجيجابايتات)، يتم تدريب «مصفوفات منخفضة الرتبة تُزرع داخل النموذج» (عشرات الميغابايتات عادةً) — ما يخفض تكلفة الضبط الدقيق بأكثر من 100 مرة. أما QLoRA (LoRA كمّية) فتذهب أبعد بتكميم النموذج الأساسي إلى 4-bit قبل تدريب LoRA — بحيث يمكن ضبط نموذج 70B على بطاقة واحدة بسعة 48GB.
ما يعنيه ذلك للمشترين: تجعل LoRA/QLoRA عتبة ذاكرة الفيديو اللازمة لضبط النماذج الضخمة أقل بكثير — بطاقة L40S أو RTX 6000 Ada بسعة 48GB كافية لضبط نموذج 70B (QLoRA) — دون الحاجة إلى نظام كامل على قاعدة HGX. وهذا يؤثر مباشرة في اختيار الـ GPU: جهاز متكامل للاستدلال والضبط معاً (بطاقة PCIe) قد يكون عملياً أكثر من عنقود تدريب.
| البند | القيمة / المنهجية |
|---|---|
| الفكرة الجوهرية | تدريب المصفوفات منخفضة الرتبة فقط (دون المساس بأوزان النموذج الأساسي) |
| خفض في الذاكرة | QLoRA بنموذج أساسي 4-bit + ضبط LoRA |
| ذاكرة 70B مع QLoRA | حوالي 48GB (ممكن على بطاقة واحدة) |
| تكلفة التدريب | أقل من الضبط الكامل بـ 100 مرة فأكثر |
يمكن أيضاً استخدام دقتي FP4/FP6 في B300 مع QLoRA — بتكميم النموذج الأساسي إلى FP4 ثم تدريب مهايئ LoRA — حيث تتفوق كفاءة الذاكرة وإنتاجية التدريب على QLoRA بـ INT4. لكن استقرار دقة FP4 QLoRA لا يزال قيد البحث — لذا يُنصح باعتماد FP8 QLoRA كخط أساس للإنتاج.