AIXX Pedia › Техническая концепция › LoRA — низкоранговая адаптация
LoRA (Low-Rank Adaptation) — самая эффективная технология дообучения больших моделей: вместо настройки всех весов модели (десятки ГБ) обучаются только «вставляемые в модель низкоранговые матрицы» (обычно всего десятки МБ) — стоимость дообучения снижается более чем в 100 раз. QLoRA (Quantized LoRA) дополнительно квантизация базовой модели до 4-bit перед обучением LoRA — дообучить модель 70B можно уже на одной карте с 48 ГБ памяти.
Что это значит для закупщика: LoRA/QLoRA резко снижают порог по видеопамяти для «дообучения больших моделей» — L40S/RTX 6000 Ada с 48 ГБ позволяют дообучать модель 70B (QLoRA) — полноценная система на базе HGX не требуется. Это напрямую влияет на выбор GPU: универсальная машина «инференс + дообучение» (PCIe-карты) может оказаться практичнее учебного кластера.
| Параметр | Значение / формат |
|---|---|
| Ключевая идея | Обучаются только низкоранговые матрицы (базовые веса не трогаются) |
| Экономия видеопамяти | QLoRA: 4-bit база + дообучение LoRA |
| Память для 70B QLoRA | Около 48 ГБ (реально на одной карте) |
| Стоимость обучения | На 100×+ дешевле полного дообучения |
FP4/FP6-точности B300 также применимы в QLoRA — квантизация базовой модели до FP4 с последующим обучением LoRA-адаптеров — по эффективности использования памяти и пропускной способности обучения это превосходит INT4 QLoRA. Однако стабильность точности FP4 QLoRA всё ещё исследуется — в качестве производственного базового варианта рекомендуется FP8 QLoRA.