AIXX Pedia › Concept technique › LoRA adaptation bas rang
LoRA (Low-Rank Adaptation) est la technique la plus efficace pour le fine-tuning des grands modèles : au lieu d'ajuster l'intégralité des poids du modèle (plusieurs dizaines de Go), on n'entraîne que les « matrices low-rank insérées dans le modèle » (généralement quelques dizaines de Mo seulement) — le coût du fine-tuning est réduit de plus de 100 fois. QLoRA (Quantized LoRA) va plus loin en quantifiant le modèle de base en 4-bit avant d'entraîner le LoRA — une seule carte 48 Go suffit pour affiner un modèle 70B.
Ce que cela signifie pour les acheteurs : LoRA/QLoRA abaisse considérablement le seuil de VRAM pour le « fine-tuning des grands modèles » — une L40S ou RTX 6000 Ada de 48 Go permet de fine-tuner un modèle 70B (QLoRA) — sans nécessiter un système complet à base HGX. Cela influence directement le choix de GPU : une machine tout-en-un inférence + fine-tuning (carte PCIe) peut s'avérer plus pratique qu'un cluster d'entraînement.
| Élément | Valeur / périmètre |
|---|---|
| Idée centrale | Entraîner uniquement les matrices low-rank (sans toucher aux poids du modèle de base) |
| Réduction de VRAM | QLoRA : base 4-bit + fine-tuning LoRA |
| VRAM pour un 70B en QLoRA | Environ 48 Go (réalisable sur une seule carte) |
| Coût d'entraînement | Réduit de 100×+ par rapport au fine-tuning complet |
Les précisions FP4/FP6 du B300 peuvent également servir au QLoRA — le modèle de base est quantifié en FP4 avant l'entraînement des adaptateurs LoRA — l'efficacité mémoire et le débit d'entraînement dépassent ceux du QLoRA INT4. Mais la stabilité de précision du QLoRA FP4 reste à l'étude — le QLoRA FP8 est recommandé comme baseline de production.