AIXX Pedia › Technisches Konzept › LoRA (Low-Rank-Adaption)
LoRA (Low-Rank Adaptation) ist die effizienteste Technik zum Fine-Tuning großer Modelle: Statt alle Gewichte des Modells (mehrere dutzend GB) anzupassen, trainiert man nur die „in das Modell eingefügten Matrizen mit niedrigem Rang“ (üblicherweise nur wenige dutzend MB) – die Kosten des Fine-Tunings sinken um mehr als das Hundertfache. QLoRA (Quantized LoRA) quantisiert das Basismodell zusätzlich auf 4 Bit und trainiert dann LoRA – mit einer einzelnen 48-GB-Karte lässt sich bereits ein 70B-Modell fine-tunen.
Bedeutung für Einkäufer: LoRA/QLoRA senken die VRAM-Hürde für das Fine-Tuning großer Modelle erheblich – eine 48-GB-Karte wie die L40S/RTX 6000 Ada reicht aus, um ein 70B-Modell zu fine-tunen (QLoRA) – ein HGX-Grundplatten-Komplettsystem ist nicht erforderlich. Das wirkt sich direkt auf die GPU-Auswahl aus: Ein All-in-One-System für Inferenz und Fine-Tuning (PCIe-Karte) kann praktischer sein als ein Trainingscluster.
| Position | Wert / Definition |
|---|---|
| Kernidee | Nur die Matrizen mit niedrigem Rang trainieren (Basisgewichte bleiben unangetastet) |
| Reduzierung des VRAM-Bedarfs | QLoRA: 4-Bit-Basismodell + LoRA-Fine-Tuning |
| VRAM-Bedarf bei 70B mit QLoRA | rund 48 GB (auf einer einzelnen Karte machbar) |
| Trainingskosten | über 100× geringer als beim vollständigen Fine-Tuning |
Die FP4/FP6-Präzision der B300 lässt sich ebenfalls für QLoRA nutzen – das Basismodell wird auf FP4 quantisiert und dann der LoRA-Adapter trainiert – VRAM-Effizienz und Trainingsdurchsatz übertreffen dabei INT4-QLoRA. Die Präzisionsstabilität von FP4-QLoRA ist jedoch noch Gegenstand der Forschung – FP8-QLoRA wird als Produktionsbaseline empfohlen.