AIXX Pedia › Concepto técnico › Adaptación de bajo rango LoRA
LoRA (Low-Rank Adaptation) es la técnica más eficiente para el fine-tuning de grandes modelos: en lugar de ajustar todos los pesos del modelo (decenas de GB), solo se entrenan las «matrices de bajo rango insertadas en el modelo» (normalmente solo decenas de MB), lo que reduce el coste del fine-tuning más de 100 veces. QLoRA (Quantized LoRA) va más allá: cuantiza el modelo base a 4-bit antes de entrenar el LoRA, permitiendo hacer fine-tuning de un modelo de 70B con una sola tarjeta de 48GB.
Lo que significa para los compradores: LoRA/QLoRA reduce drásticamente la barrera de memoria de vídeo del «fine-tuning de grandes modelos»: una L40S o RTX 6000 Ada de 48GB basta para hacer fine-tuning de un modelo 70B (QLoRA), sin necesidad de un equipo completo con placa base HGX. Esto influye directamente en la selección de GPU: una máquina todo en uno para inferencia y fine-tuning (tarjeta PCIe) puede resultar más práctica que un clúster de entrenamiento.
| Concepto | Valor / criterio |
|---|---|
| Idea central | Solo se entrenan las matrices de bajo rango (sin tocar los pesos base) |
| Reducción de memoria de vídeo | QLoRA: base a 4-bit + fine-tuning LoRA |
| Memoria de vídeo para 70B con QLoRA | Unos 48GB (viable con una sola tarjeta) |
| Coste de entrenamiento | Más de 100× menos que el fine-tuning completo |
Las precisiones FP4/FP6 del B300 también sirven para QLoRA: cuantizando el modelo base a FP4 antes de entrenar el adaptador LoRA, tanto la eficiencia de memoria como el rendimiento de entrenamiento superan al QLoRA en INT4. Sin embargo, la estabilidad de precisión del QLoRA en FP4 sigue en estudio; se recomienda FP8 QLoRA como línea base de producción.