AIXX Pedia › Conceito técnico › Adaptação de baixo rank LoRA
O LoRA (Low-Rank Adaptation) é a técnica mais eficiente para o fine-tuning de grandes modelos: em vez de ajustar todos os pesos do modelo (dezenas de GB), treina-se apenas as «matrizes de baixo posto inseridas no modelo» (normalmente apenas dezenas de MB) — o custo do fine-tuning cai mais de 100 vezes. O QLoRA (Quantized LoRA) vai além ao aplicar quantização do modelo base para 4-bit antes de treinar o LoRA — uma única GPU de 48GB basta para fazer fine-tuning de um modelo 70B.
O que significa para os compradores: LoRA/QLoRA reduz drasticamente o limiar de VRAM para o «fine-tuning de grandes modelos» — uma L40S/RTX 6000 Ada de 48GB consegue fazer fine-tuning de um modelo 70B (QLoRA) — sem precisar de um sistema completo com base HGX. Isso impacta diretamente a escolha da GPU: uma máquina tudo-em-um para inferência + fine-tuning (placa PCIe) pode ser mais prática do que um cluster de treino.
| Item | Valores / critério |
|---|---|
| Ideia central | Treina-se apenas as matrizes de baixo posto (sem tocar nos pesos do modelo base) |
| Redução de VRAM | QLoRA: base 4-bit + fine-tuning LoRA |
| VRAM para 70B com QLoRA | cerca de 48GB (viável numa única GPU) |
| Custo de treino | mais de 100× menor que o fine-tuning completo |
As precisões FP4/FP6 do B300 também podem ser usadas no QLoRA — quantizando o modelo base para FP4 antes de treinar os adaptadores LoRA — com eficiência de memória e throughput de treino superiores ao QLoRA INT4. Porém, a estabilidade de precisão do QLoRA FP4 ainda está em estudo — recomenda-se o QLoRA FP8 como baseline de produção.