AIXX 백과사전 › 기술 개념 › LoRA 저순위 어댑테이션
LoRA(Low-Rank Adaptation)는 대규모 모델 파인튜닝에서 가장 효율적인 기술입니다. 모델의 전체 가중치(수십 GB)를 파인튜닝하는 대신, 모델에 삽입하는 저계수(low-rank) 행렬(보통 수십 MB)만 학습시켜 파인튜닝 비용을 100배 이상 절감합니다. QLoRA(Quantized LoRA)는 여기서 한 걸음 더 나아가 베이스 모델을 4-bit로 양자화한 뒤 LoRA를 학습시키는 방식으로, 48GB 카드 한 장으로도 70B 모델을 파인튜닝할 수 있습니다.
구매 담당자에게 의미하는 바: LoRA/QLoRA 덕분에 '대규모 모델 파인튜닝'의 VRAM 진입 장벽이 크게 낮아졌습니다. 48GB L40S/RTX 6000 Ada로도 70B 모델을 파인튜닝(QLoRA)할 수 있어 HGX 베이스보드 전체 시스템이 꼭 필요하지 않습니다. 이는 GPU 선택에 직접 영향을 줍니다. 추론+파인튜닝 통합 머신(PCIe 카드)이 학습 클러스터보다 더 실용적일 수 있습니다.
| 항목 | 수치 / 기준 |
|---|---|
| 핵심 개념 | 저계수 행렬만 학습(베이스 가중치는 그대로) |
| VRAM 절감 | QLoRA 4-bit 베이스 + LoRA 파인튜닝 |
| 70B QLoRA VRAM | 약 48GB(싱글 카드로 가능) |
| 학습 비용 | 전체 파인튜닝 대비 100×+ 절감 |
B300의 FP4/FP6 정밀도 역시 QLoRA에 활용할 수 있습니다. 베이스 모델을 FP4로 양자화한 뒤 LoRA 어댑터를 학습시키면 VRAM 효율과 학습 처리량 모두 INT4 QLoRA보다 유리합니다. 다만 FP4 QLoRA의 정밀도 안정성은 아직 연구 단계이므로, 프로덕션 기준선으로는 FP8 QLoRA를 권장합니다.