AIXX 百科 › 技術コンセプト › LoRA 低ランクアダプテーション
LoRA(Low-Rank Adaptation)は大規模モデルのファインチューニングで最も効率的な技術です。モデルの全重み(数十GB)を調整するのではなく、モデルに挿入する低ランク行列(通常わずか数十MB)だけを学習します——ファインチューニングのコストを100倍以上削減できます。QLoRA(Quantized LoRA)はさらにベースモデルを量子化して4-bitにし、その上でLoRAを学習する手法で、48GBのGPU 1枚で70Bモデルのファインチューニングが可能です。
調達担当者への意味:LoRA/QLoRAによって「大規模モデルのファインチューニング」に必要なVRAMのハードルが大幅に下がります——48GBのL40S/RTX 6000 Adaでも70Bモデルをファインチューニング可能(QLoRA)——HGXベースボードのフル構成は不要です。これはGPU選定に直結します。推論+ファインチューニングを1台でこなすオールインワン機(PCIeカード)が、トレーニングクラスター实勢より実用的な場合があります。
| 項目 | 数値 / 基準 |
|---|---|
| 核心思想 | 低ランク行列のみを学習(ベース重みには触れない) |
| VRAM削減 | QLoRA 4-bitベース + LoRAファインチューニング |
| 70B QLoRAのVRAM | 約48GB(シングルカードで実現可能) |
| トレーニングコスト | フルファインチューニング比で100×以上削減 |
B300のFP4/FP6精度もQLoRAに活用できます——ベースモデルをFP4に量子化してからLoRAアダプタを学習する方式で、VRAM効率もトレーニングスループットもINT4 QLoRAを上回ります。ただしFP4 QLoRAの精度安定性はまだ研究中であり、本番環境のベースラインとしてはFP8 QLoRAを推奨します。