QLoRA: Quantized LoRA

김대리의 질문

"LoRA가 학습 파라미터를 줄인다는 건 알겠는데, 기본 모델 자체가 28GB면 GPU에 안 올라가잖아요?"

박선배의 답

"그래서 QLoRA가 나온 거야. 기본 모델을 4비트로 압축해서 올리는 거지. 28GB -> 4GB로 줄어들어. 그 위에 LoRA를 얹는 거고."

메모리 비교

QLoRA의 3가지 핵심 기술

1. NF4 (4-bit NormalFloat)

2. 이중 양자화 (Double Quantization)

3. 페이지드 옵티마이저 (Paged Optimizers)

코드로 보는 QLoRA 설정

QLoRA가 성능을 유지하는 이유