LoRA: Low-Rank Adaptation

핵심 아이디어를 비유로 이해하기

김대리: "7B 모델의 70억 파라미터를 다 수정해야 하는 거예요?"

박선배: "아니, 생각해봐. 너가 영어를 할 줄 아는 상태에서 일본어를 배운다고 치자. 뇌 전체를 바꿀 필요 없잖아? 언어 처리 부분만 조금 바꾸면 돼. LoRA도 같은 원리야. 변화에 필요한 부분만 효율적으로 수정하는 거지."

수학적 원리 (간단 버전)

왜 이게 가능한가? - 저랭크 가설

"파인튜닝 시 가중치 변화(deltaW)는 실제로 저차원에서 일어난다."

• LoRA 논문 (Hu et al., 2021)

핵심 하이퍼파라미터

1. r (랭크) - 가장 중요!

2. lora_alpha (스케일링)

3. target_modules (어디에 적용?)

LoRA 적용 시각화

파라미터 수 계산 실습