15분
Day 1 Common Pitfalls: 초보자가 빠지는 함정
파인튜닝 개요 & LoRA/QLoRA
Day 1 Common Pitfalls: 초보자가 빠지는 함정
QLoRA 파인튜닝 > 파인튜닝 개요 & LoRA/QLoRA
학습 목표
파인튜닝 환경 설정 시 흔한 실수를 사전에 방지한다 GPU 메모리 부족 문제의 원인과 해결책을 안다
Day 1 Common Pitfalls
Pitfall 1: "GPU가 있는데 CUDA가 안 된다"
에디터 로딩 중...
Pitfall 2: "모델 로드 시 OOM (Out of Memory)"
에디터 로딩 중...
Pitfall 3: "bitsandbytes 설치 에러"
에디터 로딩 중...
Pitfall 4: "LoRA target_modules 에러"
에디터 로딩 중...
Pitfall 5: "r을 크게 하면 무조건 좋은가?"
에디터 로딩 중...
핵심 포인트
- • CUDA 환경: PyTorch GPU 버전 + 드라이버 일치 필수
- • OOM: BitsAndBytesConfig 4비트 + device_map="auto"
- • target_modules: 모델마다 레이어 이름이 다르므로 확인 필수
- • r 값: 제조 도메인은 r=16이 표준, 무조건 크게 하면 과적합