15분
Day 3 Common Pitfalls: 학습 실행 시 흔한 실수
QLoRA 학습 실행
Day 3 Common Pitfalls: 학습 실행 시 흔한 실수
QLoRA 파인튜닝 > QLoRA 학습 실행
학습 목표
QLoRA 학습 실행 시 흔한 실수를 사전에 방지한다
Day 3 Common Pitfalls
Pitfall 1: "bf16=True인데 T4 GPU에서 에러"
에디터 로딩 중...
Pitfall 2: "학습 시간이 예상보다 10배 느림"
에디터 로딩 중...
Pitfall 3: "동일 프롬프트인데 학습/추론 결과 다름"
에디터 로딩 중...
Pitfall 4: "체크포인트가 디스크를 가득 채움"
에디터 로딩 중...
Pitfall 5: "Colab에서 런타임 끊겨서 학습 날아감"
에디터 로딩 중...
핵심 포인트
- • T4 GPU: bf16 미지원, fp16=True 사용
- • 느린 학습: packing=True, GPU 배치 확인
- • 프롬프트 템플릿: 학습/추론 100% 일치 필수
- • Colab: Google Drive에 자주 체크포인트 저장