🏆90분
Day 3 도전과제: 제조 전문 sLLM 학습 실행
QLoRA 학습 실행
Day 3 도전과제: 제조 전문 sLLM 학습 실행
QLoRA 파인튜닝 > QLoRA 학습 실행
요구사항
Day 2에서 만든 데이터셋으로 QLoRA 학습을 실행한다
학습 중 Train/Val Loss 추이를 기록하고 분석한다
학습 전/후 동일 질문 5개에 대한 답변을 비교한다
최적 체크포인트를 선택하고 LoRA 어댑터를 저장한다
평가 기준
- • 학습이 정상적으로 완료되었는가 (Loss 감소 확인)
- • Train/Val Loss Gap이 적절한가 (과적합 없음)
- • 학습 전후 답변 품질 차이가 명확한가
- • 하이퍼파라미터 선택에 대한 논리적 근거가 있는가
보너스
- • Unsloth와 표준 HuggingFace 방식의 속도/메모리 비교 실험
- • W&B 대시보드로 학습 과정 시각화
- • 에포크별 샘플 답변 변화 추적 (학습 과정 분석)
- • 다른 하이퍼파라미터(r, LR)로 2-3회 실험 후 최적값 선택