🏆60분
Day 3 도전과제: 제조 전문 sLLM 학습 실행
QLoRA 학습 실행
Day 3 도전과제: 제조 전문 sLLM 학습 실행
QLoRA 파인튜닝 > QLoRA 학습 실행
요구사항
Day 2에서 만든 데이터셋으로 QLoRA 학습을 실행한다
학습 중 Train/Val Loss 추이를 기록하고 분석한다
학습 전/후 동일 질문 5개에 대한 답변을 비교한다
최적 체크포인트를 선택하고 LoRA 어댑터를 저장한다
평가 기준
- • 학습이 정상적으로 완료되었는가 (Loss 감소 확인)
- • Train/Val Loss Gap이 적절한가 (과적합 없음)
- • 학습 전후 답변 품질 차이가 명확한가
- • 하이퍼파라미터 선택에 대한 논리적 근거가 있는가
보너스
- • Unsloth와 표준 HuggingFace 방식의 속도/메모리 비교 실험
- • W&B 대시보드로 학습 과정 시각화
- • 에포크별 샘플 답변 변화 추적 (학습 과정 분석)
- • 다른 하이퍼파라미터(r, LR)로 2-3회 실험 후 최적값 선택
AI로 학습하기 — 꿀팁
🤖sLLM 학습 설정 리뷰 & 개선 제안AI 학습 팁
제조 전문 sLLM 학습 실행 전 훈련 스크립트와 설정 파일을 AI로 사전 검토하면 GPU 낭비 없이 첫 번째 학습 런을 성공시킬 수 있습니다.
내 제조 전문 sLLM QLoRA 학습 설정:
- 베이스 모델: {모델명}
- 데이터셋 규모: {건수} 건
- LoRA 설정 (rank/alpha/target_modules): {붙여넣기}
- 학습 설정 (lr/batch_size/epoch/warmup): {붙여넣기}
- 하드웨어: {GPU 사양}
다음을 검토해줘: (1) 주어진 GPU 메모리로 OOM 없이 학습 가능한지 메모리 추정, (2) 제조 도메인 소량 데이터에서 과적합 위험을 줄이기 위한 설정 조정 권고, (3) 학습 중 모니터링해야 할 핵심 지표 3개와 조기 종료 판단 기준.이 팁이 도움이 됐나요?