70분
Phase 2: QLoRA 학습 실행 & 최적 체크포인트 선택
제조 도메인 sLLM 구축
Phase 2: QLoRA 학습 실행 & 최적 체크포인트 선택
QLoRA 파인튜닝 > 제조 도메인 sLLM 구축
학습 목표
Phase 1 데이터셋으로 QLoRA 학습을 실행한다 Train/Val Loss 추이를 모니터링한다 최적 체크포인트를 선택한다
Phase 2: QLoRA 학습
학습 설정
- 모델: Phi-4-mini (14B) 또는 Llama-3.3-8B
- r=16, alpha=32
- epochs=3, lr=2e-4
- batch=2, accumulation=8
- max_seq_length=512
에디터 로딩 중...
힌트 보기
- • 데이터가 적으면 epochs=5까지 올려도 됨
- • packing=True로 변경하면 학습 효율 30%+ 향상
- • 체크포인트 3개 중 Val Loss가 가장 낮은 것 = 최적
정답 보기
에디터 로딩 중...
AI로 학습하기 — 꿀팁
✅QLoRA 학습 곡선 이상 진단AI 학습 팁
AI에게 Train/Val Loss 그래프 수치를 주면 과적합 시점, 학습률 이슈, 체크포인트 선택 기준을 진단해줍니다.
QLoRA 학습 결과를 분석해줘. Train Loss: 2.3→1.8→1.4→1.2→1.1 (5 epoch), Val Loss: 2.4→1.9→1.7→1.9→2.2. 과적합 여부를 판단하고 최적 체크포인트를 어느 epoch에서 선택해야 하는지, 그리고 Val Loss 반등을 막기 위한 regularization 조정(dropout·weight_decay)을 제안해줘.
이 팁이 도움이 됐나요?