35분
학습 모니터링: Loss 그래프 해석법 & W&B 활용
QLoRA 학습 실행
학습 모니터링: Loss 그래프 해석법 & W&B 활용
QLoRA 파인튜닝 > QLoRA 학습 실행
학습 목표
Train Loss와 Val Loss 그래프를 해석할 수 있다 과적합, 학습 부족, 정상 학습 패턴을 구분한다 W&B(Weights & Biases)로 실시간 모니터링하는 방법을 안다
학습 모니터링: "그래프를 읽는 기술"
Loss 그래프 해석
패턴 1: 정상 학습 (이상적)
에디터 로딩 중...
패턴 2: 과적합 (Overfitting)
에디터 로딩 중...
패턴 3: 학습 부족 (Underfitting)
에디터 로딩 중...
패턴 4: Loss 폭발 (Divergence)
에디터 로딩 중...
W&B (Weights & Biases) 설정
에디터 로딩 중...
W&B 대시보드에서 확인할 것
에디터 로딩 중...
체크포인트 관리
에디터 로딩 중...
핵심 포인트
- • 정상: Train/Val Loss 함께 감소, Gap 일정
- • 과적합: Train Loss 감소, Val Loss 상승 -> 에포크/r 줄이기
- • 학습부족: Loss 거의 안 줄어듦 -> LR/r 올리기
- • Loss 폭발: NaN -> LR 낮추기, warmup 늘리기
- • W&B: report_to="wandb" 한 줄로 실시간 모니터링