90분
Phase 2: QLoRA 학습 실행 & 최적 체크포인트 선택
제조 도메인 sLLM 구축
Phase 2: QLoRA 학습 실행 & 최적 체크포인트 선택
QLoRA 파인튜닝 > 제조 도메인 sLLM 구축
학습 목표
Phase 1 데이터셋으로 QLoRA 학습을 실행한다 Train/Val Loss 추이를 모니터링한다 최적 체크포인트를 선택한다
Phase 2: QLoRA 학습
학습 설정
- 모델: Phi-2 (2.7B) 또는 Llama-3-8B
- r=16, alpha=32
- epochs=3, lr=2e-4
- batch=2, accumulation=8
- max_seq_length=512
에디터 로딩 중...
힌트 보기
- • 데이터가 적으면 epochs=5까지 올려도 됨
- • packing=True로 변경하면 학습 효율 30%+ 향상
- • 체크포인트 3개 중 Val Loss가 가장 낮은 것 = 최적
정답 보기
에디터 로딩 중...