🏆90분
Day 4 도전과제: 모델 평가 리포트 & 로컬 배포
평가 & 배포
Day 4 도전과제: 모델 평가 리포트 & 로컬 배포
QLoRA 파인튜닝 > 평가 & 배포
요구사항
Day 3에서 학습한 모델로 자동 평가를 실행한다 (50건 이상)
기본 모델 vs 파인튜닝 모델 A/B 비교 (10건 이상)
평가 리포트를 작성한다 (종합 점수, 카테고리별 분석, 개선 포인트)
LoRA 어댑터를 저장하고 GGUF 변환을 시도한다
평가 기준
- • 자동 평가 메트릭이 합리적인 결과를 보이는가
- • A/B 비교에서 파인튜닝 모델의 개선 포인트가 명확한가
- • 안전성 평가가 포함되어 있는가
- • 배포 준비 (어댑터 저장 또는 GGUF 변환) 완료
보너스
- • LLM-as-Judge (GPT-4)를 활용한 자동 평가 추가
- • Ollama로 로컬 서비스 구축 후 REST API 테스트
- • 평가 결과 시각화 (차트, 히트맵)
- • HuggingFace Hub에 모델 업로드