🏆60분
Day 4 도전과제: 모델 평가 리포트 & 로컬 배포
평가 & 배포
Day 4 도전과제: 모델 평가 리포트 & 로컬 배포
QLoRA 파인튜닝 > 평가 & 배포
요구사항
Day 3에서 학습한 모델로 자동 평가를 실행한다 (50건 이상)
기본 모델 vs 파인튜닝 모델 A/B 비교 (10건 이상)
평가 리포트를 작성한다 (종합 점수, 카테고리별 분석, 개선 포인트)
LoRA 어댑터를 저장하고 GGUF 변환을 시도한다
평가 기준
- • 자동 평가 메트릭이 합리적인 결과를 보이는가
- • A/B 비교에서 파인튜닝 모델의 개선 포인트가 명확한가
- • 안전성 평가가 포함되어 있는가
- • 배포 준비 (어댑터 저장 또는 GGUF 변환) 완료
보너스
- • LLM-as-Judge (GPT-4)를 활용한 자동 평가 추가
- • Ollama로 로컬 서비스 구축 후 REST API 테스트
- • 평가 결과 시각화 (차트, 히트맵)
- • HuggingFace Hub에 모델 업로드
AI로 학습하기 — 꿀팁
🤖모델 평가 리포트 & 배포 계획 검토AI 학습 팁
파인튜닝 완료 후 모델 평가 리포트와 로컬 배포 계획서를 AI로 교차 검토하면 현장 엔지니어가 신뢰할 수 있는 배포 근거를 갖출 수 있습니다.
내가 작성한 제조 sLLM 모델 평가 리포트 및 로컬 배포 계획 초안:
[평가 결과 요약]
{붙여넣기}
[로컬 배포 계획]
{붙여넣기}
다음을 검토해줘: (1) 평가 결과가 베이스라인 대비 파인튜닝 효과를 정량적으로 입증하는가, (2) 배포 계획에 폐쇄망 제약·API 호환성·모니터링 연동이 반영되어 있는가, (3) 현장 엔지니어가 비전문가도 결과를 이해할 수 있도록 보고서를 개선할 제안 3가지.이 팁이 도움이 됐나요?