🏆50분
Day 1 도전과제: 기본 모델 성능 평가 리포트
파인튜닝 개요 & LoRA/QLoRA
Day 1 도전과제: 기본 모델 성능 평가 리포트
QLoRA 파인튜닝 > 파인튜닝 개요 & LoRA/QLoRA
요구사항
GPU 환경에서 4비트 양자화 모델을 로드한다
제조 도메인 질문 10개를 작성하고 기본 모델의 답변을 수집한다
각 답변의 품질을 5점 척도(정확성, 구체성, 안전성, 형식, 유용성)로 평가한다
기본 모델의 한계를 문서로 정리하고, 파인튜닝으로 개선 가능한 포인트를 도출한다
평가 기준
- • 10개 제조 질문의 다양성 (장비, 품질, 안전, 공정 포함)
- • 5점 척도 평가의 근거가 명확한가
- • 기본 모델 한계 분석이 구체적인가
- • 파인튜닝 개선 포인트 도출이 논리적인가
보너스
- • Phi-4-mini와 Llama-3.3-8B 두 모델을 비교 분석
- • 평가 결과를 pandas DataFrame으로 정리하고 시각화
- • 기본 모델의 "잘하는 것"도 분석 (파인튜닝이 불필요한 영역)
AI로 학습하기 — 꿀팁
🤖기본 모델 성능 평가 리포트 구조 검토AI 학습 팁
파인튜닝 전 기본 모델 성능 평가 리포트는 파인튜닝 효과를 측정하는 기준선(baseline)이 됩니다. 평가 지표 선택과 제조 도메인 적합성을 AI와 함께 검증하세요.
내가 작성한 제조 AI 기본 모델(베이스라인) 성능 평가 리포트 초안:
{리포트 전문 붙여넣기}
다음을 검토해줘: (1) 선택한 평가 지표(BLEU, ROUGE, F1 등)가 제조 설비 이상 감지 또는 고장 Q&A 태스크에 적합한지 판단, (2) 베이스라인 설정이 파인튜닝 전후 비교에 충분한지, (3) 평가 데이터셋이 실제 제조 현장 쿼리 분포를 대표하는지. 각 항목 피드백과 개선 권고안을 제시해줘.이 팁이 도움이 됐나요?