🏆60분
Day 1 도전과제: 기본 모델 성능 평가 리포트
파인튜닝 개요 & LoRA/QLoRA
Day 1 도전과제: 기본 모델 성능 평가 리포트
QLoRA 파인튜닝 > 파인튜닝 개요 & LoRA/QLoRA
요구사항
GPU 환경에서 4비트 양자화 모델을 로드한다
제조 도메인 질문 10개를 작성하고 기본 모델의 답변을 수집한다
각 답변의 품질을 5점 척도(정확성, 구체성, 안전성, 형식, 유용성)로 평가한다
기본 모델의 한계를 문서로 정리하고, 파인튜닝으로 개선 가능한 포인트를 도출한다
평가 기준
- • 10개 제조 질문의 다양성 (장비, 품질, 안전, 공정 포함)
- • 5점 척도 평가의 근거가 명확한가
- • 기본 모델 한계 분석이 구체적인가
- • 파인튜닝 개선 포인트 도출이 논리적인가
보너스
- • Phi-2와 Llama-3-8B 두 모델을 비교 분석
- • 평가 결과를 pandas DataFrame으로 정리하고 시각화
- • 기본 모델의 "잘하는 것"도 분석 (파인튜닝이 불필요한 영역)