Phase 3: 모델 평가

평가 순서

1. 테스트 질문 10-20건 준비 (학습 미사용)
2. 기본 모델 답변 수집
3. 파인튜닝 모델 답변 수집
4. 자동 평가 (BLEU, ROUGE, 안전성, 구체성)
5. A/B 비교 결과 정리
6. 종합 리포트 생성

점수를 읽을 때

BLEU와 ROUGE는 공백으로 자른 n-gram을 세므로 한국어에서는 조사와 어미 차이만으로 크게 떨어진다. 절차와 수치가 정답과 사실상 같은 답변에도 낮은 점수가 나올 수 있다. 두 모델을 같은 지표로 비교하는 데는 쓰되, 점수의 절대값으로 합격을 판정하지 않는다. 제조 답변에서 더 중요한 것은 안전 키워드 포함 여부와 수치 정확도다.

GPU가 없다면

"파인튜닝 모델" 자리에 시스템 프롬프트만 적용한 모델의 답변을 넣는다. 비교 자체는 그대로 성립하고, 보고서에 그 사실을 밝히면 된다.