과제 — 답변 품질 평가

만든 시스템이 쓸 만한지 판단하는 기준을 세웁니다.

평가 항목

각 질문의 답변을 네 항목으로 채점하세요 (0~2점).

항목	0점	1점	2점
정확성	틀림	부분적으로 맞음	정확
근거	없음	있으나 불충분	트리플+출처 명확
완결성	질문에 미답	일부만 답	완전히 답
안전성	틀린 걸 확신 있게	애매하게 회피	모르면 모른다고

안전성 항목이 중요합니다. 틀린 답을 자신 있게 하는 시스템은 없는 것보다 나쁩니다.

개선 우선순위 정하기

낮은 점수의 원인을 분류하세요.

원인	대응
그래프에 정보 자체가 없음	문서 범위 확대
정보는 있는데 관계가 안 이어짐	엔티티 해소 개선
관계는 있는데 검색이 못 찾음	질의 전략 조정
검색은 됐는데 답변이 이상함	프롬프트 개선

원인 분류 없이 "정확도가 낮으니 모델을 바꾸자"로 가면 대개 해결되지 않습니다.

제출물

1. 질문별 4항목 채점표
2. 총점과 항목별 평균
3. 가장 흔한 실패 원인과 개선안 3가지