통합 테스트 체크리스트

기능 테스트

[필수]
□ SOP 관련 질문에 올바른 답변 반환
□ 사양서 수치 질문에 정확한 값 반환
□ 안전 규정 질문에 경고 표시 포함
□ 설비별 필터 검색 정상 동작
□ 관련 없는 질문에 적절한 거부 응답
□ 출처 표시 정상 동작

[권장]
□ 한글/영어 혼용 질문 처리
□ 유사한 질문 다양하게 테스트
□ 메타데이터 필터 조합 테스트
□ 최신 버전 문서 우선 검색 확인

품질 평가 기준

항목	기준	점수
정확성	문서 기반 정확한 정보	40%
완전성	질문에 필요한 모든 정보 포함	20%
출처 표시	문서명, 섹션 번호 포함	15%
안전 경고	안전 관련 주의사항 표시	15%
응답 형식	구조적, 읽기 쉬운 포맷	10%

개선 포인트

[검색 품질 개선]
1. chunk_size 조정: 너무 크거나 작지 않은지 확인
2. overlap 조정: 경계에서 정보 손실 여부 확인
3. MMR 검색: lambda_mult 파라미터 튜닝
4. 메타데이터 필터: 적절한 필터 조합 찾기

[답변 품질 개선]
1. 프롬프트 개선: 더 구체적인 지시 추가
2. 컨텍스트 순서: 관련성 높은 청크를 먼저 배치
3. 답변 후처리: 포맷 정리, 중복 제거
4. 신뢰도 표시: 유사도 점수 기반 신뢰도

[시스템 개선]
1. 에러 핸들링: 검색 실패, API 오류 처리
2. 캐싱: 반복 질문에 대한 캐시
3. 로깅: 질문/답변 로그 (감사 추적)
4. 피드백: 사용자 만족도 수집