테스트 전략

테스트 매트릭스

#	질문 유형	기대 Tool	기대 결과
1	단순 상태	equipment_status x1	설비 상태 정보
2	설비 목록	equipment_list x1	라인 설비 목록
3	재고 확인	check_inventory x1	재고 수량 + 상태
4	알람 분석	equipment_status + manual	원인 + 조치
5	부품 연쇄	equipment + manual + inventory	원인 + 부품 + 재고
6	라인 점검	list + status + manual + inventory	종합 보고서
7	생산 + 설비	production + equipment	실적 + 문제설비
8	없는 설비	equipment_status	에러 안내
9	SOP 검색	search_manual	절차 안내
10	재고 없음	check_inventory	긴급 발주 안내

---

테스트 결과 기록 양식

---

흔한 문제와 해결

문제	원인	해결
엉뚱한 Tool 호출	description 불분명	description 상세화
정상 설비도 조회	프롬프트 규칙 미비	"정상은 건너뛸 것" 추가
무한 반복	종료 조건 미비	max_iterations 설정
한국어 깨짐	인코딩 문제	ensure_ascii=False
느린 응답	Tool 과다 호출	캐싱 + 프롬프트 최적화
문맥 미처리	대화 이력 미유지	conversation_history 추가

---

프롬프트 반복 개선 (A/B 테스트)

핵심: 프롬프트 개선은 테스트 결과에 기반해야 한다. 감으로 바꾸지 말고, 데이터를 보고 바꾸자.