테스트 전략

테스트 매트릭스

#	질문 유형	기대 Tool	기대 결과
1	단순 상태	equipment_status x1	설비 상태 정보
2	설비 목록	equipment_list x1	라인 설비 목록
3	재고 확인	check_inventory x1	재고 수량 + 상태
4	알람 분석	equipment_status + manual	원인 + 조치
5	부품 연쇄	equipment + manual + inventory	원인 + 부품 + 재고
6	라인 점검	list + status + manual + inventory	종합 보고서
7	생산 + 설비	production + equipment	실적 + 문제설비
8	없는 설비	equipment_status	에러 안내
9	SOP 검색	search_manual	절차 안내
10	재고 없음	check_inventory	긴급 발주 안내

---

테스트 결과 기록 양식

[테스트 #1]
질문: CNC-003 상태 알려줘
기대: CNC-003 상태 정보 (경고, 진동 1.2, 알람 W-1105)
실제: [Agent 응답 전문]
Tool 호출: get_equipment_status("CNC-003") x1
판정: PASS / FAIL
메모: 정확히 기대한 대로 응답함

---

흔한 문제와 해결

문제	원인	해결
엉뚱한 Tool 호출	description 불분명	description 상세화
정상 설비도 조회	프롬프트 규칙 미비	"정상은 건너뛸 것" 추가
무한 반복	종료 조건 미비	max_iterations 설정
한국어 깨짐	인코딩 문제	ensure_ascii=False
느린 응답	Tool 과다 호출	캐싱 + 프롬프트 최적화
문맥 미처리	대화 이력 미유지	conversation_history 추가

---

프롬프트 반복 개선 (A/B 테스트)

Round 1: 기본 프롬프트
  - 문제: 정상 설비도 조회 (비효율)
  - 개선: "정상 상태 설비는 추가 조회하지 마세요" 추가

Round 2: 규칙 추가 프롬프트
  - 문제: 알람 코드만 보여주고 원인 설명 없음
  - 개선: "알람 발생 시 매뉴얼 검색하여 원인/조치 포함" 추가

Round 3: 응답 형식 추가
  - 문제: 장문의 텍스트로 읽기 어려움
  - 개선: "표 형식으로 현황 정리" 지시 추가

Round 4: 최적화
  - 결과: Tool 호출 8회 -> 4회 (50% 감소)
  - 정확도: 70% -> 95%

핵심: 프롬프트 개선은 테스트 결과에 기반해야 한다. 감으로 바꾸지 말고, 데이터를 보고 바꾸자.