터미널 채팅 테스트

테스트 시나리오

1. RAG 단독: "프레스 작업 안전 수칙 알려줘"
2. KG 단독: "CNC-001과 연결된 부품 목록"
3. RAG + KG: "CNC-001 알람 E-042 대응법은?"
4. 계산: "가동률 85%, 성능률 95%, 품질률 92%일 때 OEE는?"
5. 값이 빠진 계산: "가동률 85%, 품질률 92%일 때 OEE는?" -> 성능률이 없으면 계산되지 않는다는 답이 나와야 한다
6. 대화 연속: 3번 뒤에 "그 설비의 센서는?" 을 이어서 물어 맥락 유지 확인
7. 일반 질문: "안녕하세요" (도구 미사용 확인)

OEE 는 세 값이 다 있어야 계산된다

OEE = 가동률 x 성능률 x 품질률 이다. 두 값만 주고 나머지를 코드가 조용히 채워 넣으면 답은 그럴듯하게 나오지만 근거가 없다. 제조 재직자 과정에서 OEE 세 요소를 흐리는 것은 도메인 신뢰를 깎는 일이므로, 빠진 값은 되물어야 한다. 5번 시나리오가 그것을 확인하는 자리다.

부른 척하지 않는다

[도구 호출] calculate(...) 라고 인쇄해 놓고 실제로는 부르지 않는 코드를 조심하라. 도구가 망가져도 화면은 정상으로 보이고, 그 상태로 "통합 테스트를 마쳤다"고 말하게 된다. 이 스크립트에서 인쇄하는 도구 이름은 전부 실제로 부른 뒤에 찍는 것이다.

두 모드의 차이를 분명히 한다

API 키가 없으면 규칙 기반 대조군으로 돈다. 이것은 에이전트가 아니다. 키워드로 분기할 뿐 도구 선택을 스스로 하지 않는다. 흐름과 출력 형태만 보는 용도이고, "에이전트가 도구를 고른다"는 이 주차의 주장은 API 키를 넣어야 확인된다. 두 모드를 번갈아 돌려 보면 무엇이 LLM 의 판단이고 무엇이 우리가 짠 분기인지 갈라진다.