Agent는 블랙박스다

Agent를 배포하면 이런 질문이 온다.

"Agent가 왜 그렇게 답했어?" "어제보다 느려진 것 같은데?" "API 비용이 얼마나 나오는 거야?"

답하려면 모니터링이 필요하다.

---

핵심 지표 (KPI)

지표	설명	목표
응답 시간	질문~최종 응답	< 15초
Tool 호출 수	질문당 평균	< 5회
정확도	현장 만족도	> 90%
캐시 히트율	캐시 적중률	> 50%
에러율	Tool 실패율	< 5%
Token 비용	질문당 비용	< $0.01

---

구조적 로깅

---

LangSmith 연동 (권장)

LangChain을 사용하면 LangSmith로 자동 추적이 가능하다.

LangSmith는 무료 플랜으로도 충분히 시작할 수 있다. Agent 디버깅에 필수 도구다.

---

현장 리포트 자동화