배포한 다음

에이전트는 조용히 나빠집니다. 모델이 바뀌거나 데이터가 달라지면 어제 되던 것이 오늘 안 됩니다.

감시 지표

지표	나빠지면
성공률 (목표 달성 종료 비율)	한계 도달·오류 종료가 늘고 있다
평균 단계 수	헛도는 실행이 늘었다
평균 토큰·비용	넘기는 내용이 커졌거나 반복이 늘었다
사람 개입 비율	자동 처리가 줄었다
사람이 결과를 수정한 비율	품질이 떨어졌다 — 가장 중요한 지표

마지막 지표가 핵심입니다. 시스템이 "성공"으로 끝냈어도 사람이 매번 고쳐야 한다면 실제로는 실패하고 있는 것입니다.

회귀 시험 세트

에이전트를 고칠 때마다 같은 문제 묶음으로 시험합니다.

• 대표 업무 사례 20~30건과 기대 결과
• 과거에 실패했던 사례를 반드시 포함
• 지시문·도구·모델을 바꾼 뒤 이 세트로 비교

이 세트가 없으면 "고쳤다"를 증명할 수 없고, 고치면서 다른 것을 망가뜨린 것도 모릅니다.

실패를 데이터로

실패한 실행은 버리지 말고 모읍니다.

실패 실행 → 원인 분류 → 지시문·도구 수정 → 회귀 시험 세트에 추가

같은 원인이 반복되면 개별 수정이 아니라 구조를 바꿔야 하는 신호입니다. 예를 들어 핸드오프 누락이 계속 나오면, 역할을 나눈 방식 자체를 다시 봐야 합니다.

모델 교체 시

모델 제공자가 버전을 올리면 동작이 달라집니다. 자동으로 최신 모델을 쓰게 두면 어느 날 갑자기 결과가 바뀝니다.

• 모델 버전을 고정하고, 교체는 회귀 시험을 통과한 뒤에
• 교체 후 일정 기간은 사람 개입 비율을 유심히 본다