60

가드레일 설계

실패 진단과 가드레일

학습 목표

실행 한계를 설정한다 위험한 동작을 사전에 막는다

울타리를 먼저 세운다

에이전트를 운영에 올리기 전에 넘지 못할 선을 정해야 합니다.

실행 한계

한계기본값 제안넘으면
최대 단계 수15~20중단하고 그때까지 결과를 사람에게
최대 토큰업무별 산정중단하고 알림
최대 소요 시간업무별 산정중단
같은 도구 연속 호출3회중단 — 헛도는 신호
핸드오프 왕복같은 쌍 2회중단 — 루프 신호

중단할 때 그냥 버리지 않는 것이 중요합니다. 여기까지 알아낸 것을 사람에게 넘기면 헛수고가 되지 않습니다.

도구 권한 제한

도구마다 할 수 있는 범위를 좁힙니다.

  • 조회 전용과 변경 가능을 명확히 나눈다
  • 변경 도구는 사람 승인 뒤에만 실행되게 한다
  • 조회 범위도 제한한다 — 담당 설비만, 최근 30일만

출력 검증

에이전트가 낸 결과를 그대로 쓰지 않고 검사합니다.

검사
형식정해진 필드가 다 있는가
값 범위확신도가 0~100 안인가
근거 존재판정에 근거가 붙어 있는가
금칙하지 말라고 한 제안을 하지 않았는가

형식 검증에서 실패하면 다시 시도하게 하되, 재시도 횟수도 제한합니다.

사람에게 넘기는 조건

다음 경우에는 자동 진행을 멈추고 사람을 부릅니다.

  • 확신도가 기준 미만
  • 도구 오류로 데이터가 불완전
  • 결론이 위험 조치를 포함
  • 한계에 걸려 중단

가드레일은 에이전트를 못 쓰게 만드는 장치가 아니라, 믿고 쓸 수 있게 만드는 장치입니다. 울타리가 없으면 결국 아무도 자동 실행을 허용하지 않습니다.