3

가드레일 설계

실패 진단과 가드레일

학습 목표
  • 실행 한계를 설정한다
  • 위험한 동작을 사전에 막는다

울타리를 먼저 세운다

에이전트를 운영에 올리기 전에 넘지 못할 선을 정해야 합니다.

실행 한계

한계기본값 제안넘으면
최대 단계 수15~20중단하고 그때까지 결과를 사람에게
최대 토큰업무별 산정중단하고 알림
최대 소요 시간업무별 산정중단
같은 도구 연속 호출3회중단 — 헛도는 신호
핸드오프 왕복같은 쌍 2회중단 — 루프 신호

중단할 때 그냥 버리지 않는 것이 중요합니다. 여기까지 알아낸 것을 사람에게 넘기면 헛수고가 되지 않습니다.

도구 권한 제한

도구마다 할 수 있는 범위를 좁힙니다.

  • 조회 전용과 변경 가능을 명확히 나눈다
  • 변경 도구는 사람 승인 뒤에만 실행되게 한다
  • 조회 범위도 제한한다 — 담당 설비만, 최근 30일만

출력 검증

에이전트가 낸 결과를 그대로 쓰지 않고 검사합니다.

검사
형식정해진 필드가 다 있는가
값 범위확신도가 0~100 안인가
근거 존재판정에 근거가 붙어 있는가
금칙하지 말라고 한 제안을 하지 않았는가

형식 검증에서 실패하면 다시 시도하게 하되, 재시도 횟수도 제한합니다.

사람에게 넘기는 조건

다음 경우에는 자동 진행을 멈추고 사람을 부릅니다.

  • 확신도가 기준 미만
  • 도구 오류로 데이터가 불완전
  • 결론이 위험 조치를 포함
  • 한계에 걸려 중단

가드레일은 에이전트를 못 쓰게 만드는 장치가 아니라, 믿고 쓸 수 있게 만드는 장치입니다. 울타리가 없으면 결국 아무도 자동 실행을 허용하지 않습니다.

용어