60분
가드레일 설계
실패 진단과 가드레일
가드레일 설계
실패 진단과 가드레일 > 실패 진단과 가드레일
학습 목표
실행 한계를 설정한다 위험한 동작을 사전에 막는다
울타리를 먼저 세운다
에이전트를 운영에 올리기 전에 넘지 못할 선을 정해야 합니다.
실행 한계
| 한계 | 기본값 제안 | 넘으면 |
|---|---|---|
| 최대 단계 수 | 15~20 | 중단하고 그때까지 결과를 사람에게 |
| 최대 토큰 | 업무별 산정 | 중단하고 알림 |
| 최대 소요 시간 | 업무별 산정 | 중단 |
| 같은 도구 연속 호출 | 3회 | 중단 — 헛도는 신호 |
| 핸드오프 왕복 | 같은 쌍 2회 | 중단 — 루프 신호 |
중단할 때 그냥 버리지 않는 것이 중요합니다. 여기까지 알아낸 것을 사람에게 넘기면 헛수고가 되지 않습니다.
도구 권한 제한
도구마다 할 수 있는 범위를 좁힙니다.
- 조회 전용과 변경 가능을 명확히 나눈다
- 변경 도구는 사람 승인 뒤에만 실행되게 한다
- 조회 범위도 제한한다 — 담당 설비만, 최근 30일만
출력 검증
에이전트가 낸 결과를 그대로 쓰지 않고 검사합니다.
| 검사 | 예 |
|---|---|
| 형식 | 정해진 필드가 다 있는가 |
| 값 범위 | 확신도가 0~100 안인가 |
| 근거 존재 | 판정에 근거가 붙어 있는가 |
| 금칙 | 하지 말라고 한 제안을 하지 않았는가 |
형식 검증에서 실패하면 다시 시도하게 하되, 재시도 횟수도 제한합니다.
사람에게 넘기는 조건
다음 경우에는 자동 진행을 멈추고 사람을 부릅니다.
- 확신도가 기준 미만
- 도구 오류로 데이터가 불완전
- 결론이 위험 조치를 포함
- 한계에 걸려 중단
가드레일은 에이전트를 못 쓰게 만드는 장치가 아니라, 믿고 쓸 수 있게 만드는 장치입니다. 울타리가 없으면 결국 아무도 자동 실행을 허용하지 않습니다.