맡기면 안 되는 결정

에이전트는 그럴듯하게 틀립니다. 제조 현장에서 이건 위험합니다.

사람이 결정해야 하는 것

영역	이유
설비 정지·기동	안전과 생산에 직결된다
제품 합불 최종 판정	고객에게 나가는 책임
정비 예산 집행	금전 결정
안전 관련 조치 해제	사고 위험
인사·평가	사람에 관한 판단

에이전트에게 맡길 수 있는 것

• 정보 수집과 정리 — 흩어진 데이터를 모아 보여주기
• 원인 후보 제시 — 결정은 사람이 하되 선택지를 만들어 주기
• 초안 작성 — 보고서·계획서의 첫 버전
• 이상 감지와 알림 — 판단은 하되 조치는 사람이

사람의 승인을 끼워 넣는 방법

승인 지점을 흐름 안에 명시합니다.

데이터 수집(자동) → 진단(자동) → 조치 제안(자동)
                                    ↓
                            [사람 승인] ← 여기서 멈춘다
                                    ↓
                            작업 지시 발행(자동)

승인 화면에는 왜 그렇게 판단했는지가 함께 있어야 합니다. 근거 없이 "정비하세요"만 뜨면 사람은 판단할 수 없고, 결국 습관적으로 승인 버튼만 누릅니다. 그러면 승인 절차가 형식이 되어 오히려 위험합니다.

권한을 단계적으로 넓히기

처음부터 자동 실행을 허용하지 말고, 신뢰가 쌓이는 만큼 넓힙니다.

1. 제안만 — 사람이 전부 확인
2. 낮은 위험 작업은 자동, 나머지는 승인
3. 사후 보고 — 자동 실행하고 결과를 알림

각 단계에서 얼마나 정확했는지 기록해야 다음 단계로 갈 근거가 생깁니다.