과제 — 성과 측정 리포트

설계한 시스템(또는 시뮬레이터 실행)의 성과를 측정합니다.

측정 항목

1. 정확성

항목	값
시험 사례 수
목표 달성 종료 비율
사람이 수정 없이 채택한 비율
사람이 일부 수정한 비율
사람이 폐기한 비율

세 번째 값이 실질적인 성공률입니다.

2. 비용과 시간

• 건당 평균 토큰과 비용
• 건당 평균 소요 시간
• 사람이 직접 할 때의 시간과 비교

3. 실패 분석 실패한 사례를 유형별로 분류하고, 가장 흔한 원인을 짚습니다.

4. 근거의 충실성 결론에 근거가 붙은 비율. 근거 없는 결론은 성공으로 세지 않는 편이 안전합니다.

확대 판단

다음을 모두 만족하면 권한을 넓힐 근거가 됩니다.

• 수정 없이 채택한 비율이 목표 이상
• 근거가 붙은 결론 비율이 목표 이상
• 건당 비용이 사람 인건비보다 낮음
• 최근 기간에 새로운 실패 유형이 나오지 않음

하나라도 미달이면 범위를 좁혀 다시 시도하는 편이 낫습니다.

제출물

1. 위 측정 표
2. 실패 유형별 분류와 원인
3. 확대 여부 판단과 근거
4. 다음 단계 계획 (확대하든 보완하든)

"잘 되는 것 같다"는 보고서는 다음 투자를 설득하지 못합니다. 수정 비율과 건당 비용이 있어야 결정할 수 있습니다.