100분
임계값 결정 실습
모델 선택과 판정 기준
임계값 결정 실습
모델 선택과 판정 기준 > 모델 선택과 판정 기준
학습 목표
임계값에 따른 지표 변화를 계산한다 비용 기준으로 최적 임계값을 고른다
과제 — 임계값을 숫자로 정하기
"적당히" 정하지 않고 계산으로 정합니다.
준비
검증 데이터셋의 예측 확신도와 실제 정답이 필요합니다. 시뮬레이터 결과를 쓰거나 가상 데이터로 진행해도 됩니다.
1단계 — 임계값별 지표 표 만들기
| 임계값 | 미탐 수 | 오탐 수 | 재현율 | 정밀도 | 재검 수 |
|---|---|---|---|---|---|
| 0.5 | |||||
| 0.6 | |||||
| 0.7 | |||||
| 0.8 | |||||
| 0.9 |
2단계 — 비용으로 환산하기
우리 현장의 숫자를 넣습니다.
미탐 1건 비용 = ______ 원 (반품·재작업·신뢰 손실)
오탐 1건 비용 = ______ 원 (제품 원가)
재검 1건 비용 = ______ 원 (검사 인건비 × 소요 시간)
총비용(임계값) = 미탐수 × 미탐비용 + 오탐수 × 오탐비용 + 재검수 × 재검비용
3단계 — 최소 비용 지점 찾기
각 임계값의 총비용을 계산해 가장 낮은 지점을 고릅니다.
다만 제약 조건을 먼저 확인하세요. 미탐율 상한이 정해져 있다면(안전 부품 등), 비용이 최소인 지점이 아니라 제약을 만족하는 범위 안에서 최소인 지점을 골라야 합니다.
제출물
- 임계값별 지표 표
- 우리 현장의 세 가지 단가와 그 산출 근거
- 총비용 곡선과 선택한 임계값
- 제약 조건(허용 미탐율·재검율)과 그것을 만족하는지 확인
3번의 곡선이 평평하다면 임계값 선택이 결과에 큰 영향을 주지 않는다는 뜻입니다. 그럴 때는 안전한 쪽(미탐을 줄이는 쪽)을 고르면 됩니다.
에디터 로딩 중...