27분
모델 평가: Confusion Matrix, Precision/Recall/F1, ROC
Day 2: CNN 기반 불량 분류
모델 평가: Confusion Matrix, Precision/Recall/F1, ROC
비전 AI 외관검사 > Day 2: CNN 기반 불량 분류
학습 목표
- Confusion Matrix를 해석하여 모델의 강점/약점을 파악할 수 있다
- Precision, Recall, F1-Score의 의미와 trade-off를 이해한다
- 제조에서 Recall이 Precision보다 중요한 이유를 설명할 수 있다
제조 비전 모델 평가
제조에서 가장 무서운 것은 미검출(불량을 양품으로 판정)이다. 따라서 Recall(재현율)이 가장 중요한 지표다.
평가 지표 해석
[Confusion Matrix 해석]
예측: 양품 예측: 불량
실제: 양품 TN (True Neg) FP (False Pos)
정확한 합격 과검출 (낭비)
실제: 불량 FN (False Neg) TP (True Pos)
미검출 (위험!) 정확한 불량 검출
제조에서의 비용:
FP (과검출): 양품을 버림 → 비용 손실
FN (미검출): 불량이 출하 → 클레임, 리콜, 인명 피해!
→ 어느 쪽이 얼마나 비싼지는 제품마다 다르다. 배수를 외우지 말고 직접 계산한다.
FN 1건 비용 = 클레임 처리 + 반품 물류 + 후공정 폐기 + (안전 관련이면 리콜 위험)
FP 1건 비용 = 양품 폐기 or 재검사 공수
두 값을 우리 라인의 실제 단가로 채우면 비용 비가 나오고,
그 비가 Day 4 에서 임계값을 정하는 근거가 된다.이름을 먼저 맞춘다
같은 말이 다른 값을 가리키는 일이 검사 현장에서 가장 흔한 혼선이다. 이 주차는 아래로 통일한다.
| 이름 | 정의 | 분모 |
|---|---|---|
| 미검출률(FNR) | 실제 불량 중 양품으로 판정한 비율 | 실제 불량 수 |
| 오경보 비율 | 불량으로 판정한 것 중 실제 양품인 비율 (= 1 − Precision) | 불량으로 판정한 수 |
| 과검출률(FPR) | 실제 양품 중 불량으로 판정한 비율 | 실제 양품 수 |
"과검율 3%"라고 말할 때 분모가 무엇인지 먼저 합의하지 않으면 같은 라인에서 서로 다른 숫자를 본다.
에디터 로딩 중...
핵심 포인트
- • 제조에서는 Recall(재현율)이 가장 중요 - 미검출은 클레임/리콜 위험
- • 혼동행렬은 어떤 불량 유형끼리 헷갈리는지 보려고 그린다. 그러려면 평가 대상이 실제 모델의 예측이어야 한다
- • Accuracy보다 F1-Score가 불균형 데이터에서 신뢰도 높은 지표
- • 미검출률·오경보 비율·과검출률은 분모가 다르다. 이름을 먼저 통일하고 숫자를 말한다
AI로 학습하기 — 꿀팁
분류 지표 클래스 불균형 오류 점검AI 학습 팁
AI에게 불량률 5% 미만 제조 데이터셋 기준으로 Precision/Recall/F1 계산 코드를 리뷰받아 클래스 불균형에서 발생하는 지표 착시를 점검하세요.
이 제조 불량 분류 모델 평가 코드를 리뷰해줘. 불량률이 3~5%인 불균형 데이터셋에서 accuracy가 과신되는 문제, macro/micro/weighted F1 중 제조 현장에서 적절한 선택 기준, Confusion Matrix에서 False Negative(불량 미탐지)의 비용이 False Positive보다 높은 경우에 맞게 임계값을 조정하는 방법을 점검해줘.
이 팁이 도움이 됐나요?