40분
모델 평가: Confusion Matrix, Precision/Recall/F1, ROC
Day 2: CNN 기반 불량 분류
모델 평가: Confusion Matrix, Precision/Recall/F1, ROC
비전 AI — 제조 외관검사 시스템 > Day 2: CNN 기반 불량 분류
학습 목표
Confusion Matrix를 해석하여 모델의 강점/약점을 파악할 수 있다 Precision, Recall, F1-Score의 의미와 trade-off를 이해한다 제조에서 Recall이 Precision보다 중요한 이유를 설명할 수 있다
제조 비전 모델 평가
제조에서 가장 무서운 것은 미검출(불량을 양품으로 판정)이다. 따라서 Recall(재현율)이 가장 중요한 지표다.
평가 지표 해석
[Confusion Matrix 해석]
예측: 양품 예측: 불량
실제: 양품 TN (True Neg) FP (False Pos)
정확한 합격 과검출 (낭비)
실제: 불량 FN (False Neg) TP (True Pos)
미검출 (위험!) 정확한 불량 검출
제조에서의 비용:
FP (과검출): 양품을 버림 → 비용 손실
FN (미검출): 불량이 출하 → 클레임, 리콜, 인명 피해!
→ FN(미검출)이 FP(과검출)보다 10~1000배 위험
→ Recall 최대화가 핵심에디터 로딩 중...
핵심 포인트
- • 제조에서는 Recall(재현율)이 가장 중요 - 미검출은 클레임/리콜 위험
- • Confusion Matrix로 어떤 불량 유형이 혼동되는지 파악 가능
- • Accuracy보다 F1-Score가 불균형 데이터에서 신뢰도 높은 지표
- • 임계값 조정으로 Precision-Recall 트레이드오프 제어 가능
AI로 학습하기 — 꿀팁
✅분류 지표 클래스 불균형 오류 점검AI 학습 팁
AI에게 불량률 5% 미만 제조 데이터셋 기준으로 Precision/Recall/F1 계산 코드를 리뷰받아 클래스 불균형에서 발생하는 지표 착시를 점검하세요.
이 제조 불량 분류 모델 평가 코드를 리뷰해줘. 불량률이 3~5%인 불균형 데이터셋에서 accuracy가 과신되는 문제, macro/micro/weighted F1 중 제조 현장에서 적절한 선택 기준, Confusion Matrix에서 False Negative(불량 미탐지)의 비용이 False Positive보다 높은 경우에 맞게 임계값을 조정하는 방법을 점검해줘.
이 팁이 도움이 됐나요?