40

GradCAM: 모델이 어디를 보고 판단했는가

Day 2: CNN 기반 불량 분류

학습 목표

GradCAM의 원리와 제조 현장에서의 활용을 이해한다 PyTorch 모델에 GradCAM을 적용하여 히트맵을 생성할 수 있다 설명 가능한 AI(XAI)가 제조 품질에 필수인 이유를 파악한다

GradCAM: 모델의 판단 근거를 보여준다

AI가 "불량"이라고 했다. 왜? 제조 현장에서는 근거 없는 판정을 신뢰하지 않는다. GradCAM은 모델이 이미지의 어디를 보고 판단했는지 보여준다.


GradCAM 원리

[GradCAM 동작 흐름]

입력 이미지
    ↓
CNN 순전파 (Forward Pass)
    ↓
특정 클래스에 대한 그래디언트 계산 (Backward)
    ↓
마지막 Conv 층의 활성화 맵 × 그래디언트 가중 평균
    ↓
ReLU 적용 (양수만)
    ↓
히트맵 (해당 클래스에 기여한 영역)
    ↓
원본 이미지에 오버레이

제조에서 GradCAM의 가치

상황GradCAM 없이GradCAM 있으면
과검출왜 불량인지 모름어디를 불량으로 봤는지 확인
미검출원인 파악 불가모델이 어디를 보는지 진단
새 불량학습 필요성 판단 불가관련 영역 활성 여부 확인
고객 보고"AI가 불량 판정""AI가 이 영역의 패턴을 근거로 판정"
에디터 로딩 중...
핵심 포인트
  • GradCAM은 마지막 Conv층의 그래디언트를 활용한 시각화 기법
  • 제조에서는 판정 근거를 보여줘야 신뢰받는다 (XAI 필수)
  • 빨간색 영역이 결함 위치와 일치하면 모델이 올바르게 학습된 것
  • 과검출 원인 분석: GradCAM으로 모델이 무엇을 보는지 확인
AI로 학습하기 — 꿀팁
🤖GradCAM 히트맵 생성 코드 스캐폴딩AI 학습 팁

AI에게 PyTorch ResNet 기반 제조 불량 분류 모델에 GradCAM을 적용하는 코드를 스캐폴딩하도록 요청하세요. 히트맵 오버레이와 불량 위치 바운딩 박스 추출까지 포함해 받으세요.

PyTorch ResNet 기반 제조 불량 분류 모델에 GradCAM을 적용하는 코드를 구현해줘. 마지막 Conv 레이어 활성화 맵으로 히트맵을 생성하고, 원본 이미지에 컬러맵으로 오버레이하는 함수와, 히트맵 임계값 기준으로 불량 추정 위치를 바운딩 박스로 추출하는 코드를 포함해줘.
이 팁이 도움이 됐나요?
실습 — 직접 해보기
🧪Vision Inspector 시뮬레이터
CNN 분류 + GradCAM 히트맵 + 바운딩 박스를 브라우저에서 직접 체험해보세요. 이미지별 신뢰도, 결함 영역, 조치 매뉴얼까지 확인할 수 있습니다.