25분
RAG 연동: 불량 유형별 조치 매뉴얼 자동 조회
Day 5: 불량 판별 검사 시스템
RAG 연동: 불량 유형별 조치 매뉴얼 자동 조회
비전 AI 외관검사 > Day 5: 불량 판별 검사 시스템
학습 목표
- 비전 AI 검출 결과를 조치 매뉴얼 검색과 연결할 수 있다
- Week 2 에서 배운 ChromaDB 벡터 검색으로 매뉴얼을 조회할 수 있다
- 검색 결과를 원문과 출처(SOP 번호)와 함께 제시하고, 조치 절차를 생성하지 않는 이유를 설명할 수 있다
- 모델 클래스 이름과 매뉴얼 문서 이름을 잇는 매핑이 없으면 조회가 조용히 실패한다는 것을 확인한다
RAG 연동: AI가 불량을 찾고, 조치 방법도 알려준다
Week 2-3에서 배운 RAG(Retrieval-Augmented Generation)를 비전 AI와 결합하면, 불량을 검출하고 동시에 조치 매뉴얼까지 자동으로 제공하는 시스템을 만들 수 있다.
[비전 AI + 매뉴얼 검색]
카메라 이미지
↓
YOLO: "스크래치 검출 (92%)"
↓
질의 생성: "스크래치 결함이 검출되었다. 원인과 즉시 조치 방법, 참조 문서를 알려 달라."
↓
벡터 검색(ChromaDB): 조치 매뉴얼 문서에서 가장 가까운 것을 찾는다
↓
표시: 매뉴얼 원문 + 출처(SOP-QC-001 제5장)
↓
검사 대시보드에 표시왜 생성 단계를 기본으로 두지 않는가
설비 조치 절차는 지어내면 안 되는 글이다. LLM 이 매끄럽게 다듬는 과정에서 없는 파라미터 번호나 없는 절차가 끼어들면, 그 문장은 현장에서 그대로 실행된다. 검사원은 그것이 검색된 원문인지 모델이 만든 문장인지 화면만 보고는 구분할 수 없다.
그래서 이 과제는 검색까지 실제로 하고, 표시는 원문 그대로 한다. 문장을 다듬어 보여 주고 싶으면 LLM 을 붙이되, 조치 항목과 참조 문서 번호는 원문을 유지하고 어디까지가 원문인지 화면에 표시한다.
에디터 로딩 중...
핵심 포인트
- • 검출 결과를 질의 문장으로 바꾸고 벡터 검색으로 매뉴얼을 찾는다. Week 2 의 ChromaDB 를 그대로 쓴다
- • chromadb 가 없으면 키워드 겹침으로 내려가되, 벡터 검색이 아니라는 사실을 화면에 밝힌다
- • 설비 조치 절차는 지어내면 안 되는 글이다. 기본은 검색한 원문을 출처와 함께 그대로 보여 준다
- • 클래스 이름과 문서 이름을 잇는 표를 둔다. 'discolor' 와 'discoloration' 같은 차이로 조회가 조용히 실패한다
- • 불량별 조치는 [즉시]/[당일]/[3일]/[1주] 처럼 시간축으로 나눠야 현장에서 쓸 수 있다
AI로 학습하기 — 꿀팁
비전-RAG 연동 파이프라인 생성AI 학습 팁
AI에게 YOLO 불량 탐지 결과를 RAG 조치 매뉴얼 조회와 연결하는 통합 파이프라인을 스캐폴딩하도록 요청하세요. 불량 클래스 → 쿼리 생성 → 매뉴얼 검색 흐름을 포함해 받으세요.
YOLO가 탐지한 불량 유형(스크래치/크랙/오염/변색)을 RAG 시스템과 연동하는 Python 파이프라인을 구현해줘. YOLO 탐지 결과에서 상위 신뢰도 불량 클래스를 추출하고, 불량 유형·설비명·라인번호를 조합한 자연어 쿼리를 자동 생성한 후, Chroma 벡터 DB에서 해당 조치 매뉴얼을 검색하여 반환하는 DefectResponsePipeline 클래스를 작성해줘.
이 팁이 도움이 됐나요?