설비 매뉴얼 800페이지, 텍스트만으론 부족하다

월요일 아침, 긴급 호출

"이 도면 보고 공차 알려줘. 매뉴얼에 있다며?"

현장 엔지니어가 태블릿을 들이밀었다. CAD 도면이다. 치수선, 공차 기호, 표면 거칠기 마크가 빼곡하다.

당신이 만든 RAG 시스템에 물어본다:

질문: "SPN-200 주축 베어링 허용 공차는?"
RAG 답변: "해당 정보를 찾을 수 없습니다."

정보가 없는 게 아니다. 매뉴얼 147페이지에 도면으로 있다. 텍스트가 아니라 이미지라서 RAG가 못 찾은 것이다.

제조 문서는 텍스트만이 아니다

제조 현장의 문서를 열어보자:

문서 유형	텍스트	이미지	표	다이어그램
장비 매뉴얼	O	O (부품 사진)	O (사양표)	O (회로도)
SOP (표준작업절차서)	O	O (작업 사진)	X	O (순서도)
품질 기준서	O	O (검사 사진)	O (허용 범위)	X
조립 가이드	O	O (조립 사진)	O (부품표/BOM)	O (분해도)
도면 (CAD)	X	O (2D/3D)	O (치수표)	O (단면도)
검사 성적서	O	O (불량 사진)	O (측정값)	O (차트)
MSDS	O	O (위험 표시)	O (물성표)	X
KOSHA 안전지침	O	O (경고 표시)	O (기준표)	O (안전 절차도)

텍스트만 추출하면 정보의 40~60%를 잃는다.

실제 사례: 텍스트 RAG vs 멀티모달 RAG

사례 1: 도면 기반 질문

질문: "SPN-200 주축 베어링의 허용 공차는?"

[텍스트 RAG]
-> 매뉴얼에서 "주축 베어링" 키워드 검색
-> 텍스트 설명만 반환: "주축 베어링은 정밀 부품으로..."
-> 공차 수치? 없음. 도면에만 있으니까.

[멀티모달 RAG]
-> 매뉴얼 전체 파싱 (텍스트 + 이미지 + 표)
-> 도면 이미지를 GPT-4o (비전 내장)로 분석: "베어링 내경 62mm, 공차 +0.000/-0.013"
-> 사양표에서 추가 정보: "C3 등급, 윤활: ISO VG 68"
-> 정확한 답변 제공

사례 2: 불량 사진 분석

질문: "이 용접 불량 사진과 비슷한 사례의 원인은?"

[텍스트 RAG]
-> "용접 불량" 키워드로 검색
-> 일반적인 용접 불량 원인 나열
-> 사진과 매칭 불가

[멀티모달 RAG]
-> 불량 사진을 CLIP 임베딩으로 변환
-> 유사 불량 사진 검색 (코사인 유사도)
-> 매칭된 과거 사례: "기공(blowhole) - 가스 차폐 불량"
-> 원인과 대책 함께 제공

사례 3: MSDS 위험물 정보

질문: "이 화학물질의 소방 대응 방법은?"

[텍스트 RAG]
-> MSDS 텍스트에서 검색
-> 일부 정보만 반환

[멀티모달 RAG]
-> MSDS의 GHS 경고 표시 이미지 인식
-> 물성표 데이터 정확히 추출
-> 소방 대응표 구조 보존하여 반환

이번 Day에서 배울 것

오늘이 끝나면:

PDF에서 텍스트, 이미지, 표를 분리 추출할 수 있다
GPT-4o (비전 내장)로 제조 도면/사진을 분석할 수 있다
멀티모달 임베딩으로 통합 검색 시스템을 구축할 수 있다
제조 현장 20개 시나리오에 답할 수 있는 RAG를 만든다

시작하자.