🏆60분
설비 매뉴얼 멀티모달 RAG 구축
Day 1: 멀티모달 RAG
설비 매뉴얼 멀티모달 RAG 구축
RAG 심화 > Day 1: 멀티모달 RAG
요구사항
PDF 매뉴얼에서 텍스트, 이미지, 표를 모두 추출할 것
GPT-4o (비전 내장)로 도면/사진을 분석하여 텍스트 설명을 생성할 것
표 데이터를 마크다운 + 자연어 설명으로 변환할 것
통합 벡터 DB에 인덱싱하고 검색이 동작할 것
최소 5개의 서로 다른 유형의 질문에 정확히 답변할 것
평가 기준
- • 요소 분리 추출의 정확도 (텍스트/이미지/표 구분)
- • 이미지 분석 결과의 품질 (도면 치수, 불량 유형 등)
- • 표 변환의 정확도 (구조 보존 + 자연어 설명)
- • 검색 결과의 정확도 (top-5 중 관련 문서 비율)
- • 답변의 정확도 (수치, 규격 등 팩트 기반)
보너스
- • CLIP 기반 이미지 유사도 검색 추가
- • 이미지 유형 자동 분류 기능 구현
- • API 비용 최적화 (캐싱, 중복 제거, 단계적 분석)
- • MSDS 또는 KOSHA 안전지침 문서 통합
AI로 학습하기 — 꿀팁
🤖설비 매뉴얼 멀티모달 RAG 설계 검토AI 학습 팁
설비 매뉴얼(PDF 도면 포함)을 대상으로 멀티모달 RAG를 구축할 때, 이미지-텍스트 인덱싱 전략과 엣지케이스를 AI에게 검토받으세요.
제조 현장의 설비 매뉴얼(텍스트 + 회로도/부품 도면 이미지 혼합 PDF)을 대상으로 멀티모달 RAG 시스템을 설계했습니다. 다음을 검토해 주세요: 1) 도면 이미지에서 부품 번호와 연결 관계를 추출하는 OCR+캡셔닝 파이프라인의 병목 지점, 2) 텍스트와 이미지 임베딩을 동일 컬렉션에 저장할 때 메타데이터 스키마 설계 방법, 3) '3번 밸브 교체 절차'처럼 텍스트+도면 동시 참조가 필요한 쿼리 처리 전략, 4) 도면이 업데이트됐을 때 증분 인덱싱 방법. 각 항목에 대해 구체적인 개선 제안을 해주세요.
이 팁이 도움이 됐나요?