🏆60분
설비 매뉴얼 멀티모달 RAG 구축
Day 1: 멀티모달 RAG
설비 매뉴얼 멀티모달 RAG 구축
RAG 심화 > Day 1: 멀티모달 RAG
요구사항
PDF 매뉴얼에서 텍스트, 이미지, 표를 모두 추출할 것
GPT-4V로 도면/사진을 분석하여 텍스트 설명을 생성할 것
표 데이터를 마크다운 + 자연어 설명으로 변환할 것
통합 벡터 DB에 인덱싱하고 검색이 동작할 것
최소 5개의 서로 다른 유형의 질문에 정확히 답변할 것
평가 기준
- • 요소 분리 추출의 정확도 (텍스트/이미지/표 구분)
- • 이미지 분석 결과의 품질 (도면 치수, 불량 유형 등)
- • 표 변환의 정확도 (구조 보존 + 자연어 설명)
- • 검색 결과의 정확도 (top-5 중 관련 문서 비율)
- • 답변의 정확도 (수치, 규격 등 팩트 기반)
보너스
- • CLIP 기반 이미지 유사도 검색 추가
- • 이미지 유형 자동 분류 기능 구현
- • API 비용 최적화 (캐싱, 중복 제거, 단계적 분석)
- • MSDS 또는 KOSHA 안전지침 문서 통합