영상 핵심 정리 — 한국어 Advanced RAG 최적화 (AutoRAG)

AutoRAG란?

RAG 하이퍼파라미터(청크·임베딩·검색·Reranker) 수백 가지 조합을 자동 탐색.

AutoRAG 탐색 공간 예시
  청크 크기:    [256, 512, 1024]
  오버랩:       [0, 50, 100]
  임베딩:      [BGE-M3, text-embedding-004, KoSimCSE]
  검색:        [dense, sparse, hybrid]
  Reranker:    [없음, CrossEncoder, MonoT5]
→ 243가지 자동 실험

한국어 RAG 황금 조합

단계	선택	이유
형태소 분석	Kiwi	경량, 빠름
청킹	재귀적(512/50)	단락·문장 계층 존중
임베딩	BGE-M3	한국어 + 다국어
검색	BM25(40%) + 벡터(60%)	부품 코드 + 의미
Reranker	Cross-Encoder	한국어 성능 검증

KOSHA 문서 전용 파이프라인

KOSHA 안전지침 PDF
  └─ PyMuPDF로 텍스트 + 표 추출
       ├─ 조항 헤더(제X조) 기준 구조적 분할
       ├─ 표는 HTML → LLM 요약
       └─ 청크 메타데이터:
            {'article': '제12조', 'risk_level': 'A',
             'equipment_code': 'CR-3호기'}

검색 시 메타 필터: {'risk_level': 'A'} → A등급만 검색

주간 프로젝트 체크리스트

✅ 파이프라인 코드 (Notebook 또는 .py)
✅ RAGAS 결과 표 (Context Recall, Faithfulness)
✅ 개선 전·후 비교
✅ 출처 인용 (KOSHA GUIDE G-28 제3조)
✅ 실패 케이스 1개 이상 분석

함정 주의: AutoRAG 243가지 다 실험하면 비용 수십 달러. 사전에 탐색 공간 제한(2~3가지)하고 빠른 임베딩 모델로 1차 필터 후 정밀 평가.

다음 task와의 연결

'주간 프로젝트: KOSHA 안전지침 RAG'에서 3주간 배운 모든 기술을 통합한다.

한국어 RAG 황금 조합(Kiwi + 재귀 청킹 512/50 + BGE-M3 + BM25+벡터 하이브리드)이 KOSHA 산업안전 문서에 최적인지 검증해줘. 조항 번호 체계와 표 기반 위험 등급 정보를 처리할 때 구조 기반 청킹이 필요한 이유, AutoRAG가 청크 크기·임베딩 모델·검색 전략 조합을 어떻게 자동 탐색하는지, 그리고 황금 조합과 다른 설정이 더 나은 결과를 낼 수 있는 조건을 설명해줘.