영상 핵심 정리 — 제조 매뉴얼 Q&A 시스템 설계

이 영상은 주간 프로젝트의 '설계도'를 제공한다. 수천 페이지 제조 매뉴얼에서 즉시 답을 찾아주는 시스템을 어떻게 설계하고 운영할지 전체 흐름을 다룬다.

---

1. 전체 아키텍처

[PDF 매뉴얼]
    ↓ 파싱 + 청킹 (섹션 단위, 500~800 토큰)
[청크 인덱스]
    ↓ 키워드 검색 (TF-IDF 또는 임베딩)
[관련 청크 Top-K]
    ↓ 프롬프트 조립
[LLM 호출]
    ↓
[구조화된 답변 + 출처 페이지]

2. 청킹 전략 비교

전략	방법	적합 매뉴얼 유형
고정 길이	N 토큰마다 분할	비정형 텍스트
섹션 기반	헤더(H2/H3) 기준	구조적 기술 매뉴얼
문장 경계	마침표 기준 + 오버랩	자연어 설명서

제조 설비 매뉴얼은 대부분 번호 체계(3.2.1 항목)가 있어 섹션 기반 청킹이 가장 효과적이다.

3. 비용 최적화 — 프롬프트 캐싱

동일한 system 프롬프트와 청크 인덱스를 매 호출마다 전송하면 비용이 폭증한다. GPT-4o 기준 캐시 히트 시 입력 토큰 비용이 50% 절감된다.

# Retry 패턴
import time
for attempt in range(3):
    try:
        return client.chat.completions.create(...)
    except RateLimitError:
        time.sleep(2 ** attempt)  # 1s, 2s, 4s

함정 주의: 청크 크기를 너무 작게(< 200 토큰) 설정하면 답변에 필요한 맥락이 분산되어 품질이 떨어진다. 반대로 너무 크면(> 1500 토큰) 검색 정밀도가 낮아진다. 500~800 토큰이 실전 적정값이다.

---

다음 task와의 연결

'주간 프로젝트: 제조 매뉴얼 Q&A' 에서 오늘 설계한 아키텍처를 직접 코드로 구현하며 완성한다.

스마트팩토리 RAG 시스템에서 동일한 system 프롬프트(설비 매뉴얼 컨텍스트 2000 토큰)를 하루 1000회 호출할 때 프롬프트 캐싱 적용 전후의 비용을 계산해줘. 섹션·헤더 기반 청킹이 페이지 분할보다 검색 품질이 좋은 이유와, Rate Limit 에러 시 Retry + Exponential Backoff를 Python 코드로 구현하는 방법도 알려줘.