▶️25

[영상] 프롬프트 엔지니어링의 미래 — 어디까지 가능한가?

Day 5: 제조 매뉴얼 Q&A 챗봇

학습 목표

LLM 기반 매뉴얼 Q&A 시스템의 아키텍처를 설명한다 PDF 매뉴얼을 청크 단위로 분할하고 검색 가능하게 인덱싱한다 프롬프트 캐싱으로 반복 호출 비용을 절감한다 프로덕션 수준의 오류 처리와 로깅 전략을 적용한다

플레이어 로딩 중...
핵심 포인트
  • 매뉴얼 청킹 전략: 페이지 분할보다 섹션·헤더 기반 분할이 검색 품질이 높다
  • 프롬프트 캐싱은 동일 system 프롬프트 반복 호출 시 40~90% 비용을 절감한다
  • Retry + Exponential Backoff로 Rate Limit 오류를 자동 복구한다
  • 멀티턴 Q&A에서 이전 답변을 다음 컨텍스트로 재활용해 일관성을 유지한다