영상 핵심 정리 — 오픈소스 RAG 프로덕션 가이드

프로토타입 vs 프로덕션

항목	프로토타입	프로덕션
캐싱	없음	Redis 시맨틱
재시도	없음	지수 백오프 + 서킷 브레이커
관측성	print()	LangFuse / Prometheus
벡터 DB	Chroma(로컬)	Qdrant(클러스터)
평가	수동	RAGAS CI/CD

시맨틱 캐시

from langchain.cache import RedisSemanticCache
from langchain_openai import OpenAIEmbeddings
import langchain

langchain.llm_cache = RedisSemanticCache(
    redis_url='redis://localhost:6379',
    embedding=OpenAIEmbeddings(),
    score_threshold=0.95
)

지수 백오프

import time
from functools import wraps

def retry_with_backoff(max_retries=3, base_delay=1.0):
    def decorator(fn):
        @wraps(fn)
        def wrapper(*args, **kwargs):
            for attempt in range(max_retries):
                try:
                    return fn(*args, **kwargs)
                except Exception:
                    if attempt == max_retries - 1: raise
                    time.sleep(base_delay * (2 ** attempt))
        return wrapper
    return decorator

LangFuse 관측성

사용자 질문
  ├─[trace: retrieval]──→ Qdrant 검색 (120ms)
  ├─[trace: rerank]─────→ Cross-Encoder (45ms)
  └─[trace: generate]───→ LLM 생성 (1.2s, $0.003)

함정 주의: 시맨틱 캐시 임계값 0.8 이하면 미묘하게 다른 질문에 같은 캐시 반환해 오답. 제조 기술 질문은 부품 번호 차이가 크므로 0.95 이상 권장.

다음 task와의 연결

'프로덕션 RAG: 캐싱·재시도·관측'에서 세 요소를 Docker Compose로 통합 배포하고 Grafana 대시보드로 모니터링한다.

오픈소스 제조 설비 매뉴얼 RAG 파이프라인을 구현해줘. 코사인 유사도 >0.95이면 재검색 없이 캐시를 반환하는 시맨틱 캐시 레이어를 추가하고, API 일시 장애 시 지수 백오프(1s → 2s → 4s, 최대 3회) 재시도 로직도 포함해줘. LangFuse로 각 RAG 단계(임베딩·검색·생성)의 레이턴시와 비용을 추적하는 코드도 작성해줘.