영상 핵심 정리 — 오픈소스 RAG 프로덕션 가이드

프로토타입 vs 프로덕션

시맨틱 캐시

from langchain.cache import RedisSemanticCache
from langchain_openai import OpenAIEmbeddings
import langchain

langchain.llm_cache = RedisSemanticCache(
    redis_url='redis://localhost:6379',
    embedding=OpenAIEmbeddings(),
    score_threshold=0.95
)

지수 백오프

import time
from functools import wraps

def retry_with_backoff(max_retries=3, base_delay=1.0):
    def decorator(fn):
        @wraps(fn)
        def wrapper(*args, **kwargs):
            for attempt in range(max_retries):
                try:
                    return fn(*args, **kwargs)
                except Exception:
                    if attempt == max_retries - 1: raise
                    time.sleep(base_delay * (2 ** attempt))
        return wrapper
    return decorator

LangFuse 관측성

아래는 트레이스가 어떻게 생겼는지 보여 주는 형식 예시다. 괄호 안 값은 어떤 시스템의 측정값도 아니고, 당신 시스템의 목표치도 아니다. 관측의 목적은 이 자리에 당신의 숫자를 넣는 것이다.

사용자 질문
  ├─[trace: retrieval]──→ 벡터 검색      (___ ms)
  ├─[trace: rerank]─────→ 재순위 (선택)   (___ ms)
  └─[trace: generate]───→ LLM 생성       (___ s, $___)

재순위(Cross-Encoder)는 이 12주 과정에서 별도로 다루지 않는다. 위 트레이스에 자리를 남겨 둔 것은 파이프라인의 어느 지점에 들어가는지를 보이기 위해서이고, 이번 주 코드에는 넣지 않는다.

함정 주의: 시맨틱 캐시 임계값 0.8 이하면 미묘하게 다른 질문에 같은 캐시 반환해 오답. 제조 기술 질문은 부품 번호 차이가 크므로 0.95 이상 권장.

다음 task와의 연결

'통합 프로덕션 RAG 시스템'에서 캐싱과 로깅을 파이썬 코드로 직접 만든다. Docker Compose 통합 배포와 Grafana 대시보드는 이번 주 범위가 아니다 (Docker 는 Week 7·8 에서 다룬다). 이번 주는 인메모리 캐시로 히트율을 세는 데까지다.