함정 모음: RAG 파이프라인에서 흔한 실수

Common Pitfalls: 파이프라인 통합 실수

Pitfall 1: 컨텍스트 윈도우 초과

# ❌ top_k를 너무 크게 설정
retriever = vectorstore.as_retriever(
    search_kwargs={"k": 20}
)
# 20개 청크 x 600자 = 12,000자
# + 프롬프트 + 질문 = 컨텍스트 초과!

# ✅ 적절한 k값과 토큰 예산 계산
import tiktoken

def count_tokens(text, model="gpt-4o-mini"):
    encoder = tiktoken.encoding_for_model(model)
    return len(encoder.encode(text))

MAX_CONTEXT_TOKENS = 4000
retriever = vectorstore.as_retriever(
    search_kwargs={"k": 5}
)

Pitfall 2: 프롬프트에 역할 미지정

❌ "다음 문서를 참고하여 답변하세요."
   → LLM이 일반적인 톤으로 답변
   → 제조 용어 미사용, 출처 미표시

✅ "당신은 제조 현장 기술 전문가입니다.
    반드시 출처를 표시하고,
    안전 관련 주의사항을 포함하세요."
   → 전문적 답변, 출처 포함

Pitfall 3: 에러 핸들링 부재

# ❌ 검색 결과 없을 때 처리 없음
docs = retriever.invoke(query)
answer = llm.invoke(format_docs(docs))
# docs가 비어있으면 → 환각 답변 생성!

# ✅ 검색 결과 검증
docs = retriever.invoke(query)
if not docs:
    return "관련 문서를 찾을 수 없습니다."

# 유사도 임계값 확인
if max_similarity < 0.7:
    return ("관련도가 낮은 문서만 발견되었습니다. "
            "질문을 더 구체적으로 해주세요.")

Pitfall 4: 동기화 안 된 임베딩 모델

❌ 월요일: text-embedding-3-small로 색인
   수요일: text-embedding-3-large로 검색
   → 차원 불일치 → 검색 실패

✅ 환경 변수로 모델 고정
   EMBEDDING_MODEL=text-embedding-3-small
   # 색인과 검색 모두 동일 모델 참조

Pitfall 5: 청킹 경계에서 답변 불완전

질문: "서보 에러 E-001 파라미터 정상 범위는?"

검색된 청크:
"...파라미터 확인
 - #2012: 서보 전류 제한 (정상:"
← 여기서 잘림!

해결:
1. overlap 충분히 설정 (15-20%)
2. Parent Document Retriever 사용
   (청크가 속한 원본 문서 전체 참조)
3. 검색 결과 k를 늘려 보완 청크 확보