LangChain이란?

LLM 애플리케이션을 만드는 프레임워크. 레고 블록처럼 컴포넌트를 조합한다.

LangChain 핵심 컴포넌트 (RAG용):

Document Loaders  → 문서 로드 (PyPDFLoader 등)
Text Splitters    → 문서 청킹 (RecursiveCharacterTextSplitter)
Embeddings        → 벡터 변환 (OpenAIEmbeddings)
Vector Stores     → 벡터 저장/검색 (Chroma, Pinecone)
Retrievers        → 검색기 (유사도, MMR 등)
Prompts           → 프롬프트 템플릿
LLMs / ChatModels → LLM 호출 (GPT-4o 등)
Chains            → 위 컴포넌트 연결

---

RAG 파이프라인 데이터 흐름

Step 1: 색인 (Indexing)

문서 로드 → 청킹 → 임베딩 → 벡터 DB 저장

[코드 흐름]
loader = PyPDFLoader("manual.pdf")
docs = loader.load()
              ↓
splitter = RecursiveCharacterTextSplitter(...)
chunks = splitter.split_documents(docs)
              ↓
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_documents(chunks, embeddings)

Step 2: 검색 + 생성 (Retrieval + Generation)

질문 → 벡터화 → 유사 문서 검색 → 프롬프트 조합 → LLM → 답변

[코드 흐름]
retriever = vectorstore.as_retriever(
    search_kwargs={"k": 5}
)
relevant_docs = retriever.invoke("서보 에러 E-001 해결법")
              ↓
prompt = ChatPromptTemplate.from_template(
    "다음 문서를 참고하여 질문에 답하세요:\n"
    "{context}\n\n"
    "질문: {question}"
)
              ↓
chain = prompt | llm | output_parser
answer = chain.invoke({
    "context": format_docs(relevant_docs),
    "question": "서보 에러 E-001 해결법"
})

---

프롬프트 엔지니어링: 제조 도메인 핵심

일반적인 RAG 프롬프트:

"다음 문서를 참고하여 질문에 답하세요."

제조 도메인 전용 프롬프트:

당신은 제조 현장의 기술 전문가 AI 어시스턴트입니다.

[역할]
- 설비 매뉴얼, SOP, 안전 규정을 기반으로 정확한 답변을 제공합니다
- 반드시 제공된 문서에 근거하여 답변합니다
- 문서에 없는 내용은 "제공된 문서에서 확인되지 않습니다"라고 합니다

[답변 규칙]
1. 출처 명시: 반드시 문서명, 섹션 번호를 포함
2. 안전 주의: 안전 관련 절차는 반드시 주의사항을 포함
3. 파라미터 값: 수치는 정확히 인용 (범위 포함)
4. 절차 순서: 단계별로 명확하게 나열
5. 관련 문서: 추가 참고 문서가 있으면 안내

[제공된 문서]
{context}

[질문]
{question}

[답변]

왜 이렇게 구체적으로?

일반 프롬프트 답변:
"서보 에러가 나면 냉각팬을 확인하세요."

제조 전용 프롬프트 답변:
"서보 에러 E-001 대응 절차 (SOP-CNC-E001 v2.1):

 1. 주전원 차단 (안전 확인 필수)
    ⚠ 잔류 전압 방전 대기: 최소 5분
    ⚠ 검전기로 무전압 확인

 2. 서보 앰프 냉각팬 점검
    - 팬 회전 여부 목시 확인
    - 팬 모터 저항: 50-100 Ohm (정상)

 3. 파라미터 확인
    - #2012: 80-120 (서보 전류 제한)
    - #2024: 150 (과전류 감지 레벨)

 [출처: SOP-CNC-E001 v2.1, 섹션 4]
 [관련: CNC-3000 매뉴얼 Ch.12]"

프롬프트 하나의 차이가 쓸모없는 답변과 현장에서 바로 쓸 수 있는 답변을 가른다.

---

Retriever 유형: 어떤 검색 방법을 쓸 것인가

유형	설명	제조 적합도
similarity	코사인 유사도 Top-K	기본
mmr	유사도 + 다양성 (중복 제거)	권장
similarity_score_threshold	유사도 임계값 이상만	정밀 검색

# MMR (Maximal Marginal Relevance) 권장
retriever = vectorstore.as_retriever(
    search_type="mmr",
    search_kwargs={
        "k": 5,             # 최종 반환 수
        "fetch_k": 20,      # 후보 문서 수
        "lambda_mult": 0.7, # 유사도 vs 다양성 (0~1)
    }
)

# 장점: 비슷한 청크 3개 대신
#       다양한 관점의 청크 5개를 반환