RAG Service 구현

구현 범위

1. ChromaDB 클라이언트 초기화
2. 문서 로딩 (PDF, TXT)
3. 청킹 (RecursiveCharacterTextSplitter)
4. 임베딩 & 저장
5. 유사도 검색

핵심 포인트

• persist_directory 를 주면 재시작해도 벡터가 남는다
• 메타데이터에 source, page 정보 포함
• 검색 결과에 실리는 것은 점수가 아니라 거리다

import 경로를 먼저 확인한다

langchain 은 1.0 으로 올라오면서 본체를 얇게 만들고 기능을 배포판으로 나눠 내보냈다. 그래서 예전 자료에 흔한 from langchain.text_splitter import ... 는 D1 의 pyproject 가 요구하는 langchain>=1.0.0 환경에서 ModuleNotFoundError: No module named 'langchain.text_splitter' 로 죽는다. 지금 위치는 이렇다.

pip install langchain-text-splitters langchain-chroma langchain-openai

from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_chroma import Chroma

langchain_community.vectorstores.Chroma 도 아직 import 되기는 하지만 sunset 예고가 붙어 있고, D1 의 pyproject 는 이미 langchain-chroma 를 의존성에 넣어 두었으니 그쪽으로 맞춘다. 앞으로 LangChain 예제가 import 줄에서 죽으면 이름이 사라진 것이 아니라 어느 배포판으로 옮겨 갔는지를 먼저 찾는 것이 순서다. 패키지 이름은 밑줄이 아니라 붙임표를 쓰고 (langchain-text-splitters), import 할 때는 밑줄을 쓴다(langchain_text_splitters).

점수인가 거리인가

similarity_search_with_score 가 돌려주는 두 번째 값의 뜻은 벡터스토어가 쓰는 공간에 따라 달라진다. Chroma 의 기본은 L2 거리라 작을수록 가깝다. 이 값을 유사도 라고 적어 컨텍스트에 실으면, 학습자도 그 텍스트를 읽는 LLM 도 큰 값을 더 관련 깊은 것으로 읽는다. W2 에서 코사인 유사도를 배운 뒤라 혼동이 더 크다. 필드 이름은 distance 로 두고, 사람이 볼 자리에서만 1/(1+거리) 로 뒤집어 함께 보여 준다.