M2: 청킹 & 색인 파이프라인

M1의 문서 9건을 받아 청킹하고 Chroma에 넣는다.

준비

M1을 m1_data.py로 저장해 둔다. 이 파일은 같은 폴더에 m2_indexing.py로 저장한다.

pip install chromadb langchain-text-splitters langchain-core
pip install sentence-transformers   # 다국어 모델을 비교할 때

목표

1. 문서 길이를 먼저 재고 chunk_size를 정한다
2. 청킹 결과에서 같은 문서 안 경계가 몇 곳 생겼는지 확인한다
3. 임베딩 함수를 손으로 지정해 색인한다
4. 넣은 청크가 자기 자신을 찾아오는지 검증한다
5. EMBEDDING_CHOICE를 바꿔 4번의 숫자를 다시 재고 둘을 나란히 적는다

경계가 0곳이면 청킹이 일어나지 않은 것이다. 청크 수가 문서 수와 같은데 "청킹 완료"라고 읽고 넘어가는 일이 흔하다.