잘 만들었는데 왜 엉뚱한 답이 나오지?

"RAG 시스템 시연 준비 끝났습니다."

김 대리가 자신 있게 말했다. 팀장 앞에서 제조 문서 Q&A 데모를 보여줄 차례다.

팀장이 인상을 찌푸렸다. "이거 답이 아닌데?"

---

왜 이런 일이 생겼을까?

원인은 청킹이었다.

김 대리는 매뉴얼 전체를 500자 단위로 잘랐다. 그런데 사양표가 이렇게 잘렸다:

"스트로크: 350 mm"이 두 청크로 쪼개졌다. 벡터 검색에서 "최대 가압력"은 청크 A에만 있지만, 유사도 점수가 청크 B보다 낮아서 청크 B가 반환되었다.

청킹을 잘못하면 RAG는 쓸모없다.

이 문제를 해결하는 방법을 오늘 배운다.