잘 만들었는데 왜 엉뚱한 답이 나오지?

"RAG 시스템 시연 준비 끝났습니다."

김 대리가 자신 있게 말했다. 팀장 앞에서 제조 문서 Q&A 데모를 보여줄 차례다.

질문: "HP-500 유압 프레스의 최대 가압력은?"

기대한 답변: "500 ton (4,903 kN)"

실제 답변: "HP-500의 스트로크는 350mm이며,
           급속하강 속도는 300 mm/s입니다."

팀장이 인상을 찌푸렸다. "이거 답이 아닌데?"

▲ 텍스트가 벡터 공간에서 의미적 거리로 표현되는 원리

왜 이런 일이 생겼을까?

원인은 청킹이었다.

김 대리는 매뉴얼 전체를 500자 단위로 잘랐다. 그런데 사양표가 이렇게 잘렸다:

[청크 A] (500자)
"...HP-500 유압 프레스 설치 환경
 바닥 하중, 전원 380V 3상,
 주변 온도 5~40도... 최대 가압력:"
 ← 여기서 잘림!

[청크 B] (500자)
"500 ton (4,903 kN)
 스트로크: 350 mm
 슬라이드 속도:
  - 급속하강: 300 mm/s..."

"최대 가압력: 500 ton"이 두 청크로 쪼개졌다. 질문에 있는 낱말("최대 가압력")은 청크 A의 끝에 남고, 답에 해당하는 값("500 ton")은 청크 B의 앞으로 넘어갔다.

검색은 낱말이 겹치는 A를 1위로 올렸다. 그런데 A는 "최대 가압력:"에서 끊겨 값이 없다. k=3으로 함께 넘어간 B에는 값들이 있지만, 그 값이 무엇의 값인지를 알려 주는 항목명은 A에 남아 있다. 모델은 B에서 항목명이 붙어 있는 수치를 골라 답했고, 그것이 스트로크였다.

질문의 낱말과 답의 값이 서로 다른 청크로 갈리는 것, 이것이 청킹 실패의 전형이다.

청킹을 잘못하면 RAG는 쓸모없다.

이 문제를 해결하는 방법을 오늘 배운다.