"벡터 만 개인데 검색이 3초나 걸려요"

"어제까지 잘 되던 RAG가 갑자기 느려졌어요."

김 대리가 만든 RAG 프로토타입. 처음에는 문서 50개로 잘 동작했다.

원인을 찾아보니:

문제: 전수 비교(Brute Force) 벡터 5만 개를 하나하나 비교하니 30초 걸린다. 실제 FAB에는 문서 38,000+ 페이지 = 벡터 수십만 개.

---

벡터 DB가 필요한 이유

벡터 DB = 수십만~수억 개 벡터에서 밀리초 단위로 유사 벡터를 찾는 전용 데이터베이스

제조 현장에서 3초 기다리는 건 불가능하다. 설비가 멈춰 있는데 답변이 느리면 그냥 매뉴얼을 뒤진다.

오늘은 벡터 DB 두 가지(Chroma, Pinecone)를 배우고 직접 구축한다.