"벡터 만 개인데 검색이 3초나 걸려요"

"어제까지 잘 되던 RAG가 갑자기 느려졌어요."

김 대리가 만든 RAG 프로토타입. 처음에는 문서 50개로 잘 동작했다.

문서 50개:  검색 0.1초  ← OK
문서 500개: 검색 0.5초  ← 괜찮네
문서 5,000개: 검색 3초  ← 느리다...
문서 50,000개: 검색 30초 ← 못 쓰겠다!

원인을 찾아보니:

# 김 대리의 코드
embeddings = []  # 벡터를 리스트에 저장

def search(query):
    query_vec = embed(query)
    # 모든 벡터와 하나씩 비교!
    for i, vec in enumerate(embeddings):
        sim = cosine_similarity(query_vec, vec)
    return top_k(sims)

문제: 전수 비교(Brute Force) 벡터 5만 개를 하나하나 비교하니 30초 걸린다. 실제 FAB에는 문서 38,000+ 페이지 = 벡터 수십만 개.

---

벡터 DB가 필요한 이유

벡터 DB = 수십만~수억 개 벡터에서 밀리초 단위로 유사 벡터를 찾는 전용 데이터베이스

[전수 비교]
Query → O(n) 비교 → 결과
50만 벡터 × 1536차원 = 수십 초

[벡터 DB (HNSW 인덱스)]
Query → O(log n) 탐색 → 결과
50만 벡터 × 1536차원 = 수십 밀리초

성능 차이: ~1000배

제조 현장에서 3초 기다리는 건 불가능하다. 설비가 멈춰 있는데 답변이 느리면 그냥 매뉴얼을 뒤진다.

▲ 고정 크기 vs 의미 기반 vs 재귀적 청킹 전략 비교

오늘은 벡터 DB 두 가지(Chroma, Pinecone)를 배우고 직접 구축한다.