영상 핵심 정리 — 한글 BM25 + FAISS 하이브리드

한국어 BM25의 함정

한국어는 교착어라 동일 개념이 다양한 형태로 표현된다. 형태소 분석 없이 BM25 적용하면 '베어링의'와 '베어링을'을 다른 단어로 취급해 재현율 급락.

# 나쁨
tokenize = str.split

# 권장 (kiwipiepy) — pip install kiwipiepy
from kiwipiepy import Kiwi
kiwi = Kiwi()

# 뺄 태그를 나열하지 말고 남길 내용어 태그를 나열한다.
# 뺄 것을 적으면 목록에서 빠뜨린 조사가 그대로 코퍼스에 남는다.
# 예를 들어 보조사 JX 와 접속조사 JC 만 빼면 격조사 '의'(JKG)와
# '을'(JKO)이 살아남아, 없애려던 바로 그 조사가 토큰이 된다.
CONTENT_TAGS = ('NNG','NNP','NNB','NR','SL','SN','SH','VV','VA','MAG','XR')

def ko_tokenize(text):
    return [t.form for t in kiwi.tokenize(text) if t.tag in CONTENT_TAGS]

from rank_bm25 import BM25Okapi
bm25 = BM25Okapi([ko_tokenize(d) for d in corpus])

이 함수는 Day 2 의 해답 코드가 그대로 쓴다. 거기에서 공백 분리와 나란히 놓고 BM25 점수가 실제로 어떻게 달라지는지 직접 재 본다.

FAISS 인덱스 선택

메모리를 빼고 말하면 안 된다. IVFPQ 를 뺀 앞의 셋은 이름 그대로 원본 벡터를 압축 없이 들고 있다. 768차원 float32 벡터 1억 개면 768 × 4바이트 × 1억 = 약 307GB 다. 한 대에 올라가지 않는다. 1억 규모는 IVFPQ·OPQ 같은 압축 인덱스나 샤딩이 전제이고, 그 말을 빼면 「IVFFlat 쓰면 1억까지 된다」는 잘못된 판단으로 이어진다.

재현율은 파라미터가 정한다. IVFFlat 은 몇 개 클러스터를 열어 볼지(nprobe), HNSW 는 탐색 폭(efSearch)이 재현율을 정한다. 이 값을 적지 않고 「정확도 97%」라고 쓰는 것은 의미가 없다. nprobe 를 올리면 재현율이 오르고 속도가 떨어진다 — 그 교환이 근사 최근접 탐색의 전부다.

import faiss, numpy as np
dim = 768
quantizer = faiss.IndexFlatL2(dim)
index = faiss.IndexIVFFlat(quantizer, dim, nlist=100)
index.train(np.array(embeddings, dtype='float32'))
index.add(np.array(embeddings, dtype='float32'))

RRF 점수 합산

BM25 순위:  베어링 → 1위, 모터 → 3위
벡터 순위:  베어링 → 2위, 모터 → 1위

RRF(베어링) = 1/(60+1) + 1/(60+2) = 0.016393 + 0.016129 = 0.032522
RRF(모터)   = 1/(60+3) + 1/(60+1) = 0.015873 + 0.016393 = 0.032266
→ 베어링 1위 (차이 0.000256)

함정 주의: FAISS 는 메타데이터가 1급 개념이 아니다. IDSelectorArray·IDSelectorBatch 로 ID 집합 기반 필터를 걸 수는 있지만, 「3호기 관련 문서만」 같은 조건을 미리 ID 집합으로 풀어 놓아야 한다. 조건이 자주 바뀌거나 조합이 많으면 그 준비 비용이 검색 비용을 넘는다. 그래서 Qdrant/Chroma 로 간다. 「기능이 없다」가 아니라 「조건을 미리 풀어 놓아야 한다」가 정확한 이유다.

다음 task와의 연결

'멀티모달 문서 처리 전략 3가지'에서 텍스트·이미지·표를 각각 어떻게 색인할지 세 전략으로 비교한다.