영상 핵심 정리 — 한글 BM25 + FAISS 하이브리드

한국어 BM25의 함정

한국어는 교착어라 동일 개념이 다양한 형태로 표현된다. 형태소 분석 없이 BM25 적용하면 '베어링의'와 '베어링을'을 다른 단어로 취급해 재현율 급락.

# 나쁨
tokenize = str.split

# 권장 (kiwipiepy)
from kiwipiepy import Kiwi
kiwi = Kiwi()
def ko_tokenize(text):
    return [t.form for t in kiwi.tokenize(text)
            if t.tag not in ('JX','JC','EP','EF')]

from rank_bm25 import BM25Okapi
bm25 = BM25Okapi([ko_tokenize(d) for d in corpus])

FAISS 인덱스 선택

인덱스	방식	벡터 수	정확도	속도
IndexFlatL2	전수 탐색	~100만	100%	느림
IndexIVFFlat	클러스터 분할	1억+	~97%	빠름
IndexHNSWFlat	그래프 탐색	수천만	~99%	매우 빠름

import faiss, numpy as np
dim = 768
quantizer = faiss.IndexFlatL2(dim)
index = faiss.IndexIVFFlat(quantizer, dim, nlist=100)
index.train(np.array(embeddings, dtype='float32'))
index.add(np.array(embeddings, dtype='float32'))

RRF 점수 합산

BM25 순위:  베어링 → 1위, 모터 → 3위
벡터 순위:  베어링 → 2위, 모터 → 1위

RRF(베어링) = 1/(60+1) + 1/(60+2) = 0.0328
RRF(모터)   = 1/(60+3) + 1/(60+1) = 0.0327
→ 베어링 1위

함정 주의: FAISS는 메타데이터 필터링 기능 없음. '3호기 관련 문서만 검색' 필요하면 Qdrant/Chroma로 전환.

다음 task와의 연결

'텍스트 + 이미지 통합 RAG 패턴'에서 오늘 파이프라인에 이미지 임베딩(CLIP/GPT-4o Vision)을 추가한다.

한국어 제조 설비 매뉴얼 검색 시스템을 위한 하이브리드 검색 파이프라인을 Python으로 구현해줘. Kiwi 형태소 분석기로 조사·어미를 제거해 BM25 토크나이징하고, FAISS IndexIVFFlat으로 1억 벡터를 100ms 내 검색하는 코드를 작성해줘. RRF 공식(score = Σ 1/(k + rank_i), k=60)으로 두 검색 결과를 결합하는 방법도 포함해줘.