Hybrid Search 성능 튜닝

Alpha 파라미터란?

alpha는 BM25(키워드)와 Semantic(의미) 검색의 가중치 비율이다.

hybrid_score = alpha * semantic_score + (1 - alpha) * bm25_score

alpha = 1.0  → 완전 Semantic
alpha = 0.0  → 완전 BM25
alpha = 0.5  → 균등 혼합

---

제조 쿼리 유형별 최적 alpha

쿼리 유형	예시	최적 alpha	이유
에러 코드	E-4521, W-1105	0.2	코드 정확 매칭 필요
규격/표준	ISO 9001, KS B 1234	0.25	표준 번호 정확 매칭
증상 설명	진동이 심하고 온도 상승	0.8	의미 기반 검색 효과
절차 질의	금형 교체 방법	0.7	개념적 유사성 중요
부품 조회	베어링 7210C	0.4	이름+의미 혼합

---

RRF vs Score Fusion

Score Fusion: 점수를 직접 합산

# 점수 정규화 후 가중 합산
bm25_norm = normalize(bm25_scores)  # 0~1
semantic_norm = normalize(semantic_scores)  # 0~1
final = alpha * semantic_norm + (1 - alpha) * bm25_norm

RRF (Reciprocal Rank Fusion): 순위 기반 합산

# 순위의 역수로 합산 (k=60이 표준)
def rrf_score(rank, k=60):
    return 1 / (k + rank)

final = rrf_score(bm25_rank) + rrf_score(semantic_rank)

비교	Score Fusion	RRF
장점	alpha로 세밀 조절	파라미터 불필요
단점	정규화 필수, alpha 튜닝	점수 차이 반영 약함
적합	쿼리 유형 예측 가능	다양한 쿼리 처리

---

A/B 테스트로 alpha 최적화

def evaluate_alpha(alpha, test_queries, ground_truth):
    hits = 0
    for query, relevant_docs in zip(test_queries, ground_truth):
        results = hybrid_search(query, alpha=alpha, top_k=5)
        if any(doc in results for doc in relevant_docs):
            hits += 1
    return hits / len(test_queries)

# 0.0 ~ 1.0 범위에서 최적 alpha 탐색
best_alpha = max(
    ((alpha, evaluate_alpha(alpha, test_q, gt))
     for alpha in [i/10 for i in range(11)]),
    key=lambda x: x[1]
)[0]
print(f"최적 alpha: {best_alpha}")

실무 팁: 제조 현장은 에러 코드/규격 번호 쿼리가 많으므로 alpha=0.3~0.4가 일반적으로 좋은 출발점이다.