Hybrid Search 성능 튜닝

Alpha 파라미터란?

alpha는 BM25(키워드)와 Semantic(의미) 검색의 가중치 비율이다.

hybrid_score = alpha * semantic_score + (1 - alpha) * bm25_score

alpha = 1.0  → 완전 Semantic
alpha = 0.0  → 완전 BM25
alpha = 0.5  → 균등 혼합

제조 쿼리 유형별 최적 alpha

RRF vs Score Fusion

Score Fusion: 점수를 직접 합산

# 점수 정규화 후 가중 합산
bm25_norm = normalize(bm25_scores)  # 0~1
semantic_norm = normalize(semantic_scores)  # 0~1
final = alpha * semantic_norm + (1 - alpha) * bm25_norm

RRF (Reciprocal Rank Fusion): 순위 기반 합산

# 순위의 역수로 합산 (k=60이 표준)
def rrf_score(rank, k=60):
    return 1 / (k + rank)

final = rrf_score(bm25_rank) + rrf_score(semantic_rank)

A/B 테스트로 alpha 최적화

def evaluate_alpha(alpha, test_queries, ground_truth):
    hits = 0
    for query, relevant_docs in zip(test_queries, ground_truth):
        results = hybrid_search(query, alpha=alpha, top_k=5)
        if any(doc in results for doc in relevant_docs):
            hits += 1
    return hits / len(test_queries)

# 0.0 ~ 1.0 범위에서 최적 alpha 탐색
best_alpha = max(
    ((alpha, evaluate_alpha(alpha, test_q, gt))
     for alpha in [i/10 for i in range(11)]),
    key=lambda x: x[1]
)[0]
print(f"최적 alpha: {best_alpha}")

글로 읽지 말고 슬라이더를 움직여라

위 코드를 돌리려면 평가셋과 임베딩 API 가 필요하다. 아직 없다면 연결된 rag-pipeline 시뮬레이터의 평가·튜닝 탭에서 같은 일을 할 수 있다. 질문 세트와 코퍼스가 이미 들어 있고, 노브를 움직이면 hit rate 와 MRR 이 그 자리에서 다시 계산된다. 하드코딩된 값이 아니라 실제 검색 결과에서 나온 값이다.

움직일 수 있는 것은 다섯 가지다 — 청크 크기, 오버랩, top-K, 리랭커 on/off, 하이브리드 alpha. 다음 순서로 재라.

1. alpha 를 1.0(벡터만)에서 0.0(BM25만)까지 옮기며 hit rate 를 적는다. 최고점은 어디인가.
2. 그 alpha 를 고정하고 청크 크기를 바꾼다. alpha 의 최적값이 따라 움직이는가.
3. 목표 hit rate 는 0.85 다. 기본 설정으로는 닿지 않는다. 어떤 조합에서 넘는가.

세 번째가 이 시뮬의 핵심이다. 하나의 노브만으로는 목표에 닿지 않게 설계되어 있고, 그것이 실제 튜닝의 모습이다.

실무 팁: 제조 현장은 에러 코드/규격 번호 쿼리가 많으므로 alpha=0.3~0.4가 흔히 좋은 출발점이다. 다만 이것은 출발점이지 결론이 아니다. 위 순서대로 직접 재서 정하라.