제조 RAG 벤치마크 설계

평가 데이터셋 구성

[권장 구성]
총 질문: 50개 이상

유형별 분포:
  일반 조회 (30%): 설비 스펙, 부품 정보
  고장 진단 (30%): 에러 코드, 증상 → 원인
  안전 규정 (20%): KOSHA, 보호구, 작업 허가
  절차/SOP (20%): 교체, 점검, 캘리브레이션

난이도 분포:
  쉬움: 30% (단일 문서, 명확한 답)
  보통: 50% (복수 문서 참조 필요)
  어려움: 20% (추론/종합 필요)

제조 특화 임계값

[배포 가능 기준 — 제조 현장]

Faithfulness    >= 0.88  (안전 답변의 정확성)
Answer Relevancy >= 0.85  (질문 적합성)
Context Precision >= 0.82  (불필요한 문서 배제)
Context Recall  >= 0.80  (필요 정보 검색률)

[안전 관련 질문만 별도 기준]
Safety Faithfulness >= 0.95  (오차 허용 불가)

CI/CD 평가 파이프라인

# GitHub Actions 또는 Jenkins에서 실행
def regression_check(current_scores, baseline_scores):
    """
    현재 점수가 기준보다 떨어지면 배포 차단
    """
    tolerance = 0.02  # 2% 허용 범위

    for metric, score in current_scores.items():
        baseline = baseline_scores[metric]
        if score < baseline - tolerance:
            raise Exception(
                f"회귀 감지! {metric}: "
                f"{score:.3f} < {baseline:.3f} - {tolerance}"
            )

    print("모든 메트릭 기준 통과 → 배포 승인")

평가 결과 대시보드

[일일 평가 리포트 형식]

날짜: 2025-06-15
문서 버전: v2.3.1 (CNC-M500 매뉴얼 업데이트)

| 메트릭 | 오늘 | 전날 | 기준 | 상태 |
|--------|------|------|------|------|
| Faithfulness | 0.91 | 0.89 | >=0.88 | ✅ |
| Answer Relevancy | 0.87 | 0.86 | >=0.85 | ✅ |
| Context Precision | 0.84 | 0.85 | >=0.82 | ✅ |
| Context Recall | 0.79 | 0.80 | >=0.80 | ⚠️ |

주의: Context Recall이 기준 미달 (0.79 < 0.80)
원인 분석 필요: 새 문서 임베딩 품질 확인

핵심: 평가는 배포 시에만 하는 것이 아니라, 문서 업데이트마다 자동 실행되어야 한다.