영상 핵심 정리 — RAG 성능 평가 지표

RAGAS 5대 지표

지표	평가 대상	점수 낮으면 의심할 것
Faithfulness	생성 단계	LLM 환각
Answer Relevancy	생성 단계	프롬프트 설계 불량
Context Precision	검색 단계	관련 없는 청크
Context Recall	검색 단계	정답 근거 누락
Answer Correctness	종합	위 4개 점검

계산 원리

Faithfulness = 컨텍스트로 설명 가능한 주장 수 / 답변 전체 주장 수

Answer Relevancy = 답변에서 역으로 만든 질문 k개가
                  원본 질문과 얼마나 유사한가 (임베딩 코사인 평균)

Context Recall = 정답 문장이 컨텍스트에서 근거를 찾을 수 있는 비율

평가 코드

from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_recall
from datasets import Dataset

data = {
    'question': ['3호기 베어링 교체 주기는?'],
    'answer':   ['3000시간마다 교체합니다'],
    'contexts': [['베어링 교체 주기는 3000시간입니다...']],
    'ground_truth': ['교체 주기는 3000시간']
}
result = evaluate(Dataset.from_dict(data),
    metrics=[faithfulness, answer_relevancy, context_recall])
print(result)

개선 로드맵

Context Recall ↓ → 청크 크기 줄이기 / 오버랩 늘리기
Context Precision ↓ → 하이브리드 검색 + Reranker
Faithfulness ↓ → 시스템 프롬프트 '컨텍스트만 참조' 강제
Answer Relevancy ↓ → 질문 리라이팅 (HyDE)

함정 주의: RAGAS는 LLM(기본 GPT-4)을 판사로 사용 — 평가 비용 발생. 샘플 50~100으로 먼저 실험.

다음 task와의 연결

'주간 프로젝트: 기술문서 RAG'에서 실제 문서로 RAG 파이프라인을 구축하고 RAGAS로 측정한다.

제조 설비 고장 진단 RAG 시스템에서 생성된 답변 3개의 RAG 평가 지표를 계산해줘. Faithfulness(생성 답변이 검색 컨텍스트에 근거하는 비율)가 낮은 환각 답변 예시, Context Recall이 낮아 필요한 정보가 검색되지 않은 사례, Answer Relevancy가 낮아 질문과 동떨어진 답변 사례를 각각 만들고 개선 방법도 제안해줘.