영상 핵심 정리 — RAGAS로 RAG 성능 평가

RAGAS 탄생 배경

기존 RAG 평가는 인간 레이블러가 정답을 일일이 작성. RAGAS는 LLM 자체를 심사위원으로 활용해 레이블 없이 RAG 품질을 정량화.

평가 데이터셋 자동 생성

from ragas.testset.generator import TestsetGenerator
from ragas.testset.evolutions import simple, reasoning, multi_context

generator = TestsetGenerator.with_openai()
testset = generator.generate_with_langchain_docs(
    docs, test_size=50,
    distributions={simple: 0.5, reasoning: 0.3, multi_context: 0.2}
)
df = testset.to_pandas()

전체 평가 루프

from ragas import evaluate
from ragas.metrics import (faithfulness, answer_relevancy,
                            context_precision, context_recall)
from datasets import Dataset

results = []
for row in df.itertuples():
    answer = rag_chain.invoke(row.question)
    contexts = retriever.get_relevant_documents(row.question)
    results.append({
        'question': row.question, 'answer': answer,
        'contexts': [c.page_content for c in contexts],
        'ground_truth': row.ground_truth
    })

ragas_result = evaluate(
    Dataset.from_list(results),
    metrics=[faithfulness, answer_relevancy,
             context_precision, context_recall]
)

진단 매트릭스

증상	Context Precision	Context Recall	Faithfulness	처방
엉뚱한 문서 검색	↓	→	→	Reranker 추가
정답 근거 누락	→	↓	→	청크 오버랩↑
LLM 환각	→	→	↓	온도↓·프롬프트 강화

함정 주의: RAGAS 기본은 GPT-4 Turbo 판사 모델. gpt-4o-mini로 교체 가능하지만 Faithfulness 5~10% 낮게 나옴 — 모델 고정해서 비교.

다음 task와의 연결

'RAGAS 5대 지표 실습'에서 Week 2 RAG 프로젝트 결과에 적용하고 개선 전·후 비교 표를 완성한다.

RAGAS로 제조 설비 매뉴얼 RAG 시스템을 평가할 때 발생할 수 있는 신뢰성 문제를 찾아줘. LLM 판사가 제조 전문 용어를 잘못 판단하는 경우, testset_generator가 Simple/Reasoning/Multi-context 질문 중 특정 유형에서 품질이 낮은 경우, '질문 → RAG → 답변+컨텍스트 수집 → ragas.evaluate()' 평가 루프에서 점수가 실제 사용자 만족도와 다를 수 있는 시나리오를 3가지 만들어줘.