10분
RAGAS 평가 파이프라인 구현
Day 3: RAGAS 평가
RAGAS 평가 파이프라인 구현
RAG 심화 > Day 3: RAGAS 평가
학습 목표
- RAGAS 라이브러리로 RAG 시스템을 평가할 수 있다
- 평가 데이터셋을 구축할 수 있다
- 제조 특화 메트릭을 추가할 수 있다
- 평가 결과를 해석하고 개선 방향을 도출할 수 있다
RAGAS 평가 파이프라인 구현
RAG 시스템을 RAGAS로 자동 평가하는 파이프라인을 만들자. 또한 제조 현장에 필요한 커스텀 메트릭도 추가한다.
목표
- 평가 데이터셋 구축 (질문, 정답, 컨텍스트)
- RAGAS 4대 메트릭 평가
- 제조 특화 메트릭 추가 (안전 점수, 수치 정확도)
- 평가 결과 분석 및 리포트 생성
아래 스타터 코드를 완성하세요.
에디터 로딩 중...
힌트 보기
- • RAGAS 0.1.x Dataset은 question, answer, contexts, ground_truth 키를 씁니다 (0.2 이상에서는 이름이 다릅니다)
- • contexts는 리스트 형태여야 합니다 (문자열 하나도 리스트로 감싸기)
- • context_precision·context_recall은 정답 기반입니다. 정답 없는 샘플을 섞지 말고, 정답이 없으면 context_utilization을 쓰세요
- • 안전 점수는 규칙 기반으로 간단하게 구현할 수 있습니다 (키워드 체크)
- • 수치 정확도는 정규표현식으로 숫자를 추출하여 비교합니다
정답 보기
에디터 로딩 중...
AI로 학습하기 — 꿀팁
RAG 답변을 스스로 평가하기AI 학습 팁
답변이 검색된 근거에 충실한지(faithfulness), 질문과 관련 있는지 직접 확인하세요. 근거 없이 지어낸 부분이 있으면 검색이나 프롬프트를 손봐야 합니다.
이 팁이 도움이 됐나요?
실습 — 직접 해보기
RAG Pipeline - 평가·튜닝 탭
평가·튜닝 탭에서 hit rate·MRR 이 검색 설정에 따라 실제로 움직이는 것을 본 뒤, 같은 개념을 RAGAS 의 Context Recall·Precision 으로 옮겨 생각하세요.