90분
RAGAS 평가 파이프라인 구현
Day 3: RAGAS 평가
RAGAS 평가 파이프라인 구현
RAG 심화 > Day 3: RAGAS 평가
학습 목표
RAGAS 라이브러리로 RAG 시스템을 평가할 수 있다 평가 데이터셋을 구축할 수 있다 제조 특화 메트릭을 추가할 수 있다 평가 결과를 해석하고 개선 방향을 도출할 수 있다
RAGAS 평가 파이프라인 구현
RAG 시스템을 RAGAS로 자동 평가하는 파이프라인을 만들자. 또한 제조 현장에 필요한 커스텀 메트릭도 추가한다.
목표
- 평가 데이터셋 구축 (질문, 정답, 컨텍스트)
- RAGAS 4대 메트릭 평가
- 제조 특화 메트릭 추가 (안전 점수, 수치 정확도)
- 평가 결과 분석 및 리포트 생성
아래 스타터 코드를 완성하세요.
에디터 로딩 중...
힌트 보기
- • RAGAS Dataset은 question, answer, contexts, ground_truth 키를 필요로 합니다
- • contexts는 리스트 형태여야 합니다 (문자열 하나도 리스트로 감싸기)
- • 안전 점수는 규칙 기반으로 간단하게 구현할 수 있습니다 (키워드 체크)
- • 수치 정확도는 정규표현식으로 숫자를 추출하여 비교합니다
정답 보기
에디터 로딩 중...