🏆60분
제조 RAG 시스템 품질 평가 파이프라인
Day 3: RAGAS 평가
제조 RAG 시스템 품질 평가 파이프라인
RAG 심화 > Day 3: RAGAS 평가
요구사항
최소 30개의 평가 질문 세트를 구축할 것 (general/safety/specification)
RAGAS 4대 메트릭으로 RAG 시스템을 평가할 것
제조 특화 메트릭(안전 점수, 수치 정확도)을 추가할 것
평가 리포트를 자동 생성할 것
배포 가능 여부(Go/No-Go)를 자동 판단하는 로직을 구현할 것
평가 기준
- • 평가 데이터셋의 다양성과 품질
- • RAGAS 메트릭 구현의 정확성
- • 제조 특화 메트릭의 적합성
- • 리포트의 가독성과 실용성
- • Go/No-Go 판단 로직의 합리성
보너스
- • A/B 테스트 평가기 구현
- • 낮은 점수 샘플 자동 분석 기능
- • 시간 경과에 따른 품질 추이 추적
- • CI/CD 파이프라인에 평가 단계 통합