🏆60분
제조 RAG 시스템 품질 평가 파이프라인
Day 3: RAGAS 평가
제조 RAG 시스템 품질 평가 파이프라인
RAG 심화 > Day 3: RAGAS 평가
요구사항
최소 30개의 평가 질문 세트를 구축할 것 (general/safety/specification)
RAGAS 4대 메트릭으로 RAG 시스템을 평가할 것
제조 특화 메트릭(안전 점수, 수치 정확도)을 추가할 것
평가 리포트를 자동 생성할 것
배포 가능 여부(Go/No-Go)를 자동 판단하는 로직을 구현할 것
평가 기준
- • 평가 데이터셋의 다양성과 품질
- • RAGAS 메트릭 구현의 정확성
- • 제조 특화 메트릭의 적합성
- • 리포트의 가독성과 실용성
- • Go/No-Go 판단 로직의 합리성
보너스
- • A/B 테스트 평가기 구현
- • 낮은 점수 샘플 자동 분석 기능
- • 시간 경과에 따른 품질 추이 추적
- • CI/CD 파이프라인에 평가 단계 통합
AI로 학습하기 — 꿀팁
🤖제조 RAG 평가 파이프라인 설계 검토AI 학습 팁
RAGAS를 제조 도메인 데이터셋에 적용할 때 발생하는 레이블 부재, 전문 용어 처리 문제를 AI와 함께 해결하세요.
제조 현장 설비 매뉴얼 RAG 시스템에 RAGAS 평가 파이프라인을 구축하려 합니다. 다음 문제를 해결해 주세요: 1) ground truth 답변 레이블이 없는 상황에서 Context Recall을 근사 측정하는 방법, 2) 'KS B ISO 4288', 'Cp/Cpk 지수' 같은 제조 전문 용어가 포함된 답변을 LLM 기반 RAGAS 평가기가 잘못 판단하는 문제의 해결책, 3) 배치 평가 시 Gemini API 비용을 줄이기 위한 샘플링 전략, 4) 지표 저하 시 원인이 검색 단계인지 생성 단계인지 자동 진단하는 방법. 각 항목에 코드 스니펫 또는 의사코드로 답해 주세요.
이 팁이 도움이 됐나요?