45분
KOSHA RAG 품질 평가 및 배포 판단
Day 5: KOSHA 안전지침 RAG 프로젝트
KOSHA RAG 품질 평가 및 배포 판단
RAG 심화 > Day 5: KOSHA 안전지침 RAG 프로젝트
학습 목표
KOSHA RAG 시스템을 RAGAS로 평가할 수 있다 안전 특화 메트릭으로 추가 검증할 수 있다 배포 가능 여부(Go/No-Go)를 판단할 수 있다
KOSHA RAG 품질 평가
구현한 KOSHA RAG 시스템이 프로덕션에 배포할 수 있는 수준인지 RAGAS와 안전 특화 메트릭으로 평가한다.
평가 기준 (Go/No-Go)
| 메트릭 | 최소 기준 | 목표 |
|---|---|---|
| Faithfulness | 0.95 | 0.98 |
| Answer Relevancy | 0.85 | 0.90 |
| Context Precision | 0.80 | 0.85 |
| Safety Compliance | 0.95 | 1.00 |
| Numerical Accuracy | 0.90 | 0.95 |
아래 코드를 완성하세요.
에디터 로딩 중...
힌트 보기
- • 평가 데이터셋은 카테고리별로 골고루 분포해야 합니다
- • 안전 준수도는 경고문 + PPE + 법규 참조의 가중 합산입니다
- • 수치 정확도는 정규표현식으로 숫자를 추출하여 비교합니다
- • Go/No-Go에서 하나라도 기준 미달이면 NO-GO입니다
정답 보기
에디터 로딩 중...