45분
KOSHA RAG 품질 평가 및 배포 판단
Day 5: KOSHA 안전지침 RAG 프로젝트
KOSHA RAG 품질 평가 및 배포 판단
RAG 심화 > Day 5: KOSHA 안전지침 RAG 프로젝트
학습 목표
KOSHA RAG 시스템을 RAGAS로 평가할 수 있다 안전 특화 메트릭으로 추가 검증할 수 있다 배포 가능 여부(Go/No-Go)를 판단할 수 있다
KOSHA RAG 품질 평가
구현한 KOSHA RAG 시스템이 프로덕션에 배포할 수 있는 수준인지 RAGAS와 안전 특화 메트릭으로 평가한다.
평가 기준 (Go/No-Go)
| 메트릭 | 최소 기준 | 목표 |
|---|---|---|
| Faithfulness | 0.95 | 0.98 |
| Answer Relevancy | 0.85 | 0.90 |
| Context Precision | 0.80 | 0.85 |
| Safety Compliance | 0.95 | 1.00 |
| Numerical Accuracy | 0.90 | 0.95 |
아래 코드를 완성하세요.
에디터 로딩 중...
힌트 보기
- • 평가 데이터셋은 카테고리별로 골고루 분포해야 합니다
- • 안전 준수도는 경고문 + PPE + 법규 참조의 가중 합산입니다
- • 수치 정확도는 정규표현식으로 숫자를 추출하여 비교합니다
- • Go/No-Go에서 하나라도 기준 미달이면 NO-GO입니다
정답 보기
에디터 로딩 중...
AI로 학습하기 — 꿀팁
✅KOSHA RAG 안전 메트릭 검증AI 학습 팁
AI에게 RAGAS 기본 지표 외 안전 특화 메트릭(치명 오정보율·지침 누락률) 구현을 리뷰받아 산업안전 기준에서 허용할 수 없는 오류 유형이 빠졌는지 확인하세요.
KOSHA RAG 시스템의 안전 특화 평가 코드를 리뷰해줘. RAGAS 지표 외에 지침 오인용(틀린 지침 번호 참조), 치명 위험 정보 누락, 개정 전 지침 반환 등 산업안전 기준에서 허용 불가한 오류를 탐지하는 메트릭이 빠져 있으면 구현 방법을 제안해줘.
이 팁이 도움이 됐나요?