8분
KOSHA RAG 품질 평가 및 배포 판단
Day 5: KOSHA 안전지침 RAG 프로젝트
KOSHA RAG 품질 평가 및 배포 판단
RAG 심화 > Day 5: KOSHA 안전지침 RAG 프로젝트
학습 목표
- KOSHA RAG 시스템을 RAGAS로 평가할 수 있다
- 안전 특화 메트릭으로 추가 검증할 수 있다
- 표본 부족과 미측정을 성능 미달과 구분하여 배포 여부(GO/NO-GO/판정 보류)를 판단할 수 있다
KOSHA RAG 품질 평가
구현한 KOSHA RAG 시스템이 프로덕션에 배포할 수 있는 수준인지 RAGAS와 안전 특화 메트릭으로 평가한다.
평가 기준 (Go/No-Go)
| 메트릭 | 최소 기준 | 목표 |
|---|---|---|
| Faithfulness | 0.95 | 0.98 |
| Answer Relevancy | 0.85 | 0.90 |
| Context Precision | 0.80 | 0.85 |
| Safety Compliance | 0.95 | 1.00 |
| Numerical Accuracy | 0.90 | 0.95 |
판정기가 지켜야 할 세 가지
이 과제의 어려움은 지표를 계산하는 것이 아니라 거짓 합격과 거짓 불합격을 막는 것이다.
- 못 잰 것을 0 으로 읽지 않는다. 계산하지 않은 지표를
metrics.get(name, 0)으로 꺼내면 무슨 입력을 넣어도 결과가 NO-GO 다. 판정기가 아니라 상수가 된다. - 잴 대상이 없을 때 만점을 주지 않는다. 안전 질문을 하나도 넣지 않았는데 안전 준수도가 1.0 이면 배포 게이트가 무력해진다.
- 시스템이 붙인 문구로 시스템을 채점하지 않는다. Day 5 의 RAG 는 검증에
실패하면 답변 끝에 경고문과 보호구 목록을 자동으로 붙인다. 그 낱말로 안전
점수를 매기면 회로가 닫힌다. 보강 전 답변(
answer_raw)으로 채점한다.
아래 코드를 완성하세요.
에디터 로딩 중...
힌트 보기
- • 평가 데이터셋은 카테고리별로 골고루 분포해야 하고, 주석에 적은 개수와 실제 항목 수가 같아야 합니다
- • Day 3 에서 최소 30개라고 배웠습니다. 판정기가 그 수를 직접 강제하게 만드세요
- • 안전 준수도는 경고문 + PPE + 법규 인용의 가중 합산입니다. '조' 한 글자로 법규를 세면 '조치'·'조립'도 걸립니다
- • 수치 정확도는 recall 만 쓰면 숫자를 전부 나열한 답변이 만점을 받습니다. precision 과 함께 F1 로 계산하세요
- • 지표 값이 None(미측정)인 것과 0.0(측정했는데 낮음)은 다른 사건입니다. 판정에서 구분하세요
정답 보기
에디터 로딩 중...
AI로 학습하기 — 꿀팁
KOSHA RAG 안전 메트릭 검증AI 학습 팁
AI에게 RAGAS 기본 지표 외 안전 특화 메트릭(치명 오정보율·지침 누락률) 구현을 리뷰받아 산업안전 기준에서 허용할 수 없는 오류 유형이 빠졌는지 확인하세요.
KOSHA RAG 시스템의 안전 특화 평가 코드를 리뷰해줘. RAGAS 지표 외에 지침 오인용(틀린 지침 번호 참조), 치명 위험 정보 누락, 개정 전 지침 반환 등 산업안전 기준에서 허용 불가한 오류를 탐지하는 메트릭이 빠져 있으면 구현 방법을 제안해줘.
이 팁이 도움이 됐나요?