RAGAS 평가 이해도 점검 | RAG 심화 | AX Academy

Q1. RAGAS에서 Faithfulness이 0.67이라는 것은 무엇을 의미하는가?

A. 검색된 문서 중 67%가 관련있다B. 답변의 주장 중 67%만 컨텍스트에 의해 뒷받침되고 33%는 할루시네이션이다C. 답변이 질문과 67% 관련있다D. 정답 정보의 67%가 검색되었다

Q2. 제조 현장에서 Faithfulness 목표를 0.85 이상으로 설정하는 이유는?

A. RAGAS 공식 권장값이므로B. 0.85 이하면 시스템이 동작하지 않으므로C. 제조 현장에서 틀린 정보가 안전 사고나 품질 불량을 유발할 수 있으므로D. 임베딩 모델의 정확도가 0.85이므로

Q3. Answer Relevancy가 낮을 때 가장 효과적인 개선 방법은?

A. 임베딩 모델을 교체한다B. 청킹 사이즈를 줄인다C. LLM 프롬프트에 "질문에 직접 답변하라"는 지시를 강화한다D. BM25 가중치를 높인다

Q4. Context Precision이 높지만 Context Recall이 낮다면 어떤 문제가 있는가?

A. 검색된 문서는 관련있지만, 정답에 필요한 다른 문서가 검색되지 않았다B. 검색 속도가 느리다C. LLM이 할루시네이션을 생성한다D. 임베딩 모델의 차원이 부족하다

Q5. 평가 데이터셋을 구성할 때 최소한의 권장 질문 수는?

A. 5개B. 10개C. 30개D. 100개