"그럴듯한 거짓말"을 막는 법

LLM은 모르는 것도 자신 있게 답합니다. 제조 현장에서 이건 위험합니다. 잘못된 정비 지침을 따라 설비를 손상시킬 수 있으니까요.

억제 장치 1 — 근거 강제

답변에 사용한 트리플과 출처 문서를 반드시 함께 내보내게 합니다.

답변: 베어링 파손의 원인은 윤활유 부족으로 기록되어 있습니다. 근거: 베어링외륜손상 ─CAUSED_BY→ 윤활유부족 출처: 2월 정비일지 3페이지

근거를 붙이라고 하면 모델은 없는 사실을 만들기 어려워집니다. 붙일 트리플이 없으니까요.

억제 장치 2 — 모른다고 답할 자유

프롬프트에서 명시합니다.

"그래프에 근거가 없으면 '기록에서 확인되지 않습니다'라고 답하라. 추측하지 마라."

이 한 줄이 신뢰도를 크게 올립니다. "모른다"고 답하는 시스템이 신뢰받습니다.

억제 장치 3 — 검색 범위 제한

답변 생성 시 그래프에서 가져온 정보만 쓰게 하고, 모델의 일반 지식은 배제합니다. "베어링은 보통 3개월마다 교체합니다" 같은 일반론이 우리 현장 사실처럼 섞이는 걸 막습니다.

사용자에게 보여줄 것

요소	왜
답변 본문
근거 트리플	어떤 관계로 도출됐는지
출처 문서·위치	원문 확인 경로
확신도 또는 경고	근거가 약하면 표시

현장 담당자가 원문을 열어 확인할 수 있어야 시스템을 믿습니다. "AI가 그렇대"로는 아무도 설비를 만지지 않습니다.