판정과 해석

수질 측정 결과를 받아들면 해야 할 일이 둘입니다. 하나는 이 값이 기준을 넘었는지 가리는 일이고, 다른 하나는 그래서 이 관정이 어떤 상태인지 사람이 읽을 문장으로 옮기는 일입니다.

앞엣것은 규칙입니다. 총석유계탄화수소가 1리터당 500마이크로그램을 넘으면 유류 오염 의심입니다. 예외도 해석도 없고 누가 계산해도 같은 답이 나옵니다. 뒤엣것은 해석입니다. 몇 달치 흐름을 함께 보고 "지속적인 유류 오염 진행이 의심되어 정밀 조사가 필요합니다" 같은 문장을 만드는 일입니다. 여기에는 판단이 들어가고 표현을 고르는 일도 들어갑니다.

앞은 사람이 정하고 뒤는 AI가 합니다. 이 선을 지키는 것이 오늘 배우는 것 중 가장 오래 쓸 습관입니다.

판정을 AI에게 맡길 때

AI에게 데이터를 통째로 주고 "이 관정이 오염됐는지 판단해줘"라고 하면 답이 나옵니다. 그럴듯하고 대체로 맞습니다. 문제는 두 가지입니다.

같은 데이터를 내일 다시 물으면 다른 답이 나올 수 있습니다. 온도라는 설정을 0으로 낮춰도 완전히 같아지지는 않고, 모델이 갱신되면 또 달라집니다. 분기마다 같은 기준으로 판정해야 하는 업무에서 이것은 치명적입니다. 그리고 더 큰 문제는 근거입니다. 상급자가 "이 관정을 왜 오염 의심으로 분류했느냐"고 물었을 때 "AI가 그렇게 말했습니다"라고 답할 수는 없습니다. 감사에서도 마찬가지입니다.

기준이 코드와 문서에 적혀 있으면 다릅니다. 누가 물어도 근거를 댈 수 있고, 기준이 바뀌면 그 자리만 고치면 되고, 결과가 늘 같습니다. 마지막 성질은 실무에서 생각보다 큰 값입니다. 지난 분기 결과와 이번 분기 결과를 나란히 놓고 비교할 수 있기 때문입니다.

AI가 하는 일

AI는 규칙이 하지 못하는 일을 합니다. 여러 항목을 한꺼번에 읽고 그 사이의 관계를 말로 옮기는 일입니다.

용존산소가 떨어지고, 산화환원전위가 음수로 돌아서고, 전기전도도가 오르는 것은 각각 규칙으로 잡을 수 있습니다. 그런데 이 셋이 함께 나타날 때 "혐기 환경으로 바뀌면서 오염이 진행 중"이라고 한 문장으로 적는 일은 규칙으로 만들기 어렵습니다. 조건이 조합될 때마다 새 규칙을 써야 하고, 그렇게 만든 문장은 읽으면 기계가 쓴 티가 납니다. 이 자리가 AI의 자리입니다.

역할을 이렇게 나누면 AI에게 보내는 요청문도 달라집니다. "판단해줘"가 아니라 "이 기준으로 이미 판정한 결과가 있으니, 이 관정의 상태를 행정 문서 어조로 예순 자 이내 한 문장으로 요약해줘"가 됩니다. 역할을 주고, 기준을 함께 넘기고, 출력 형식과 길이를 지정합니다. 셋 중 마지막을 빼면 서너 문단이 돌아와 표에 넣을 수 없습니다.

기준을 함께 넘기는 이유는 AI에게 판정을 시키려는 것이 아니라 같은 잣대로 문장을 쓰게 하려는 것입니다. 기준을 모르는 채로 요약하면 화면의 판정과 어긋나는 설명이 나옵니다. 화면에는 주의라고 적혀 있는데 문장은 "양호한 상태"라고 하면 도구를 믿을 수 없게 됩니다.

폴백

AI 호출은 실패합니다. 키를 넣지 않았거나, 분당 요청 한도를 넘었거나, 응답이 늦거나, 네트워크가 막혀 있습니다. 스물네 명이 동시에 같은 키로 호출하면 한도에 걸리는 일이 실제로 자주 생깁니다.

그때 화면이 멈추면 안 됩니다. 미리 정해둔 규칙 기반 문장으로 조용히 바꿔치기하고 계속 돌아가야 합니다. "AI 해석은 못 받았지만 판정은 나왔다"가 "아무것도 안 나왔다"보다 훨씬 낫습니다. 판정은 규칙이 하는 일이라 AI와 무관하게 이미 끝나 있기도 합니다.

이것을 PRD 4번에 적어두는 이유가 그것입니다. 만들고 나서 생각하면 이미 늦습니다. 정작 폴백이 필요한 순간은 사람들 앞에서 시연할 때입니다.