결측과 이상치 — 지우기 전에

초보적 처리는 "결측은 채우고 이상치는 지운다"입니다. 제조에서는 둘 다 위험합니다.

결측은 왜 생겼는가

유형	예	처리
무작위 결측	네트워크 순간 끊김	보간(선형·전방채움) 가능
조건부 결측	설비 정지 중 미수집	정지 구간으로 표시 — 채우면 안 됨
체계적 결측	센서 고장 후 계속 없음	해당 기간 제외, 원인 기록

설비 정지 중 데이터를 앞 값으로 채우면 모델은 "멈춘 설비가 정상 운전 중"이라고 배웁니다. 이런 데이터로 학습한 이상탐지는 실제 정지를 정상으로 판정합니다.

이상치가 진짜 이상일 수 있다

이상치 제거는 고장 신호를 지우는 일이 될 수 있습니다.

• 예지보전에서 우리가 찾는 것이 바로 그 이상치입니다
• 통계적 이상치 제거(3σ 밖 삭제)를 무심코 적용하면 학습 데이터에서 고장이 사라집니다

대신 이렇게 합니다.

1. 이상치를 표시(flag) 하되 삭제하지 않는다
2. 물리적으로 불가능한 값(음수 압력, 1000℃ 상온)만 계측 오류로 분리
3. 나머지는 도메인 전문가와 함께 "이게 고장인가 노이즈인가" 판단

원칙

데이터 정제의 목적은 깨끗한 데이터가 아니라 현실을 정확히 반영한 데이터입니다.