24분
센서 데이터 전처리: 이상치 & 결측치 처리
Day 2: 시계열 센서 데이터 처리
센서 데이터 전처리: 이상치 & 결측치 처리
설비 예지보전 > Day 2: 시계열 센서 데이터 처리
학습 목표
- 센서 데이터의 이상치를 탐지하고 처리할 수 있다
- 결측치 보간 전략을 상황에 맞게 선택할 수 있다
- 전처리 파이프라인을 구축할 수 있다
센서 데이터 전처리
산업 센서 데이터는 노이즈, 이상치, 결측치가 흔하다. 전처리에서 걸러지지 않은 오류는 뒤에서 어떤 모델을 써도 복구되지 않는다. 통신 오류로 찍힌 스파이크 하나가 정규화 범위를 통째로 밀어 정상 데이터를 좁은 구간에 몰아넣는 일이 실제로 자주 일어난다.
이상치 원인
[센서 이상치 발생 원인]
1. 센서 오작동 (전원 불안정, 접촉 불량)
2. 통신 에러 (패킷 손실, 프로토콜 오류)
3. 환경 변화 (급격한 온도 변화)
4. 실제 이상 (이건 제거하면 안 됨!)핵심 구분
| 유형 | 처리 | 예시 |
|---|---|---|
| 센서 노이즈 | 제거/보간 | 순간 스파이크 |
| 실제 이상 | 보존 | 열화에 의한 점진적 변화 |
아래 코드를 preprocessing.py로 저장하고 실행하세요.
에디터 로딩 중...
힌트 보기
- • 시계열 이상치는 Rolling Window 방식이 가장 적합하다
- • IQR이나 Z-Score는 정적 분포를 가정하므로 추세가 있으면 오탐이 많다
- • 실제 이상(열화 신호)을 제거하지 않도록 주의한다
- • 결측 구간이 길면 보간보다 해당 구간 제거가 안전하다
AI로 학습하기 — 꿀팁
이상치 처리 로직 반례 탐지AI 학습 팁
AI에게 센서 이상치 처리 코드에서 정상 고장 신호를 이상치로 잘못 제거하는 오탐(False Positive) 시나리오를 찾아달라고 요청하세요.
이 제조 센서 데이터 이상치 처리 코드(IQR·Z-score 방식)에서, 설비가 실제로 고장 직전에 발생하는 비정상 센서 스파이크를 이상치로 잘못 제거하는 케이스를 찾고, 이를 보호하기 위한 RUL 기반 조건부 필터링을 제안해줘.
이 팁이 도움이 됐나요?
실습 — 직접 해보기
제조 데이터 파이프라인
수집에서 적재까지 단계가 어떻게 이어지는지 보는 용도입니다. 실제 데이터가 흐르지 않고 단계마다 정한 규칙으로 계산해 보여주는 것이라, 화면의 처리량과 지연은 가정한 값입니다. 오늘 다루는 이상치·결측치 처리가 이 그림의 어느 단계에 들어가는지만 짚으세요.