실습 — 전처리 파이프라인

앞에서 데이터 품질을 점검했다면, 이제 AI가 쓸 수 있는 형태로 다듬습니다. 중요한 것은 순서와 재현성입니다.

순서가 결과를 바꾼다

단계	하는 일	왜 이 순서인가
1. 시각 정렬	타임스탬프 통일, 중복 제거	이후 모든 결합의 전제
2. 구간 분리	운전/정지/과도 구간 표시	정지 구간을 채우면 안 되므로 먼저 나눈다
3. 결측 처리	유형별로 다르게 (보간·제외·표시)	구간을 알아야 유형을 판단할 수 있다
4. 이상치 표시	삭제하지 않고 flag	고장 신호를 지우지 않기 위해
5. 특징 생성	통계 지표·구간 집계	원신호보다 학습에 유용
6. 정규화	스케일 통일	학습 세트 기준으로만 계산
7. 인코딩	범주형 → 수치	모델 입력 형태로

6번에서 흔히 나오는 실수

정규화 기준(평균·표준편차)을 전체 데이터로 계산하면 검증 데이터의 정보가 학습에 새어 들어갑니다. 그러면 검증 성능이 실제보다 좋게 나오고, 운영에 배포한 뒤에 성능이 떨어집니다.

기준은 학습 세트에서만 계산하고, 검증·운영 데이터에는 그 기준을 그대로 적용합니다.

재현성 — 노트북 한 번 돌린 것으로 끝내지 않기

전처리를 손으로 여러 번 고치다 보면 나중에 어떤 순서로 무엇을 했는지 알 수 없게 됩니다.

• 각 단계를 함수로 분리하고 순서대로 호출합니다
• 입력·출력 행 수를 단계마다 기록합니다 (어디서 몇 건이 빠졌는지)
• 정규화 기준값을 파일로 저장합니다 (운영에서 같은 값을 써야 하므로)

제출물

1. 7단계를 적용한 전처리 코드 (함수 분리)
2. 단계별 행 수 변화 표 — 어디서 얼마나 줄었는지
3. 정규화 기준값 파일과, 그것을 운영에서 어떻게 쓸지 서술
4. 같은 데이터로 두 번 돌렸을 때 결과가 동일한지 확인한 방법

4번을 확인하지 않으면 나중에 "왜 결과가 달라졌지?"를 며칠 동안 찾게 됩니다.