Transformer가 시계열에?

Transformer는 원래 NLP(번역)용이었지만, 시계열에서도 LSTM을 능가하는 결과를 보여주고 있다.

---

Self-Attention 핵심 원리

[LSTM vs Transformer]

LSTM: 순차 처리
  t1 → t2 → t3 → ... → t30
  "과거를 하나씩 기억하며 전달"
  → 긴 시퀀스에서 초반 정보 손실

Transformer: 전체 동시 참조
  t1 ←→ t2 ←→ t3 ←→ ... ←→ t30
  "모든 시점이 서로를 직접 참조"
  → 어떤 시점이든 직접 연결

Attention Score 계산

Q (Query): "cycle 25의 상태가 궁금해"
K (Key):   "각 cycle이 제공하는 정보"
V (Value): "각 cycle의 실제 센서값"

Attention(Q, K, V) = softmax(QK^T / sqrt(d)) x V

결과: cycle 25와 관련 높은 시점에 가중치 집중
  → cycle 20~24 (최근): 높은 가중치
  → cycle 1~5 (초반): 낮은 가중치
  → cycle 15 (이상 발생): 높은 가중치!

---

Informer 아키텍처 (AAAI 2021 Best Paper)

기존 Transformer의 문제를 해결한 시계열 특화 모델.

[Informer 핵심 개선]

1. ProbSparse Self-Attention
   기존: O(L^2) → 전체 attention 계산
   개선: O(L log L) → 중요한 query만 선택

2. Self-Attention Distilling
   레이어를 거칠수록 시퀀스 길이를 절반씩 줄임
   L → L/2 → L/4 → ...

3. Generative Decoder
   한 번에 전체 미래를 예측 (vs 한 스텝씩)

---

LSTM vs Transformer 비교

항목	LSTM	Transformer
장기 의존성	약함 (vanishing gradient)	강함 (direct attention)
병렬 학습	불가 (순차)	가능 (행렬 연산)
학습 속도	느림	빠름 (GPU 활용)
데이터 요구량	적음	많음
해석 가능성	낮음	높음 (attention map)
짧은 시퀀스	우수	보통
긴 시퀀스	성능 저하	우수

---

실무 선택 가이드

상황	추천 모델
데이터 적음 (<1만 샘플)	LSTM
시퀀스 짧음 (<50 스텝)	LSTM 또는 1D-CNN
대규모 데이터 + 긴 시퀀스	PatchTST / iTransformer
해석 필요 (attention map)	Transformer
엣지 배포 (경량)	LSTM 또는 1D-CNN
사전학습 모델 활용	TimesFM / Chronos

현실: 제조 PdM에서는 데이터 규모가 크지 않아 LSTM이 여전히 실용적인 선택인 경우가 많다. Transformer는 대규모 설비군(수백 대)에서 빛을 발한다.

---

최신 시계열 모델 (2024~)

[Informer 이후의 발전]

PatchTST (ICLR 2023)
  - 시계열을 패치(patch) 단위로 분할하여 처리
  - 채널 독립(Channel-Independent) 전략으로 높은 성능
  - Informer 대비 성능 대폭 향상

iTransformer (ICLR 2024)
  - 변수(variable)별로 토큰화 — 다변량 예측에 강함
  - 채널 간 상관관계를 명시적으로 모델링
  - 제조 다채널 센서 예측에 특히 유리

TimesFM (Google, 2024)
  - 대규모 사전학습된 범용 시계열 예측 모델
  - Zero-shot 예측 가능 (소량 데이터도 사용 가능)

Chronos (Amazon, 2024)
  - 언어 모델 방식으로 시계열을 토큰으로 변환
  - 다양한 도메인의 시계열을 단일 모델로 처리