영상 핵심 정리 — 디지털 트윈 + 강화학습

이 영상은 디지털 트윈과 강화학습이 결합해 제조 공정을 최적화하는 원리와 실제 구현 방법을 다룬다.

---

1. 디지털 트윈 3계층 구조

[Layer 1] 물리 레이어
  실제 CNC + 진동/온도/전류 센서, OPC-UA로 1초 데이터 전송

[Layer 2] 디지털 트윈 레이어
  데이터 동기화 엔진 (실물 ↔ 가상 상태 일치)
  공정 시뮬레이터 (물리 + ML 보정)
  상태 예측 (30분 후 시뮬레이션)

[Layer 3] 최적화 레이어
  RL 에이전트 (최적 파라미터 탐색)
  의사결정 지원 (추천 → 작업자 승인 → 적용)

2. Gymnasium 환경 + PPO

import gymnasium as gym
import numpy as np
from gymnasium import spaces
from stable_baselines3 import PPO

class CNCProcessEnv(gym.Env):
    def __init__(self):
        super().__init__()
        self.action_space = spaces.Box(
            low=np.array([100, 0.1, 0.5]),
            high=np.array([500, 1.0, 3.0]), dtype=np.float32)
        self.observation_space = spaces.Box(
            low=np.zeros(4), high=np.array([10, 100, 20, 5]),
            dtype=np.float32)

    def step(self, action):
        speed, feed, depth = action
        vibration = 0.01 * speed * depth + np.random.normal(0, 0.1)
        temp = 20 + 0.05 * speed * feed
        current = 5 + depth * 2
        roughness = 0.5 / feed + 0.01 * depth
        obs = np.array([vibration, temp, current, roughness], dtype=np.float32)
        reward = -roughness - 0.5 * max(0, vibration - 2.0)
        return obs, reward, False, False, {}

    def reset(self, seed=None):
        return self.observation_space.sample(), {}

env = CNCProcessEnv()
model = PPO('MlpPolicy', env, verbose=1, learning_rate=3e-4)
model.learn(total_timesteps=100_000)

3. Sim-to-Real 전환

단계	내용	핵심 과제
시뮬 학습	디지털 트윈 RL 훈련	시뮬레이터 정확도
검증	시뮬 vs 실물 비교	Reality Gap 측정
점진적 적용	작업자 감독 단계적 적용	안전 경계값
모니터링	실물 피드백 트윈 보정	온라인 학습

함정 주의: 디지털 트윈 구축 초기에 '완벽한 물리 모델'을 목표로 삼으면 6개월이 지나도 아무것도 배포 못 한다. 데이터 기반 ML 대리 모델(Surrogate)로 먼저 시작하고 점진적으로 물리를 추가하는 접근이 현실적이다.

---

다음 task와의 연결

다음 reading에서 디지털 트윈 최적화 결과를 실시간 모니터링하는 'Plotly/Grafana 생산 대시보드 설계'를 다룬다.

제조 공장 디지털 트윈에서 강화학습 에이전트(SAC 또는 PPO)를 훈련할 때 Sim-to-Real 전략 없이 실제 공정에 바로 적용하면 어떤 위험이 생기는지 시나리오 3가지를 만들어줘. '3D 모델'이 아닌 실시간 센서 기반 동적 디지털 복사본의 정의, 연속 공정 파라미터 최적화에 SAC와 PPO 중 어느 것이 더 적합한지도 비교해줘.