CHAPTER 06

첫 번째 World Model

드디어 첫 World Model 을 만듭니다. 먼저 진자가 따르는 물리 법칙을 뉴턴 법칙에서 직접 유도해 “정답” 을 손에 쥡니다. 그다음 그 정답을 한 번도 보여 주지 않은 신경망에게 (상태, 행동, 다음 상태) 데이터만 주고, 같은 법칙을 얼마나 잘 배우는지 확인합니다. 마지막으로 이 모델로 여러 스텝을 이어서 “상상” 하면 오차가 어떻게 쌓이는지 수식과 실험으로 따져 봅니다.

읽는 시간 약 70분난이도 ★★★☆☆코드: code/ch06_dynamics.py
이 장에서 배우는 것

이 장의 큰 그림

0장에서 World Model 을 “지금 상태에서 이 행동을 하면 다음에 무슨 일이 일어날지 예측하는 학습된 시뮬레이터” 라고 정의했습니다. 이 장에서는 그 정의를 가장 단순한 형태 그대로 구현합니다. 관측은 숫자 3개 $o_t = [\cos\theta_t,\ \sin\theta_t,\ \dot\theta_t]$, 행동은 숫자 1개(토크 $a_t = u_t$)이고, 모델은 작은 신경망(MLP) 하나입니다.

ot, at 진짜 환경 (물리 법칙) wm_envs.py 의 step() 세 줄 ot+1, rt ot, at World Model fθ (MLP) 매개변수 34,180 개 ôt+1, r̂t 데이터 𝒟 (ot, at, ot+1, rt) 10,000 개 모으기 학습: ô 가 o 에 가까워지도록
그림 6-1. 진짜 환경과 World Model 은 같은 입력을 받아 같은 종류의 출력을 냅니다. 환경에서 모은 데이터로, 모델의 출력이 환경의 출력에 가까워지도록 학습합니다. 모델은 물리 법칙(위 상자 안)을 볼 수 없습니다.

이 장의 순서는 다음과 같습니다. ① 진짜 환경의 법칙을 유도해 “무엇을 배워야 하는지” 정확히 압니다. ② 그 법칙을 컴퓨터가 어떻게 한 스텝씩 계산하는지 봅니다. ③ 모델이 배울 문제를 정식화하고 데이터를 모읍니다. ④ 모델을 만들고 학습합니다. ⑤ 한 스텝 예측과 여러 스텝 상상이 얼마나 정확한지 잽니다.

진자의 물리 법칙 유도하기

World Model 은 물리 법칙을 몰라도 데이터에서 배울 수 있습니다. 그래도 정답을 알고 있으면 모델이 무엇을 배워야 하는지, 어디가 어려운지, 결과가 맞는지를 판단할 수 있습니다. 이 절은 고등학교 물리의 “힘 = 질량 × 가속도” 에서 출발합니다.

진자를 그림으로

θ = 0 (똑바로 선 자세) θ 질량 중심 (l/2 지점) mg (중력) 지렛대 팔 (l/2)·sin θ → u (모터 토크) l 기호 θ : 위쪽 수직선에서 잰 각도 [rad] θ̇ : 각속도 [rad/s], θ̈ : 각가속도 m = 1 kg, l = 1 m : 막대 질량 · 길이 g = 10 m/s² : 중력 가속도 u ∈ [−2, 2] : 축에 거는 토크 I : 관성 모멘트 (돌리기 어려운 정도) τ : 토크 (돌리는 힘)
그림 6-2. 진자 환경. 막대는 한쪽 끝(주황 점)이 회전축에 고정되어 돕니다. 각도는 위쪽 수직선에서 잽니다. 중력은 막대 전체에 고르게 걸리지만, 돌리는 효과는 질량 중심(막대의 한가운데)에 한꺼번에 걸린 것과 같습니다.

회전의 뉴턴 법칙

물체가 직선으로 움직일 때는 뉴턴의 제2법칙 $F = ma$ 를 씁니다. 힘 $F$ 가 클수록, 질량 $m$ 이 작을수록 가속도 $a$ 가 큽니다. 물체가 축을 중심으로 돌 때는 이 법칙의 회전판을 씁니다.

$$ \tau = I\,\ddot{\theta} $$
직선 운동회전 운동뜻
힘 $F$토크torque $\tau$밀거나(직선) 돌리는(회전) 정도
질량 $m$관성 모멘트moment of inertia $I$움직임을 바꾸기 어려운 정도
가속도 $a$각가속도 $\ddot\theta$속도가 1초에 얼마나 바뀌는지

토크 는 “힘 × 지렛대 팔” 입니다. 문을 열 때 경첩에서 먼 손잡이를 밀면 쉽고, 경첩 바로 옆을 밀면 어렵습니다. 같은 힘이라도 회전축에서 멀리, 그리고 팔에 수직으로 밀수록 잘 돌아갑니다. 정확히 쓰면, 회전축에서 힘이 걸리는 점까지의 벡터를 $\vec r$, 힘을 $\vec F$ 라 할 때 토크는 외적(cross product) $\vec\tau = \vec r \times \vec F$ 이고, 그 크기는

$$ |\tau| = |\vec r|\,|\vec F|\,\sin\alpha $$

입니다. 여기서 $\alpha$ 는 $\vec r$ 과 $\vec F$ 사이의 각입니다. $\sin\alpha$ 가 붙는 까닭은 힘 가운데 팔에 수직인 성분 $|\vec F|\sin\alpha$ 만 돌리는 데 쓰이고, 팔과 나란한 성분은 축을 밀거나 당길 뿐이기 때문입니다. 같은 값을 “힘 $\times$ (회전축에서 힘의 작용선까지의 수직 거리)” 로 읽을 수도 있습니다. 이 수직 거리 $|\vec r|\sin\alpha$ 를 지렛대 팔 이라고 부릅니다.

관성 모멘트를 적분으로 구하기

질량 $m$ 인 점 하나가 회전축에서 거리 $r$ 에 있으면 관성 모멘트는 $I = m r^2$ 입니다. (점에 수직으로 힘 $F$ 를 주면 $F = m a = m\,r\ddot\theta$ 이고, 토크는 $\tau = rF = m r^2 \ddot\theta$ 이므로 $\tau = I\ddot\theta$ 와 비교하면 $I = mr^2$ 입니다.) 막대는 점이 아니라 길이 $l$ 에 질량이 고르게 퍼져 있으므로, 막대를 아주 잘게 잘라 각 조각의 $m_i r_i^2$ 을 모두 더합니다.

끝을 축으로 도는 막대의 관성 모멘트 $I = \frac{1}{3}ml^2$ (조각 나누기 → 적분)
$$ I \approx \sum_{i=1}^{n} m_i\, r_i^2 $$
막대를 $n$ 개의 짧은 조각으로 자르고, 각 조각을 점으로 보아 점의 관성 모멘트 $m_i r_i^2$ 을 모두 더합니다. 조각이 작을수록 이 근사가 정확해집니다.
$$ m_i = \frac{m}{n}, \qquad r_i = i\cdot\frac{l}{n} \quad (i = 1, 2, \dots, n) $$
질량이 고르게 퍼져 있으니 조각 하나의 질량은 전체의 $1/n$ 입니다. $i$ 번째 조각은 축에서 대략 $i$ 조각 길이($l/n$ 의 $i$ 배)만큼 떨어져 있습니다.
$$ I \approx \sum_{i=1}^{n} \frac{m}{n}\left(\frac{i\,l}{n}\right)^2 = \frac{m\,l^2}{n^3}\sum_{i=1}^{n} i^2 $$
대입한 뒤, $i$ 와 상관없는 $\frac{m}{n}\cdot\frac{l^2}{n^2} = \frac{ml^2}{n^3}$ 을 합 기호 밖으로 꺼냅니다.
$$ \sum_{i=1}^{n} i^2 = \frac{n(n+1)(2n+1)}{6} $$
제곱수의 합 공식입니다. 예를 들어 $n=3$ 이면 $1+4+9 = 14$ 이고, 공식도 $\frac{3\cdot4\cdot7}{6} = 14$ 입니다.
$$ I \approx \frac{m l^2}{n^3}\cdot\frac{n(n+1)(2n+1)}{6} = \frac{ml^2}{6}\cdot\frac{n}{n}\cdot\frac{n+1}{n}\cdot\frac{2n+1}{n} = \frac{ml^2}{6}\left(1+\frac{1}{n}\right)\left(2+\frac{1}{n}\right) $$
분모의 $n^3$ 을 세 개의 $n$ 으로 나누어 분자의 세 인수에 하나씩 짝지었습니다. $\frac{n+1}{n} = 1 + \frac1n$, $\frac{2n+1}{n} = 2 + \frac1n$ 입니다.
$$ I = \lim_{n\to\infty} \frac{ml^2}{6}\left(1+\frac{1}{n}\right)\left(2+\frac{1}{n}\right) = \frac{ml^2}{6}\cdot 1\cdot 2 = \frac{1}{3}ml^2 $$
조각을 끝없이 잘게 자르면($n \to \infty$) $\frac1n \to 0$ 이 되어 근사가 정확한 값이 됩니다.

숫자로 확인해 보면 ($m = l = 1$), $n = 4$ 일 때 $\frac{30}{64} = 0.46875$, $n = 10$ 일 때 $0.385$, $n = 100$ 일 때 $0.33835$, $n = 1000$ 일 때 $0.33383$ 으로 $\frac13 = 0.3333\ldots$ 에 다가갑니다. 같은 계산을 적분으로 쓰면 한 줄입니다. 조각의 길이를 $dr$ 로 아주 작게 하면 조각의 질량은 $dm = \frac{m}{l}dr$ 이므로

$$ I = \int_0^l r^2\,dm = \int_0^l r^2\,\frac{m}{l}\,dr = \frac{m}{l}\Big[\frac{r^3}{3}\Big]_0^l = \frac{m}{l}\cdot\frac{l^3}{3} = \frac{1}{3}ml^2 $$

입니다. $\int r^2 dr = \frac{r^3}{3}$ 는 “$\frac{r^3}{3}$ 을 미분하면 $r^2$” 이라는 사실을 거꾸로 쓴 것입니다(4장에서 미분을 다룹니다). 우리 진자는 $m = l = 1$ 이므로 $I = \frac13$ 입니다.

중력이 만드는 토크

중력은 막대의 모든 조각을 아래로 당기지만, 균일한 막대에서는 그 효과가 질량 중심(막대의 한가운데, 축에서 $l/2$)에 전체 무게 $mg$ 가 걸린 것과 같습니다. 이제 이 힘이 만드는 토크를 구합니다.

중력 토크 $\tau_g = \frac{l}{2}\,mg\,\sin\theta$
$$ \tau_g = (\text{힘}) \times (\text{지렛대 팔}) $$
토크의 크기는 힘에 “회전축에서 힘의 작용선까지의 수직 거리” 를 곱한 것입니다.
$$ \text{힘} = mg \quad(\text{아래 방향}) $$
질량 $m$ 에 걸리는 중력의 크기입니다. 질량 중심에 걸린다고 봅니다.
$$ \text{지렛대 팔} = \frac{l}{2}\sin\theta $$
중력의 작용선은 질량 중심을 지나는 수직선 입니다. 회전축에서 이 수직선까지의 거리는 질량 중심의 수평 위치와 같습니다. 질량 중심은 축에서 $l/2$ 떨어져 있고 수직선에서 $\theta$ 만큼 기울어 있으니, 직각삼각형에서 수평 거리 = 빗변 $\times\ \sin\theta$ 입니다(그림 6-2 의 점선).
$$ \tau_g = \frac{l}{2}\, m g\, \sin\theta $$
부호: $\theta \gt 0$ (오른쪽으로 기울어짐)이면 중력은 막대를 더 오른쪽으로, 즉 $\theta$ 가 커지는 쪽으로 돌립니다. 그래서 $+$ 부호입니다. $\theta = 0$ (똑바로 섬)이면 $\sin 0 = 0$ 이라 토크가 없지만, 조금만 기울어도 더 쓰러지는 쪽으로 토크가 생깁니다 — 서 있는 자세가 불안정한 까닭입니다.

운동 방정식

막대에 걸리는 토크는 중력 토크 $\tau_g$ 와 모터 토크 $u$ 두 가지입니다. 회전의 뉴턴 법칙에 넣고 $\ddot\theta$ 에 대해 풉니다.

진자의 운동 방정식
$$ I\,\ddot\theta = \tau_g + u $$
$\tau = I\ddot\theta$ 에서 전체 토크 $\tau$ 는 두 토크의 합입니다. (모터 토크 $u$ 도 $\theta$ 가 커지는 방향을 $+$ 로 잡습니다.)
$$ \frac{1}{3}ml^2\,\ddot\theta = \frac{l}{2}mg\sin\theta + u $$
앞에서 구한 $I = \frac13 ml^2$ 와 $\tau_g = \frac{l}{2}mg\sin\theta$ 를 대입합니다.
$$ \ddot\theta = \frac{3}{ml^2}\left(\frac{l}{2}mg\sin\theta + u\right) $$
양변을 $\frac13 ml^2$ 로 나눕니다. $\frac{1}{\frac13 ml^2} = \frac{3}{ml^2}$ 입니다.
$$ \ddot\theta = \frac{3}{ml^2}\cdot\frac{l}{2}mg\sin\theta + \frac{3}{ml^2}u = \frac{3g}{2l}\sin\theta + \frac{3}{ml^2}u $$
괄호를 풉니다(분배 법칙). 첫 항에서 $m$ 하나와 $l$ 하나가 약분됩니다: $\frac{3\cdot l\cdot m g}{m l^2\cdot 2} = \frac{3g}{2l}$.
$$ \ddot\theta = 15\sin\theta + 3u \qquad (g=10,\ m=l=1) $$
우리 환경의 값을 넣으면 $\frac{3\cdot10}{2\cdot1} = 15$, $\frac{3}{1\cdot1} = 3$ 입니다. wm_envs.py 의 3.0 * self.g / (2.0 * self.l) * np.sin(th) + 3.0 / (self.m * self.l**2) * u 가 바로 이 식입니다.

왜 한 번에 들어 올릴 수 없는가

막대가 수평($\theta = \pi/2$, $\sin\theta = 1$)일 때 중력 항은 $15$ 입니다. 모터 항은 아무리 세게 해도 $3 \times 2 = 6$ 입니다. 막대를 수평에 붙잡아 두려면 $\ddot\theta = 0$, 즉 $15 + 3u = 0$, $u = -5$ 가 필요한데, 토크 한계가 $2$ 이므로 불가능합니다. 그래서 에이전트는 그네처럼 앞뒤로 흔들어 운동 에너지를 모은 뒤, 그 기세로 위까지 올라가야 합니다. “지금 당장 각도를 줄이는 행동” 이 아니라 “잠시 반대로 가는 행동” 이 필요하다는 점이 이 문제를 흥미롭게 만들고, 7장에서 여러 스텝 앞을 내다보는 계획 이 필요한 까닭이 됩니다.

미분 방정식을 컴퓨터로 풀기: 오일러 적분

운동 방정식은 “각가속도가 지금 각도에 따라 정해진다” 는 미분 방정식differential equation 입니다. 컴퓨터는 연속된 시간을 다룰 수 없으므로, 시간을 $\Delta t = 0.05$ 초 간격으로 잘라 한 칸씩 계산합니다. 가장 간단한 방법이 오일러 적분입니다.

미분의 정의를 거꾸로 쓰기

오일러 적분의 갱신식
$$ \dot\theta(t) = \lim_{\Delta t\to 0}\frac{\theta(t+\Delta t) - \theta(t)}{\Delta t} $$
각속도는 각도의 시간 변화율, 곧 미분입니다(4장).
$$ \dot\theta(t) \approx \frac{\theta(t+\Delta t) - \theta(t)}{\Delta t} $$
$\Delta t$ 를 0 으로 보내지 않고 작은 값(0.05초)으로 두면 근사가 됩니다.
$$ \theta(t+\Delta t) \approx \theta(t) + \dot\theta(t)\,\Delta t $$
양변에 $\Delta t$ 를 곱하고 $\theta(t)$ 를 오른쪽으로 옮깁니다. “다음 각도 = 지금 각도 + 속도 × 시간” 입니다.
$$ \dot\theta(t+\Delta t) \approx \dot\theta(t) + \ddot\theta(t)\,\Delta t $$
같은 논리를 각속도에 한 번 더 씁니다. “다음 속도 = 지금 속도 + 가속도 × 시간” 이고, 가속도 $\ddot\theta$ 는 운동 방정식으로 계산합니다.

명시적 오일러와 반암시적 오일러

위 두 식을 적용하는 순서에 따라 두 가지 방법이 있습니다. 아래 첨자 $t$ 는 “$t$ 번째 스텝” 입니다.

명시적 오일러 (explicit)반암시적 오일러 (semi-implicit)
$\dot\theta_{t+1} = \dot\theta_t + \ddot\theta_t\,\Delta t$
$\theta_{t+1} = \theta_t + \dot\theta_{\color{#c33}t}\,\Delta t$
$\dot\theta_{t+1} = \dot\theta_t + \ddot\theta_t\,\Delta t$
$\theta_{t+1} = \theta_t + \dot\theta_{\color{#c33}t+1}\,\Delta t$
각도를 옛 속도로 갱신각도를 새 속도로 갱신

차이는 아주 작아 보이지만 결과는 크게 다릅니다. 토크 없이($u=0$) $\theta_0 = 2.0$, $\dot\theta_0 = 0$ 에서 200 스텝(10초)을 돌리며 역학적 에너지 $E = \frac12 I\dot\theta^2 + mg\frac{l}{2}\cos\theta$ 를 재면(적분 방법만 비교하려고 각속도 자르기는 뺐습니다), 에너지는 원래 보존되어야 하는데(마찰이 없으므로) 명시적 오일러는 $-2.081 \to 18.015$ 로 에너지가 저절로 불어나 진자가 점점 더 크게 휘돕니다. 반암시적 오일러는 $-2.081 \to -2.292$ 로 처음 값 근처에 머뭅니다. 그래서 Gym 의 진자(와 우리 wm_envs.py)는 반암시적 오일러를 씁니다.

확인 문제 · 한 스텝 손으로 계산하기

$\theta_0 = \pi/2$ (수평), $\dot\theta_0 = 0$, $u = 0$ 에서 반암시적 오일러로 한 스텝($\Delta t = 0.05$) 진행한 $\dot\theta_1$, $\theta_1$ 은?

답 보기

$\ddot\theta_0 = 15\sin(\pi/2) + 3\cdot 0 = 15$. $\dot\theta_1 = 0 + 15 \times 0.05 = 0.75$. $\theta_1 = \pi/2 + 0.75\times0.05 = 1.5708 + 0.0375 = 1.6083$. (명시적 오일러였다면 $\theta_1 = \pi/2 + 0\times0.05 = 1.5708$ 로 각도가 아직 그대로입니다.)

코드와 한 줄씩 짝짓기

이제 0장에서 보았던 환경 코드를 다시 봅니다. step() 의 핵심 세 줄이 지금까지 유도한 식과 정확히 대응합니다.


  
수식코드
$u \leftarrow \mathrm{clip}(a_t, -2, 2)$u = float(np.clip(..., -self.max_torque, self.max_torque))
$r_t = -(\theta_t^2 + 0.1\dot\theta_t^2 + 0.001u^2)$cost = angle_normalize(th) ** 2 + 0.1 * thdot**2 + 0.001 * u**2
$\dot\theta_{t+1} = \dot\theta_t + \left(\frac{3g}{2l}\sin\theta_t + \frac{3}{ml^2}u\right)\Delta t$thdot_new = thdot + (3.0 * self.g / (2.0 * self.l) * np.sin(th) + ...) * self.dt
$\dot\theta_{t+1} \leftarrow \mathrm{clip}(\dot\theta_{t+1}, -8, 8)$thdot_new = float(np.clip(thdot_new, -self.max_speed, self.max_speed))
$\theta_{t+1} = \theta_t + \dot\theta_{t+1}\Delta t$th_new = th + thdot_new * self.dt

보상식의 $\theta_t$ 는 $[-\pi, \pi)$ 로 접은 각도입니다. 환경 안의 th 는 여러 바퀴 돌면 $2\pi$ 를 넘어 계속 커지므로, 보상을 계산할 때 angle_normalize 로 접어 “똑바로 선 자세에서 얼마나 벗어났는지” 만 잽니다.

참고 · 이 “세상” 은 진짜 물리와 조금 다르다

$\Delta t = 0.05$ 는 꽤 큰 간격이라 오일러 적분에는 오차가 있고, 각속도를 $\pm 8$ 에서 자르는 것도 진짜 물리에는 없는 규칙입니다. 하지만 World Model 의 관점에서는 상관없습니다. 모델이 배워야 할 “세상” 은 바로 이 코드 자체이기 때문입니다. 모델은 진짜 물리가 아니라 이 환경이 만들어 내는 데이터 를 흉내 냅니다.

관측을 (cos θ, sin θ, θ̇) 로 주는 까닭

환경은 각도 $\theta$ 를 그대로 주지 않고 $\cos\theta$, $\sin\theta$ 두 숫자로 나누어 줍니다. 각도에는 이음매 가 있기 때문입니다. $\theta = 3.1$ 과 $\theta = -3.1$ 은 둘 다 거의 아래로 매달린 자세라 물리적으로 아주 가깝습니다(실제 각도 차이는 $6.2 - 2\pi \approx -0.083$). 그런데 숫자로는 $6.2$ 나 떨어져 있습니다. 신경망 입장에서는 비슷한 두 입력에 대해 비슷한 출력을 내야 하는데, 입력 숫자가 크게 다르면 배우기 어렵습니다.

반면 $(\cos\theta, \sin\theta)$ 로 바꾸면 두 자세의 거리는 실제 각도 차이를 그대로 반영합니다. 이것을 유도해 보겠습니다.

원 위의 두 점 사이 거리 $= 2\,|\sin\frac{a-b}{2}|$
$$ d^2 = (\cos a - \cos b)^2 + (\sin a - \sin b)^2 $$
두 점 $(\cos a, \sin a)$, $(\cos b, \sin b)$ 사이의 거리의 제곱(피타고라스 정리)입니다.
$$ = \cos^2 a - 2\cos a\cos b + \cos^2 b + \sin^2 a - 2\sin a \sin b + \sin^2 b $$
$(x-y)^2 = x^2 - 2xy + y^2$ 로 두 괄호를 펼칩니다.
$$ = (\cos^2 a + \sin^2 a) + (\cos^2 b + \sin^2 b) - 2(\cos a\cos b + \sin a\sin b) $$
같은 각끼리 묶고, 나머지 두 항에서 $-2$ 를 묶어 냅니다.
$$ = 1 + 1 - 2\cos(a-b) = 2 - 2\cos(a-b) $$
$\cos^2 x + \sin^2 x = 1$ 이고, 삼각함수의 뺄셈 공식 $\cos(a-b) = \cos a\cos b + \sin a \sin b$ 를 씁니다.
$$ = 2\cdot 2\sin^2\!\frac{a-b}{2} = 4\sin^2\!\frac{a-b}{2} $$
반각 공식 $1 - \cos x = 2\sin^2\frac{x}{2}$ 를 $x = a-b$ 로 씁니다. $2 - 2\cos x = 2(1-\cos x)$ 입니다.
$$ d = 2\left|\sin\frac{a-b}{2}\right| $$
양변에 제곱근을 씌웁니다. $a - b$ 가 $2\pi$ 의 배수만큼 달라져도 $\sin$ 값의 크기는 같으므로, 이 거리에는 이음매가 없습니다.

$a = 3.1$, $b = -3.1$ 을 넣으면 $d = 2|\sin 3.1| = 2 \times 0.04158 = 0.0832$ 로, 실제 각도 차이 $0.0832$ 와 같습니다. $6.2$ 가 아닙니다. 반대로 관측에서 각도를 되살릴 때는 atan2(sin θ, cos θ) 를 씁니다. 이 함수는 두 값의 부호까지 보고 $[-\pi, \pi]$ 의 각도를 돌려줍니다.

World Model 문제를 지도 학습으로 바꾸기

이제 모델이 풀 문제를 정확히 적습니다. 환경과 몇 번 상호작용해 전이(transition) 데이터를 모읍니다.

$$ \mathcal{D} = \big\{ (o_t,\ a_t,\ o_{t+1},\ r_t) \big\} $$

그리고 입력 $x = [o_t,\ a_t]$ (숫자 4개)를 받아 정답 $y = [o_{t+1},\ r_t]$ (숫자 4개)에 가까운 값을 내는 함수 $f_\theta$ 를 찾습니다(실제 신경망은 뒤에서 설명할 이유로 표준화한 변화량을 출력합니다. $f_\theta$ 는 그 후처리까지 포함한 “모델 전체” 를 가리키는 이름으로 씁니다).

$$ f_\theta:\ \underbrace{[\cos\theta_t,\ \sin\theta_t,\ \dot\theta_t,\ u_t]}_{\text{입력 4개}} \ \longmapsto\ \underbrace{[\hat o_{t+1},\ \hat r_t]}_{\text{출력 4개}} $$

“입력과 정답의 짝을 많이 보여 주고, 입력에서 정답을 맞히는 함수를 배운다” — 4장에서 배운 지도 학습supervised learning 의 회귀(regression) 문제 그대로입니다. World Model 이 특별한 이유는 문제가 어려워서가 아니라, 이렇게 배운 함수를 계속 이어 붙여 미래를 상상하는 데 쓴다는 점에 있습니다.

참고 · 보상도 배울까, 받아 쓸까

보상 함수 $r = -(\theta^2 + 0.1\dot\theta^2 + 0.001u^2)$ 는 우리가 정한 “과제” 라서 대개 알고 있습니다. 이 장에서는 연습 삼아 보상까지 모델이 예측하게 하고, 7장의 계획에서는 알고 있는 보상 함수(pendulum_reward)를 그대로 씁니다. 그림을 보는 8장 이후처럼 보상을 상태에서 바로 계산할 수 없을 때는 보상도 반드시 배워야 합니다.

데이터 모으기

아직 좋은 정책이 없으므로 행동은 $[-2, 2]$ 에서 무작위로 고릅니다. 학습용 50 에피소드(10,000 전이)와, 시드(난수 씨앗)를 달리한 검증용 10 에피소드(2,000 전이)를 따로 모읍니다. 먼저 에피소드 목록을 전이 배열로 펴는 함수입니다.


  

에피소드 하나의 obs 는 시작 관측을 포함해 길이가 $T+1 = 201$ 입니다. 그래서 ep["obs"][:-1](앞의 200개)가 $o_t$, ep["obs"][1:](뒤의 200개)가 $o_{t+1}$ 이 되어 한 칸씩 어긋난 짝이 만들어집니다. make_inputs_targets 는 입력 $[o_t, a_t]$ 와 정답 $[o_{t+1} - o_t,\ r_t]$ 를 만듭니다. 정답에 $o_{t+1}$ 이 아니라 차이 $o_{t+1} - o_t$ 를 쓰는 까닭은 곧 설명합니다.


  
device: cpu
train transitions: 10000, val transitions: 2000
주의 · 무작위 데이터의 한계

무작위 행동으로는 진자를 세울 수 없으므로, 이 데이터에는 “위에서 천천히 균형 잡는 상태” 가 거의 없습니다. 실제로 학습 데이터에서 $|\theta| \lt 0.3$ 이고 $|\dot\theta| \lt 1$ 인 전이는 $1.45\%$ 뿐이고, 아래쪽($|\theta| \gt \pi - 0.5$)은 $28.6\%$ 입니다. 모델은 데이터가 많은 곳에서는 정확하고, 드문 곳에서는 부정확할 것입니다. 7장에서는 모델로 계획한 행동으로 새 데이터를 모아 이 빈틈을 메웁니다.

학습을 쉽게 만드는 두 가지 요령

요령 1: 표준화

입력과 정답의 숫자 크기가 제각각입니다. 실제 학습 데이터의 정답 표준편차를 보면 $\Delta\cos\theta$ 는 $0.125$, $\Delta\sin\theta$ 는 $0.134$, $\Delta\dot\theta$ 는 $0.538$, 보상은 $3.756$ 입니다(입력 쪽도 $\cos\theta$ 는 $0.67$, $\dot\theta$ 는 $3.67$ 로 다릅니다). 이대로 MSE(오차 제곱의 평균)를 쓰면 보상 오차가 손실을 거의 다 차지합니다. 오차의 크기가 각자의 표준편차 정도라고 하면 제곱 오차는 $3.756^2 \approx 14.1$ 대 $0.125^2 \approx 0.016$ 으로 약 900 배 차이가 나서, 모델은 보상만 열심히 맞히고 $\cos\theta$ 의 변화는 무시하게 됩니다.

그래서 열마다 평균 $\mu$ 를 빼고 표준편차 $\sigma$ 로 나누는 표준화standardization 를 합니다.

$$ \tilde{x} = \frac{x - \mu}{\sigma}, \qquad \mu = \frac1N\sum_{i=1}^N x_i, \qquad \sigma = \sqrt{\frac1N\sum_{i=1}^N (x_i - \mu)^2} $$
표준화한 값의 평균은 0, 표준편차는 1
$$ \frac1N\sum_{i=1}^N \tilde x_i = \frac1N\sum_{i=1}^N \frac{x_i - \mu}{\sigma} = \frac{1}{\sigma}\left(\frac1N\sum_{i=1}^N x_i - \frac1N\sum_{i=1}^N \mu\right) $$
상수 $\frac1\sigma$ 를 합 밖으로 꺼내고, 합을 두 부분으로 나눕니다.
$$ = \frac{1}{\sigma}\left(\mu - \frac{N\mu}{N}\right) = \frac{1}{\sigma}(\mu - \mu) = 0 $$
첫 항은 $\mu$ 의 정의 그대로이고, 상수 $\mu$ 를 $N$ 번 더하면 $N\mu$ 입니다.
$$ \frac1N\sum_{i=1}^N (\tilde x_i - 0)^2 = \frac1N\sum_{i=1}^N \frac{(x_i - \mu)^2}{\sigma^2} = \frac{1}{\sigma^2}\cdot\frac1N\sum_{i=1}^N (x_i-\mu)^2 $$
새 평균이 0 이므로 새 분산은 $\tilde x_i^2$ 의 평균입니다. $\frac{1}{\sigma^2}$ 을 밖으로 꺼냅니다.
$$ = \frac{1}{\sigma^2}\cdot\sigma^2 = 1 $$
남은 합은 $\sigma^2$ 의 정의 그대로입니다. 분산이 1 이니 표준편차도 1 입니다. 이제 모든 열이 “평균 0, 퍼짐 1” 의 같은 크기가 됩니다.

예: 학습 데이터에서 보상 열의 평균은 $-5.965$, 표준편차는 $3.756$ 이므로, 보상 $-1.0$ 은 $\frac{-1.0 - (-5.965)}{3.756} = 1.32$ 로 바뀝니다. 모델은 이렇게 표준화된 공간에서 배우고, 예측할 때는 거꾸로 $x = \tilde x\,\sigma + \mu$ 로 되돌립니다.

주의 · 통계는 학습 데이터로만

$\mu$, $\sigma$ 는 학습 데이터로만 구하고, 검증 · 실제 사용 때도 같은 값을 씁니다. 검증 데이터의 통계를 쓰면 검증 데이터의 정보가 학습에 새어 들어가 성능을 실제보다 좋게 착각할 수 있습니다. 또 $\sigma$ 가 0 인 열(값이 늘 같은 열)이 있으면 0 으로 나누게 되므로 코드에서는 $\sigma + 10^{-6}$ 으로 나눕니다.

요령 2: 다음 상태 대신 변화량을 예측하기

$\Delta t = 0.05$ 초 동안 진자는 많이 움직이지 않으므로 $o_{t+1}$ 은 $o_t$ 와 매우 비슷합니다. 모델이 $o_{t+1}$ 을 통째로 내게 하면 “입력을 거의 그대로 베끼기” 와 “아주 작은 변화 더하기” 를 함께 배워야 하는데, 중요한 정보는 작은 변화 쪽에 다 들어 있습니다. 그래서 변화량 $\Delta o_t = o_{t+1} - o_t$ 를 예측하게 하고, 다음 관측은 더해서 만듭니다.

$$ \hat o_{t+1} = o_t + \widehat{\Delta o}_t $$

숫자로 보면 차이가 분명합니다. $\dot\theta_t = 5.0$, $\dot\theta_{t+1} = 5.3$ 이라고 합시다. $o_{t+1}$ 을 통째로 예측하면서 $1\%$ 오차를 내면 $0.053$ 이 틀리는데, 이것은 실제 변화 $0.3$ 의 약 $18\%$ 나 됩니다. 변화량을 예측하면서 $1\%$ 오차를 내면 $0.003$ 만 틀립니다. 이 아이디어는 ResNet 의 “잔차 연결(residual connection)” 과 같은 생각으로, 거의 모든 동역학 모델이 씁니다.

모델 만들기: MLP 동역학 모델


  

한 줄씩 읽어 보겠습니다.

참고 · cos² + sin² = 1 이 깨진다

모델이 $\cos\theta$ 와 $\sin\theta$ 를 따로 예측하므로 $\hat c^2 + \hat s^2$ 이 정확히 1 이 아닐 수 있습니다. 한 스텝에서는 아주 작은 차이지만 여러 스텝 이어 붙이면 커질 수 있습니다. 이 장에서는 그대로 두고, 각도를 되살릴 때 atan2 를 써서(두 값의 비율만 보므로) 영향을 줄입니다. 예측 뒤에 $(\hat c, \hat s)$ 를 길이 1 로 나눠 주는 방법도 있습니다.

손실 함수: MSE 는 가우시안 최대우도다

모델을 학습하려면 “예측이 얼마나 틀렸는지” 를 하나의 숫자로 재는 손실 함수가 필요합니다. 여기서는 표준화된 공간의 평균 제곱 오차mean squared error, MSE 를 씁니다. 이 절의 식에서 $f_\theta(\tilde x)$ 는 표준화된 입력을 받아 표준화된 출력을 내는 신경망 자체(코드의 forward_normalized)를 가리킵니다.

$$ \mathcal{L}(\theta) = \frac{1}{N D}\sum_{i=1}^{N}\sum_{d=1}^{D} \big(\tilde y_{i,d} - f_\theta(\tilde x_i)_d\big)^2 \qquad (D = 4) $$

왜 하필 제곱일까요? 2장에서 본 최대우도와 연결하면 이유가 분명해집니다. “진짜 값 = 모델의 예측 + 가우시안 잡음” 이라고 가정해 봅시다.

$$ \tilde y = f_\theta(\tilde x) + \epsilon, \qquad \epsilon \sim \Normal(0, \sigma^2) $$

그러면 모델이 주는 정답의 확률 밀도는 $p_\theta(\tilde y \mid \tilde x) = \Normal\big(\tilde y;\ f_\theta(\tilde x),\ \sigma^2\big)$ 이고, 데이터 전체의 음의 로그 가능도(NLL)를 최소화하는 것이 최대우도 학습입니다.

고정된 분산의 가우시안 NLL = MSE × 상수 + 상수
$$ p_\theta(\tilde y_i \mid \tilde x_i) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\left(-\frac{(\tilde y_i - \hat y_i)^2}{2\sigma^2}\right), \quad \hat y_i := f_\theta(\tilde x_i) $$
평균 $\hat y_i$, 분산 $\sigma^2$ 인 가우시안의 확률 밀도 함수입니다(2장). 출력 한 차원만 먼저 봅니다.
$$ -\log p_\theta(\tilde y_i \mid \tilde x_i) = -\log\frac{1}{\sqrt{2\pi\sigma^2}} - \log\exp\!\left(-\frac{(\tilde y_i - \hat y_i)^2}{2\sigma^2}\right) $$
곱의 로그는 로그의 합: $\log(ab) = \log a + \log b$. 앞에 마이너스를 붙여 둘 다 뺍니다.
$$ = \frac12\log(2\pi\sigma^2) + \frac{(\tilde y_i - \hat y_i)^2}{2\sigma^2} $$
$-\log\frac{1}{c} = \log c$ 이고 $\log\sqrt{c} = \frac12\log c$. 또 $\log\exp(z) = z$ 이므로 둘째 항은 지수 안의 값이 되고, 마이너스 두 개가 만나 플러스가 됩니다.
$$ \text{NLL}(\theta) = \sum_{i=1}^N\left[\frac{(\tilde y_i - \hat y_i)^2}{2\sigma^2} + \frac12\log(2\pi\sigma^2)\right] = \frac{1}{2\sigma^2}\sum_{i=1}^N(\tilde y_i - \hat y_i)^2 + \frac{N}{2}\log(2\pi\sigma^2) $$
데이터가 서로 독립이면 전체 확률은 곱이고, 로그를 씌우면 합이 됩니다. 상수 항은 $N$ 번 더해져 $N$ 배가 됩니다.
$$ \argmin_\theta \text{NLL}(\theta) = \argmin_\theta \sum_{i=1}^N (\tilde y_i - \hat y_i)^2 = \argmin_\theta\ \text{MSE}(\theta) $$
$\sigma$ 를 고정하면 둘째 항은 $\theta$ 와 상관없는 상수이고, 첫 항의 $\frac{1}{2\sigma^2}$ 은 양수 배율일 뿐입니다. 상수를 더하거나 양수를 곱해도 최솟값의 위치 는 바뀌지 않으므로, NLL 을 최소화하는 것과 MSE 를 최소화하는 것은 같습니다. 출력이 $D$ 차원이고 차원마다 독립인 같은 크기의 잡음을 가정하면 로그 가능도가 차원별 합이 되어 $\sum_d$ 가 하나 더 붙을 뿐, 결론은 같습니다.

즉 MSE 를 쓰는 순간 우리는 “잡음은 가우시안이고, 그 크기는 모든 곳에서 같다” 고 가정한 것입니다. 진자는 결정적이라(같은 상태 · 행동이면 늘 같은 다음 상태) 이 가정이 크게 문제 되지 않습니다. 7장에서는 $\sigma$ 까지 모델이 예측하게 해서 “여기는 잘 모르겠다” 를 표현하는 확률적 모델로 넓힙니다.

MSE 의 기울기도 간단합니다. 예측 하나에 대해 $\frac{\partial}{\partial \hat y}(\hat y - y)^2 = 2(\hat y - y)$ 이므로, 예측이 정답보다 $0.3$ 크면 기울기는 $0.6$, 경사 하강법은 예측을 줄이는 쪽으로 가중치를 고칩니다. 많이 틀릴수록 많이 고칩니다.

학습하기


  
  

  
epoch    1 | train MSE 0.52619 | val MSE 0.23190
epoch   10 | train MSE 0.00231 | val MSE 0.00184
epoch   20 | train MSE 0.00131 | val MSE 0.00108
epoch   30 | train MSE 0.00073 | val MSE 0.00059
epoch   40 | train MSE 0.00052 | val MSE 0.00051
epoch   50 | train MSE 0.00047 | val MSE 0.00045
epoch   60 | train MSE 0.00044 | val MSE 0.00052
epoch   70 | train MSE 0.00042 | val MSE 0.00043
epoch   80 | train MSE 0.00046 | val MSE 0.00047
epoch   90 | train MSE 0.00038 | val MSE 0.00037
epoch  100 | train MSE 0.00038 | val MSE 0.00058
one-step accuracy on validation data:
  d_cos    RMSE 0.00161  (target std 0.1412)  R^2 0.99987
  d_sin    RMSE 0.00275  (target std 0.1470)  R^2 0.99965
  d_thdot  RMSE 0.02024  (target std 0.5686)  R^2 0.99873
  reward   RMSE 0.06770  (target std 4.0399)  R^2 0.99972

전체 스크립트(python ch06_dynamics.py)는 이 튜토리얼을 쓴 환경(노트북 CPU 4스레드)에서 약 46초 걸렸습니다. --quick 은 5초 남짓입니다.

에폭에 따른 학습 MSE 와 검증 MSE. 둘 다 0.5 근처에서 0.0004 근처까지 로그 눈금에서 함께 내려간다
그림 6-3. 학습 곡선(세로축은 로그 눈금). 표준화된 정답의 분산이 1 이므로, “평균만 내는” 바보 모델의 MSE 가 약 1 입니다. 100 에폭 뒤 MSE 는 $0.0004$ 안팎으로, 분산의 0.04% 만 설명하지 못합니다. 검증 손실이 학습 손실을 따라가므로 과적합은 보이지 않습니다 (검증 손실이 조금씩 출렁이는 것은 Adam 의 스텝이 들쭉날쭉하기 때문입니다).

얼마나 잘 맞히나: 1스텝 예측

위 출력의 두 지표를 정의해 둡니다. $y_i$ 는 정답, $\hat y_i$ 는 예측, $\bar y$ 는 정답의 평균입니다.

$$ \text{RMSE} = \sqrt{\frac1N\sum_{i}(\hat y_i - y_i)^2}, \qquad R^2 = 1 - \frac{\sum_i (\hat y_i - y_i)^2}{\sum_i (y_i - \bar y)^2} $$

RMSE 는 “평균적으로 얼마나 틀리는지” 를 원래 단위로 나타냅니다. $R^2$ 의 분모는 “평균 $\bar y$ 하나로 모든 것을 찍었을 때의 오차” 이고, 분자는 모델의 오차입니다. 그래서 $R^2 = 1$ 이면 완벽, $R^2 = 0$ 이면 평균 찍기와 같은 수준입니다. $\Delta\dot\theta$ 의 RMSE 는 $0.020$ 으로, 검증 데이터 정답의 퍼짐(표준편차 $0.569$)에 비하면 아주 작아 $R^2 = 0.9987$ 입니다. 모델은 물리 법칙을 한 번도 보지 않고도, 데이터만으로 운동 방정식을 거의 그대로 흉내 냈습니다. 보상도 $R^2 = 0.9997$ 로 배웠습니다.

검증 데이터의 정답과 예측을 비교한 산점도 네 개. 점들이 거의 모두 대각선 위에 놓여 있고, 각속도 변화 그림에만 몇 개의 점이 벗어나 있다
그림 6-4. 검증 데이터의 1스텝 예측. 가로축이 정답, 세로축이 예측이고 점선 위에 있으면 완벽합니다. $\Delta\dot\theta$ 에서 벗어난 점의 상당수는 각속도가 $\pm 8$ 에서 잘리는 순간입니다. 검증 데이터 2,000개 가운데 이런 순간 18개의 평균 오차는 $0.114$ 로 나머지($0.008$)의 약 15배이고, 오차가 가장 큰 20개 가운데 8개가 여기에 속합니다. 잘림은 매끄럽지 않은 규칙이라 MLP 가 흉내 내기 어렵습니다.

상상을 이어 붙이기: 열린 고리 롤아웃

1스텝 예측이 정확하다고 해서 끝이 아닙니다. World Model 의 진짜 쓰임새는 여러 스텝 앞 을 상상하는 것입니다. 시작 관측 $o_0$ 하나와 행동열 $a_0, a_1, \dots, a_{H-1}$ 만 주고, 모델의 예측을 다시 모델의 입력으로 넣어 $H$ 스텝을 굴립니다.

$$ \hat o_1 = f_\theta(o_0, a_0),\quad \hat o_2 = f_\theta(\hat o_1, a_1),\quad \dots,\quad \hat o_H = f_\theta(\hat o_{H-1}, a_{H-1}) $$

중간에 진짜 관측을 다시 보지 않으므로 이것을 열린 고리 롤아웃open-loop rollout 이라고 합니다. (반대로 매 스텝 진짜 관측을 보고 다시 시작하는 것은 닫힌 고리(closed-loop), 곧 되먹임(feedback)이 있는 방식입니다.)

o0 진짜 (한 번만) fθ a0 ô1 fθ a1 ô2 fθ a2 ô3 … 상상 (앞 스텝의 예측이 다음 입력)
그림 6-5. 열린 고리 롤아웃. 진짜 관측은 처음에만 쓰고, 그 뒤로는 모델 자신의 예측이 다음 입력이 됩니다. 그래서 한 번 생긴 오차가 다음 스텝으로 넘어갑니다.

  

o, r = model.predict(o, actions[:, k]) 한 줄에서 o 가 자기 자신의 예측으로 덮어씌워지는 것이 핵심입니다. 배치 차원 B 를 두어 여러 롤아웃을 한꺼번에 계산합니다. @torch.no_grad() 는 학습이 아니라 사용하는 중이므로 기울기를 기록하지 않게 해 빠르고 가볍게 만듭니다.

검증 에피소드에서 같은 시작과 같은 행동으로 굴린 진짜 궤적과 두 모델의 궤적. 위 그림은 각도, 아래 그림은 각속도. 2초쯤까지는 거의 겹치고, 그 뒤 1스텝 손실 모델부터 조금씩 벌어진다
그림 6-6. 검증 에피소드 하나를 100 스텝(5초) 열린 고리로 굴린 결과. 검정 실선이 진짜, 파란 점선이 1스텝 손실로 배운 모델, 주황 점선은 뒤에서 설명할 10스텝 손실 모델입니다. 각도 그림에서 세로로 뛰는 선은 $\theta$ 가 $\pm\pi$ 를 넘어 반대편 값으로 접히는 곳(같은 자세)입니다. 처음 몇 초는 거의 완벽하게 겹치지만, 시간이 갈수록 조금씩 벌어집니다.

오차는 왜 쌓이는가: 오차 누적 분석

그림 6-6 처럼 롤아웃이 길어질수록 진짜와 멀어지는 현상을 오차 누적compounding error 이라고 합니다. 얼마나 빨리 쌓이는지 수식으로 따져 보겠습니다. 표기를 간단히 하려고 행동은 생략하고, 진짜 환경을 $s_{k+1} = f(s_k)$, 모델을 $\hat s_{k+1} = \hat f(\hat s_k)$ 로 씁니다. $k$ 스텝 뒤의 오차를 $e_k = \|\hat s_k - s_k\|$ 라 합니다($\|\cdot\|$ 은 벡터의 길이).

두 가지 가정을 둡니다.

  1. 1스텝 오차가 작다: 모든 상태 $s$ 에서 $\|\hat f(s) - f(s)\| \le \varepsilon$. (같은 곳에서 출발하면 한 스텝 뒤 많아야 $\varepsilon$ 만큼 틀린다.)
  2. 모델이 립시츠 연속이다: 모든 $s, s'$ 에서 $\|\hat f(s) - \hat f(s')\| \le L\,\|s - s'\|$. 입력이 $\delta$ 만큼 다르면 출력은 많아야 $L\delta$ 만큼 다르다는 뜻이고, $L$ 을 립시츠 상수Lipschitz constant 라고 합니다. $L \gt 1$ 이면 작은 차이가 한 스텝마다 최대 $L$ 배로 커질 수 있고, $L \lt 1$ 이면 줄어듭니다.
오차의 점화식 $e_{k+1} \le L\,e_k + \varepsilon$
$$ e_{k+1} = \|\hat f(\hat s_k) - f(s_k)\| $$
정의 그대로입니다. 모델은 자기 예측 $\hat s_k$ 에서, 진짜는 진짜 상태 $s_k$ 에서 한 스텝 갑니다.
$$ = \|\hat f(\hat s_k) - \hat f(s_k) + \hat f(s_k) - f(s_k)\| $$
같은 값 $\hat f(s_k)$ 를 빼고 더했습니다(0 을 더한 것). 오차를 “출발점이 달라서 생긴 부분” 과 “모델이 틀려서 생긴 부분” 으로 나누려는 요령입니다.
$$ \le \|\hat f(\hat s_k) - \hat f(s_k)\| + \|\hat f(s_k) - f(s_k)\| $$
삼각 부등식 $\|a + b\| \le \|a\| + \|b\|$ (삼각형의 한 변은 나머지 두 변의 합보다 길 수 없다).
$$ \le L\,\|\hat s_k - s_k\| + \varepsilon = L\,e_k + \varepsilon $$
첫 항에 립시츠 가정, 둘째 항에 1스텝 오차 가정을 씁니다. “다음 오차 ≤ 지금 오차를 $L$ 배로 키운 것 + 새로 생긴 오차” 입니다.
점화식을 풀어 $e_k$ 의 상한 구하기
$$ e_1 \le L e_0 + \varepsilon $$
점화식에 $k = 0$ 을 넣습니다.
$$ e_2 \le L e_1 + \varepsilon \le L(L e_0 + \varepsilon) + \varepsilon = L^2 e_0 + L\varepsilon + \varepsilon $$
$k=1$ 을 넣고, 바로 위의 $e_1$ 상한을 대입합니다($L \ge 0$ 이라 부등호 방향이 유지됩니다).
$$ e_3 \le L e_2 + \varepsilon \le L^3 e_0 + L^2\varepsilon + L\varepsilon + \varepsilon $$
같은 방법을 한 번 더. 규칙이 보입니다: $e_0$ 앞에는 $L^k$, 그 뒤에 $\varepsilon$ 이 $L^{k-1}, \dots, L, 1$ 배로 붙습니다.
$$ e_k \le L^k e_0 + \varepsilon\,(1 + L + L^2 + \cdots + L^{k-1}) = L^k e_0 + \varepsilon\sum_{j=0}^{k-1}L^j $$
일반화한 식입니다(수학적 귀납법으로 확인할 수 있습니다: 이 식을 점화식에 넣으면 $k+1$ 의 식이 나옵니다).
$$ S := \sum_{j=0}^{k-1}L^j,\quad L S = \sum_{j=1}^{k}L^j \ \Rightarrow\ LS - S = L^k - 1 $$
등비수열의 합 구하기: $S$ 에 $L$ 을 곱하면 각 항이 한 칸씩 밀립니다. 두 식을 빼면 가운데 항이 모두 지워지고 $L^k$ 와 $L^0 = 1$ 만 남습니다.
$$ S = \frac{L^k - 1}{L - 1}\quad (L \ne 1) $$
$(L-1)S = L^k - 1$ 의 양변을 $L - 1$ 로 나눕니다.
$$ e_k \le L^k e_0 + \varepsilon\,\frac{L^k - 1}{L - 1}, \qquad e_0 = 0 \text{ 이면 } e_k \le \varepsilon\,\frac{L^k - 1}{L - 1} $$
롤아웃은 진짜 관측에서 출발하므로 보통 $e_0 = 0$ 입니다. 오차의 상한은 1스텝 오차 $\varepsilon$ 에 “증폭 계수” $\frac{L^k-1}{L-1}$ 을 곱한 것입니다.

증폭 계수는 $L$ 에 따라 성격이 완전히 다릅니다.

경우상한뜻예: $\varepsilon = 0.01$, $k = 20$
$L \lt 1$ (차이를 줄이는 모델)$\varepsilon\frac{1 - L^k}{1-L} \lt \frac{\varepsilon}{1-L}$오차가 일정 값 아래에 머문다$L = 0.9$: $0.01\times\frac{1-0.9^{20}}{0.1} = 0.088$
$L = 1$$k\,\varepsilon$오차가 스텝 수에 비례해 늘어난다$0.01\times 20 = 0.2$
$L \gt 1$ (차이를 키울 수 있는 모델)$\varepsilon\frac{L^k - 1}{L-1}$오차가 지수적으로 커진다$L = 1.1$: $0.01\times\frac{1.1^{20}-1}{0.1} = 0.573$

($L = 1$ 인 경우는 $\sum_{j=0}^{k-1} 1^j = k$ 이므로 따로 계산했습니다. $1.1^{20} \approx 6.727$, $0.9^{20} \approx 0.122$ 입니다.) 같은 1스텝 오차라도 $L = 1.1$ 이면 20 스텝 뒤 상한이 $L = 0.9$ 일 때의 6배가 넘습니다. 오차 누적은 모델이 나빠서만이 아니라 세상 자체가 작은 차이를 키우는 성질 을 가질 때 특히 심해집니다.

참고 · 진자는 작은 차이를 얼마나 키울까 (위는 불안정, 아래는 중립)

진짜 진자가 작은 차이를 얼마나 키우는지 계산해 볼 수 있습니다(잘 배운 모델도 이 성질을 그대로 흉내 냅니다). 똑바로 선 자세 근처($\theta \approx 0$)에서 $\sin\theta \approx \theta$ 로 근사하고 $u = 0$ 이면, 반암시적 오일러 한 스텝은 다음과 같습니다($\Delta t = 0.05$, $15\Delta t = 0.75$).

$$ \dot\theta_{t+1} = \dot\theta_t + 0.75\,\theta_t, \qquad \theta_{t+1} = \theta_t + 0.05\,\dot\theta_{t+1} = 1.0375\,\theta_t + 0.05\,\dot\theta_t $$

(둘째 식은 첫째 식을 대입해 $\theta_t + 0.05(\dot\theta_t + 0.75\theta_t)$ 를 정리한 것입니다.) 행렬로 쓰면 $\begin{pmatrix}\theta_{t+1}\\ \dot\theta_{t+1}\end{pmatrix} = A\begin{pmatrix}\theta_t\\ \dot\theta_t\end{pmatrix}$, $A = \begin{pmatrix}1.0375 & 0.05\\ 0.75 & 1\end{pmatrix}$ 입니다. 여러 스텝에 걸쳐 작은 차이가 한 스텝마다 평균 몇 배씩 되는지는 $A$ 의 고윳값 $\lambda$ 가 알려 줍니다. 고윳값은 $\det(A - \lambda I) = 0$ 의 해입니다.

$$ (1.0375 - \lambda)(1 - \lambda) - 0.05\times0.75 = 0 \ \Rightarrow\ \lambda^2 - 2.0375\lambda + 1 = 0 $$

(전개하면 $\lambda^2 - 2.0375\lambda + 1.0375 - 0.0375$ 입니다.) 근의 공식으로 $\lambda = \frac{2.0375 \pm \sqrt{2.0375^2 - 4}}{2} = \frac{2.0375 \pm 0.3891}{2}$, 곧 $\lambda_1 \approx 1.2133$, $\lambda_2 \approx 0.8242$ 입니다. 위에 선 자세 근처에서는 작은 차이가 길게 보면 한 스텝마다 약 1.21 배 커집니다. 20 스텝(1초) 뒤면 $1.2133^{20} \approx 47.8$ 배입니다. 반대로 매달린 자세($\theta \approx \pi$) 근처에서 같은 계산을 하면 $\lambda^2 - 1.9625\lambda + 1 = 0$ 이 되고, 판별식 $1.9625^2 - 4 \lt 0$ 이라 두 고윳값은 크기가 정확히 1 인 복소수가 됩니다. 차이가 커지지도 줄지도 않고 빙글빙글 돌기만(진동) 한다는 뜻입니다. 그래서 같은 모델이라도 진자를 세우는 순간을 상상할 때 오차가 가장 빨리 커집니다.

엄밀히 말하면 고윳값과 립시츠 상수 $L$ 은 같은 것이 아닙니다. $L$ 은 “한 스텝에서 최악의 경우 몇 배까지 커질 수 있는가” 이고(보통의 벡터 길이로 재면 위 $A$ 에서 약 $1.48$, 매달린 자세에서도 약 $1.41$), 고윳값은 “여러 스텝을 이어 갈 때 실제로 한 스텝마다 평균 몇 배씩 커지는가” 입니다. 그래서 앞의 상한 $\varepsilon\frac{L^k-1}{L-1}$ 은 넉넉하게 잡은 값이고, 길게 굴릴 때 오차가 실제로 불어나는 속도는 고윳값이 정합니다.

실험으로 확인하기

이제 실제로 잽니다. 검증 에피소드의 아무 시점 300곳에서 출발해, 기록된 행동으로 50 스텝 롤아웃하고 각 스텝 $k$ 에서 각도 오차 $|\hat\theta - \theta|$ 와 각속도 오차를 잽니다. 각도의 차이는 $[-\pi, \pi)$ 로 접어서 잽니다(앞에서 본 이음매 문제).


  
롤아웃 스텝 k 에 따른 각도 오차와 각속도 오차(로그 눈금). 두 모델 모두 스텝이 늘수록 오차가 커지며, 10스텝 손실 모델의 오차가 1스텝 손실 모델의 약 절반이다
그림 6-7. 롤아웃 길이에 따른 오차(중앙값, 띠는 25–75% 구간, 로그 눈금). 1스텝 오차는 아주 작지만 50 스텝이면 수십 배로 커집니다. 띠가 넓은 것은 출발점에 따라(특히 위쪽 자세를 지나는지에 따라) 오차의 증가 속도가 크게 다르기 때문입니다.
  horizon  1: 1-step model angle err 0.0016 rad, vel err 0.0053 | 10-step model angle 0.0009, vel 0.0043   (median)
  horizon  5: 1-step model angle err 0.0093 rad, vel err 0.0280 | 10-step model angle 0.0047, vel 0.0192   (median)
  horizon 10: 1-step model angle err 0.0219 rad, vel err 0.0667 | 10-step model angle 0.0097, vel 0.0389   (median)
  horizon 20: 1-step model angle err 0.0538 rad, vel err 0.1311 | 10-step model angle 0.0224, vel 0.0760   (median)
  horizon 30: 1-step model angle err 0.0700 rad, vel err 0.2375 | 10-step model angle 0.0323, vel 0.1188   (median)
  horizon 50: 1-step model angle err 0.1228 rad, vel err 0.4600 | 10-step model angle 0.0618, vel 0.1724   (median)

1스텝 손실 모델(각 줄의 앞쪽 숫자)의 각속도 오차 중앙값은 1 스텝에서 $0.0053$ 이지만 50 스텝에서 $0.46$ 으로 약 87배 커졌습니다. 7장에서 계획할 때는 25 스텝 정도를 내다볼 것이므로, 이 정도 오차라면 “대략 맞는 상상” 으로 쓸 만합니다.

오차 누적을 줄이는 방법

다스텝 손실

1스텝 손실로 학습할 때 모델은 늘 진짜 관측을 입력으로 받습니다. 그런데 롤아웃할 때는 자기 예측 을 입력으로 받습니다. 학습 때 본 적 없는, 조금씩 어긋난 입력에서 어떻게 행동해야 하는지 배운 적이 없는 셈입니다. 그래서 학습할 때도 롤아웃을 해 보고, 그 오차를 직접 줄이게 할 수 있습니다.

$$ \mathcal{L}_{k\text{-step}}(\theta) = \frac{1}{k}\sum_{j=1}^{k}\left[\ \big\|\, (\hat o_{t+j} - o_{t+j}) \oslash \sigma_{\Delta o} \big\|^2 + \Big(\frac{\hat r_{t+j-1} - r_{t+j-1}}{\sigma_r}\Big)^2\ \right], \qquad \hat o_{t+j} = f_\theta(\hat o_{t+j-1}, a_{t+j-1}),\ \hat o_t = o_t $$

($\oslash$ 는 원소별 나눗셈입니다. 오차를 $\Delta o$ 의 표준편차 단위로 재서 1스텝 손실과 크기를 맞췄고, 코드에서는 여기에 4 로 나눈 평균을 씁니다.) $k = 1$ 이면 1스텝 손실과 같습니다. 핵심은 $\hat o_{t+j}$ 가 모델 자신의 예측이고, 그 예측을 거쳐 기울기도 흐른다 는 점입니다. 그래서 “지금 조금 틀리면 몇 스텝 뒤에 크게 틀린다” 는 정보가 앞 스텝의 가중치 갱신에도 전달됩니다.


  

같은 데이터 · 같은 크기 · 같은 에폭으로 $k = 10$ 다스텝 손실 모델을 학습하면(위 출력의 뒤쪽 숫자, 그림 6-7 의 주황 점선), 50 스텝 뒤 오차 중앙값이 각도 $0.123 \to 0.062$, 각속도 $0.46 \to 0.17$ 로, 각도는 절반쯤 · 각속도는 3분의 1 남짓으로 줄어듭니다. 1 스텝 오차도 조금 줄었습니다. 대신 학습 한 스텝에 모델을 $k$ 번 통과하므로 학습 시간이 대략 $k$ 배 듭니다.

그 밖의 방법들

이 모델로 무엇을 할 수 있나

우리는 이제 진자의 “머릿속 시뮬레이터” 를 가졌습니다. 이 시뮬레이터는 진짜 환경과 달리

다음 장에서는 첫 번째 쓰임새를 실제로 해 봅니다. “이 행동열을 하면 어떻게 될까?” 를 수백 개 상상해 보고, 가장 좋은 것을 골라 실행하는 계획 으로 진자를 세웁니다.

직접 바꿔 보기
이 장의 정리

확인 문제

문제 1 · 관성 모멘트

같은 막대(질량 $m$, 길이 $l$)를 끝이 아니라 한가운데 를 축으로 돌리면 관성 모멘트는 얼마일까요? 적분 구간을 바꿔 계산해 보세요.

답 보기

축이 가운데이므로 $r$ 은 $-\frac l2$ 부터 $\frac l2$ 까지입니다. $I = \int_{-l/2}^{l/2} r^2\frac{m}{l}dr = \frac{m}{l}\Big[\frac{r^3}{3}\Big]_{-l/2}^{l/2} = \frac{m}{l}\cdot\frac13\left(\frac{l^3}{8} + \frac{l^3}{8}\right) = \frac{m}{l}\cdot\frac{l^3}{12} = \frac{1}{12}ml^2$. 끝을 축으로 할 때($\frac13 ml^2$)의 $\frac14$ 로, 질량이 축 가까이 모여 있을수록 돌리기 쉽다는 뜻입니다.

문제 2 · 막대를 붙잡아 둘 수 있는 각도

토크 한계가 $|u| \le 2$ 일 때, 막대를 가만히 붙잡아 둘 수 있는($\ddot\theta = 0$ 이 가능한) 각도의 범위는? ($\theta$ 는 위에서 잰 각도)

답 보기

$15\sin\theta + 3u = 0$ 에서 $u = -5\sin\theta$ 이고, $|u| \le 2$ 이려면 $|\sin\theta| \le 0.4$ 여야 합니다. $\arcsin 0.4 \approx 0.4115$ rad $\approx 23.6°$ 이므로, 똑바로 선 자세에서 약 $\pm 23.6°$ 이내이거나, 매달린 자세에서 약 $\pm 23.6°$ 이내($|\theta| \ge \pi - 0.4115$)입니다. 그 사이 각도에서는 어떤 토크로도 멈춰 있을 수 없으므로 흔들어서 지나가야 합니다.

문제 3 · 표준화 되돌리기

어떤 열의 학습 데이터 평균이 $\mu = 2$, 표준편차가 $\sigma = 0.5$ 입니다. 모델이 표준화된 공간에서 $\tilde y = -1.2$ 를 예측했습니다. 원래 단위의 예측은? 또 표준화된 공간의 MSE 가 $0.0004$ 라면, 원래 단위의 RMSE 는 대략 얼마일까요?

답 보기

$y = \tilde y\,\sigma + \mu = -1.2\times0.5 + 2 = 1.4$. 표준화된 오차 $\tilde e$ 와 원래 오차 $e$ 는 $e = \tilde e\,\sigma$ 관계이므로(평균은 서로 빼지면서 사라집니다) RMSE 는 $\sqrt{0.0004}\times0.5 = 0.02\times0.5 = 0.01$ 입니다.

문제 4 · 오차 상한 계산

1스텝 오차 상한이 $\varepsilon = 0.005$ 이고 립시츠 상수가 $L = 1.2$ 인 모델로 $e_0 = 0$ 에서 10 스텝 롤아웃하면 오차의 상한은? ($1.2^{10} \approx 6.19$)

답 보기

$e_{10} \le 0.005\times\frac{1.2^{10}-1}{1.2-1} = 0.005\times\frac{5.19}{0.2} = 0.005\times25.95 \approx 0.13$. 1스텝 오차의 약 26배입니다.

문제 5 · 왜 롤아웃 오차를 1스텝 손실로는 직접 줄이지 못하나

1스텝 손실로 학습한 모델이 1스텝 오차는 아주 작은데도 롤아웃에서 오차가 커지는 까닭을 “학습 때의 입력” 과 “사용할 때의 입력” 이라는 말로 설명해 보세요.

답 보기

학습 때 모델의 입력은 언제나 진짜 관측 $o_t$ 입니다. 롤아웃할 때의 입력은 조금씩 틀린 자기 예측 $\hat o_t$ 입니다. 모델은 이런 “살짝 어긋난 입력” 의 분포를 학습 때 보지 못했으므로, 거기서의 예측이 얼마나 정확할지 보장되지 않고, 어긋남이 다음 스텝으로 넘어가며 커집니다(학습 분포와 사용 분포의 차이, distribution shift). 다스텝 손실은 학습 때도 자기 예측을 입력으로 넣어 이 차이를 줄입니다.

다음 장에서는 이 모델을 “머릿속 시험장” 으로 써서, 수백 개의 행동열을 상상으로 시험해 보고 가장 좋은 것을 고르는 계획 으로 진자를 실제로 세워 봅니다.