CHAPTER 09

기억 만들기: RNN 과 MDN-RNN

8장의 VAE 덕분에 그림 한 장을 32개의 숫자 $z$ 로 요약할 수 있게 되었습니다. 그런데 그림 한 장에는 진자가 어느 쪽으로, 얼마나 빨리 도는지가 담겨 있지 않습니다. 이 장에서는 지나간 장면을 기억하는 순환 신경망(RNN) 과, 하나로 정해지지 않는 미래를 확률 분포로 예측하는 혼합 밀도 네트워크(MDN) 를 배우고, 둘을 합친 MDN-RNN 으로 잠재 공간에서 미래를 “꿈꾸는” 모델을 만듭니다. Ha & Schmidhuber 의 World Models 에서 M(Memory) 에 해당합니다.

읽는 시간 약 70분난이도 ★★★☆☆코드: code/ch09_mdn_rnn.py
이 장에서 배우는 것

그림 한 장으로는 부족하다

아래 두 상황을 생각해 봅시다. 둘 다 막대가 오른쪽으로 45° 기울어진 똑같은 그림 입니다. 하지만 한쪽은 막대가 시계 방향으로 빠르게 떨어지는 중이고, 다른 쪽은 반대로 거의 멈춰 있습니다. 다음 장면은 완전히 다릅니다. 그림 한 장만 보는 에이전트는 둘을 구별할 수 없습니다.

5장에서 이런 상황을 부분 관측partial observability, 이런 문제를 POMDP 라고 불렀습니다. 관측 $o_t$ 가 상태 $s_t = (\theta, \dot\theta)$ 를 다 담지 않는 것입니다. 해결책은 간단합니다. 지난 장면들을 함께 보면 됩니다. 우리 진자 환경의 물리는 각도를 $\theta_t = \theta_{t-1} + \dot\theta_t\,\Delta t$ 로 갱신하므로(6장),

$$ \dot\theta_t = \frac{\theta_t - \theta_{t-1}}{\Delta t} $$

입니다. 두 장면의 각도 차이를 $\Delta t = 0.05$ 초로 나누면 속도가 정확히 나옵니다. 일반적인 세상에서는 두 장면으로 부족할 수도 있으므로(가속도, 가려진 물체, 오래전 사건), “지금까지 본 모든 것의 요약” 을 들고 다니는 방법이 필요합니다. 그 요약이 은닉 상태hidden state $h_t$ 이고, 그것을 매 스텝 갱신하는 신경망이 순환 신경망recurrent neural network, RNN 입니다.

순환 신경망 RNN

식 하나

가장 기본적인 RNN(Elman RNN)은 한 줄입니다.

$$ h_t = \tanh\!\big(W_h\,h_{t-1} + W_x\,x_t + b\big),\qquad y_t = W_y\,h_t + c $$

숫자로 따라가 보기

1차원 RNN 에서 $W_h = 0.5$, $W_x = 1$, $b = 0$ 이고 입력이 $x = (1, 0, 0)$ 이라고 합시다. 처음 한 번 “1” 을 보고 그 뒤로는 아무것도 보지 않습니다.

세 스텝 계산
$$ h_1 = \tanh(0.5 \cdot 0 + 1 \cdot 1) = \tanh(1) \approx 0.762 $$
$h_0 = 0$ 이므로 입력만 들어갑니다.
$$ h_2 = \tanh(0.5 \cdot 0.762 + 1 \cdot 0) = \tanh(0.381) \approx 0.363 $$
입력이 0 이어도 지난 기억의 절반이 남습니다.
$$ h_3 = \tanh(0.5 \cdot 0.363) = \tanh(0.182) \approx 0.180 $$
기억이 스텝마다 대략 절반씩 줄어듭니다. 이 RNN 은 “1 을 봤다” 는 사실을 몇 스텝밖에 기억하지 못합니다. 이 빠른 망각이 뒤에서 볼 기울기 소실과 같은 뿌리입니다.

시간 펼침

RNN 을 시간 방향으로 펼쳐 그리면, 같은 상자를 옆으로 이어 붙인 깊은 신경망과 같습니다. 길이 $T$ 의 시퀀스는 깊이 $T$ 의 신경망이 됩니다.

h₀ = 0 RNN 칸 x₁ y₁ h₁ RNN 칸 x₂ y₂ h₂ … hT−1 RNN 칸 xT yT
그림 9-1. 시간 펼침. 모든 “RNN 칸” 은 같은 가중치를 씁니다. 기억 $h$ 가 왼쪽에서 오른쪽으로 전달됩니다.

BPTT 와 기울기 소실 · 폭발

시간을 거슬러 오는 역전파

펼친 RNN 은 그냥 깊은 신경망이므로 4장의 역전파를 그대로 씁니다. 다만 기울기가 시간을 거꾸로 거슬러 흐르므로 BPTTbackpropagation through time 라고 부릅니다. 손실은 시각마다의 손실의 합 $L = \sum_t L_t$ 이고, 같은 $W_h$ 가 모든 시각에서 쓰였으므로 $W_h$ 의 기울기는 모든 시각에서 온 기여의 합이 됩니다.

핵심 질문은 “시각 $T$ 의 손실이 훨씬 이전의 기억 $h_k$ 에 얼마나 민감한가”, 즉 $\frac{\partial L_T}{\partial h_k}$ 입니다. 이것이 작으면 모델은 먼 과거와 지금의 관계를 배울 수 없습니다.

먼 과거로 가는 기울기 = 야코비안의 곱
$$ \frac{\partial L_T}{\partial h_k} = \frac{\partial L_T}{\partial h_T}\,\frac{\partial h_T}{\partial h_{T-1}}\,\frac{\partial h_{T-1}}{\partial h_{T-2}}\cdots\frac{\partial h_{k+1}}{\partial h_k} = \frac{\partial L_T}{\partial h_T}\prod_{t=k+1}^{T}\frac{\partial h_t}{\partial h_{t-1}} $$
연쇄 법칙(4장)입니다. $h_k$ 는 $h_{k+1}$ 을 거쳐, $h_{k+1}$ 은 $h_{k+2}$ 를 거쳐 … $h_T$ 에 영향을 주므로 단계마다의 변화율을 모두 곱합니다. 벡터일 때 각 $\frac{\partial h_t}{\partial h_{t-1}}$ 은 행렬(야코비안)입니다.
$$ h_t = \tanh(a_t),\quad a_t = W_h h_{t-1} + W_x x_t + b \;\;\Rightarrow\;\; \frac{\partial h_t}{\partial h_{t-1}} = \frac{\partial h_t}{\partial a_t}\,\frac{\partial a_t}{\partial h_{t-1}} $$
한 스텝 안에서도 연쇄 법칙: $h_{t-1} \to a_t \to h_t$. (이 유도에서 $a_t$ 는 행동이 아니라 tanh 에 들어가기 전의 값입니다.)
$$ \frac{d}{da}\tanh(a) = 1 - \tanh^2(a) $$
tanh 의 미분 공식입니다(바로 아래 풀이 상자에서 유도). tanh 는 성분마다 따로 적용되므로 $\frac{\partial h_t}{\partial a_t} = \diag(1 - h_t^2)$ (대각 행렬)입니다.
$$ \frac{\partial a_t}{\partial h_{t-1}} = W_h $$
$a_t$ 는 $h_{t-1}$ 에 대해 선형이고, 그 계수가 $W_h$ 입니다.
$$ \frac{\partial L_T}{\partial h_k} = \frac{\partial L_T}{\partial h_T}\prod_{t=k+1}^{T}\diag\!\big(1 - h_t^2\big)\,W_h $$
같은 모양의 행렬 $\diag(1-h_t^2)W_h$ 를 $T - k$ 번 곱합니다(행렬이므로 곱하는 순서가 있습니다. 첫 줄처럼 $t = T$ 인 것이 맨 왼쪽, $t = k+1$ 인 것이 맨 오른쪽입니다). 곱이 길어질수록 결과가 0 으로 가거나 무한히 커지기 쉬운 구조입니다.
$\tanh'(a) = 1 - \tanh^2(a)$
$$ \tanh a = \frac{N}{D},\qquad N = e^{a} - e^{-a},\quad D = e^{a} + e^{-a} $$
tanh 의 정의를 분자 $N$, 분모 $D$ 로 나눠 씁니다.
$$ N' = e^{a} + e^{-a} = D,\qquad D' = e^{a} - e^{-a} = N $$
$(e^{a})' = e^{a}$, 연쇄 법칙으로 $(e^{-a})' = -e^{-a}$. 그래서 $N$ 을 미분하면 $D$, $D$ 를 미분하면 $N$ 이 됩니다.
$$ \Big(\frac{N}{D}\Big)' = \frac{N'D - ND'}{D^2} = \frac{D\cdot D - N\cdot N}{D^2} $$
몫의 미분법 $(N/D)' = (N'D - ND')/D^2$ 에 바로 위 결과를 넣었습니다(몫의 미분법은 4장의 곱의 미분과 $(1/D)' = -D'/D^2$ 에서 나옵니다. 같은 결과를 4장에서는 시그모이드를 거쳐 유도했습니다).
$$ = 1 - \frac{N^2}{D^2} = 1 - \tanh^2 a $$
분수를 둘로 나눴습니다. tanh 의 미분은 tanh 값만으로 계산됩니다. $|\tanh a|$ 가 1 에 가까울수록(포화) 미분은 0 에 가깝습니다.

왜 0 으로 사라지거나 터지는가

1차원으로 생각하면 곧바로 보입니다. 매 스텝 곱하는 수 $w(1 - h_t^2)$ 의 크기를 대략 $\rho$ 라고 하면, 20 스텝 뒤에는 $\rho^{20}$ 이 곱해집니다.

$\tanh' = 1 - h^2 \le 1$ 이므로, 기억이 포화되어($|h| \to 1$) 있으면 곱하는 수가 더 작아져 소실이 더 잘 일어납니다. 벡터일 때는 행렬 $W_h$ 의 고윳값 이 같은 역할을 합니다.

행렬을 거듭 곱하면 고윳값의 거듭제곱이 된다
$$ W v = \lambda v $$
고유벡터 $v$ 는 $W$ 를 곱해도 방향은 그대로이고 길이만 $\lambda$ 배가 되는 벡터입니다. $\lambda$ 가 고윳값입니다.
$$ W^2 v = W(Wv) = W(\lambda v) = \lambda\,(Wv) = \lambda^2 v $$
한 번 더 곱하면 $\lambda$ 가 한 번 더 곱해집니다(스칼라 $\lambda$ 는 행렬 곱 밖으로 나올 수 있습니다).
$$ W^n v = \lambda^n v $$
같은 논리를 $n$ 번. 가장 큰 고윳값의 크기가 1 보다 작으면 모든 방향이 0 으로 줄고, 1 보다 크면 그 방향이 폭발합니다.
팁 · 폭발은 잘라서 막는다

폭발은 기울기 자르기gradient clipping 로 쉽게 막습니다. 기울기 벡터 $g$ 의 길이가 정해진 값 $c$ 를 넘으면 방향은 그대로 두고 길이만 $c$ 로 줄입니다: $g \leftarrow g\cdot\min\!\big(1, \frac{c}{\lVert g\rVert}\big)$. 이 장의 코드는 clip_grad_norm_(model.parameters(), 1.0) 한 줄로 $c = 1$ 을 씁니다. 소실은 자르기로 해결되지 않으므로 신경망 구조를 바꿔야 합니다. 그것이 LSTM 입니다.

LSTM: 게이트가 달린 기억

식과 각 게이트의 뜻

LSTMlong short-term memory(Hochreiter & Schmidhuber, 1997)은 기억을 두 가지로 나눕니다. 오래 보관하는 셀 상태 $c_t$ 와, 밖으로 내보이는 은닉 상태 $h_t$ 입니다. 그리고 셀 상태에 무엇을 지우고, 쓰고, 내보낼지를 세 개의 게이트(gate) 가 정합니다 (1997년의 원형에는 망각 게이트가 없었고, Gers 외(2000)가 덧붙였습니다. 아래는 지금 표준으로 쓰는 형태입니다). 아래에서 $[h_{t-1}; x_t]$ 는 두 벡터를 이어 붙인 것, $\sigma$ 는 시그모이드 $\sigma(u) = \frac{1}{1+e^{-u}}$ (값이 0 – 1), $\odot$ 는 원소별 곱입니다. (이 절의 $o_t$ 는 관측이 아니라 출력 게이트이고, $\sigma$ 는 이 절에서만 시그모이드입니다. 뒤의 MDN 절부터 $\sigma$ 는 다시 표준편차입니다.)

$$ \begin{aligned} f_t &= \sigma\big(W_f[h_{t-1}; x_t] + b_f\big) && \text{망각 게이트 (forget gate)} \\ i_t &= \sigma\big(W_i[h_{t-1}; x_t] + b_i\big) && \text{입력 게이트 (input gate)} \\ g_t &= \tanh\big(W_g[h_{t-1}; x_t] + b_g\big) && \text{새로 쓸 내용 (candidate)} \\ o_t &= \sigma\big(W_o[h_{t-1}; x_t] + b_o\big) && \text{출력 게이트 (output gate)} \\ c_t &= f_t \odot c_{t-1} + i_t \odot g_t && \text{셀 상태 갱신} \\ h_t &= o_t \odot \tanh(c_t) && \text{은닉 상태} \end{aligned} $$

게이트는 0 – 1 사이 값이라 “밸브” 처럼 동작합니다. 0 과 1 사이 어디든 될 수 있으므로 미분 가능하고, 무엇을 기억할지 자체를 데이터에서 배웁니다.

ct−1 ct × + ft (σ) it (σ) gt (tanh) × ot (σ) × tanh ht 입력 [ht−1; xt] → 세 게이트와 후보 모두에 들어간다 초록 굵은 선: 셀 상태의 “고속도로”. 곱셈 한 번(×ft)과 덧셈 한 번(+)만 거친다
그림 9-2. LSTM 칸 하나. 셀 상태 $c$ 는 위쪽 직선을 따라 흐르며, 망각 게이트의 곱셈과 새 내용의 덧셈만 거칩니다.

왜 셀 상태는 기울기를 지키는가

셀 상태 경로의 기울기
$$ c_t = f_t \odot c_{t-1} + i_t \odot g_t $$
셀 상태 갱신 식입니다.
$$ \frac{\partial c_t}{\partial c_{t-1}} \approx \diag(f_t) $$
$c_{t-1}$ 이 직접 나타나는 곳은 첫 항 $f_t\odot c_{t-1}$ 뿐이고, 원소별 곱의 미분은 곱하던 값 $f_t$ 입니다. ($f_t, i_t, g_t$ 도 $h_{t-1}$ 을 거쳐 $c_{t-1}$ 과 간접적으로 이어지지만, 그 경로는 RNN 처럼 줄어드는 경로이고 여기서는 “직통” 경로만 봅니다.)
$$ \frac{\partial c_T}{\partial c_k} \approx \prod_{t=k+1}^{T}\diag(f_t) $$
직통 경로를 따라가면 곱해지는 것은 망각 게이트 값뿐입니다. 가중치 행렬도, $\tanh'$ 도 곱해지지 않습니다.

망각 게이트가 1 에 가까우면($f_t \approx 1$) 기울기가 거의 그대로 먼 과거까지 전달됩니다. 이때 갱신 식은 $c_t \approx c_{t-1} + i_t\odot g_t$, 즉 지난 기억에 새것을 더하는 꼴입니다. 덧셈은 미분이 1 이라 기울기를 줄이지 않습니다. RNN 이 매 스텝 “행렬을 곱하고 tanh 로 누르는” 과정을 거쳐 기억을 덮어쓰는 데 비해, LSTM 은 “필요한 만큼만 지우고 더하는” 길을 따로 둔 것입니다. 이 덧셈 경로 아이디어는 나중에 ResNet 의 잔차 연결, Transformer 의 잔차 흐름으로도 이어집니다. 그래서 LSTM 은 실무에서 망각 게이트의 편향 $b_f$ 를 1 같은 양수로 초기화해 처음부터 “잘 기억하는” 쪽에서 출발시키기도 합니다.

매개변수 수는 (게이트 세 개 + 후보 $g_t$) 네 묶음 × (가중치 + 편향)입니다. 은닉 크기 $H = 256$, 입력 크기 $X = 32 + 1 = 33$ 이면 $4 \times (256 \times 33 + 256 \times 256 + 256 + 256) = 297{,}984$ 개입니다. (PyTorch 는 입력 쪽과 은닉 쪽에 편향을 하나씩, 두 벌 둡니다.)

GRU: 게이트를 줄인 LSTM

GRUgated recurrent unit(Cho 외, 2014)는 셀 상태와 은닉 상태를 하나로 합치고 게이트를 두 개로 줄였습니다.

$$ \begin{aligned} u_t &= \sigma\big(W_u[h_{t-1}; x_t] + b_u\big) && \text{갱신 게이트 (update gate)} \\ r_t &= \sigma\big(W_r[h_{t-1}; x_t] + b_r\big) && \text{리셋 게이트 (reset gate)} \\ \tilde{h}_t &= \tanh\big(W_h[r_t \odot h_{t-1}; x_t] + b_h\big) && \text{후보} \\ h_t &= u_t \odot h_{t-1} + (1 - u_t)\odot \tilde{h}_t && \text{섞기} \end{aligned} $$

마지막 줄이 핵심입니다. 새 기억은 옛 기억과 후보의 가중 평균 이고, $u_t \approx 1$ 이면 옛 기억이 그대로 지나갑니다(LSTM 의 $f_t \approx 1$ 과 같은 효과). 매개변수가 LSTM 의 4분의 3 이고 성능은 비슷한 경우가 많아, 11장의 RSSM(PlaNet · Dreamer)은 GRU 를 씁니다. (위 식은 GRU 를 처음 제안한 Cho 외(2014) 논문의 출판본(EMNLP)을 따랐고, PyTorch 의 nn.GRU 도 $u$ 를 같은 방향으로 씁니다. 다만 두 가지 변형이 흔합니다. ① Chung 외(2014)처럼 $u$ 의 역할을 뒤집어 $h_t = (1-u_t)\odot h_{t-1} + u_t\odot\tilde h_t$ 로 쓰는 문헌이 있습니다. ② PyTorch 는 후보를 만들 때 $r_t$ 를 $h_{t-1}$ 에 먼저 곱하는 대신 $W h_{t-1}$ 을 계산한 뒤에 곱하는데, 이것은 Cho 외 논문의 arXiv 초판(v1)에 실렸던 형태입니다. 세부만 다를 뿐 거의 같은 구조이고, 11장에서 PyTorch 의 식을 그대로 다시 봅니다.)

무엇을 예측할까: 하나의 답과 분포

MSE 는 평균을 맞힌다

이제 RNN 의 출력으로 다음 잠재 벡터 $z_{t+1}$ 을 예측하려 합니다. 6장처럼 MSE 로 회귀하면 될까요? 먼저 MSE 가 무엇을 맞히는지 정확히 봅시다.

MSE 를 최소로 하는 예측은 조건부 평균
$$ \min_{c}\; \E\big[(y - c)^2\big] $$
같은 입력 $x$ 에 대해 정답 $y$ 가 여러 값으로 흔들릴 때, 하나의 예측 $c$ 로 제곱 오차의 기댓값을 가장 작게 만들고 싶습니다.
$$ \frac{d}{dc}\E\big[(y - c)^2\big] = \E\big[-2(y - c)\big] = -2\big(\E[y] - c\big) $$
미분과 기댓값의 순서를 바꾸고(기댓값의 분포는 $c$ 와 무관), $(y-c)^2$ 을 $c$ 로 미분하면 연쇄 법칙으로 $2(y-c)\cdot(-1)$.
$$ c^\ast = \E[y \mid x] $$
기울기를 0 으로 놓으면 $c = \E[y]$. 둘째 미분이 $2 \gt 0$ 이므로 최솟값입니다. MSE 로 학습한 신경망은 “일어날 수 있는 미래들의 평균” 을 냅니다.

미래가 하나로 정해져 있으면 평균이 곧 답이므로 문제가 없습니다. 하지만 미래가 여러 갈래 라면 이야기가 다릅니다. 진자가 꼭대기에 거의 멈춰 서 있으면 왼쪽으로도 오른쪽으로도 넘어질 수 있습니다. 정답이 반반의 확률로 “왼쪽으로 넘어진 그림” 과 “오른쪽으로 넘어진 그림” 이면, MSE 가 내는 답은 두 그림의 평균, 곧 막대가 두 개 겹친 흐린 그림 입니다. 실제로는 절대 일어나지 않는 미래입니다. 1차원으로 보면 정답이 $\pm 1$ 반반일 때 MSE 예측은 $0$ 이고, 0 은 한 번도 나오지 않는 값입니다. World Model 이 상상 속에서 이런 “평균 미래” 를 만들면, 그 위에서 배운 행동도 엉뚱해집니다. 그래서 하나의 값이 아니라 분포 를 예측해야 합니다.

장난감 문제로 보기

고전적인 예(Bishop, 1994)를 씁니다. $x$ 를 0 – 1 에서 뽑아 $y = x + 0.3\sin(2\pi x) + \text{잡음}$ 을 만든 뒤, 거꾸로 $y$ 를 보고 $x$ 를 맞히게 합니다. $y$ 가 0.4 – 0.6 근처이면 그런 $y$ 를 만드는 $x$ 가 세 개씩 있습니다.

왼쪽: MSE 회귀선이 여러 가지 갈래 사이를 지난다. 오른쪽: MDN 표본이 모든 갈래 위에 놓인다
그림 9-3. 왼쪽: MSE 로 학습한 신경망(빨강)은 갈래들의 평균, 곧 데이터가 거의 없는 곳을 지납니다. 오른쪽: 혼합 밀도 네트워크에서 뽑은 표본(파랑)은 세 갈래를 모두 따라갑니다.

혼합 밀도 네트워크 MDN

여러 개의 종을 섞기

혼합 밀도 네트워크mixture density network, MDN(Bishop, 1994)는 출력을 숫자 하나가 아니라 가우시안 $K$ 개의 혼합 으로 냅니다.

$$ p(y \mid x) = \sum_{k=1}^{K} \pi_k(x)\;\Normal\!\big(y;\ \mu_k(x),\ \sigma_k^2(x)\big),\qquad \pi_k \ge 0,\ \ \sum_{k=1}^K \pi_k = 1 $$

$K$ 개의 종 모양 곡선을 각자의 가중치 $\pi_k$ 로 더한 것입니다. 종이 여러 개이므로 봉우리도 여러 개를 가질 수 있습니다. 신경망은 입력 $x$ 마다 성분별로 세 가지 숫자를 냅니다.

$y$ 가 $D$ 차원일 때 Ha & Schmidhuber 는 차원마다 따로 $K$ 개 성분의 혼합을 둡니다($p(y) = \prod_{d=1}^{D}\sum_k \pi_{d,k}\Normal(y_d;\mu_{d,k},\sigma_{d,k}^2)$). 그래서 출력 수는 $3 \times K \times D$ 입니다. $z$ 가 32차원이고 $K = 5$ 이면 $3 \times 5 \times 32 = 480$ 개입니다.

혼합의 로그 가능도

학습은 언제나처럼 최대우도, 곧 음의 로그 가능도(NLL)를 최소화합니다. 한 데이터 $(x, y)$ 의 로그 가능도를 정리합니다.

혼합 가우시안의 로그 가능도
$$ \log p(y \mid x) = \log \sum_{k=1}^{K}\pi_k\,\Normal(y;\mu_k,\sigma_k^2) $$
정의에 로그를 씌웠습니다. 합의 로그는 로그의 합으로 나눌 수 없다는 점이 문제입니다.
$$ = \log \sum_{k=1}^{K}\exp\!\Big(\log\pi_k + \log\Normal(y;\mu_k,\sigma_k^2)\Big) $$
어떤 양수 $u$ 도 $u = \exp(\log u)$ 이고, 곱의 로그는 로그의 합입니다: $\pi_k\Normal_k = \exp(\log\pi_k + \log\Normal_k)$.
$$ \log p(y \mid x) = \operatorname{logsumexp}_{k}\big(a_k\big),\qquad a_k = \log\pi_k - \log\sigma_k - \tfrac{1}{2}\log 2\pi - \tfrac{1}{2}\Big(\frac{y - \mu_k}{\sigma_k}\Big)^2 $$
$\operatorname{logsumexp}(a) := \log\sum_k e^{a_k}$ 라는 이름을 붙였습니다. $a_k$ 의 뒤쪽 세 항은 가우시안 로그 밀도를 펼친 것입니다($\log\frac{1}{\sigma\sqrt{2\pi}} = -\log\sigma - \tfrac{1}{2}\log 2\pi$).

log-sum-exp 를 안전하게 계산하기

$a_k$ 를 곧이곧대로 $e^{a_k}$ 로 바꾸면 위험합니다. 예측이 정답에서 조금만 멀어도 $a_k$ 는 −1000 같은 값이 되고, 컴퓨터의 실수(float32)로 $e^{-1000}$ 은 정확히 0 입니다. 모든 성분이 0 이면 $\log 0 = -\infty$ 가 되어 학습이 무너집니다. 반대로 $a_k$ 가 크면 $e^{a_k}$ 가 무한대로 넘칩니다.

log-sum-exp 안정화
$$ m = \max_k a_k $$
가장 큰 값을 미리 찾습니다.
$$ \sum_{k} e^{a_k} = \sum_k e^{m}\,e^{a_k - m} = e^{m}\sum_k e^{a_k - m} $$
지수 법칙 $e^{a} = e^{m}e^{a-m}$ 으로 쪼갠 뒤, 모든 항에 공통인 $e^m$ 을 합 밖으로 묶었습니다.
$$ \log\sum_k e^{a_k} = m + \log\sum_k e^{a_k - m} $$
곱의 로그는 로그의 합이고 $\log e^m = m$. 이제 $a_k - m \le 0$ 이라 $e^{a_k - m} \le 1$ 이므로 넘치지 않고, 가장 큰 항은 $e^0 = 1$ 이라 합이 최소 1 이므로 $\log 0$ 도 생기지 않습니다.

숫자 예: $a = (-1000,\ -1001)$. 그대로 계산하면 $\log(0 + 0) = -\infty$. 안정화하면 $m = -1000$ 이고 $-1000 + \log(e^0 + e^{-1}) = -1000 + \log(1.368) \approx -999.687$ 로 정확한 값이 나옵니다. PyTorch 의 torch.logsumexp 와 F.log_softmax 가 이 방법을 씁니다(로그 소프트맥스 $\log\pi_k = \ell_k - \operatorname{logsumexp}(\ell)$ 도 같은 기법).


  

y.unsqueeze(-1) 로 정답에 성분 축을 하나 만들어 $K$ 개 성분과 한꺼번에 비교하고(브로드캐스팅), 마지막 축(성분)에 대해 logsumexp 를 합니다. 장난감 문제의 MDN 은 다음과 같습니다. 출력 층이 성분마다 (로짓, 평균, 로그 표준편차) 세 숫자를 냅니다.



  

온도로 표본 뽑기

혼합 분포에서 표본을 뽑는 방법은 생성 이야기를 그대로 따라 두 단계입니다.

  1. 성분 고르기: 확률 $\pi_1, \dots, \pi_K$ 로 주사위를 던져 성분 $k$ 를 고릅니다.
  2. 그 성분에서 뽑기: $y = \mu_k + \sigma_k\,\epsilon$, $\epsilon \sim \Normal(0, 1)$.

이렇게 뽑은 $y$ 의 분포는 $\sum_k P(k)\,p(y \mid k) = \sum_k\pi_k\Normal(y;\mu_k,\sigma_k^2)$, 곧 혼합 분포 그 자체입니다(주변화). Ha & Schmidhuber 는 여기에 온도temperature $\tau$ 를 넣어 꿈의 “무작위한 정도” 를 조절합니다.

$$ \pi_k^{(\tau)} = \frac{\exp(\log\pi_k/\tau)}{\sum_j\exp(\log\pi_j/\tau)} = \frac{\pi_k^{1/\tau}}{\sum_j \pi_j^{1/\tau}},\qquad y = \mu_k + \sigma_k\sqrt{\tau}\,\epsilon $$

숫자 예: $\pi = (0.7,\ 0.3)$. $\tau = 0.5$ 이면 $1/\tau = 2$ 제곱: $(0.49,\ 0.09)$ 를 합 0.58 로 나눠 $(0.845,\ 0.155)$. $\tau = 2$ 이면 제곱근: $(0.837,\ 0.548)$ 을 합 1.384 로 나눠 $(0.604,\ 0.396)$. 온도가 높을수록 두 성분이 비슷해집니다. 10장에서 이 $\tau$ 가 아주 중요한 역할을 합니다.


  

장난감 문제를 돌려 보면 두 모델의 차이가 숫자로도 보입니다(그림 9-3 이 이 실행의 결과입니다).

[장난감] MSE 회귀 손실 0.0380 | MDN 음의 로그 가능도 -1.142

MSE 손실 0.038 은 평균 오차가 $\sqrt{0.038} \approx 0.19$ 라는 뜻으로, 데이터가 퍼진 폭에 비해 큰 오차입니다. MDN 의 음의 로그 가능도가 음수인 것은 이상한 일이 아닙니다. 연속 분포의 밀도는 1 보다 클 수 있으므로(폭이 좁은 가우시안의 꼭대기), 로그 밀도가 양수 → NLL 이 음수가 됩니다.

MDN-RNN: World Models 의 M

구조

이제 두 조각을 합칩니다. LSTM 이 매 스텝 $[z_t; a_t]$ 를 읽어 기억을 갱신하고, 그 출력에서 MDN 머리가 다음 잠재 벡터 $z_{t+1}$ 의 혼합 분포 를, 보상 머리가 보상 $r_t$ 를 냅니다.

$$ \begin{aligned} (h_{t+1}, c_{t+1}) &= \text{LSTM}\big([z_t; a_t],\ (h_t, c_t)\big) \\ p_\theta(z_{t+1} \mid z_{\le t}, a_{\le t}) &= \prod_{d=1}^{32}\sum_{k=1}^{5}\pi_{d,k}\,\Normal\big(z_{t+1,d};\ \mu_{d,k},\ \sigma_{d,k}^2\big),\quad (\pi, \mu, \sigma) = \text{MDN}(h_{t+1}) \\ \hat{r}_t &= w_r^\top h_{t+1} + b_r \end{aligned} $$

첨자에 주의하세요. 앞의 RNN · LSTM 절에서는 입력 $x_t$ 를 읽은 뒤의 기억을 $h_t$ 라고 썼지만, 여기서부터는 원 논문을 따라 $z_t, a_t$ 를 읽은 뒤의 기억을 $h_{t+1}$ 로 씁니다. 그래서 $h_t$ 는 “$z_t$ 를 보기 전 까지의 기억” 이고, 10장의 컨트롤러가 $[z_t; h_t]$ 를 함께 받는 것도 이 약속에 따른 것입니다.

zt (32) at (1) LSTM (256) ht, ct → ht+1, ct+1 기억은 다음 스텝으로 MDN 머리 480 = 3 × 5 × 32 보상 머리 p(zt+1) π, μ, σ r̂t
그림 9-4. MDN-RNN. 입력은 이번 장면의 $z_t$ 와 행동 $a_t$, 출력은 다음 장면 $z_{t+1}$ 의 분포와 보상입니다. 기억 $(h, c)$ 가 속도 같은 숨은 정보를 들고 다닙니다.

  
  

전체 매개변수는 LSTM 297,984 + MDN 머리 123,360 + 보상 머리 257 = 421,601 개입니다. 8장 VAE(약 435만 개)의 10분의 1 입니다.

학습: 교사 강요와 손실

8장의 VAE 로 200 에피소드의 모든 그림을 $\mu, \log\sigma^2$ 으로 바꿔 두고(encode_frames), 그 시퀀스로 MDN-RNN 을 학습합니다. 손실은

$$ \mathcal{L}(\theta) = \frac{1}{BL}\sum_{b=1}^{B}\sum_{t=1}^{L}\Big[-\sum_{d=1}^{32}\log p_\theta\big(z^{(b)}_{t+1,d}\big) + \lambda_r\big(\hat{r}^{(b)}_t - r^{(b)}_t\big)^2\Big] $$

입니다. 앞 항은 다음 잠재 벡터의 NLL(차원은 합, 시간 · 배치는 평균), 뒤 항은 보상의 MSE 이고 $\lambda_r = 1$ 입니다. 두 가지 기법이 들어 있습니다.


  

줄마다 보면: 배치마다 에피소드 ep 와 시작 시각 t0 를 무작위로 골라 길이 65(= $L + 1$)짜리 창을 자릅니다. idx = t0[:, None] + arange(L+1) 는 배치마다 다른 시작점에서 연속한 시각 번호들을 한꺼번에 만드는 브로드캐스팅입니다. 입력은 z[:, :-1] (0 – 63번째), 정답은 z[:, 1:] (1 – 64번째)로 한 칸 어긋나게 짝지어 “다음” 을 맞히게 합니다. 에피소드 전체(200 스텝)가 아니라 64 스텝짜리 창만 쓰므로 기울기는 최대 64 스텝까지만 거슬러 흐릅니다(잘린 BPTT, truncated BPTT). 창은 에피소드 중간에서 시작해도 기억을 $(h, c) = (0, 0)$ 으로 두고 출발하므로, 창의 처음 몇 스텝은 속도를 모르는 채 예측하게 됩니다.

$ python ch09_mdn_rnn.py
장치: cuda
[장난감] MSE 회귀 손실 0.0380 | MDN 음의 로그 가능도 -1.142
z 시퀀스: (200, 201, 32) (에피소드, 시간, 차원)
step     1 | 학습 NLL    45.14  보상 MSE 49.446 | 검증 NLL    31.86  보상 MSE 50.686
step   500 | 학습 NLL    38.52  보상 MSE 0.580 | 검증 NLL    23.01  보상 MSE 0.116
step  1000 | 학습 NLL    37.70  보상 MSE 0.397 | 검증 NLL    21.85  보상 MSE 0.058
…
step  5500 | 학습 NLL    36.51  보상 MSE 0.106 | 검증 NLL    20.77  보상 MSE 0.018
step  6000 | 학습 NLL    36.32  보상 MSE 0.083 | 검증 NLL    20.64  보상 MSE 0.018
MDN-RNN 학습 69.4초
dream tau=0: 꿈 시작 후 10 · 25 · 50 스텝의 평균 각도 오차 = 1° · 7° · 14°
dream tau=1: 꿈 시작 후 10 · 25 · 50 스텝의 평균 각도 오차 = 2° · 8° · 16°
그림 저장: figures

6,000 스텝 학습에 노트북 GPU 로 약 70초, 꿈 분석까지 전체 약 2분 20초 걸렸습니다. CPU(4스레드)로는 한 스텝에 약 0.19초라 학습에만 약 20분이 걸립니다 (--steps 2000 으로 줄여도 꿈은 크게 다르지 않습니다). 보상 MSE 는 0.018 까지 내려갔습니다. 보상의 범위가 0 – −16 이므로 평균 오차 $\sqrt{0.018} \approx 0.13$ 은 아주 작습니다.

NLL 숫자 읽기: 대부분은 꺼진 차원의 잡음

검증 NLL(약 21)이 학습 NLL(약 36)보다 훨씬 작은 것이 이상해 보입니다. 보통은 반대여야 하니까요. 이유는 8장의 “꺼진 차원” 에 있습니다. 8장의 VAE 는 32차원 중 7개만 썼고, 나머지 25개 차원은 모든 그림에서 $q(z_j \mid x) \approx \Normal(0, 1)$ 이었습니다.

이렇게 숫자를 분해해 보면 “NLL 이 36 에서 더 안 내려간다” 는 것이 모델의 실패가 아니라 데이터에 원래 있는 잡음 때문이라는 것을 알 수 있습니다. 손실 값은 늘 이런 식으로 “바닥” 과 비교해 읽어야 합니다.

MDN-RNN 의 학습 NLL 과 검증 NLL 곡선
그림 9-5. 학습 NLL(잡음 섞인 $z$)과 검증 NLL(평균 $\mu$). 두 곡선의 높이 차이는 대부분 꺼진 차원의 잡음 때문입니다.

꿈꾸기: 자기 예측을 다시 입력하기

학습이 끝난 MDN-RNN 은 진짜 환경 없이도 미래를 만들어 낼 수 있습니다. 첫 장면의 $z$ 와 행동만 주면, 다음 $z$ 를 뽑고, 그것을 다시 입력에 넣고, 또 다음 $z$ 를 뽑는 일을 되풀이합니다. 이것을 꿈dream 또는 상상 롤아웃이라고 부릅니다. 뽑힌 $z$ 들을 8장의 VAE 디코더로 그림으로 바꾸면 모델이 무엇을 상상하는지 눈으로 볼 수 있습니다.


  

처음 10 스텝(warmup)은 진짜 $z$ 를 넣어 줍니다. 그림 한 장으로는 속도를 알 수 없으므로, 몇 장면을 보여 줘서 LSTM 의 기억에 “지금 얼마나 빨리 도는지” 를 담게 하는 것입니다. 그 뒤로는 진짜 장면을 전혀 보지 않고 자기가 뽑은 $z$ 만으로 나아갑니다. 비교를 위해 행동은 진짜 에피소드와 똑같이 넣습니다. 학습에 쓰지 않은 검증 에피소드로 해 봅니다.

진짜 에피소드와, 온도 0 의 꿈 하나, 온도 1 의 꿈 두 개를 디코딩한 그림을 시간 순으로 비교
그림 9-6. 첫 줄: 진짜 에피소드(검증용). 둘째 줄: 온도 τ = 0 의 꿈(가장 그럴듯한 값만). 셋째 · 넷째 줄: τ = 1 의 꿈 두 개(같은 시작, 다른 난수). * 표시(t ≤ 10)까지는 진짜 장면을 보여 주었고, 그 뒤는 모두 모델의 상상입니다.

그림 한 장면은 운에 따라 달라지므로, 검증 에피소드 20개 모두에서 꿈을 꾸게 하고(τ = 1 은 에피소드마다 4번) 디코딩한 그림에서 각도를 읽어 진짜 각도와 비교했습니다. 그림에서 각도를 읽는 방법은 간단합니다. 밝기로 가중한 무게중심은 막대 위에 있으므로, 중심에서 무게중심을 향한 방향이 곧 막대의 방향입니다(image_angle). 회색 선(꿈 없이 VAE 로 그림을 되살리기만 한 것)이 0.5° 안팎이므로 이 읽기 방법 자체의 오차는 무시할 만합니다.

꿈을 시작한 뒤 스텝에 따른 평균 각도 오차 곡선
그림 9-7. 꿈을 시작한 뒤 스텝(0.05초)별 평균 각도 오차. 검증 에피소드 20개 평균(τ = 1 은 80개 꿈 평균). 빨간 점선 90° 는 아무렇게나 찍었을 때의 평균 오차입니다.

두 그림에서 세 가지를 읽을 수 있습니다.

핵심

V(VAE)와 M(MDN-RNN)을 합치면 그림의 세상을 32차원 잠재 공간의 작은 시뮬레이터 로 바꿀 수 있습니다. 이 시뮬레이터는 진짜 환경보다 훨씬 빠르고(그림을 그리지 않으므로), 한꺼번에 수천 개를 돌릴 수 있으며, 미분도 됩니다. 다음 장에서는 이 꿈속에서 행동을 배웁니다.

10장을 위한 준비물

파일내용
ch09_mdnrnn.pt학습한 MDN-RNN (load_mdnrnn() 으로 불러온다)
ch09_latents.npz모든 에피소드의 $\mu, \log\sigma^2$, 행동, 보상. 10장에서 꿈의 시작 장면으로 쓴다
이 장의 정리

확인 문제

문제 1 · RNN 계산

1차원 RNN 에서 $W_h = 1$, $W_x = 1$, $b = 0$ 이고 입력이 $x = (1, 0, 0)$ 이면 $h_1, h_2, h_3$ 은? 본문 예($W_h = 0.5$)와 무엇이 다릅니까?

답 보기

$h_1 = \tanh 1 \approx 0.762$, $h_2 = \tanh(0.762) \approx 0.642$, $h_3 = \tanh(0.642) \approx 0.566$. 기억이 훨씬 천천히 줄어듭니다. 대신 $W_h$ 가 더 커지면(예: 3) 입력 없이도 $h$ 가 1 근처에 붙어 tanh 가 포화되고 $1 - h^2 \approx 0$ 이 되어 기울기가 사라집니다.

문제 2 · 기울기 소실

매 스텝 곱해지는 값이 0.9 라면 50 스텝 전으로 가는 기울기는 몇 배가 됩니까? LSTM 의 망각 게이트가 0.99 라면?

답 보기

$0.9^{50} \approx 0.0052$, $0.99^{50} \approx 0.605$. 망각 게이트가 1 에 가까우면 50 스텝 전까지도 기울기의 60% 가 살아 있습니다.

문제 3 · log-sum-exp

$a = (2,\ 0,\ -1)$ 일 때 $\log\sum e^{a_k}$ 를 안정화 공식으로 계산하세요. ($e^{-2} \approx 0.135$, $e^{-3} \approx 0.050$)

답 보기

$m = 2$. $2 + \log(e^0 + e^{-2} + e^{-3}) = 2 + \log(1.185) \approx 2 + 0.170 = 2.170$.

문제 4 · 온도

$\pi = (0.5,\ 0.3,\ 0.2)$ 에서 $\tau \to 0$ 과 $\tau \to \infty$ 일 때 성분을 고르는 확률은 각각 어떻게 됩니까?

답 보기

$\tau \to 0$: $\pi_k^{1/\tau}$ 에서 가장 큰 0.5 만 살아남아 $(1, 0, 0)$. $\tau \to \infty$: $\pi_k^{1/\tau} \to \pi_k^0 = 1$ 이라 $(1/3, 1/3, 1/3)$ 로 고르게 됩니다.

문제 5 · NLL 의 바닥

8장의 VAE 가 살아 있는 차원을 7개가 아니라 3개만 썼다면, 이 장의 학습 NLL 은 대략 어디까지밖에 내려갈 수 없을까요? (살아 있는 차원의 기여는 0 이라고 가정)

답 보기

꺼진 차원 29개 × 1.419 ≈ 41.1. 학습 NLL 은 약 41 아래로 내려갈 수 없습니다.

직접 바꿔 보기

--n-mix 1 로 혼합 성분을 하나로 줄이면(곧 가우시안 하나) 그림 9-6 의 꿈이 어떻게 달라지는지, --hidden 32 로 기억을 줄이면 꿈이 얼마나 빨리 어긋나는지 비교해 보세요.

눈(V)과 기억(M)이 준비되었습니다. 다음 장에서는 이 둘 위에 아주 작은 컨트롤러(C) 를 얹고, 진화 전략으로 학습시킵니다. 그리고 컨트롤러가 진짜 환경을 한 번도 겪지 않고 꿈속에서만 배울 수 있는지 시험해 봅니다.