기억 만들기: RNN 과 MDN-RNN
8장의 VAE 덕분에 그림 한 장을 32개의 숫자 $z$ 로 요약할 수 있게 되었습니다. 그런데 그림 한 장에는 진자가 어느 쪽으로, 얼마나 빨리 도는지가 담겨 있지 않습니다. 이 장에서는 지나간 장면을 기억하는 순환 신경망(RNN) 과, 하나로 정해지지 않는 미래를 확률 분포로 예측하는 혼합 밀도 네트워크(MDN) 를 배우고, 둘을 합친 MDN-RNN 으로 잠재 공간에서 미래를 “꿈꾸는” 모델을 만듭니다. Ha & Schmidhuber 의 World Models 에서 M(Memory) 에 해당합니다.
- 왜 기억이 필요한지: 그림 한 장과 부분 관측
- RNN 의 식, 시간 펼침, 시간을 거슬러 오는 역전파(BPTT)
- 기울기 소실 · 폭발을 야코비안의 곱으로 유도하고, LSTM 이 그것을 어떻게 피하는지
- MSE 회귀가 “여러 답의 평균” 을 내는 이유와, 혼합 밀도 네트워크로 여러 답을 모두 지키는 법
- 혼합 가우시안의 로그 가능도와 log-sum-exp 안정화, 온도 τ 로 표본 뽑기
- MDN-RNN 을 구현 · 학습하고, 모델이 꾸는 꿈을 VAE 디코더로 그림으로 보기
그림 한 장으로는 부족하다
아래 두 상황을 생각해 봅시다. 둘 다 막대가 오른쪽으로 45° 기울어진 똑같은 그림 입니다. 하지만 한쪽은 막대가 시계 방향으로 빠르게 떨어지는 중이고, 다른 쪽은 반대로 거의 멈춰 있습니다. 다음 장면은 완전히 다릅니다. 그림 한 장만 보는 에이전트는 둘을 구별할 수 없습니다.
5장에서 이런 상황을 부분 관측partial observability, 이런 문제를 POMDP 라고 불렀습니다. 관측 $o_t$ 가 상태 $s_t = (\theta, \dot\theta)$ 를 다 담지 않는 것입니다. 해결책은 간단합니다. 지난 장면들을 함께 보면 됩니다. 우리 진자 환경의 물리는 각도를 $\theta_t = \theta_{t-1} + \dot\theta_t\,\Delta t$ 로 갱신하므로(6장),
$$ \dot\theta_t = \frac{\theta_t - \theta_{t-1}}{\Delta t} $$입니다. 두 장면의 각도 차이를 $\Delta t = 0.05$ 초로 나누면 속도가 정확히 나옵니다. 일반적인 세상에서는 두 장면으로 부족할 수도 있으므로(가속도, 가려진 물체, 오래전 사건), “지금까지 본 모든 것의 요약” 을 들고 다니는 방법이 필요합니다. 그 요약이 은닉 상태hidden state $h_t$ 이고, 그것을 매 스텝 갱신하는 신경망이 순환 신경망recurrent neural network, RNN 입니다.
순환 신경망 RNN
식 하나
가장 기본적인 RNN(Elman RNN)은 한 줄입니다.
$$ h_t = \tanh\!\big(W_h\,h_{t-1} + W_x\,x_t + b\big),\qquad y_t = W_y\,h_t + c $$- $x_t$: 시각 $t$ 의 입력 (MDN-RNN 에서는 $[z_t; a_t]$).
- $h_{t-1}$: 바로 전까지의 기억. 처음 $h_0$ 은 0 벡터입니다.
- $W_h, W_x, b$: 모든 시각에서 같은 가중치. 시간마다 다른 신경망을 쓰는 것이 아니라 같은 신경망을 되풀이해서 씁니다(매개변수 공유). 그래서 길이가 다른 시퀀스에도 쓸 수 있습니다.
- $\tanh$: 결과를 −1 – 1 로 눌러 기억이 끝없이 커지지 않게 합니다.
- $y_t$: 그 시각의 출력(예측).
숫자로 따라가 보기
1차원 RNN 에서 $W_h = 0.5$, $W_x = 1$, $b = 0$ 이고 입력이 $x = (1, 0, 0)$ 이라고 합시다. 처음 한 번 “1” 을 보고 그 뒤로는 아무것도 보지 않습니다.
시간 펼침
RNN 을 시간 방향으로 펼쳐 그리면, 같은 상자를 옆으로 이어 붙인 깊은 신경망과 같습니다. 길이 $T$ 의 시퀀스는 깊이 $T$ 의 신경망이 됩니다.
BPTT 와 기울기 소실 · 폭발
시간을 거슬러 오는 역전파
펼친 RNN 은 그냥 깊은 신경망이므로 4장의 역전파를 그대로 씁니다. 다만 기울기가 시간을 거꾸로 거슬러 흐르므로 BPTTbackpropagation through time 라고 부릅니다. 손실은 시각마다의 손실의 합 $L = \sum_t L_t$ 이고, 같은 $W_h$ 가 모든 시각에서 쓰였으므로 $W_h$ 의 기울기는 모든 시각에서 온 기여의 합이 됩니다.
핵심 질문은 “시각 $T$ 의 손실이 훨씬 이전의 기억 $h_k$ 에 얼마나 민감한가”, 즉 $\frac{\partial L_T}{\partial h_k}$ 입니다. 이것이 작으면 모델은 먼 과거와 지금의 관계를 배울 수 없습니다.
왜 0 으로 사라지거나 터지는가
1차원으로 생각하면 곧바로 보입니다. 매 스텝 곱하는 수 $w(1 - h_t^2)$ 의 크기를 대략 $\rho$ 라고 하면, 20 스텝 뒤에는 $\rho^{20}$ 이 곱해집니다.
- $\rho = 0.5$ 이면 $0.5^{20} \approx 9.5 \times 10^{-7}$. 20 스텝 전의 일은 기울기에 거의 아무 흔적도 남기지 못합니다. 기울기 소실.
- $\rho = 1.5$ 이면 $1.5^{20} \approx 3325$. 기울기가 수천 배로 부풀어 학습이 한 번에 튕겨 나갑니다. 기울기 폭발.
$\tanh' = 1 - h^2 \le 1$ 이므로, 기억이 포화되어($|h| \to 1$) 있으면 곱하는 수가 더 작아져 소실이 더 잘 일어납니다. 벡터일 때는 행렬 $W_h$ 의 고윳값 이 같은 역할을 합니다.
폭발은 기울기 자르기gradient clipping 로 쉽게 막습니다. 기울기 벡터 $g$ 의 길이가 정해진 값 $c$ 를 넘으면 방향은 그대로 두고 길이만 $c$ 로 줄입니다:
$g \leftarrow g\cdot\min\!\big(1, \frac{c}{\lVert g\rVert}\big)$. 이 장의 코드는 clip_grad_norm_(model.parameters(), 1.0) 한 줄로 $c = 1$ 을 씁니다.
소실은 자르기로 해결되지 않으므로 신경망 구조를 바꿔야 합니다. 그것이 LSTM 입니다.
LSTM: 게이트가 달린 기억
식과 각 게이트의 뜻
LSTMlong short-term memory(Hochreiter & Schmidhuber, 1997)은 기억을 두 가지로 나눕니다. 오래 보관하는 셀 상태 $c_t$ 와, 밖으로 내보이는 은닉 상태 $h_t$ 입니다. 그리고 셀 상태에 무엇을 지우고, 쓰고, 내보낼지를 세 개의 게이트(gate) 가 정합니다 (1997년의 원형에는 망각 게이트가 없었고, Gers 외(2000)가 덧붙였습니다. 아래는 지금 표준으로 쓰는 형태입니다). 아래에서 $[h_{t-1}; x_t]$ 는 두 벡터를 이어 붙인 것, $\sigma$ 는 시그모이드 $\sigma(u) = \frac{1}{1+e^{-u}}$ (값이 0 – 1), $\odot$ 는 원소별 곱입니다. (이 절의 $o_t$ 는 관측이 아니라 출력 게이트이고, $\sigma$ 는 이 절에서만 시그모이드입니다. 뒤의 MDN 절부터 $\sigma$ 는 다시 표준편차입니다.)
$$ \begin{aligned} f_t &= \sigma\big(W_f[h_{t-1}; x_t] + b_f\big) && \text{망각 게이트 (forget gate)} \\ i_t &= \sigma\big(W_i[h_{t-1}; x_t] + b_i\big) && \text{입력 게이트 (input gate)} \\ g_t &= \tanh\big(W_g[h_{t-1}; x_t] + b_g\big) && \text{새로 쓸 내용 (candidate)} \\ o_t &= \sigma\big(W_o[h_{t-1}; x_t] + b_o\big) && \text{출력 게이트 (output gate)} \\ c_t &= f_t \odot c_{t-1} + i_t \odot g_t && \text{셀 상태 갱신} \\ h_t &= o_t \odot \tanh(c_t) && \text{은닉 상태} \end{aligned} $$- 망각 게이트 $f_t$: 셀 상태의 각 칸을 얼마나 남길지(1 = 다 남김, 0 = 다 지움).
- 입력 게이트 $i_t$ · 후보 $g_t$: 새 정보 $g_t$ 를 얼마나 써 넣을지.
- 출력 게이트 $o_t$: 셀 상태 중 무엇을 지금 밖(다음 층 · 출력)에 보여 줄지.
게이트는 0 – 1 사이 값이라 “밸브” 처럼 동작합니다. 0 과 1 사이 어디든 될 수 있으므로 미분 가능하고, 무엇을 기억할지 자체를 데이터에서 배웁니다.
왜 셀 상태는 기울기를 지키는가
망각 게이트가 1 에 가까우면($f_t \approx 1$) 기울기가 거의 그대로 먼 과거까지 전달됩니다. 이때 갱신 식은 $c_t \approx c_{t-1} + i_t\odot g_t$, 즉 지난 기억에 새것을 더하는 꼴입니다. 덧셈은 미분이 1 이라 기울기를 줄이지 않습니다. RNN 이 매 스텝 “행렬을 곱하고 tanh 로 누르는” 과정을 거쳐 기억을 덮어쓰는 데 비해, LSTM 은 “필요한 만큼만 지우고 더하는” 길을 따로 둔 것입니다. 이 덧셈 경로 아이디어는 나중에 ResNet 의 잔차 연결, Transformer 의 잔차 흐름으로도 이어집니다. 그래서 LSTM 은 실무에서 망각 게이트의 편향 $b_f$ 를 1 같은 양수로 초기화해 처음부터 “잘 기억하는” 쪽에서 출발시키기도 합니다.
매개변수 수는 (게이트 세 개 + 후보 $g_t$) 네 묶음 × (가중치 + 편향)입니다. 은닉 크기 $H = 256$, 입력 크기 $X = 32 + 1 = 33$ 이면 $4 \times (256 \times 33 + 256 \times 256 + 256 + 256) = 297{,}984$ 개입니다. (PyTorch 는 입력 쪽과 은닉 쪽에 편향을 하나씩, 두 벌 둡니다.)
GRU: 게이트를 줄인 LSTM
GRUgated recurrent unit(Cho 외, 2014)는 셀 상태와 은닉 상태를 하나로 합치고 게이트를 두 개로 줄였습니다.
$$ \begin{aligned} u_t &= \sigma\big(W_u[h_{t-1}; x_t] + b_u\big) && \text{갱신 게이트 (update gate)} \\ r_t &= \sigma\big(W_r[h_{t-1}; x_t] + b_r\big) && \text{리셋 게이트 (reset gate)} \\ \tilde{h}_t &= \tanh\big(W_h[r_t \odot h_{t-1}; x_t] + b_h\big) && \text{후보} \\ h_t &= u_t \odot h_{t-1} + (1 - u_t)\odot \tilde{h}_t && \text{섞기} \end{aligned} $$
마지막 줄이 핵심입니다. 새 기억은 옛 기억과 후보의 가중 평균 이고, $u_t \approx 1$ 이면 옛 기억이 그대로 지나갑니다(LSTM 의 $f_t \approx 1$ 과 같은 효과).
매개변수가 LSTM 의 4분의 3 이고 성능은 비슷한 경우가 많아, 11장의 RSSM(PlaNet · Dreamer)은 GRU 를 씁니다.
(위 식은 GRU 를 처음 제안한 Cho 외(2014) 논문의 출판본(EMNLP)을 따랐고, PyTorch 의 nn.GRU 도 $u$ 를 같은 방향으로 씁니다. 다만 두 가지 변형이 흔합니다. ① Chung 외(2014)처럼 $u$ 의 역할을 뒤집어 $h_t = (1-u_t)\odot h_{t-1} + u_t\odot\tilde h_t$ 로 쓰는 문헌이 있습니다. ② PyTorch 는 후보를 만들 때 $r_t$ 를 $h_{t-1}$ 에 먼저 곱하는 대신 $W h_{t-1}$ 을 계산한 뒤에 곱하는데, 이것은 Cho 외 논문의 arXiv 초판(v1)에 실렸던 형태입니다. 세부만 다를 뿐 거의 같은 구조이고, 11장에서 PyTorch 의 식을 그대로 다시 봅니다.)
무엇을 예측할까: 하나의 답과 분포
MSE 는 평균을 맞힌다
이제 RNN 의 출력으로 다음 잠재 벡터 $z_{t+1}$ 을 예측하려 합니다. 6장처럼 MSE 로 회귀하면 될까요? 먼저 MSE 가 무엇을 맞히는지 정확히 봅시다.
미래가 하나로 정해져 있으면 평균이 곧 답이므로 문제가 없습니다. 하지만 미래가 여러 갈래 라면 이야기가 다릅니다. 진자가 꼭대기에 거의 멈춰 서 있으면 왼쪽으로도 오른쪽으로도 넘어질 수 있습니다. 정답이 반반의 확률로 “왼쪽으로 넘어진 그림” 과 “오른쪽으로 넘어진 그림” 이면, MSE 가 내는 답은 두 그림의 평균, 곧 막대가 두 개 겹친 흐린 그림 입니다. 실제로는 절대 일어나지 않는 미래입니다. 1차원으로 보면 정답이 $\pm 1$ 반반일 때 MSE 예측은 $0$ 이고, 0 은 한 번도 나오지 않는 값입니다. World Model 이 상상 속에서 이런 “평균 미래” 를 만들면, 그 위에서 배운 행동도 엉뚱해집니다. 그래서 하나의 값이 아니라 분포 를 예측해야 합니다.
장난감 문제로 보기
고전적인 예(Bishop, 1994)를 씁니다. $x$ 를 0 – 1 에서 뽑아 $y = x + 0.3\sin(2\pi x) + \text{잡음}$ 을 만든 뒤, 거꾸로 $y$ 를 보고 $x$ 를 맞히게 합니다. $y$ 가 0.4 – 0.6 근처이면 그런 $y$ 를 만드는 $x$ 가 세 개씩 있습니다.
혼합 밀도 네트워크 MDN
여러 개의 종을 섞기
혼합 밀도 네트워크mixture density network, MDN(Bishop, 1994)는 출력을 숫자 하나가 아니라 가우시안 $K$ 개의 혼합 으로 냅니다.
$$ p(y \mid x) = \sum_{k=1}^{K} \pi_k(x)\;\Normal\!\big(y;\ \mu_k(x),\ \sigma_k^2(x)\big),\qquad \pi_k \ge 0,\ \ \sum_{k=1}^K \pi_k = 1 $$$K$ 개의 종 모양 곡선을 각자의 가중치 $\pi_k$ 로 더한 것입니다. 종이 여러 개이므로 봉우리도 여러 개를 가질 수 있습니다. 신경망은 입력 $x$ 마다 성분별로 세 가지 숫자를 냅니다.
- 혼합 가중치: 로짓 $\ell_k$ 를 내고 소프트맥스 $\pi_k = \frac{e^{\ell_k}}{\sum_j e^{\ell_j}}$ 로 바꿉니다. 지수는 늘 양수이고, 모두 더하면 분자 합 = 분모이므로 정확히 1 입니다. (여기서 $\pi_k$ 는 원주율도 정책도 아닌 “$k$ 번째 성분의 가중치” 입니다. 아래 식의 $\log 2\pi$ 속 $\pi$ 만 원주율입니다.)
- 평균 $\mu_k$: 그대로 씁니다.
- 표준편차: 로그 표준편차 $\log\sigma_k$ 를 내고 $\sigma_k = e^{\log\sigma_k}$ 로 바꿔 늘 양수가 되게 합니다.
$y$ 가 $D$ 차원일 때 Ha & Schmidhuber 는 차원마다 따로 $K$ 개 성분의 혼합을 둡니다($p(y) = \prod_{d=1}^{D}\sum_k \pi_{d,k}\Normal(y_d;\mu_{d,k},\sigma_{d,k}^2)$). 그래서 출력 수는 $3 \times K \times D$ 입니다. $z$ 가 32차원이고 $K = 5$ 이면 $3 \times 5 \times 32 = 480$ 개입니다.
혼합의 로그 가능도
학습은 언제나처럼 최대우도, 곧 음의 로그 가능도(NLL)를 최소화합니다. 한 데이터 $(x, y)$ 의 로그 가능도를 정리합니다.
log-sum-exp 를 안전하게 계산하기
$a_k$ 를 곧이곧대로 $e^{a_k}$ 로 바꾸면 위험합니다. 예측이 정답에서 조금만 멀어도 $a_k$ 는 −1000 같은 값이 되고, 컴퓨터의 실수(float32)로 $e^{-1000}$ 은 정확히 0 입니다. 모든 성분이 0 이면 $\log 0 = -\infty$ 가 되어 학습이 무너집니다. 반대로 $a_k$ 가 크면 $e^{a_k}$ 가 무한대로 넘칩니다.
숫자 예: $a = (-1000,\ -1001)$. 그대로 계산하면 $\log(0 + 0) = -\infty$. 안정화하면 $m = -1000$ 이고 $-1000 + \log(e^0 + e^{-1}) = -1000 + \log(1.368) \approx -999.687$ 로 정확한 값이 나옵니다.
PyTorch 의 torch.logsumexp 와 F.log_softmax 가 이 방법을 씁니다(로그 소프트맥스 $\log\pi_k = \ell_k - \operatorname{logsumexp}(\ell)$ 도 같은 기법).
y.unsqueeze(-1) 로 정답에 성분 축을 하나 만들어 $K$ 개 성분과 한꺼번에 비교하고(브로드캐스팅), 마지막 축(성분)에 대해 logsumexp 를 합니다.
장난감 문제의 MDN 은 다음과 같습니다. 출력 층이 성분마다 (로짓, 평균, 로그 표준편차) 세 숫자를 냅니다.
온도로 표본 뽑기
혼합 분포에서 표본을 뽑는 방법은 생성 이야기를 그대로 따라 두 단계입니다.
- 성분 고르기: 확률 $\pi_1, \dots, \pi_K$ 로 주사위를 던져 성분 $k$ 를 고릅니다.
- 그 성분에서 뽑기: $y = \mu_k + \sigma_k\,\epsilon$, $\epsilon \sim \Normal(0, 1)$.
이렇게 뽑은 $y$ 의 분포는 $\sum_k P(k)\,p(y \mid k) = \sum_k\pi_k\Normal(y;\mu_k,\sigma_k^2)$, 곧 혼합 분포 그 자체입니다(주변화). Ha & Schmidhuber 는 여기에 온도temperature $\tau$ 를 넣어 꿈의 “무작위한 정도” 를 조절합니다.
$$ \pi_k^{(\tau)} = \frac{\exp(\log\pi_k/\tau)}{\sum_j\exp(\log\pi_j/\tau)} = \frac{\pi_k^{1/\tau}}{\sum_j \pi_j^{1/\tau}},\qquad y = \mu_k + \sigma_k\sqrt{\tau}\,\epsilon $$- $\tau = 1$: 모델이 배운 분포 그대로.
- $\tau \lt 1$: 큰 성분이 더 커지고(뾰족) 잡음도 줄어듭니다. $\tau \to 0$ 이면 가장 큰 성분의 평균만 내는, 잡음 없는 꿈이 됩니다.
- $\tau \gt 1$: 성분들이 고르게 뽑히고 잡음도 커집니다. 더 불확실하고 거친 꿈입니다.
숫자 예: $\pi = (0.7,\ 0.3)$. $\tau = 0.5$ 이면 $1/\tau = 2$ 제곱: $(0.49,\ 0.09)$ 를 합 0.58 로 나눠 $(0.845,\ 0.155)$. $\tau = 2$ 이면 제곱근: $(0.837,\ 0.548)$ 을 합 1.384 로 나눠 $(0.604,\ 0.396)$. 온도가 높을수록 두 성분이 비슷해집니다. 10장에서 이 $\tau$ 가 아주 중요한 역할을 합니다.
장난감 문제를 돌려 보면 두 모델의 차이가 숫자로도 보입니다(그림 9-3 이 이 실행의 결과입니다).
[장난감] MSE 회귀 손실 0.0380 | MDN 음의 로그 가능도 -1.142
MSE 손실 0.038 은 평균 오차가 $\sqrt{0.038} \approx 0.19$ 라는 뜻으로, 데이터가 퍼진 폭에 비해 큰 오차입니다. MDN 의 음의 로그 가능도가 음수인 것은 이상한 일이 아닙니다. 연속 분포의 밀도는 1 보다 클 수 있으므로(폭이 좁은 가우시안의 꼭대기), 로그 밀도가 양수 → NLL 이 음수가 됩니다.
MDN-RNN: World Models 의 M
구조
이제 두 조각을 합칩니다. LSTM 이 매 스텝 $[z_t; a_t]$ 를 읽어 기억을 갱신하고, 그 출력에서 MDN 머리가 다음 잠재 벡터 $z_{t+1}$ 의 혼합 분포 를, 보상 머리가 보상 $r_t$ 를 냅니다.
$$ \begin{aligned} (h_{t+1}, c_{t+1}) &= \text{LSTM}\big([z_t; a_t],\ (h_t, c_t)\big) \\ p_\theta(z_{t+1} \mid z_{\le t}, a_{\le t}) &= \prod_{d=1}^{32}\sum_{k=1}^{5}\pi_{d,k}\,\Normal\big(z_{t+1,d};\ \mu_{d,k},\ \sigma_{d,k}^2\big),\quad (\pi, \mu, \sigma) = \text{MDN}(h_{t+1}) \\ \hat{r}_t &= w_r^\top h_{t+1} + b_r \end{aligned} $$첨자에 주의하세요. 앞의 RNN · LSTM 절에서는 입력 $x_t$ 를 읽은 뒤의 기억을 $h_t$ 라고 썼지만, 여기서부터는 원 논문을 따라 $z_t, a_t$ 를 읽은 뒤의 기억을 $h_{t+1}$ 로 씁니다. 그래서 $h_t$ 는 “$z_t$ 를 보기 전 까지의 기억” 이고, 10장의 컨트롤러가 $[z_t; h_t]$ 를 함께 받는 것도 이 약속에 따른 것입니다.
nn.LSTM(z_dim + act_dim, hidden, batch_first=True): 입력 33, 은닉 256.batch_first는 텐서 모양을 (배치, 시간, 특징)으로 쓴다는 뜻입니다.mdn_head: 256 → 480.view(B, T, 3, D, K)로 (로짓, μ, log σ) × 32차원 × 5성분으로 나눈 뒤unbind(dim=2)로 세 텐서를 꺼냅니다.log_softmax(..., dim=-1): 성분 축 5개에 대해 합이 1 인 로그 확률.clamp(-7, 2)는 $\sigma$ 를 $e^{-7} \approx 0.0009$ – $e^{2} \approx 7.4$ 사이로 묶어, 한 성분이 바늘처럼 좁아져 NLL 이 폭주하는 것을 막습니다.initial_state: 에피소드 시작의 $(h_0, c_0) = (0, 0)$. 모양 (층 수 1, 배치, 은닉)은 PyTorch LSTM 의 약속입니다.
전체 매개변수는 LSTM 297,984 + MDN 머리 123,360 + 보상 머리 257 = 421,601 개입니다. 8장 VAE(약 435만 개)의 10분의 1 입니다.
학습: 교사 강요와 손실
8장의 VAE 로 200 에피소드의 모든 그림을 $\mu, \log\sigma^2$ 으로 바꿔 두고(encode_frames), 그 시퀀스로 MDN-RNN 을 학습합니다. 손실은
입니다. 앞 항은 다음 잠재 벡터의 NLL(차원은 합, 시간 · 배치는 평균), 뒤 항은 보상의 MSE 이고 $\lambda_r = 1$ 입니다. 두 가지 기법이 들어 있습니다.
- 교사 강요(teacher forcing): 학습 때 LSTM 의 입력은 늘 진짜 $z_t$ 입니다. 모델이 앞에서 틀리게 예측했더라도 다음 스텝에는 정답을 넣어 줍니다. 덕분에 모든 시각을 한 번에(병렬로) 계산할 수 있고 학습이 안정됩니다. 대신 꿈을 꿀 때는 자기 예측을 입력으로 받으므로, 학습 때 본 적 없는 “조금 틀린 입력” 을 만나게 됩니다. 이 차이를 노출 편향exposure bias 이라고 하며, 꿈이 길어질수록 어긋나는 이유 중 하나입니다(6장의 오차 누적과 같은 현상).
- 매번 새로 뽑은 $z$: 그림을 평균 $\mu$ 하나로 고정하지 않고, 배치마다 $z = \mu + \sigma\odot\epsilon$ 를 새로 뽑아 씁니다(Ha & Schmidhuber 와 같은 방식). VAE 가 원래 “구름” 으로 인코딩했으니 그 구름 전체에 대해 예측을 배우게 하는 일종의 데이터 증강입니다.
줄마다 보면: 배치마다 에피소드 ep 와 시작 시각 t0 를 무작위로 골라 길이 65(= $L + 1$)짜리 창을 자릅니다.
idx = t0[:, None] + arange(L+1) 는 배치마다 다른 시작점에서 연속한 시각 번호들을 한꺼번에 만드는 브로드캐스팅입니다.
입력은 z[:, :-1] (0 – 63번째), 정답은 z[:, 1:] (1 – 64번째)로 한 칸 어긋나게 짝지어 “다음” 을 맞히게 합니다.
에피소드 전체(200 스텝)가 아니라 64 스텝짜리 창만 쓰므로 기울기는 최대 64 스텝까지만 거슬러 흐릅니다(잘린 BPTT, truncated BPTT). 창은 에피소드 중간에서 시작해도 기억을 $(h, c) = (0, 0)$ 으로 두고 출발하므로,
창의 처음 몇 스텝은 속도를 모르는 채 예측하게 됩니다.
$ python ch09_mdn_rnn.py
장치: cuda [장난감] MSE 회귀 손실 0.0380 | MDN 음의 로그 가능도 -1.142 z 시퀀스: (200, 201, 32) (에피소드, 시간, 차원) step 1 | 학습 NLL 45.14 보상 MSE 49.446 | 검증 NLL 31.86 보상 MSE 50.686 step 500 | 학습 NLL 38.52 보상 MSE 0.580 | 검증 NLL 23.01 보상 MSE 0.116 step 1000 | 학습 NLL 37.70 보상 MSE 0.397 | 검증 NLL 21.85 보상 MSE 0.058 … step 5500 | 학습 NLL 36.51 보상 MSE 0.106 | 검증 NLL 20.77 보상 MSE 0.018 step 6000 | 학습 NLL 36.32 보상 MSE 0.083 | 검증 NLL 20.64 보상 MSE 0.018 MDN-RNN 학습 69.4초 dream tau=0: 꿈 시작 후 10 · 25 · 50 스텝의 평균 각도 오차 = 1° · 7° · 14° dream tau=1: 꿈 시작 후 10 · 25 · 50 스텝의 평균 각도 오차 = 2° · 8° · 16° 그림 저장: figures
6,000 스텝 학습에 노트북 GPU 로 약 70초, 꿈 분석까지 전체 약 2분 20초 걸렸습니다. CPU(4스레드)로는 한 스텝에 약 0.19초라 학습에만 약 20분이 걸립니다
(--steps 2000 으로 줄여도 꿈은 크게 다르지 않습니다). 보상 MSE 는 0.018 까지 내려갔습니다. 보상의 범위가 0 – −16 이므로 평균 오차 $\sqrt{0.018} \approx 0.13$ 은 아주 작습니다.
NLL 숫자 읽기: 대부분은 꺼진 차원의 잡음
검증 NLL(약 21)이 학습 NLL(약 36)보다 훨씬 작은 것이 이상해 보입니다. 보통은 반대여야 하니까요. 이유는 8장의 “꺼진 차원” 에 있습니다. 8장의 VAE 는 32차원 중 7개만 썼고, 나머지 25개 차원은 모든 그림에서 $q(z_j \mid x) \approx \Normal(0, 1)$ 이었습니다.
- 학습: 매번 $z = \mu + \sigma\epsilon$ 을 뽑으므로, 꺼진 25개 차원의 값은 순수한 $\Normal(0,1)$ 잡음 입니다. 아무리 좋은 모델도 잡음은 맞힐 수 없고, 최선은 $\Normal(0,1)$ 을 그대로 예측하는 것입니다. 그때의 NLL 은 표준 정규 분포의 엔트로피(3장) $\E[-\log\Normal(z;0,1)] = \tfrac{1}{2}\log 2\pi + \tfrac{1}{2}\E[z^2] = \tfrac{1}{2}\log(2\pi e) \approx 1.419$ 이고, 25개면 약 35.5 입니다. 학습 NLL 36 의 거의 전부입니다.
- 검증: 잡음 없이 평균 $\mu$ 를 씁니다. 꺼진 차원의 $\mu$ 는 거의 0 으로 일정하고, 모델은 (학습 때 잡음 때문에) $\sigma \approx 1$ 을 예측하므로 차원당 NLL 은 $\tfrac{1}{2}\log 2\pi + \tfrac{1}{2}\cdot 0^2 \approx 0.919$, 25개면 약 23.0 입니다. 나머지 7개 살아 있는 차원은 잘 예측되어 음의 NLL 을 보태 합계가 약 21 이 됩니다.
이렇게 숫자를 분해해 보면 “NLL 이 36 에서 더 안 내려간다” 는 것이 모델의 실패가 아니라 데이터에 원래 있는 잡음 때문이라는 것을 알 수 있습니다. 손실 값은 늘 이런 식으로 “바닥” 과 비교해 읽어야 합니다.
꿈꾸기: 자기 예측을 다시 입력하기
학습이 끝난 MDN-RNN 은 진짜 환경 없이도 미래를 만들어 낼 수 있습니다. 첫 장면의 $z$ 와 행동만 주면, 다음 $z$ 를 뽑고, 그것을 다시 입력에 넣고, 또 다음 $z$ 를 뽑는 일을 되풀이합니다. 이것을 꿈dream 또는 상상 롤아웃이라고 부릅니다. 뽑힌 $z$ 들을 8장의 VAE 디코더로 그림으로 바꾸면 모델이 무엇을 상상하는지 눈으로 볼 수 있습니다.
처음 10 스텝(warmup)은 진짜 $z$ 를 넣어 줍니다. 그림 한 장으로는 속도를 알 수 없으므로, 몇 장면을 보여 줘서 LSTM 의 기억에 “지금 얼마나 빨리 도는지” 를 담게 하는 것입니다.
그 뒤로는 진짜 장면을 전혀 보지 않고 자기가 뽑은 $z$ 만으로 나아갑니다. 비교를 위해 행동은 진짜 에피소드와 똑같이 넣습니다. 학습에 쓰지 않은 검증 에피소드로 해 봅니다.
그림 한 장면은 운에 따라 달라지므로, 검증 에피소드 20개 모두에서 꿈을 꾸게 하고(τ = 1 은 에피소드마다 4번) 디코딩한 그림에서 각도를 읽어 진짜 각도와 비교했습니다.
그림에서 각도를 읽는 방법은 간단합니다. 밝기로 가중한 무게중심은 막대 위에 있으므로, 중심에서 무게중심을 향한 방향이 곧 막대의 방향입니다(image_angle).
회색 선(꿈 없이 VAE 로 그림을 되살리기만 한 것)이 0.5° 안팎이므로 이 읽기 방법 자체의 오차는 무시할 만합니다.
두 그림에서 세 가지를 읽을 수 있습니다.
- 물리를 배웠습니다. 진짜 장면을 하나도 보지 않았는데도 꿈을 시작하고 10 스텝(0.5초) 뒤의 평균 오차가 1 – 2°, 25 스텝(1.25초) 뒤에도 7 – 8° 입니다. 그림 9-6 에서도 t = 12 – 32 동안 꿈속 진자가 진짜와 거의 같은 각도로 흔들립니다. 중력, 토크에 따른 회전, 속도의 기억이 모두 LSTM 안에 들어 있다는 뜻입니다.
- 시간이 갈수록 어긋납니다. 오차는 커져 35 스텝 무렵 약 20°, 50 스텝 뒤 14 – 16°, 60 스텝 뒤 약 30° 가 됩니다(각도 오차는 진자가 흔들리는 박자에 따라 오르내려서 단조롭게 커지지는 않습니다). 매 스텝의 작은 예측 오차가 다음 입력으로 들어가 쌓이기 때문입니다 (6장의 오차 누적, 그리고 앞에서 본 노출 편향). 진자처럼 작은 차이가 크게 벌어지는 계에서는 피할 수 없는 일입니다. 그래도 아무렇게나 찍는 것(90°)보다는 훨씬 낫습니다.
- τ = 1 의 꿈은 “여러 미래 중 하나” 입니다. 평균 오차는 τ = 0 과 거의 같지만, 그림 9-6 의 두 τ = 1 꿈은 t = 36 – 40 무렵부터 서로 다른 길로 갑니다. t = 24 의 셋째 줄처럼 가끔 막대가 흐리게 번진 장면도 나오는데, 혼합에서 성분이 갈아타는 순간입니다. τ = 1 의 꿈은 하나의 정답을 맞히려는 것이 아니라 일어날 수 있는 미래 가운데 하나 를 보여 주는 것이고, 10장에서는 바로 이 불확실성이 쓸모가 있습니다.
V(VAE)와 M(MDN-RNN)을 합치면 그림의 세상을 32차원 잠재 공간의 작은 시뮬레이터 로 바꿀 수 있습니다. 이 시뮬레이터는 진짜 환경보다 훨씬 빠르고(그림을 그리지 않으므로), 한꺼번에 수천 개를 돌릴 수 있으며, 미분도 됩니다. 다음 장에서는 이 꿈속에서 행동을 배웁니다.
10장을 위한 준비물
| 파일 | 내용 |
|---|---|
ch09_mdnrnn.pt | 학습한 MDN-RNN (load_mdnrnn() 으로 불러온다) |
ch09_latents.npz | 모든 에피소드의 $\mu, \log\sigma^2$, 행동, 보상. 10장에서 꿈의 시작 장면으로 쓴다 |
- 그림 한 장은 속도를 담지 못한다(부분 관측). 지난 장면의 요약인 은닉 상태 $h_t$ 가 필요하다.
- RNN: $h_t = \tanh(W_h h_{t-1} + W_x x_t + b)$. 먼 과거로의 기울기는 $\prod\diag(1-h_t^2)W_h$ 라서 소실 · 폭발하기 쉽다.
- LSTM 은 셀 상태의 덧셈 경로 덕분에 $\partial c_T/\partial c_k \approx \prod\diag(f_t)$ 로 기울기를 지킨다. GRU 는 게이트를 둘로 줄인 변형. 폭발은 기울기 자르기로 막는다.
- MSE 회귀는 조건부 평균을 낸다. 미래가 여러 갈래면 평균은 일어나지 않는 미래다. 혼합 밀도 네트워크는 $\sum_k\pi_k\Normal(\mu_k,\sigma_k^2)$ 로 모든 갈래를 지킨다.
- 혼합 로그 가능도는 log-sum-exp $m + \log\sum e^{a_k - m}$ 로 안전하게 계산한다. 온도 τ 는 꿈의 무작위성을 조절한다.
- MDN-RNN 은 $(z_t, a_t)$ 로 $z_{t+1}$ 의 혼합과 $r_t$ 를 예측한다. 교사 강요로 학습하고, 꿈에서는 자기 예측을 다시 입력한다.
- 진자 꿈은 25 스텝(1.25초) 뒤에도 평균 각도 오차가 8° 안쪽이고, 그 뒤로는 오차가 쌓여 35 – 50 스텝 뒤 15 – 20°, 60 스텝 뒤 약 30° 로 커진다.
확인 문제
1차원 RNN 에서 $W_h = 1$, $W_x = 1$, $b = 0$ 이고 입력이 $x = (1, 0, 0)$ 이면 $h_1, h_2, h_3$ 은? 본문 예($W_h = 0.5$)와 무엇이 다릅니까?
답 보기
$h_1 = \tanh 1 \approx 0.762$, $h_2 = \tanh(0.762) \approx 0.642$, $h_3 = \tanh(0.642) \approx 0.566$. 기억이 훨씬 천천히 줄어듭니다. 대신 $W_h$ 가 더 커지면(예: 3) 입력 없이도 $h$ 가 1 근처에 붙어 tanh 가 포화되고 $1 - h^2 \approx 0$ 이 되어 기울기가 사라집니다.
매 스텝 곱해지는 값이 0.9 라면 50 스텝 전으로 가는 기울기는 몇 배가 됩니까? LSTM 의 망각 게이트가 0.99 라면?
답 보기
$0.9^{50} \approx 0.0052$, $0.99^{50} \approx 0.605$. 망각 게이트가 1 에 가까우면 50 스텝 전까지도 기울기의 60% 가 살아 있습니다.
$a = (2,\ 0,\ -1)$ 일 때 $\log\sum e^{a_k}$ 를 안정화 공식으로 계산하세요. ($e^{-2} \approx 0.135$, $e^{-3} \approx 0.050$)
답 보기
$m = 2$. $2 + \log(e^0 + e^{-2} + e^{-3}) = 2 + \log(1.185) \approx 2 + 0.170 = 2.170$.
$\pi = (0.5,\ 0.3,\ 0.2)$ 에서 $\tau \to 0$ 과 $\tau \to \infty$ 일 때 성분을 고르는 확률은 각각 어떻게 됩니까?
답 보기
$\tau \to 0$: $\pi_k^{1/\tau}$ 에서 가장 큰 0.5 만 살아남아 $(1, 0, 0)$. $\tau \to \infty$: $\pi_k^{1/\tau} \to \pi_k^0 = 1$ 이라 $(1/3, 1/3, 1/3)$ 로 고르게 됩니다.
8장의 VAE 가 살아 있는 차원을 7개가 아니라 3개만 썼다면, 이 장의 학습 NLL 은 대략 어디까지밖에 내려갈 수 없을까요? (살아 있는 차원의 기여는 0 이라고 가정)
답 보기
꺼진 차원 29개 × 1.419 ≈ 41.1. 학습 NLL 은 약 41 아래로 내려갈 수 없습니다.
--n-mix 1 로 혼합 성분을 하나로 줄이면(곧 가우시안 하나) 그림 9-6 의 꿈이 어떻게 달라지는지, --hidden 32 로 기억을 줄이면 꿈이 얼마나 빨리 어긋나는지 비교해 보세요.
눈(V)과 기억(M)이 준비되었습니다. 다음 장에서는 이 둘 위에 아주 작은 컨트롤러(C) 를 얹고, 진화 전략으로 학습시킵니다. 그리고 컨트롤러가 진짜 환경을 한 번도 겪지 않고 꿈속에서만 배울 수 있는지 시험해 봅니다.