CHAPTER 10

World Models (Ha & Schmidhuber)

8장에서 눈(V), 9장에서 기억(M)을 만들었습니다. 이 장에서는 그 위에 아주 작은 컨트롤러(C) 를 얹어 2018년 David Ha 와 Jürgen Schmidhuber 의 World Models 를 완성합니다. 컨트롤러는 미분 대신 진화 전략(CMA-ES) 으로 배우고, 마지막에는 진짜 환경을 한 번도 겪지 않고 모델이 꾸는 꿈속에서만 행동을 배워 진짜 진자에 옮겨 봅니다.

읽는 시간 약 75분난이도 ★★★★☆코드: code/ch10_world_models.py
이 장에서 배우는 것

2018년의 World Models

“World Models”(Ha & Schmidhuber, 2018)는 웹에서 직접 움직여 볼 수 있는 대화형 글로 발표되어 World Model 이라는 말을 널리 알린 논문입니다. 같은 내용이 NeurIPS 2018 에 “Recurrent World Models Facilitate Policy Evolution” 이라는 제목으로 실렸습니다. 이 논문이 보여 준 것은 두 가지입니다.

  1. CarRacing(위에서 내려다본 자동차 경주, 64×64 그림 입력): V · M 이 만든 특징 위에 선형 컨트롤러 하나만 얹어 100번 시험 평균 906 ± 21 점을 얻었습니다. 이 과제를 “풀었다” 고 보는 기준(900점)을 처음으로 넘긴 결과였습니다.
  2. VizDoom: Take Cover(날아오는 불덩이를 피하는 게임): 진짜 게임에서는 무작위 행동으로 데이터만 모으고, 컨트롤러는 M 이 꾸는 꿈속에서만 학습했습니다. 그 컨트롤러를 진짜 게임에 옮겼더니 100번 평균 1092 ± 556 스텝을 살아남았습니다(과제 기준 750). 이때 꿈의 온도는 $\tau = 1.15$ 였습니다.

두 번째 실험이 특히 중요합니다. “세상의 모델을 배우면, 그 모델 안에서 상상만으로 행동을 배울 수 있다” 는 생각을 실제로 보여 준 것이기 때문입니다. 이 생각은 11장의 PlaNet, 12장의 Dreamer 로 이어집니다.

V · M · C 구조

환경 진자 ot (그림) V (VAE) 8장 zt (32) C (컨트롤러) 289개 매개변수 at (토크) → 환경 M (MDN-RNN) 9장 ht (256) zt, at 로 기억 갱신
그림 10-1. World Models 의 V · M · C. V 는 지금 장면을, M 은 지난 장면들의 기억을, C 는 둘을 보고 행동을 정합니다.

매 스텝 일어나는 일은 세 줄입니다.

$$ \begin{aligned} z_t &= \mu_\phi(o_t) && \text{V: 그림을 잠재 벡터로 (평균만 쓴다)} \\ a_t &= C\big([z_t;\ h_t]\big) && \text{C: 지금 장면 + 기억으로 행동 결정} \\ h_{t+1} &= \text{LSTM}\big([z_t;\ a_t],\ h_t\big) && \text{M: 기억 갱신} \end{aligned} $$

$z_t$ 는 “지금 무엇이 보이는가”, $h_t$ 는 “지금까지 어떻게 움직여 왔고 다음에 무엇이 올 것 같은가” 를 담습니다. 9장에서 본 대로 $h_t$ 에는 진자의 속도가 들어 있으므로, C 는 그림 한 장으로는 알 수 없던 정보까지 얻습니다. 원 논문은 $h_t$ 가 “미래에 대한 예측” 을 담고 있다는 점을 강조합니다. M 은 다음 $z$ 를 맞히도록 학습되었으므로 그 은닉 상태는 미래를 예측하는 데 필요한 정보를 요약하고 있습니다.

학습 순서

세 부분은 따로따로, 차례로 학습합니다.

  1. 무작위 정책으로 진짜 환경에서 에피소드를 모은다. (8장: 200 에피소드)
  2. 모은 그림으로 V 를 학습한다. (8장: ELBO)
  3. V 로 바꾼 $z$ 시퀀스로 M 을 학습한다. (9장: 혼합 NLL + 보상 MSE)
  4. V · M 을 고정하고, 리턴이 최대가 되도록 C 를 진화 전략으로 학습한다. (이 장)
  5. (필요하면) C 로 새 에피소드를 모아 1 – 4 를 되풀이한다.

원 논문의 크기와 우리 진자 판

원 논문(CarRacing)의 V 는 64×64 컬러 그림을 $z \in \R^{32}$ 로, M 은 은닉 256 의 LSTM 과 5 성분 혼합으로 되어 있습니다. 이 튜토리얼의 8 · 9장과 같습니다. (다만 원 논문의 M 은 보상을 예측하지 않습니다. CarRacing 에서는 다음 $z$ 만, VizDoom 에서는 다음 $z$ 와 “죽었는지(done)” 를 예측했습니다. 진자는 보상이 매 스텝 달라지므로 이 튜토리얼은 9장에서 보상 머리를 덧붙였습니다.) C 는 선형 함수 하나입니다.

$$ a_t = W_c\,[z_t;\ h_t] + b_c $$
컨트롤러 매개변수 세기
$$ \text{입력 크기} = 32 + 256 = 288 $$
$z_t$ 32개와 $h_t$ 256개를 이어 붙였습니다.
$$ \text{CarRacing: } W_c \in \R^{3 \times 288},\ b_c \in \R^{3} \;\Rightarrow\; 288 \times 3 + 3 = 867 $$
CarRacing 의 행동은 핸들 · 가속 · 브레이크 세 개입니다. 행렬 원소 864개와 편향 3개.
$$ \text{진자: } W_c \in \R^{1 \times 288},\ b_c \in \R \;\Rightarrow\; 288 + 1 = 289 $$
진자의 행동은 토크 하나입니다. 이 장의 컨트롤러는 $a_t = 2\tanh(W_c[z_t;h_t] + b_c)$ 로, 토크 범위 $[-2, 2]$ 에 맞추려고 $2\tanh$ 를 씌웠습니다.

V(약 435만) · M(약 42만)에 비하면 C 의 289개는 아주 작습니다. 이것이 World Models 의 설계 철학입니다. 세상을 이해하는 어려운 일은 큰 V · M 이 자기 지도 학습으로 (보상 없이도, 데이터만 있으면) 맡고, 무엇을 할지 정하는 일은 작은 C 가 맡습니다. 보상이라는 귀하고 드문 신호로 배워야 하는 매개변수의 수를 최소로 줄인 것입니다.

왜 진화 전략인가

C 를 배우는 목표는 “에피소드 리턴의 기댓값을 최대로” 입니다. 매개변수를 하나의 벡터 $\theta \in \R^{289}$ 로 보고, 그 컨트롤러로 에피소드를 돌려 얻은 리턴을 $F(\theta)$ 라고 합시다.

$$ \max_\theta\; F(\theta),\qquad F(\theta) = \E\Big[\sum_{t=0}^{T-1} r_t \;\Big|\; \text{컨트롤러 } \theta\Big] $$

4장의 경사 하강법을 쓰려면 $\nabla_\theta F$ 가 필요합니다. 그런데 $F$ 는 진짜 환경의 물리, 그림 그리기, 시작 상태의 무작위성을 모두 거쳐 나온 숫자라서 미분할 수 없는 상자 입니다. 우리가 할 수 있는 것은 “$\theta$ 를 넣고 돌려서 숫자 하나를 받는 것” 뿐입니다. 이런 문제를 블랙박스 최적화black-box optimization 라고 합니다.

진화 전략evolution strategies, ES 은 생물의 진화처럼 문제를 풉니다. 지금 매개변수 근처에서 여러 “자식” 을 무작위로 만들어 보고, 성적이 좋은 자식 쪽으로 옮겨 가기를 되풀이합니다. 기울기 공식이 없어도 되고, 자식들의 평가는 서로 독립이라 동시에 돌릴 수 있습니다. 대신 매개변수가 많아지면(수백만 개) 무작위 탐색이 비효율적이 됩니다. 그래서 World Models 는 C 를 작게 만들었습니다.

참고 · 다른 선택지

5장의 정책 경사(REINFORCE)로도 C 를 학습할 수 있습니다. 그것도 미분할 수 없는 환경에서 쓰는 방법입니다. 사실 아래에서 유도할 ES 의 기울기 공식은 정책 경사와 같은 “로그 미분 트릭” 에서 나옵니다. 차이는 무작위성을 어디에 넣느냐입니다. 정책 경사는 행동 에 잡음을 넣고, ES 는 매개변수 에 잡음을 넣습니다.

진화 전략의 기울기 유도

가우시안 평활화

$F$ 를 직접 미분할 수 없으니, 대신 “$\theta$ 근처를 가우시안으로 흐리게 한 평균” 을 목표로 삼습니다. 이것을 가우시안 평활화Gaussian smoothing 라고 합니다.

$$ J(\theta) = \E_{\epsilon \sim \Normal(0, I)}\big[F(\theta + \sigma\epsilon)\big] $$

$\sigma$ 가 작으면 $J(\theta) \approx F(\theta)$ 이고, $J$ 는 $F$ 가 울퉁불퉁하거나 미분할 수 없어도 매끄러운 함수가 됩니다. 놀랍게도 $J$ 의 기울기는 $F$ 의 값만으로 계산할 수 있습니다.

$\nabla_\theta J(\theta) = \frac{1}{\sigma}\E_\epsilon\big[F(\theta + \sigma\epsilon)\,\epsilon\big]$
$$ J(\theta) = \E_{x \sim \Normal(\theta,\ \sigma^2 I)}\big[F(x)\big] = \int F(x)\,p_\theta(x)\,dx $$
$x = \theta + \sigma\epsilon$ 로 놓으면 $x$ 는 평균 $\theta$, 공분산 $\sigma^2 I$ 인 가우시안을 따릅니다(8장의 재매개변수화를 거꾸로 본 것). 그 밀도를 $p_\theta(x)$ 라고 씁니다. 이제 $\theta$ 는 $F$ 안이 아니라 분포 안에 있습니다.
$$ \nabla_\theta J(\theta) = \int F(x)\,\nabla_\theta\, p_\theta(x)\,dx $$
미분을 적분 안으로 넣었습니다. $F(x)$ 는 $\theta$ 와 상관없으므로 그대로 두고 $p_\theta(x)$ 만 미분합니다. $F$ 를 미분할 필요가 없어졌습니다.
$$ \nabla_\theta\, p_\theta(x) = p_\theta(x)\,\nabla_\theta \log p_\theta(x) $$
로그 미분 트릭: $\nabla\log p = \frac{\nabla p}{p}$ (로그의 미분 $\frac{d}{du}\log u = \frac{1}{u}$ 와 연쇄 법칙)의 양변에 $p$ 를 곱한 것입니다.
$$ \nabla_\theta J(\theta) = \int p_\theta(x)\,F(x)\,\nabla_\theta\log p_\theta(x)\,dx = \E_{x \sim p_\theta}\big[F(x)\,\nabla_\theta\log p_\theta(x)\big] $$
바로 위 식을 넣고, 다시 기댓값의 정의($\int p\,g = \E_p[g]$)로 썼습니다. 5장의 정책 경사와 똑같은 모양입니다.
$$ \log p_\theta(x) = -\frac{\lVert x - \theta\rVert^2}{2\sigma^2} + \text{상수} \;\Rightarrow\; \nabla_\theta\log p_\theta(x) = \frac{x - \theta}{\sigma^2} $$
공분산 $\sigma^2 I$ 가우시안의 로그 밀도입니다(상수는 $\theta$ 와 무관). $\lVert x-\theta\rVert^2 = \sum_j (x_j - \theta_j)^2$ 을 $\theta_j$ 로 미분하면 $-2(x_j - \theta_j)$ 이므로, $-\frac{1}{2\sigma^2}$ 을 곱해 $\frac{x_j - \theta_j}{\sigma^2}$.
$$ \frac{x - \theta}{\sigma^2} = \frac{\sigma\epsilon}{\sigma^2} = \frac{\epsilon}{\sigma} $$
$x = \theta + \sigma\epsilon$ 을 다시 넣었습니다.
$$ \nabla_\theta J(\theta) = \frac{1}{\sigma}\,\E_{\epsilon \sim \Normal(0,I)}\big[F(\theta + \sigma\epsilon)\,\epsilon\big] \;\approx\; \frac{1}{N\sigma}\sum_{i=1}^{N} F(\theta + \sigma\epsilon_i)\,\epsilon_i $$
기댓값을 몬테카를로로 추정합니다. 뜻: 잡음 $\epsilon_i$ 방향으로 가 봤더니 점수가 높았으면 그 방향을 크게, 낮았으면 반대 방향으로 반영합니다. 필요한 것은 $F$ 의 값 뿐입니다.

숫자로 확인하기

1차원에서 $F(x) = -(x - 3)^2$ (최댓값은 $x = 3$), $\theta = 0$, $\sigma = 1$ 이라고 합시다. 직접 계산하면 $J(\theta) = \E[-(\theta + \epsilon - 3)^2] = -\big((\theta - 3)^2 + \E[\epsilon^2]\big) = -(\theta-3)^2 - 1$ 이므로 $J'(0) = -2(0 - 3) = 6$ 입니다. ($(\theta - 3 + \epsilon)^2$ 을 펼친 뒤 $\E[\epsilon] = 0$, $\E[\epsilon^2] = 1$ 을 썼습니다.)

공식으로 계산한 기울기
$$ \frac{1}{\sigma}\E\big[F(0 + \epsilon)\,\epsilon\big] = \E\big[-(\epsilon - 3)^2\,\epsilon\big] = -\E\big[\epsilon^3 - 6\epsilon^2 + 9\epsilon\big] $$
$(\epsilon - 3)^2 = \epsilon^2 - 6\epsilon + 9$ 에 $\epsilon$ 을 곱했습니다.
$$ = -\big(\E[\epsilon^3] - 6\,\E[\epsilon^2] + 9\,\E[\epsilon]\big) = -(0 - 6 + 0) = 6 $$
표준 정규 분포는 0 을 중심으로 대칭이라 홀수 차수의 기댓값($\E[\epsilon]$, $\E[\epsilon^3]$)이 0 이고 $\E[\epsilon^2] = 1$. 직접 미분한 값 6 과 정확히 같습니다.

흔들림 줄이기

표본이 적으면 이 추정은 많이 흔들립니다. 실무에서는 몇 가지 기법을 함께 씁니다.

CMA-ES

한 문단 요약

CMA-EScovariance matrix adaptation evolution strategy(Hansen & Ostermeier, 2001)는 가장 널리 쓰이는 진화 전략입니다. 탐색 분포를 $\Normal(m,\ \sigma^2 C)$ 로 두고 세 가지를 배웁니다. 평균 $m$(어디를 탐색할지), 공분산 $C$(어느 방향으로 길쭉하게 탐색할지), 스텝 크기 $\sigma$(얼마나 넓게 탐색할지). 매 세대 $\lambda$ 개의 후보를 뽑아 평가하고, 상위 $\mu$ 개만 써서 셋을 갱신합니다. 점수의 크기는 쓰지 않고 순위만 씁니다. (CMA-ES 문헌의 관례를 따르느라 기호가 겹칩니다. 이 절에서 $C$ 는 컨트롤러가 아니라 공분산 행렬, $\mu$ 는 평균이 아니라 부모 수, $\lambda$ 는 후보 수, $\sigma$ 는 표준편차가 아니라 전체 스텝 크기입니다.)

비스듬히 놓인 길쭉한 그릇 모양 함수에서 CMA-ES 의 표본과 2-시그마 타원이 세대에 따라 바뀌는 모습
그림 10-2. 비스듬히 놓인 길쭉한 그릇(등고선) 위의 CMA-ES. 파란 점은 한 세대의 후보 12개, 빨간 타원은 탐색 분포 $\Normal(m, \sigma^2C)$ 의 2-시그마 범위, 초록 별은 최적점입니다. 4세대에는 여러 세대가 계속 같은 방향(오른쪽 위)으로 걸었으므로 스텝 크기 $\sigma$ 가 커져 타원이 크게 부풀었고, 10세대에는 타원이 그릇의 방향으로 비스듬히 길쭉해졌으며, 25세대에는 최적점에 모여 아주 작아졌습니다.

1단계: 뽑기

$$ x_k = m + \sigma\,y_k,\qquad y_k \sim \Normal(0, C),\qquad k = 1, \dots, \lambda $$

$y_k \sim \Normal(0, C)$ 는 $C = B D^2 B^\top$ 로 고윳값 분해해 두고 $y_k = B D\,\epsilon_k$ ($\epsilon_k \sim \Normal(0, I)$)로 만듭니다. $\Cov(BD\epsilon) = BD\,\Cov(\epsilon)\,(BD)^\top = BD\,I\,DB^\top = BD^2B^\top = C$ 이므로 맞습니다. ($B$ 는 고유벡터를 열로 모은 직교 행렬, $D$ 는 고윳값의 제곱근을 대각에 둔 행렬)

2단계: 평균 옮기기 (가중 재조합)

후보를 점수 순으로 정렬해 $i$ 번째로 좋은 후보의 스텝을 $y_{i:\lambda}$ 라고 씁니다. 상위 $\mu = \lambda/2$ 개에 가중치를 주어 평균을 옮깁니다.

$$ m \leftarrow \sum_{i=1}^{\mu} w_i\,x_{i:\lambda} = m + \sigma\,y_w,\qquad y_w = \sum_{i=1}^{\mu} w_i\,y_{i:\lambda},\qquad w_i = \frac{\ln(\mu + \tfrac12) - \ln i}{\sum_{j=1}^{\mu}\big(\ln(\mu+\tfrac12) - \ln j\big)} $$

$x_{i:\lambda} = m + \sigma y_{i:\lambda}$ 이고 $\sum_i w_i = 1$ 이므로 $\sum_i w_i x_{i:\lambda} = m\sum_i w_i + \sigma\sum_i w_i y_{i:\lambda} = m + \sigma y_w$ 입니다. 가중치는 1등이 가장 크고 $\mu$ 등으로 갈수록 작아집니다. 이 장의 설정($\lambda = 32$, $\mu = 16$)에서 1 – 5등의 가중치는 0.198, 0.149, 0.120, 0.100, 0.084 입니다. 평균은 결국 “좋은 후보들의 가중 평균 위치” 로 옮겨 갑니다. 7장의 CEM 이 상위 후보들의 (같은 가중치) 평균으로 옮긴 것과 같은 생각입니다.

가중치가 고르지 않으면 실제로 평균에 기여하는 후보 수는 $\mu$ 보다 적습니다. 그 “유효 개수” 를 $\mu_{\text{eff}} = 1/\sum_i w_i^2$ 로 셉니다. 가중치가 모두 $1/\mu$ 이면 $\mu_{\text{eff}} = 1/(\mu\cdot\frac{1}{\mu^2}) = \mu$ 이고, 한 후보에 몰리면 1 입니다. 이 장의 설정에서는 $\mu_{\text{eff}} \approx 9.18$ 입니다.

3단계: 공분산 배우기 (rank-μ 갱신)

“잘된 스텝들이 어떤 모양으로 퍼져 있었나” 를 보고 탐색 분포의 모양을 그쪽으로 바꿉니다. 그 모양은 2장의 최대우도로 구할 수 있습니다. 1차원으로 먼저 유도합니다.

잘된 스텝들의 가중 최대우도 분산
$$ \max_{v}\; \sum_{i=1}^{\mu} w_i \log\Normal\big(y_i;\ 0,\ v\big) = \sum_{i=1}^{\mu} w_i\Big(-\tfrac{1}{2}\log(2\pi v) - \frac{y_i^2}{2v}\Big) $$
상위 스텝 $y_1, \dots, y_\mu$ (평균 0 기준)를 가장 잘 설명하는 분산 $v$ 를 찾습니다. 데이터마다 가중치 $w_i$ 를 곱한 로그 가능도의 합입니다.
$$ \frac{\partial}{\partial v} = \sum_{i=1}^{\mu} w_i\Big(-\frac{1}{2v} + \frac{y_i^2}{2v^2}\Big) = 0 $$
$\frac{d}{dv}\log v = \frac{1}{v}$, $\frac{d}{dv}\frac{1}{v} = -\frac{1}{v^2}$ 를 썼습니다. 최댓값에서는 기울기가 0 입니다.
$$ \sum_i w_i\,v = \sum_i w_i\,y_i^2 $$
양변에 $2v^2$ 을 곱하고 정리했습니다.
$$ v = \sum_{i=1}^{\mu} w_i\,y_i^2 \qquad\xrightarrow{\ \text{여러 차원}\ }\qquad C_\mu = \sum_{i=1}^{\mu} w_i\,y_{i:\lambda}\,y_{i:\lambda}^\top $$
$\sum_i w_i = 1$ 이므로 분산은 “제곱의 가중 평균” 입니다. 벡터에서는 같은 계산이 바깥곱 $y y^\top$ (행렬)의 가중 평균이 됩니다.

CMA-ES 는 이 $C_\mu$ 로 공분산을 단번에 바꾸지 않고, 지난 공분산과 조금씩 섞습니다. 학습률 $c_\mu$ 로 지수 이동 평균을 냅니다.

$$ C \leftarrow (1 - c_1 - c_\mu)\,C + c_1\,p_c\,p_c^\top + c_\mu\sum_{i=1}^{\mu} w_i\,y_{i:\lambda}\,y_{i:\lambda}^\top $$

셋째 항이 방금 유도한 rank-μ 갱신 이고, 둘째 항은 아래의 진화 경로 $p_c$ 로 만드는 rank-1 갱신 입니다. $c_1 = 0$, $c_\mu = 1$, 가중치를 모두 같게 하면 7장의 CEM 과 거의 같은 꼴이 됩니다(CEM 은 분산을 옛 평균이 아니라 새 평균 기준으로 재고, 7장에서는 성분마다 따로 쟀으며, 스텝 크기 $\sigma$ 를 따로 두지 않는다는 점이 다릅니다). CEM 은 매 세대 공분산을 상위 표본에 맞춰 통째로 바꾸므로 빨리 좁아지고, CMA-ES 는 천천히 바꾸므로 안정적입니다.

4단계: 진화 경로와 스텝 크기

세대마다 평균이 움직인 스텝 $y_w$ 를 누적해 진화 경로evolution path 를 만듭니다.

$$ p \leftarrow (1 - c)\,p + \sqrt{c\,(2 - c)\,\mu_{\text{eff}}}\;y_w $$

$(1-c)$ 로 옛 경로를 조금씩 잊으며 새 스텝을 더합니다. 이상해 보이는 계수 $\sqrt{c(2-c)\mu_{\text{eff}}}$ 는 “선택이 아무 의미 없을 때(점수가 무작위일 때) 경로의 분포가 변하지 않도록” 맞춘 값입니다.

정규화 계수 $\sqrt{c(2-c)\mu_{\text{eff}}}$ 가 나오는 이유
$$ \Cov(y_w) = \sum_{i=1}^{\mu} w_i^2\,\Cov(y_i) = \Big(\sum_i w_i^2\Big)C = \frac{C}{\mu_{\text{eff}}} $$
점수가 무작위라면 상위 $\mu$ 개도 그냥 독립인 $\Normal(0, C)$ 표본입니다. 독립인 것들의 가중합의 공분산은 가중치 제곱을 곱해 더한 것이고, $\sum w_i^2 = 1/\mu_{\text{eff}}$ 입니다.
$$ \Cov(p_{\text{새}}) = (1-c)^2\,\Cov(p) + c(2-c)\,\mu_{\text{eff}}\cdot\frac{C}{\mu_{\text{eff}}} $$
옛 경로 $p$ 와 새 스텝 $y_w$ 는 독립이므로 공분산이 따로 더해지고, 상수배는 제곱으로 나옵니다($\Cov(aX) = a^2\Cov(X)$).
$$ \Cov(p) = C \;\Rightarrow\; \Cov(p_{\text{새}}) = \big((1-c)^2 + c(2-c)\big)C = (1 - 2c + c^2 + 2c - c^2)\,C = C $$
옛 경로가 $\Normal(0, C)$ 였다면 새 경로도 정확히 $\Normal(0, C)$ 입니다. 그래서 경로의 길이가 “우연의 길이” 보다 긴지 짧은지를 공정하게 비교할 수 있습니다.

스텝 크기 $\sigma$ 는 이 원리로 조절합니다(누적 스텝 크기 조절, CSA). $C$ 의 모양을 걷어 낸 경로 $p_\sigma$ (스텝에 $C^{-1/2}$ 을 곱해 누적)를 만들면, 우연일 때 $p_\sigma \sim \Normal(0, I)$ 이므로 길이의 기댓값이 $\E\lVert\Normal(0,I)\rVert \approx \sqrt{n}\big(1 - \frac{1}{4n} + \frac{1}{21n^2}\big)$ 입니다(이 장의 $n = 289$ 에서 약 16.99). 아래 식의 $c_\sigma$ 는 경로를 누적하는 학습률(다음 표)이고, $d_\sigma$ 는 $\sigma$ 가 한 세대에 너무 크게 바뀌지 않게 나누는 감쇠(damping) 상수로 기본값은 $1 + 2\max\!\big(0,\ \sqrt{(\mu_{\text{eff}}-1)/(n+1)} - 1\big) + c_\sigma$ 입니다(이 장에서는 약 1.04).

$$ \sigma \leftarrow \sigma\cdot\exp\!\left(\frac{c_\sigma}{d_\sigma}\left(\frac{\lVert p_\sigma\rVert}{\E\lVert\Normal(0,I)\rVert} - 1\right)\right) $$

공분산용 경로 $p_c$ 는 같은 방식으로 누적하되 $C$ 를 걷어 내지 않으며($C^{-1/2}$ 을 곱하지 않습니다), rank-1 갱신 $p_c p_c^\top$ 으로 “최근 여러 세대가 일관되게 움직인 방향” 을 공분산에 새깁니다.

기본 학습률과 차원의 저주

값식 (Hansen 의 기본값)2차원, λ = 12289차원, λ = 32
$\mu_{\text{eff}}$$1/\sum w_i^2$3.739.18
$c_\sigma$$\frac{\mu_{\text{eff}}+2}{n+\mu_{\text{eff}}+5}$0.5340.0369
$c_c$$\frac{4+\mu_{\text{eff}}/n}{n+4+2\mu_{\text{eff}}/n}$0.6030.0138
$c_1$$\frac{2}{(n+1.3)^2+\mu_{\text{eff}}}$0.1370.0000237
$c_\mu$$\min\!\big(1-c_1,\ \frac{2(\mu_{\text{eff}}-2+1/\mu_{\text{eff}})}{(n+2)^2+\mu_{\text{eff}}}\big)$0.2020.000172

공분산 학습률 $c_1, c_\mu$ 는 차원 $n$ 의 제곱에 반비례합니다. 2차원에서는 한 세대에 공분산의 약 34%($c_1 + c_\mu$)가 새로 바뀌지만(그림 10-2 에서 몇 세대 만에 타원이 기울어진 이유), 289차원에서는 한 세대에 0.02% 도 바뀌지 않습니다. 공분산 행렬에 원소가 약 $n^2/2 \approx 42{,}000$ 개나 있으니 그것을 믿을 만하게 배우려면 그만큼 많은 세대가 필요한 것입니다. 그래서 이 장처럼 수십 세대만 돌리면 CMA-ES 는 사실상 “순위 가중 평균으로 평균을 옮기고 스텝 크기만 조절하는” 진화 전략으로 동작합니다. 그래도 충분히 잘 됩니다.

numpy 구현


  
수식코드
$y_k = BD\epsilon_k,\ x_k = m + \sigma y_k$self.y = (eps * self.D) @ self.B.T, self.mean + self.sigma * self.y
점수 순 정렬, 상위 $\mu$ 개order = np.argsort(-fitness), y_best = self.y[order[:mu]]
$y_w = \sum_i w_i y_{i:\lambda}$, $m \leftarrow m + \sigma y_w$y_w = self.weights @ y_best, self.mean + self.sigma * y_w
$p_\sigma \leftarrow (1-c_\sigma)p_\sigma + \sqrt{c_\sigma(2-c_\sigma)\mu_{\text{eff}}}\,C^{-1/2}y_w$C_inv_sqrt = B diag(1/D) Bᵀ 와 그 다음 줄
$\sum_i w_i\,y_{i:\lambda}y_{i:\lambda}^\top$rank_mu = (y_best.T * self.weights) @ y_best
$\sigma \leftarrow \sigma\exp(\frac{c_\sigma}{d_\sigma}(\frac{\lVert p_\sigma\rVert}{\E\lVert N\rVert} - 1))$self.sigma *= np.exp(...)
$C = BD^2B^\top$np.linalg.eigh(self.C)

h_sigma 는 $p_\sigma$ 가 유난히 길 때(스텝 크기가 너무 작아 $\sigma$ 가 급히 커지는 동안) $p_c$ 에 새 스텝을 더하지 않아 $C$ 가 한 방향으로 과하게 늘어나는 것을 막는 작은 안전장치이고, delta 는 그때 빠진 분산을 보충하는 항입니다. 처음 읽을 때는 건너뛰어도 됩니다. 이 구현은 Hansen 의 튜토리얼 “The CMA Evolution Strategy: A Tutorial” 의 기본 알고리즘을 옮긴 것으로(최근 판의 기본값인 “하위 후보에 음의 가중치 주기” 만 빼고 양의 가중치 $\mu$ 개만 썼습니다), 실무에서는 cma 패키지를 쓰면 됩니다.

컨트롤러와 진짜 환경 롤아웃

CMA-ES 의 후보 하나는 289개의 숫자입니다. 이것을 $W_c$ (288개)와 $b_c$ (1개)로 나눠 컨트롤러로 씁니다. 후보 $P$ 개를 한꺼번에 계산하도록 묶음 행렬 곱(bmm)을 씁니다.


  

진짜 환경 롤아웃은 후보 $P$ 개 × 시작 상태 $K$ 개, 모두 $P\cdot K$ 개의 진자를 동시에 돌립니다. 매 스텝 그림을 VAE 에 한꺼번에 넣고, 컨트롤러로 행동을 정하고, 각 진자를 한 스텝 움직인 뒤, MDN-RNN 으로 기억을 갱신합니다. 진짜 환경을 쓸 때 M 은 미래를 예측하는 데가 아니라 기억 $h_t$ 를 만드는 데 만 쓰입니다.


  

  

꿈속 롤아웃

이제 진짜 환경을 빼 버립니다. M 이 다음 $z$ 를 뽑고, 보상도 M 의 보상 머리가 냅니다. 그림을 그리지도, VAE 를 돌리지도 않으므로 아주 빠르고, 수천 개를 GPU 에서 한 번에 돌릴 수 있습니다.


  

꿈의 첫 장면은 진짜 에피소드들의 첫 그림을 VAE 로 바꾼 $z$ 에서 고릅니다(z_starts). 그 뒤로는 모든 것이 상상입니다. 진짜 롤아웃과 비교하면 단 두 줄이 다릅니다. 보상이 환경 대신 r_hat 에서 오고, 다음 $z$ 가 VAE 대신 mdn_sample(..., tau) 에서 옵니다.

학습 루프


  

세대마다 후보 32개 × 시작 상태 $K$ 개(진짜 환경 4개, 꿈속 16개)를 돌려 평균 리턴을 적합도로 씁니다(원 논문은 후보 64개, 후보 하나당 롤아웃 16번을 썼습니다). 학습이 꿈속에서 이루어지더라도, 몇 세대마다(진짜 환경 학습은 5, 꿈속 학습은 10) 현재 평균 $m$ 을 진짜 환경 의 고정된 시작 상태 20개로 평가해 기록합니다. 이 평가값은 학습에 쓰지 않고, “꿈속 학습이 실제로 통하는가” 를 지켜보는 데만 씁니다.

결과: 진짜 환경 학습과 꿈속 학습

코드는 같은 V · M 위에서 컨트롤러를 네 번 학습합니다. (A) 진짜 환경에서 60세대(후보 하나당 에피소드 4개), (B) 꿈속에서 온도 τ = 0.1, 1.0, 1.5 로 각각 150세대(후보 하나당 꿈 16개). 코드는 세대 0 부터 세므로 실제 갱신은 61번 · 151번입니다(그래서 (A)의 에피소드 수는 61 × 32 × 4 = 7,808). 꿈은 그림을 그리지 않고 GPU 에서 한꺼번에 돌기 때문에 훨씬 싸서, 세대도 평가 횟수도 넉넉히 줄 수 있습니다.

$ python ch10_world_models.py
장치: cuda
컨트롤러 매개변수 수: (32 + 256) × 1 + 1 = 289
기준선 | 무작위 행동 -1226.9 | 토크 0 -1251.6
[real] 세대   0 | 적합도 평균  -1328.2 최고  -1147.2 | σ 0.097 | 진짜 환경 평가(평균 m)  -1210.7
[real] 세대  10 | 적합도 평균  -1086.7 최고   -820.0 | σ 0.085 | 진짜 환경 평가(평균 m)   -776.0
…
[real] 세대  60 | 적합도 평균   -580.4 최고   -321.1 | σ 0.086 | 진짜 환경 평가(평균 m)   -301.7
(A) 진짜 환경 학습 356초 | 학습에 쓴 진짜 에피소드 7808개 (1,561,600 스텝)
[dream τ=0.1] 세대   0 | 적합도 평균  -1258.8 최고  -1061.9 | σ 0.097 | 진짜 환경 평가(평균 m)  -1184.1
…
[dream τ=0.1] 세대 150 | 적합도 평균   -383.7 최고   -244.4 | σ 0.104 | 진짜 환경 평가(평균 m)   -315.6
(B) 꿈속 학습 τ=0.1 174초
…
[dream τ=1] 세대 150 | 적합도 평균   -334.8 최고   -204.7 | σ 0.104 | 진짜 환경 평가(평균 m)   -278.6
(B) 꿈속 학습 τ=1 177초
…
[dream τ=1.5] 세대 150 | 적합도 평균   -419.9 최고   -230.6 | σ 0.097 | 진짜 환경 평가(평균 m)   -306.1
(B) 꿈속 학습 τ=1.5 176초

최종 평가 (진짜 환경: 고정 시작 상태 20개 평균 ± 표준편차, 꿈속: 학습 때와 같은 τ, 시작 상태 64개)
  real       | 꿈속 리턴   -488.1 | 진짜 리턴   -301.7 ± 181.1
  dream 0.1  | 꿈속 리턴   -268.0 | 진짜 리턴   -315.6 ± 197.2
  dream 1    | 꿈속 리턴   -238.9 | 진짜 리턴   -278.6 ± 144.4
  dream 1.5  | 꿈속 리턴   -289.6 | 진짜 리턴   -306.1 ± 203.7
그림 저장: figures

이 튜토리얼을 쓴 환경(노트북 GPU, 다른 학습과 GPU 를 나눠 씀)에서 전체 약 15분 걸렸습니다. 진짜 환경 학습이 356초, 꿈속 학습이 온도마다 약 175초입니다. 꿈속 학습은 세대가 2.5배, 후보당 평가가 4배 많은데도 절반의 시간에 끝났습니다. 진짜 환경 쪽은 GPU 가 있어도 진자 128개(후보 32 × 시작 상태 4)를 한 스텝씩 움직이고 그림을 그리는 파이썬 반복이 시간의 대부분을 차지하기 때문입니다. CPU(4스레드)만 쓰면 진짜 환경 한 세대에 약 26초, 꿈속 한 세대에 몇 초씩 걸려 전체 약 1시간이 걸립니다. 더 중요한 차이는 진짜 경험의 양 입니다. (A) 는 학습에 진짜 에피소드 7,808개(약 156만 스텝)를 썼고, (B) 는 8장에서 무작위로 모은 200 에피소드(4만 스텝) 말고는 진짜 환경을 학습에 전혀 쓰지 않았습니다(5 · 10세대마다의 평가는 지켜보기만 할 뿐 학습에 쓰지 않습니다).

학습 곡선

CMA-ES 세대에 따른 진짜 환경 평가 리턴: 진짜 환경 학습과 세 온도의 꿈속 학습
그림 10-3. 세대에 따른 진짜 환경 평가 리턴(고정 시작 상태 20개 평균). 검정: 진짜 환경에서 학습. 색: 꿈속에서만 학습. 회색 점선: 무작위 행동. 꿈속 학습 곡선의 점들은 학습에 쓰지 않고 관찰만 한 값입니다.

꿈속 리턴과 진짜 리턴

네 컨트롤러의 꿈속 리턴과 진짜 리턴 막대그래프
그림 10-4. 각 컨트롤러를 꿈속(학습 때의 τ, 진짜 환경에서 학습한 것은 τ = 1)과 진짜 환경에서 평가한 리턴. 주황이 파랑보다 높으면(덜 음수면) 꿈이 실제보다 낙관적이라는 뜻입니다.

꿈속에서 학습한 세 컨트롤러는 모두 꿈속 리턴이 진짜 리턴보다 조금 좋습니다(τ = 0.1: −268 vs −316, τ = 1: −239 vs −279, τ = 1.5: −290 vs −306). 꿈이 실제보다 약간 낙관적이라는 뜻이고, 컨트롤러가 꿈의 작은 허점을 조금씩 이용하고 있다는 신호입니다. 이 실행에서는 그 차이가 τ 가 높을수록 줄었습니다(48 → 40 → 16).

거꾸로, 진짜 환경에서 학습한 컨트롤러는 꿈속(τ = 1)에서 −488 로 진짜(−302)보다 훨씬 못합니다. 꿈과 진짜는 같은 세상이 아니며, 한쪽에 맞춘 컨트롤러가 다른 쪽에서 그대로 통하지는 않습니다. 가능한 이유 하나는 9장에서 본 꺼진 차원 입니다. 진짜 롤아웃에서는 그림을 평균 $\mu$ 로 바꾸므로 꺼진 25개 차원이 늘 0 근처인데, τ = 1 의 꿈에서는 그 차원들이 $\Normal(0,1)$ 잡음으로 뽑힙니다. 진짜 환경에서만 학습한 컨트롤러는 그 차원들의 가중치를 정리할 이유가 없었으므로 꿈속에서는 잡음에 흔들리고, 꿈속에서 학습한 컨트롤러는 그 잡음을 무시하는 법을 배웠을 것입니다.

설정 (꿈속 학습)꿈속 리턴진짜 리턴
위 실행: τ = 0.1 / 1 / 1.5, 150세대, 후보당 꿈 16개−268 / −239 / −290−316 / −279 / −306
난수만 바꿔 다시: τ = 0.1 / 1 / 1 / 1.5, 150세대, 꿈 16개−257 / −286 / −270 / −305−263 / −338 / −312 / −329
처음 시도: τ = 0.1 / 1 / 1.5, 60세대, 꿈 4개−507 / −338 / −892−568 / −381 / −854

결과를 정직하게 읽으려면 한 번의 실행만 믿어서는 안 됩니다. 위 표는 꿈속 학습 부분만 난수를 바꿔 몇 번 더 돌린 결과입니다. 150세대 · 꿈 16개 설정에서는 매번 진짜 리턴 −260 ~ −340 의 쓸 만한 컨트롤러가 나왔고, 꿈은 늘 6 ~ 52 만큼 낙관적이었습니다. 하지만 온도 사이의 차이는 실행마다 뒤바뀔 만큼 작아서, 이 진자에서 “어느 τ 가 가장 좋다” 고 말할 수는 없습니다. 마지막 줄은 이 튜토리얼을 준비하며 처음 돌린 설정(세대 60, 후보당 꿈 4개)으로, 세대도 평가도 모자라면 꿈속 학습이 훨씬 불안정하다는 것을 보여 줍니다. 그래서 기본 설정을 늘렸습니다.

꿈에서 배운 컨트롤러가 진짜 진자를 세우다

꿈속에서만 학습한 컨트롤러가 진짜 환경에서 진자를 흔들어 올려 세우는 장면과 각도 그래프
그림 10-5. 꿈속에서만 학습한 컨트롤러 중 진짜 리턴이 가장 좋은 것을, 학습에 쓰지 않은 평가용 시작 상태 가운데 하나에서 진짜 환경에 넣은 모습. 위: 20 스텝(1초)마다의 그림. 아래: 각도(0 = 똑바로 섬).

가장 좋은 꿈속 컨트롤러(τ = 1)가 진짜 진자를 다루는 모습입니다. 각도 그래프에서 값이 $+\pi$ 와 $-\pi$ 사이를 건너뛰는 곳은 진자가 맨 아래(매달린 자세)를 지나는 순간입니다. 컨트롤러는 처음 2초 남짓 동안 진자를 왼쪽 · 오른쪽으로 두 번 크게 흔들어 에너지를 모은 뒤(그네 타기), 세 번째에 꼭대기까지 올려 약 3초부터 끝(10초)까지 똑바로 세워 둡니다. 토크가 약해 한 번에 올릴 수 없다는 진자 문제의 핵심을, 그림만 보고 꿈속에서 스스로 찾아낸 것입니다. 이 시작 상태에서의 리턴은 −342 입니다. 리턴이 0 에 가깝지 않은 것은 흔들어 올리는 처음 3초 동안 각도 벌점을 크게 받기 때문이고, 세운 뒤의 벌점은 거의 0 입니다.

온도와 꿈속 속임수

꿈속 학습에는 근본적인 위험이 있습니다. 컨트롤러는 리턴을 높이는 일이라면 무엇이든 찾아냅니다. M 이 어떤 상황에서 틀린 예측을 한다면, 예를 들어 “이렇게 토크를 주면 진자가 마법처럼 위에 멈춘다” 고 잘못 믿는다면, 컨트롤러는 진짜 물리를 배우는 대신 그 오류를 노리는 법 을 배웁니다. 이것을 모델 착취model exploitation, 원 논문의 표현으로는 꿈속에서의 “속임수(cheating)” 라고 합니다. 꿈속 점수는 높은데 진짜 점수는 낮은 컨트롤러가 그 증상입니다.

Ha & Schmidhuber 는 VizDoom 실험에서 이것을 직접 보였습니다. 온도를 낮게(예: 0.1) 두고 꿈속에서 학습하면 꿈속 점수는 아주 높았지만(2086 ± 140, 만점 2100) 진짜 게임에서는 거의 버티지 못했습니다(193 ± 58). 거의 결정적인 꿈에서는 M 이 혼합 분포 가운데 “불덩이가 만들어져 날아오는” 성분으로 넘어가지 못해(모드 붕괴), 꿈속 괴물이 아예 불덩이를 쏘지 않았기 때문입니다. 위험이 없는 꿈에서는 어떤 컨트롤러든 거의 만점을 받지만 배운 것은 없습니다. 온도를 1.15 로 높여 꿈을 진짜보다 더 불확실하고 어렵게 만들자, M 의 허점을 노리는 속임수도 매번 통하지는 않게 되어 컨트롤러는 어떤 미래가 와도 버티는 행동을 배웠고, 그것이 진짜 게임에서도 통했습니다(1092 ± 556).

우리 진자에서는 온도가 그만큼 극적인 차이를 만들지 않았습니다. 꿈은 모든 온도에서 조금 낙관적이었지만, 낮은 온도에서도 꿈속 학습이 진짜에서 통했습니다. 이유를 짐작해 볼 수 있습니다.

VizDoom 은 그 반대였습니다. 장면이 복잡하고, 불덩이가 날아오는 방식이 무작위이며, 무작위 행동으로는 겪지 못하는 상황이 많습니다. 온도의 효과는 “모델이 틀리기 쉬운 세상” 일수록 커집니다. 직접 확인하고 싶다면 아래 “직접 바꿔 보기” 처럼 M 을 적은 데이터로 학습해 일부러 허점을 늘린 뒤 같은 실험을 해 보세요.

핵심

꿈속 학습의 품질은 “꿈이 진짜와 얼마나 비슷한가” 만이 아니라 “컨트롤러가 꿈의 허점을 이용할 수 있는가” 에 달려 있습니다. 온도를 높여 꿈을 불확실하게 하는 것은 “모델이 모르는 곳을 믿지 마라” 는 신호를 주는 가장 간단한 방법이고, 7장의 앙상블(PETS)이 불확실성을 다루는 것과 같은 목적입니다. 모델이 틀리는 곳 자체를 줄이는 방법은 다음 절의 반복 학습입니다.

반복 학습

이 장의 V · M 은 무작위 행동 으로 모은 데이터로만 학습했습니다. 그런데 좋은 컨트롤러는 무작위 행동이 거의 가지 않는 곳으로 갑니다. 진자라면 “꼭대기에서 몇 초 동안(백 스텝 넘게) 거의 멈춘 채 버티기” 가 그렇습니다. 그런 상태가 학습 데이터에 드물면 M 은 거기서 틀리기 쉽고, 위에서 본 모델 착취가 바로 그런 곳에서 일어납니다. CarRacing 처럼 무작위 행동으로는 트랙 끝까지 가 보지도 못하는 과제에서는 더 심각합니다.

Ha & Schmidhuber 는 그래서 다음과 같은 반복 학습 절차를 제안했습니다. (원문은 M 과 C 만 말합니다. 아래는 이 튜토리얼의 V · M · C 에 맞춰 조금 풀어 쓴 것이고, 탐험 잡음과 V 의 재학습은 덧붙인 것입니다.)

  1. M 과 C 를 무작위로 초기화한다.
  2. 지금의 C (와 약간의 탐험 잡음)로 진짜 환경에서 에피소드를 모아 데이터에 더한다.
  3. 쌓인 데이터로 V · M 을 다시 학습한다.
  4. 새 M 의 꿈속에서 C 를 다시 학습한다.
  5. 과제가 풀릴 때까지 2 로 돌아간다.

이렇게 하면 “컨트롤러가 가는 곳” 의 데이터가 점점 늘어나 M 이 그곳을 정확히 배우고, 속임수가 통하던 허점이 메워집니다. 7장에서 모델 기반 강화학습이 데이터 모으기와 모델 학습을 번갈아 한 것과 같은 구조입니다. 이 장의 코드로 직접 해 보려면 8장의 collect_pixel_episodes(n, policy=...) 에 컨트롤러를 정책으로 넘겨 에피소드를 모으고(정책은 에피소드마다 LSTM 기억을 0 으로 되돌려야 합니다), 그 데이터를 8장의 데이터와 합쳐 train_vae · train_mdnrnn 을 다시 돌린 뒤, 이 장의 train_controller("dream", ...) 를 다시 부르면 됩니다. 11 · 12장의 PlaNet · Dreamer 는 이 반복을 아예 학습 루프의 기본 구조로 삼습니다.

World Models 의 한계

11장의 RSSM 은 V 와 M 을 하나의 확률 모델로 합쳐 함께 학습하고, 12장의 Dreamer 는 그 모델의 꿈을 통째로 미분해 큰 신경망 정책을 학습합니다. 이 두 장에서 위의 한계들이 하나씩 풀립니다.

이 장의 정리

확인 문제

문제 1 · 매개변수 세기

$z$ 가 64차원, LSTM 은닉이 512, 행동이 2차원이라면 선형 컨트롤러의 매개변수는 몇 개입니까?

답 보기

$(64 + 512) \times 2 + 2 = 1154$ 개.

문제 2 · ES 기울기

$F(x) = -x^2$, $\theta = 1$, $\sigma = 0.5$ 일 때 $\frac{1}{\sigma}\E[F(\theta + \sigma\epsilon)\epsilon]$ 을 계산하고, $J(\theta) = \E[F(\theta+\sigma\epsilon)]$ 를 직접 미분한 값과 비교하세요.

답 보기

$-(1 + 0.5\epsilon)^2\epsilon = -(\epsilon + \epsilon^2 + 0.25\epsilon^3)$ 이므로 기댓값은 $-(0 + 1 + 0) = -1$, $\frac{1}{0.5}\times(-1) = -2$. 직접: $J(\theta) = -(\theta^2 + \sigma^2)$, $J'(1) = -2$. 같습니다.

문제 3 · 유효 부모 수

가중치가 $(0.5,\ 0.3,\ 0.2)$ 이면 $\mu_{\text{eff}}$ 는?

답 보기

$1/(0.25 + 0.09 + 0.04) = 1/0.38 \approx 2.63$. 부모는 셋이지만 실제로는 2.6개 정도의 몫을 합니다.

문제 4 · 스텝 크기

여러 세대 동안 평균이 앞으로 갔다 뒤로 갔다를 되풀이했다면 진화 경로 $p_\sigma$ 의 길이와 $\sigma$ 는 어떻게 될까요?

답 보기

반대 방향 스텝들이 서로 상쇄되어 $\lVert p_\sigma\rVert$ 가 기대 길이보다 짧아집니다. 괄호 안이 음수가 되어 $\sigma$ 가 줄어듭니다. 최적점을 넘나들 만큼 스텝이 컸다는 신호이기 때문입니다.

문제 5 · 모델 착취

꿈속 리턴은 매우 높은데 진짜 리턴은 낮은 컨트롤러를 얻었습니다. 원인으로 의심할 것 두 가지와 대처법을 말해 보세요.

답 보기

(1) 학습 데이터에 없던 상태(예: 꼭대기에서 오래 버티는 상태)에서 M 의 예측이 틀렸고, 컨트롤러가 그 틀린 곳으로 가는 법을 배웠다 → 그 컨트롤러로 새 데이터를 모아 M 을 다시 학습(반복 학습). (2) 꿈이 너무 결정적이라(τ 가 낮음) 모델의 작은 오류가 늘 똑같이 재현되어 이용당했다 → τ 를 높여 꿈을 불확실하게 만든다.

직접 바꿔 보기

(1) --dream-rollouts 4 --dream-generations 60 으로 줄여 꿈속 학습이 얼마나 불안정해지는지, (2) --taus 0.1,1.0,2.0 이나 --popsize 64 로 바꾸면 그림 10-3 · 10-4 가 어떻게 달라지는지 비교해 보세요. (3) 모델 착취를 일부러 일으켜 보려면 8장을 --episodes 20 으로, 9장을 그 데이터로 다시 학습해 M 의 허점을 늘린 뒤 이 장을 돌려 보세요. 꿈속 리턴과 진짜 리턴의 차이가 τ 에 따라 어떻게 변하는지가 관전 포인트입니다. (4) 컨트롤러를 은닉 16개짜리 작은 MLP 로 바꾸면(매개변수 수가 늘어남) CMA-ES 가 얼마나 느려지는지도 재 볼 만합니다.

World Models 는 “모델 안에서 상상으로 배운다” 는 것을 보여 주었지만, V · M · C 를 따로 학습하고, 컨트롤러는 작아야만 하며, 꿈의 품질은 M 의 예측력에 전적으로 달려 있었습니다. 다음 장의 RSSM 은 눈과 기억을 하나의 확률 모델로 합쳐 함께 학습하고, PlaNet 은 그 모델 안에서 매 스텝 계획을 세웁니다.