CHAPTER 14

부록: 디버깅 · 용어집 · 다음 걸음

튜토리얼을 다 읽었더라도, 직접 World Model 을 만들다 보면 손실이 NaN 이 되거나, 재구성이 흐리거나, 상상 속에서는 잘하는데 실제로는 못하는 에이전트를 만나게 됩니다. 이 장은 그럴 때 펼쳐 보는 참고서 입니다. 처음부터 읽기보다 필요한 절을 찾아 쓰세요.

참고용 (필요할 때 찾아 읽기)난이도 ★★☆☆☆코드: 본문의 짧은 조각
이 장에 들어 있는 것

1. 디버깅: 처음 30분 점검 순서

World Model 은 부품(인코더 · 동역학 · 디코더 · 보상 · 정책)이 많고, 강화학습은 결과의 분산이 커서 “어디가 틀렸는지” 찾기 어렵습니다. 무언가 이상하면 하이퍼파라미터를 이리저리 바꾸기 전에 다음 순서로 점검하세요. 경험상 대부분의 버그는 앞의 세 단계에서 잡힙니다.

  1. 데이터를 눈으로 본다. 관측 그림 몇 장을 저장해 열어 보고, 값의 최솟값 · 최댓값 · 평균을 출력합니다. 그림이 0–255 인지 0–1 인지, 행동의 범위(환경은 [−2, 2], 11 · 12장 에이전트의 출력은 [−1, 1])가 맞는지 확인합니다.
  2. 모양(shape)을 확인한다. 텐서마다 기대하는 모양을 주석으로 적고 assert 로 확인합니다. 특히 시간 축 $T$ 와 배치 축 $B$ 의 순서, 관측($T{+}1$ 개)과 행동($T$ 개)의 짝을 봅니다.
  3. 아주 작은 데이터에 과적합시켜 본다. 배치 하나(예: 시퀀스 4개)만 반복해서 학습시키면 손실이 거의 0 까지 내려가야 합니다. 안 내려가면 모델 · 손실 코드에 버그가 있는 것입니다.
  4. 손실을 항별로 따로 기록한다. 재구성 · 보상 · KL · 액터 · 크리틱을 합친 값만 보면 어느 항이 문제인지 모릅니다.
  5. 기준 점수와 비교한다. 정답의 평균만 내는 모델(6장, 표준화 MSE ≈ 1), 무작위 정책의 리턴(5장, 약 −1234)처럼 바보 같은 기준 점수보다 나은지 봅니다.
  6. 기울기의 크기를 기록한다. 기울기 노름이 0 이면 기울기가 끊긴 것이고(.detach() 실수), 갑자기 수천으로 튀면 폭발입니다.
  7. 시드를 고정하고, 여러 시드로 돌린다. 한 시드의 좋은 결과는 운일 수 있습니다. 3 – 5개 시드의 평균과 범위를 봅니다.
  8. 그다음에야 하이퍼파라미터를 바꾼다. 한 번에 하나씩, 학습률부터.

아래 조각은 위 점검을 코드로 옮긴 것입니다. 학습 루프 안에 넣어 두면 문제를 일찍 잡을 수 있습니다.

import random
import numpy as np
import torch

def set_seed(seed):
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)          # CPU · GPU 모두

def check(name, x, shape=None):
    """모양과 유한성(NaN · inf 없음)을 확인한다."""
    if shape is not None:
        assert tuple(x.shape) == tuple(shape), f"{name}: {tuple(x.shape)} != {shape}"
    assert torch.isfinite(x).all(), f"{name} 에 NaN 또는 inf 가 있습니다"

def grad_norm(model):
    """모든 매개변수 기울기를 한 벡터로 이었을 때의 길이."""
    total = 0.0
    for p in model.parameters():
        if p.grad is not None:
            total += p.grad.detach().pow(2).sum().item()
    return total ** 0.5

# 학습 루프 안에서
# check("obs", obs, (B, L, 64, 64))   # 11장의 배치: 길이 L, 채널 축 없음
# loss.backward()
# print("grad norm", grad_norm(model))
# torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=100.0)

# NaN 이 어디서 처음 생기는지 찾을 때만 켠다 (느려진다)
# torch.autograd.set_detect_anomaly(True)
주의 · 가장 흔한 조용한 버그: 브로드캐스팅

예측 pred 의 모양이 (B, 1) 이고 목표 target 이 (B,) 이면, (pred - target) ** 2 는 오류 없이 (B, B) 행렬이 됩니다. 모든 예측이 모든 목표와 비교되어, 모델은 “평균” 만 예측하도록 배웁니다. 손실은 줄어드는 것처럼 보이므로 알아채기 어렵습니다. 손실을 계산하기 직전에 두 텐서의 모양이 같은지 꼭 확인하세요.

2. 증상 → 원인 → 처방

자주 만나는 증상을 부품별로 모았습니다. “관련 장” 에서 자세한 설명과 유도를 볼 수 있습니다.

데이터 · 모양

증상흔한 원인처방관련 장
손실이 처음부터 터무니없이 크거나 작다입력을 정규화하지 않았거나 두 번 했다. 그림을 0–255 그대로 넣었다입력의 범위를 출력해 본다. 그림은 /255 (−0.5), 숫자 상태는 표준화06 · 08
모델이 늘 비슷한 값(평균)만 예측한다브로드캐스팅으로 손실이 (B, B) 가 됨. 입력과 목표의 짝이 어긋남손실 직전 모양 확인, 데이터 몇 개를 손으로 대조04
예측이 한 스텝씩 밀려 있다관측은 $T{+}1$ 개, 행동 · 보상은 $T$ 개인데 인덱스를 잘못 짝지음$(o_t, a_t) \to o_{t+1}$, $r_t$ 의 짝을 그림으로 확인 (collect_episodes 의 설명)06 · 11
합성곱 층에서 모양 오류그림이 (B, H, W, C) 인데 PyTorch 는 (B, C, H, W) 를 기대permute 또는 unsqueeze(1)(흑백)04 · 08
각도 ±π 근처에서 예측이 튄다각도 $\theta$ 를 그대로 입력 · 출력해 $\pi$ 와 $-\pi$ 가 멀리 떨어진 숫자가 됨$(\cos\theta, \sin\theta)$ 로 표현06

수치 안정성

증상흔한 원인처방관련 장
손실이 NaN · inf 가 된다$\log 0$, $e^{x}$ 넘침, 표준편차 0, 학습률이 너무 큼아래 3절의 안정 공식(softplus, 로짓 BCE)과 9장의 logsumexp, 최소 표준편차, 기울기 자르기, set_detect_anomaly02 · 09
가우시안 NLL 이 끝없이 내려간다(−∞ 쪽으로)예측 표준편차 $\sigma \to 0$ 으로 몇 점에 과적합$\sigma = \operatorname{softplus}(x) + \sigma_{\min}$, $\log\sigma^2$ 의 범위를 제한07 · 11
MDN 학습 중 갑자기 NaN혼합 가중치의 $\log\sum\exp$ 를 그대로 계산해 넘침torch.logsumexp 사용, $\log\sigma$ 범위 제한09
BCE 가 infsigmoid 를 먼저 하고 $\log$ 를 취해 $\log 0$로짓을 받아 바로 계산하는 binary_cross_entropy_with_logits08

학습 동역학

증상흔한 원인처방관련 장
손실이 전혀 줄지 않는다학습률이 너무 작음, 기울기가 끊김(.detach(), torch.no_grad), 옵티마이저에 매개변수를 안 넣음작은 데이터 과적합 시험, 기울기 노름 기록, optimizer.param_groups 확인04
손실이 튀다가 발산한다학습률이 곡률에 비해 큼($\eta \gt 2/a$), RNN 의 기울기 폭발학습률을 1/3 씩 줄이기, 기울기 자르기04 · 09
학습 손실은 주는데 새 데이터에서 나빠진다과적합(데이터가 적음)데이터 더 모으기, 검증 손실로 조기 종료, 가중치 감쇠, 모델 줄이기06
시드마다 결과가 크게 다르다강화학습의 높은 분산, 초기 데이터의 운여러 시드의 평균 · 범위로 판단, 평가 에피소드 늘리기05

잠재 변수 모델 (VAE · RSSM)

증상흔한 원인처방관련 장
KL 이 0 에 붙고 재구성은 늘 같은 “평균 그림”사후 붕괴: 디코더가 잠재를 무시함, KL 가중치가 큼β 줄이기, KL 가중치를 0 에서 서서히 올리기(warm-up), 자유 내트(free nats) · 자유 비트(free bits)08 · 11 · 12
재구성이 흐리다MSE 가 가능한 그림들의 평균을 맞힘, 디코더 용량 부족, β 가 큼디코더 키우기, β 조정, 여러 갈래를 표현하는 모델(MDN · 확률적 잠재 · 확산)08 · 09 · 13
재구성은 좋은데 상상(사전) 롤아웃이 엉망사후 분포만 잘 배우고 전이(사전)가 따라오지 못함열린 고리 상상 그림으로 점검, KL 균형, 학습 더 하기, 잠재 과대 예측11 · 12
작은 물체(진자 막대)가 재구성에서 사라진다그림 대부분이 배경이라 그 물체가 손실에서 차지하는 몫이 작음해상도 · 디코더 용량 늘리기, 결과 그림을 늘 눈으로 확인08
KL 이 줄지 않고 계속 크다사전이 사후를 따라잡지 못함, 표준편차 하한이 너무 작음KL 균형(사전 쪽에 더 큰 가중치), 최소 표준편차 조정12

예측 · 계획 · 정책

증상흔한 원인처방관련 장
한 스텝 예측은 좋은데 여러 스텝에서 발산오차 누적(립시츠 상수 $L \gt 1$ 이면 오차의 상한이 지수적으로 커짐)여러 스텝 손실로 학습, 변화량 $\Delta o$ 예측, 앙상블, 상상 길이 줄이기06
상상 속 리턴은 높은데 실제 리턴은 낮다모델 착취: 정책이 모델의 틀린 곳을 이용앙상블 불확실성 벌점, 짧은 상상, 데이터 더 모으기, 꿈의 온도 높이기10 · 12
MPC 가 너무 느리다후보 수 × 상상 길이 × 반복 횟수만큼 모델을 돌림GPU 에서 후보를 한 배치로, 후보 줄이기, 지난 해를 한 칸 밀어 시작점으로(warm start), 정책 사전 · 가치로 상상 길이 줄이기07 · 13
액터의 행동이 늘 ±최댓값tanh 포화, 엔트로피가 너무 빨리 줄어듦엔트로피 보너스 키우기, 행동 범위 · 스케일 확인12
크리틱 손실이 계속 커진다보상 크기가 큼, 목표가 계속 움직임보상 스케일 줄이기(11장은 0.1 배), 느린(목표) 크리틱, symlog · two-hot · 리턴 정규화11 · 12
과제마다 설정을 다시 맞춰야 한다보상 · 리턴의 크기에 민감한 설계DreamerV3 의 symlog, 리턴 정규화(백분위)12

3. NaN 을 막는 수치 안정성 공식

컴퓨터의 실수(float32)는 약 $3.4 \times 10^{38}$ 보다 큰 수를 담지 못하고 inf 가 됩니다. $e^{89} \approx 4.5 \times 10^{38}$ 이므로 지수 함수는 생각보다 쉽게 넘칩니다. PyTorch 의 안정 함수들이 내부에서 쓰는 공식을 유도해 두면, 왜 그 함수를 써야 하는지 납득할 수 있습니다.

안정적인 softplus

softplus(x) = max(x, 0) + log(1 + e^(−|x|))
$$ \operatorname{softplus}(x) := \log(1 + e^{x}) $$
정의입니다. $x$ 가 크면 $e^x$ 가 넘쳐 inf 가 됩니다(예: $x = 1000$).
$$ x \ge 0: \quad \log(1 + e^{x}) = \log\big(e^{x}(e^{-x} + 1)\big) = x + \log(1 + e^{-x}) $$
괄호 안에서 $e^x$ 를 묶어 내고, $\log(ab) = \log a + \log b$, $\log e^x = x$ 를 썼습니다. 이제 지수의 지수부가 $-x \le 0$ 이라 넘치지 않습니다.
$$ x \lt 0: \quad \log(1 + e^{x}) = 0 + \log(1 + e^{-|x|}) $$
$x \lt 0$ 이면 $x = -|x|$ 이므로 원래 식 그대로이고, $e^{x}$ 는 1 보다 작아 넘치지 않습니다.
$$ \operatorname{softplus}(x) = \max(x, 0) + \log\big(1 + e^{-|x|}\big) $$
두 경우를 한 식으로 합쳤습니다. $x = 1000$ 이면 $1000 + \log(1 + e^{-1000}) = 1000$ 으로 정확히 계산됩니다. 지수에 들어가는 값이 늘 0 이하라 어떤 $x$ 에서도 넘치지 않습니다.

로짓으로 계산하는 이진 교차 엔트로피

8장의 베르누이 디코더처럼 확률 $p = \sigma(x)$ 를 신경망의 로짓 $x$ 로 낼 때, $\sigma(x)$ 를 먼저 계산하고 $\log$ 를 취하면 $\sigma(x)$ 가 0 으로 반올림되어 $\log 0 = -\infty$ 가 됩니다. 로짓에서 바로 계산하는 식을 유도합니다.

BCE(x, y) = softplus(x) − y·x
$$ \log \sigma(x) = \log\frac{1}{1 + e^{-x}} = -\log(1 + e^{-x}) = -\operatorname{softplus}(-x) $$
sigmoid 의 정의 $\sigma(x) = 1/(1 + e^{-x})$ 와 $\log(1/a) = -\log a$ 를 썼습니다.
$$ \log\big(1 - \sigma(x)\big) = \log\frac{e^{-x}}{1 + e^{-x}} = \log\frac{1}{e^{x} + 1} = -\operatorname{softplus}(x) $$
$1 - \frac{1}{1 + e^{-x}} = \frac{e^{-x}}{1 + e^{-x}}$ 이고, 분자 · 분모에 $e^{x}$ 를 곱했습니다.
$$ \operatorname{softplus}(-x) = \log(1 + e^{-x}) = \log\big(e^{-x}(e^{x} + 1)\big) = -x + \operatorname{softplus}(x) $$
위 안정 softplus 유도와 같은 “묶어 내기” 입니다.
$$ \text{BCE} = -\big[y \log\sigma(x) + (1 - y)\log(1 - \sigma(x))\big] = y\,\operatorname{softplus}(-x) + (1 - y)\,\operatorname{softplus}(x) $$
2장의 BCE 정의에 앞의 두 결과를 넣었습니다(부호가 상쇄됩니다).
$$ \text{BCE}(x, y) = y\big(\operatorname{softplus}(x) - x\big) + (1 - y)\operatorname{softplus}(x) = \operatorname{softplus}(x) - y\,x $$
셋째 줄을 넣고 정리했습니다. $\log 0$ 이 생길 자리가 없고, softplus 는 위의 안정 공식으로 계산하므로 어떤 로짓에서도 유한합니다. PyTorch 의 binary_cross_entropy_with_logits 가 이렇게 계산합니다. 예: $x = 50$, $y = 0$ 이면 $\sigma(50)$ 은 float32 로 정확히 1 이 되어 $\log(1 - 1) = -\infty$ 지만, 이 식은 $\operatorname{softplus}(50) - 0 = 50$ 을 줍니다.

기울기 자르기

g ← g · min(1, c/‖g‖) 은 방향을 지키고 길이를 c 이하로 만든다
$$ g' = g \cdot \min\!\Big(1,\ \frac{c}{\lVert g \rVert}\Big) $$
기울기 벡터 $g$ (모든 매개변수의 기울기를 한 줄로 이은 것)에 양수 하나를 곱합니다. clip_grad_norm_(params, max_norm=c) 가 하는 일입니다.
$$ \lVert g \rVert \le c: \quad \min(\cdot) = 1 \;\Rightarrow\; g' = g $$
길이가 이미 $c$ 이하면 $c/\lVert g\rVert \ge 1$ 이라 그대로 둡니다.
$$ \lVert g \rVert \gt c: \quad \lVert g' \rVert = \frac{c}{\lVert g \rVert}\,\lVert g \rVert = c $$
벡터에 양수 $k$ 를 곱하면 길이도 $k$ 배가 됩니다($\lVert k g\rVert = k\lVert g\rVert$).
$$ \lVert g' \rVert = \min(\lVert g \rVert,\ c), \qquad \frac{g'}{\lVert g' \rVert} = \frac{g}{\lVert g \rVert} $$
양수를 곱했으므로 방향은 그대로이고, 길이만 $c$ 를 넘지 않게 됩니다. 예: $g = (30, 40)$, $c = 10$ 이면 $\lVert g\rVert = 50$, $g' = (30, 40) \times \frac{10}{50} = (6, 8)$. “내려가는 방향은 맞지만 너무 멀리 뛰는” 스텝만 줄여 줍니다.

표준편차의 하한과 NLL 의 바닥

σ ≥ σ_min 이면 가우시안 NLL 은 −∞ 로 가지 못한다
$$ \text{NLL} = \frac{(y - \mu)^2}{2\sigma^2} + \log\sigma + \frac{1}{2}\log(2\pi) $$
2장에서 유도한 가우시안 로그 밀도의 부호를 바꾼 것입니다(1차원).
$$ \text{NLL} \;\ge\; \log\sigma + \frac{1}{2}\log(2\pi) $$
첫 항은 제곱을 양수로 나눈 것이므로 0 이상입니다. 예측이 정확히 맞으면($y = \mu$) 0 이 됩니다.
$$ \sigma \ge \sigma_{\min} \;\Rightarrow\; \text{NLL} \ge \log\sigma_{\min} + \frac{1}{2}\log(2\pi) $$
$\log$ 는 증가 함수이므로 $\log\sigma \ge \log\sigma_{\min}$. 하한이 없으면 모델은 맞힌 점에서 $\sigma \to 0$ 으로 보내 $\log\sigma \to -\infty$ 로 손실을 끝없이 줄일 수 있습니다. $\sigma_{\min} = 0.1$ 이면 바닥은 $-2.303 + 0.919 = -1.384$ 입니다. 7장의 min_logvar 와 9장의 log_sigma.clamp(-7, 2) 가 이 역할을 합니다(11장의 min_std = 0.1 은 같은 생각을 잠재 분포의 $\sigma$ 에 쓴 것입니다).

4. 하이퍼파라미터 참고표

원 논문의 값은 “그 논문의 환경 · 규모에서 잘 된 값” 입니다. 그대로 쓰기보다 출발점으로 삼으세요. 같은 논문이라도 판(version) · 공식 코드에 따라 값이 다를 수 있으니, 정확한 재현이 필요하면 원문 부록과 공식 코드의 설정 파일을 확인하세요.

원 논문의 값

방법모델학습계획 · 행동 학습데이터 수집
PETS
Chua et al., 2018
1805.12114
확률적 신경망 앙상블 5개 (완전 연결층 3개, 층당 500 단위(HalfCheetah 는 250), Swish) 가우시안 NLL, $\log\sigma$ 상 · 하한 CEM-MPC, 궤적 표본 전파 입자 20개 (계획 길이 · 후보 수 · 정예 수는 논문 본문에 없고 공개 코드에서 과제마다 정함) 에피소드마다 모델 다시 학습
World Models
Ha & Schmidhuber, 2018
1803.10122
VAE $z$ 32차원(Doom 64), 64×64 컬러 · MDN-RNN: LSTM 256(Doom 512), 가우시안 5개 VAE → MDN-RNN → 컨트롤러 순서로 따로 학습 선형 컨트롤러(CarRacing 867개 매개변수), CMA-ES 후보 64, 후보마다 16 롤아웃 · Doom 꿈 학습 온도 $\tau = 1.15$ 무작위 정책 롤아웃 10,000개
PlaNet
Hafner et al., 2019
1811.04551
RSSM: $h$ 200(GRU), $z$ 30 배치 50 × 길이 50, Adam 학습률 $10^{-3}$, $\epsilon = 10^{-4}$, 기울기 자르기 1000, 자유 내트 3 CEM: 계획 길이 12, 반복 10, 후보 1000, 정예 100 시드 에피소드 5, 학습 100번마다 1 에피소드, 탐험 잡음 $\Normal(0, 0.3^2)$, 행동 반복 2 – 8
Dreamer (V1)
Hafner et al., 2020
1912.01603
PlaNet 과 같은 RSSM (200 / 30) 학습률 모델 $6 \times 10^{-4}$, 액터 · 가치 $8 \times 10^{-5}$, 기울기 자르기 100, 자유 내트 3 상상 길이 $H = 15$, $\gamma = 0.99$, $\lambda = 0.95$, 동역학 역전파로 액터 학습 행동 반복 2, 탐험 잡음 0.3
DreamerV2 (Atari)
Hafner et al., 2021
2010.02193
범주형 잠재 32개 × 클래스 32, GRU 600 KL 균형 $\alpha = 0.8$, KL 가중치 0.1 (연속 제어 1.0), 학습률 모델 $2\times10^{-4}$ · 액터 $4\times10^{-5}$ · 크리틱 $10^{-4}$, 배치 50 × 길이 50 (arXiv v4 부록 표 D.1) $H = 15$, $\gamma = 0.999$ (본문 2.1절의 값. 같은 논문의 부록 표에는 0.995 로 적혀 있음), $\lambda = 0.95$, 엔트로피 $10^{-3}$ (연속 제어 $10^{-4}$), REINFORCE 경사, 느린 크리틱 100번마다 Atari 표준 설정(프레임 건너뛰기 4)
DreamerV3
Hafner et al., 2023 · Nature 2025
2301.04104
범주형 잠재 32 × 32 + unimix 1%, 크기별 모델(작은 것 ~ 수억 매개변수) 자유 비트(free bits) 1, KL 가중치 $\beta_{\text{rep}} = 0.1$ · $\beta_{\text{dyn}}$ 은 판에 따라 다름(arXiv 초판 v1, 2023년 1월: 0.5 / 개정판 v2, 2024년 4월: 1), symlog · two-hot, 배치 16 × 64, 학습률도 판에 따라 다름(초판 모델 $10^{-4}$ · 액터 · 크리틱 $3\times10^{-5}$, 개정판 $4\times10^{-5}$) $H = 15$, 할인 지평 333($\gamma \approx 0.997$), $\lambda = 0.95$, 엔트로피 $3\times10^{-4}$, 리턴 정규화(5 – 95 백분위), 크리틱 EMA 모든 영역에서 같은 설정 을 쓰는 것이 핵심

이 튜토리얼의 설정

개인 컴퓨터에서 몇 분 ~ 수십 분 안에 돌도록 줄인 값입니다. 각 실습 파일의 argparse 기본값 · Config 에서 바꿀 수 있습니다.

장 · 파일주요 설정
06 · ch06_dynamics.py무작위 에피소드 50개, 100 에폭
07 · ch07_mpc.py계획 길이 25, 랜덤 슈팅 후보 1000, CEM 후보 400 · 정예 40 · 반복 5, 반복 학습 8회
07 · ch07_pets.py앙상블 5개(은닉 128), 후보 200, 입자 10, 계획 길이 25
08 · ch08_vae.py$z$ 32차원, $\beta = 1$, 에피소드 200개, 10 에폭
09 · ch09_mdn_rnn.pyLSTM 256, 가우시안 5개, 6000 스텝
10 · ch10_world_models.py컨트롤러 $a = 2\tanh(W[z; h] + b)$ (289개 매개변수), CMA-ES 60세대 · 후보 32 · 롤아웃 4 · $\sigma_0 = 0.1$, 꿈 온도 0.1 · 1.0 · 1.5
11 · ch11_rssm_planet.py$h$ 200, $z$ 30, 배치 50 × 50, 학습률 $6\times10^{-4}$, 기울기 자르기 100, 자유 내트 3, 보상 × 0.1, CEM 12 · 1000 · 10 · 100, 행동 반복 2, 시드 에피소드 5, 탐험 잡음 0.3
12 · ch12_dreamer.py11장 설정 + $H = 15$, $\gamma = 0.99$, $\lambda = 0.95$, 액터 · 크리틱 학습률 $8\times10^{-5}$, 엔트로피 $10^{-4}$, 느린 크리틱 100번마다, 액터 · 크리틱 MLP 300 × 3
13 · ch13_diffusion_toy.py잡음 단계 100, $\beta$ 0.0001 → 0.15, MLP 256 × 3, 8000 스텝
팁 · 무엇부터 바꿀까

잘 안 될 때 효과가 큰 순서는 대략 ① 데이터 양(에피소드 · 학습 스텝 수), ② 학습률, ③ 모델 크기, ④ KL 관련 값(β · 자유 내트), ⑤ 상상 · 계획 길이입니다. 할인율 $\gamma$ 는 “몇 스텝 앞까지 보는가” 를 정하므로($\frac{1}{1-\gamma}$ 스텝 정도, 5장) 과제의 시간 규모에 맞춰야 합니다. 12장의 진자는 행동 반복 2 로 100번 결정하므로 $\gamma = 0.99$(약 100 스텝)이면 충분합니다.

5. 장별 핵심 수식 모음

튜토리얼에서 유도한 핵심 식을 장 순서로 모았습니다. 유도 과정은 각 장의 풀이 상자에 있습니다. 기호는 00장 의 표기 규칙을 따릅니다.

기초 체력 (02 – 05장)

식뜻장
$p(y \mid x) = \dfrac{p(x \mid y)\,p(y)}{p(x)}$베이즈 정리02
$p(x_1, \dots, x_T) = \prod_{t=1}^{T} p(x_t \mid x_1, \dots, x_{t-1})$확률의 연쇄 법칙(곱셈 법칙을 되풀이한 것)02
$\E[X] = \sum_y p(y)\,\E[X \mid y]$전체 기댓값의 법칙 (경우를 나눠 평균 내기. 5장 벨만 방정식 유도에 쓴다)02
$\Var[X] = \E[X^2] - (\E[X])^2$, $\ \Var[aX + b] = a^2\Var[X]$분산의 성질02
$\log \Normal(x; \mu, \sigma^2) = -\tfrac12\log(2\pi) - \log\sigma - \dfrac{(x-\mu)^2}{2\sigma^2}$가우시안 로그 밀도02
$\hat\mu = \tfrac{1}{N}\sum_i x_i$, $\ \hat\sigma^2 = \tfrac1N\sum_i (x_i - \hat\mu)^2$가우시안 최대우도 추정02
$\argmin_\theta \text{NLL} = \argmin_\theta \text{MSE}$ ($\sigma$ 고정)MSE 는 고정 분산 가우시안의 NLL02
$\text{BCE} = -[y\log p + (1-y)\log(1-p)]$, $\ \text{CE} = -l_y + \log\sum_j e^{l_j}$베르누이 · 범주형 NLL02
$H(p) = -\sum_x p(x)\log p(x)$, $\ H(p, q) = -\sum_x p(x)\log q(x)$엔트로피, 교차 엔트로피03
$\KL(p\,\|\,q) = H(p, q) - H(p) = \E_p\!\big[\log\tfrac{p}{q}\big] \ge 0$KL 발산과 그 성질03
$\KL\big(\Normal(\mu_1,\sigma_1^2)\,\|\,\Normal(\mu_2,\sigma_2^2)\big) = \log\tfrac{\sigma_2}{\sigma_1} + \dfrac{\sigma_1^2 + (\mu_1-\mu_2)^2}{2\sigma_2^2} - \tfrac12$두 가우시안의 KL03
$f(\E[X]) \ge \E[f(X)]$ ($f$ 오목)젠센 부등식03
$\dfrac{dy}{dx} = \dfrac{dy}{du}\cdot\dfrac{du}{dx}$연쇄 법칙 (역전파의 바탕)04
$\theta \leftarrow \theta - \eta\,\nabla_\theta L$, $\ 0 \lt \eta \lt 2/a$경사 하강법과 수렴 조건(곡률 $a$)04
$\sigma'(z) = \sigma(z)(1 - \sigma(z))$, $\ \tanh'(z) = 1 - \tanh^2 z$활성 함수의 미분04
$G_t = \sum_{k \ge 0}\gamma^k r_{t+k} = r_t + \gamma G_{t+1}$, $\ \sum_{k\ge0}\gamma^k = \dfrac{1}{1-\gamma}$할인된 리턴과 그 재귀식05
$V^\pi(s) = \sum_a \pi(a\mid s)\sum_{s'}p(s'\mid s,a)\big[r(s,a,s') + \gamma V^\pi(s')\big]$벨만 기대 방정식05
$V^\ast(s) = \max_a \sum_{s'}p(s'\mid s,a)\big[r(s,a,s') + \gamma V^\ast(s')\big]$벨만 최적 방정식 (가치 반복의 바탕)05
$\nabla_\psi J = \E_{\tau}\big[R(\tau)\sum_t \nabla_\psi\log\pi_\psi(a_t\mid s_t)\big]$정책 경사 정리 (로그 미분 트릭, REINFORCE)05

첫 World Model (06 – 07장)

식뜻장
$I = \tfrac13 ml^2$, $\ \ddot\theta = \dfrac{3g}{2l}\sin\theta + \dfrac{3}{ml^2}u$진자의 관성 모멘트와 운동 방정식06
$\dot\theta \leftarrow \dot\theta + \ddot\theta\,\Delta t$, $\ \theta \leftarrow \theta + \dot\theta\,\Delta t$(반암시적) 오일러 적분06
$\tilde x = (x - \mu)/\sigma$표준화06
$e_k \le \varepsilon\,\dfrac{L^k - 1}{L - 1}$열린 고리 롤아웃의 오차 누적 상한06
$a^\ast_{t:t+H-1} = \argmax \sum_{k=0}^{H-1} r(\hat o_{t+k}, a_{t+k})$, $\ \hat o_{t+k+1} = f_\theta(\hat o_{t+k}, a_{t+k})$MPC 의 계획 목표07
$\mu \leftarrow \tfrac{1}{K}\sum_{k \in \text{정예}} a^{(k)}$, $\ \sigma^2 \leftarrow \tfrac1K\sum_k (a^{(k)} - \mu)^2$CEM: 정예로 가우시안 다시 맞추기(최대우도)07
$\mathcal{L}(\mu, s) = (y - \mu)^2 e^{-s} + s$, $\ s = \log\sigma^2$분산까지 예측하는 가우시안 NLL (상수 · ½ 생략, PETS)07
$\Var[y] = \tfrac1E\sum_e \sigma_e^2 + \tfrac1E\sum_e(\mu_e - \bar\mu)^2$앙상블의 불확실성 = 우연적(분산의 평균) + 인식적(평균의 퍼짐)07

그림을 보는 World Model (08 – 10장)

식뜻장
$p_\theta(x) = \int p_\theta(x\mid z)\,p(z)\,dz$잠재 변수 모델의 주변 가능도08
$\log p_\theta(x) \ge \E_{q_\phi(z\mid x)}[\log p_\theta(x\mid z)] - \KL(q_\phi(z\mid x)\,\|\,p(z))$ELBO08
$\log p_\theta(x) = \text{ELBO} + \KL(q_\phi(z\mid x)\,\|\,p_\theta(z\mid x))$ELBO 와 진짜 로그 가능도의 차이08
$z = \mu + \sigma\odot\epsilon$, $\ \epsilon\sim\Normal(0, I)$재매개변수화 트릭08
$\KL(\Normal(\mu,\sigma^2)\,\|\,\Normal(0,1)) = \tfrac12(\mu^2 + \sigma^2 - 1 - \log\sigma^2)$VAE 의 KL 항(차원별로 더함)08
$\dfrac{\partial L_T}{\partial h_k} = \dfrac{\partial L_T}{\partial h_T}\prod_{t=k+1}^{T}\diag(1 - h_t^2)\,W_h$RNN 의 먼 과거 기울기(소실 · 폭발의 원인)09
$\log p(y\mid x) = \operatorname{logsumexp}_k\big(\log\pi_k + \log\Normal(y;\mu_k,\sigma_k^2)\big)$혼합 밀도 네트워크의 로그 가능도09
$\log\sum_k e^{a_k} = m + \log\sum_k e^{a_k - m}$, $\ m = \max_k a_k$log-sum-exp 안정화09
$a_t = 2\tanh(W_c[z_t; h_t] + b_c)$이 튜토리얼의 컨트롤러 (Ha 의 선형 컨트롤러 $W_c[z_t; h_t] + b_c$ 에 토크 범위를 맞추는 $2\tanh$ 를 씌운 것)10
$\nabla_\theta\,\E_\epsilon[F(\theta + \sigma\epsilon)] = \tfrac{1}{\sigma}\E_\epsilon[F(\theta + \sigma\epsilon)\,\epsilon]$진화 전략의 기울기 추정 (가우시안 평활화)10
$C_\mu = \sum_{i=1}^{\mu} w_i\, y_{i:\lambda}\, y_{i:\lambda}^\top$CMA-ES: 잘된 스텝들로 공분산 다시 맞추기(가중 최대우도)10

상상 속 학습과 현대 모델 (11 – 13장)

식뜻장
$h_t = f(h_{t-1}, z_{t-1}, a_{t-1})$, $\ z_t \sim p(z_t\mid h_t)$, $\ z_t \sim q(z_t\mid h_t, o_t)$RSSM 의 결정 · 사전 · 사후 경로11
$\sum_t \Big(\E_q[\log p(o_t\mid h_t,z_t)] + \E_q[\log p(r_t\mid h_t,z_t)] - \E_q\big[\KL(q(z_t\mid h_t,o_t)\,\|\,p(z_t\mid h_t))\big]\Big)$순차 ELBO11
$\max(\KL, c)$자유 내트(free nats)11
$V^\lambda_t = \hat r_t + \gamma\big[(1-\lambda)\,v(s_{t+1}) + \lambda\,V^\lambda_{t+1}\big]$λ-리턴의 재귀식12
$\tfrac12\big(v_\xi(s_t) - \sg(V^\lambda_t)\big)^2$크리틱 손실12
$z = \operatorname{onehot} + p - \sg(p)$ (값 = 원-핫, $\partial\mathcal{L}/\partial p = \partial\mathcal{L}/\partial z$)직선 통과 추정기12
$\alpha\,\KL(\sg(q)\,\|\,p) + (1-\alpha)\,\KL(q\,\|\,\sg(p))$KL 균형 (DreamerV2, $\alpha = 0.8$)12
$\operatorname{symlog}(x) = \operatorname{sign}(x)\log(\lvert x\rvert + 1)$, $\ \operatorname{symexp}(x) = \operatorname{sign}(x)(e^{\lvert x\rvert} - 1)$symlog 와 그 역함수12
$w_{k+1} = \dfrac{y - b_k}{b_{k+1} - b_k}$, $\ w_k = \dfrac{b_{k+1} - y}{b_{k+1} - b_k}$two-hot 가중치12
$z_t = \sum_{i=0}^{n-1}\gamma^i r_{t+i} + \gamma^n v(s_{t+n})$n-스텝 가치 목표 (MuZero). 여기서 $z_t$ 는 잠재 변수가 아니라 가치 목표13
$Q(s,a) + P(s,a)\,\dfrac{\sqrt{\sum_b N(s,b)}}{1 + N(s,a)}\big(c_1 + \log\tfrac{\sum_b N(s,b) + c_2 + 1}{c_2}\big)$MCTS 의 pUCT 점수13
$q^\ast \propto p\,\exp(J/\tau)$, $\ w_i = \dfrac{\exp(J_i/\tau)}{\sum_j\exp(J_j/\tau)}$MPPI 가중치 ($\tau$ 는 온도)13
$\operatorname{softmax}\!\big(QK^\top/\sqrt{d}\big)V$, $\ \Var(q\cdot k) = d$어텐션과 $\sqrt d$ 로 나누는 이유13
$x_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon$확산의 정방향 닫힌 꼴13
$\tilde\mu_t = \dfrac{1}{\sqrt{\alpha_t}}\Big(x_t - \dfrac{\beta_t}{\sqrt{1-\bar\alpha_t}}\epsilon\Big)$, $\ \tilde\beta_t = \dfrac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\beta_t$역방향 정답 분포의 평균 · 분산13
$\E\big\lVert\epsilon - \epsilon_\theta(\sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\epsilon,\ t)\big\rVert^2$확산 모델의 학습 손실13
$\bar\theta \leftarrow \tau\bar\theta + (1-\tau)\theta$EMA 목표 인코더 (JEPA · TD-MPC). 여기서 $\tau$ 는 섞는 비율13

6. 용어집

튜토리얼에 나온 용어를 가나다순으로 모았습니다. “설명한 장” 은 그 용어를 처음 정의하고 자세히 설명한 장입니다(이름만 먼저 나온 장은 따로 적지 않았습니다).

용어영어뜻설명한 장
가능도likelihood매개변수를 고정했을 때 관측한 데이터가 나올 확률(밀도). 매개변수의 함수로 본다02장
가우시안 분포 (정규 분포)Gaussian / normal distribution평균 μ, 분산 σ² 의 종 모양 분포 N(μ, σ²)02장
가우시안 평활화Gaussian smoothingF 대신 E[F(θ + σε)] 를 최적화해 기울기를 표본으로 추정하게 하는 기법10장
가치 등가value equivalence계획에 쓰이는 값(보상 · 가치 · 정책)만 진짜와 같으면 된다는 World Model 설계 원리 (MuZero)13장
가치 반복value iteration벨만 최적 방정식을 되풀이 적용해 최적 가치를 구하는 방법05장
가치 함수value function상태 s 에서 정책을 따를 때 받을 리턴의 기댓값 V(s)05장
강화학습reinforcement learning, RL보상을 최대로 하는 행동을 시행착오로 배우는 학습05장
결합 확률joint probability여러 사건이 함께 일어날 확률 p(x, y)02장
경사 하강법gradient descent기울기의 반대 방향으로 매개변수를 조금씩 옮겨 손실을 줄이는 방법04장
계획planning모델로 미래를 미리 따져 보고 행동을 고르는 것05장
곡률curvature손실 곡면이 휘어진 정도. 클수록 학습률을 작게 잡아야 한다04장
공통 난수common random numbers후보들을 같은 시드 · 같은 초기 상태로 평가해 비교의 잡음을 줄이는 기법10장
과적합overfitting학습 데이터는 잘 맞히지만 새 데이터에서는 틀리는 상태04장 · 06장
관성 모멘트moment of inertia회전시키기 어려운 정도. 끝을 축으로 도는 막대는 ml²/306장
관측observation에이전트가 실제로 보는 것 o_t (숫자 벡터 · 그림)01장
교차 엔트로피cross-entropyp 의 데이터를 q 로 부호화할 때의 평균 정보량 H(p, q) = −Σ p log q03장
궤적trajectory상태 · 행동 · 보상을 시간 순으로 늘어놓은 것 τ05장
궤적 표본 전파trajectory sampling, TS입자마다 앙상블 멤버와 잡음을 뽑아 불확실성을 미래로 전파하는 PETS 의 방법07장
기댓값expectation확률로 가중한 평균 E[f(x)]02장
기울기 소실vanishing gradient층 · 시간을 거슬러 갈수록 기울기가 0 에 가까워져 학습이 안 되는 현상04장
기울기 자르기gradient clipping기울기 벡터의 길이가 c 를 넘으면 길이를 c 로 줄이는 안정화 기법09장
기울기 차단stop-gradient, sg값은 그대로 쓰되 기울기는 흘리지 않는 연산 (.detach())12장
기준선baseline정책 경사의 분산을 줄이려고 리턴에서 빼는 값. 빼도 기댓값은 그대로05장
꿈dreamWorld Model 이 스스로 만든 상상 속 궤적. 그 안에서 정책을 학습하기도 한다09장
노출 편향exposure bias학습 땐 진짜 입력, 생성 땐 자기 출력을 입력으로 받아 생기는 차이09장
다루기 어렵다intractable정확히 계산하려면 비용이 너무 커서 사실상 계산할 수 없다08장
다봉 분포multimodal distribution봉우리가 여러 개인 분포. 평균이 어느 봉우리와도 닮지 않을 수 있다01장
다양체 가설manifold hypothesis고차원 데이터(그림)가 실제로는 저차원 곡면 근처에 모여 있다는 가정08장
다층 퍼셉트론multilayer perceptron, MLP선형 층과 활성 함수를 번갈아 쌓은 가장 기본적인 신경망04장
대각 가우시안diagonal Gaussian차원끼리 독립인 다변량 가우시안. 공분산 행렬이 대각 행렬02장
독립independentp(x, y) = p(x) p(y). 한 변수를 알아도 다른 변수에 대한 정보가 없다02장
드리프트drift자기 출력으로 계속 생성하면서 오차가 쌓여 장면이 점점 어긋나는 현상13장
라그랑주 승수Lagrange multiplier조건이 있는 최적화를 조건 없는 문제로 바꾸려고 더하는 변수13장
로그 미분 트릭log-derivative trick∇p = p ∇log p 를 이용해 기댓값의 기울기를 표본으로 추정하는 방법05장
로짓logitsoftmax · sigmoid 에 넣기 전의 점수(정규화되지 않은 로그 확률)02장
리턴return앞으로 받을 (할인된) 보상의 합 G_t05장
리플레이 버퍼replay buffer에이전트가 모은 경험(관측 · 행동 · 보상)을 쌓아 두고 학습 때 무작위로 꺼내 쓰는 저장소. 기호 𝒟11장
립시츠 상수Lipschitz constant입력 차이가 출력에서 최대 몇 배로 커지는지의 상한 L06장
마르코프 결정 과정Markov decision process, MDP상태 · 행동 · 전이 확률 · 보상 · 할인율로 정의한 의사결정 문제05장
마르코프 성질Markov property다음 상태가 지금 상태 · 행동에만 달려 있고 그 이전 과거와는 무관하다는 성질05장
매개변수parameter학습으로 고치는 신경망의 숫자들(가중치 · 편향)04장
모델 기반 강화학습model-based RL환경의 모델(World Model)을 배워 계획 · 상상에 쓰는 강화학습01장
모델 없는 강화학습model-free RL모델 없이 경험에서 바로 정책 · 가치를 배우는 강화학습01장
모델 예측 제어model predictive control, MPC매 스텝 모델로 앞을 계획하고 첫 행동만 실행한 뒤 다시 계획하는 방법07장
모델 착취model exploitation정책이 World Model 의 틀린 곳을 이용해 상상 속에서만 높은 점수를 내는 현상01장
목표 신경망target network학습 목표값을 계산할 때 쓰는, 천천히 따라오는 신경망 사본(주기적 복사 또는 EMA). 목표가 매 스텝 흔들리지 않게 한다. Dreamer 의 느린 크리틱, TD-MPC · JEPA 의 목표 인코더05장 · 12장
몬테카를로 추정Monte Carlo estimation표본을 뽑아 평균 내어 기댓값을 근사하는 방법02장
미니배치minibatch전체 데이터 대신 매 스텝 무작위로 뽑아 쓰는 작은 묶음. 그 기울기는 전체 기울기의 불편 추정04장
미분derivative입력을 아주 조금 바꿀 때 출력이 바뀌는 비율04장
미분 방정식differential equation변화율(미분)과 값 사이의 관계식. 진자의 운동 방정식06장
믿음 상태belief state부분 관측에서 지금 상태에 대한 확률 분포 b_t(s)05장
밴딧bandit상태 없이 행동만 고르는 가장 단순한 강화학습 문제05장
베르누이 분포Bernoulli distribution0 또는 1 을 내는 분포. 1 이 나올 확률 p02장
베이즈 정리Bayes' theoremp(y | x) = p(x | y) p(y) / p(x). 원인과 결과의 조건부 확률을 뒤집는다02장
벨만 방정식Bellman equation가치 = 지금 보상 + 할인된 다음 상태의 가치, 라는 재귀식05장
벨만 최적 방정식Bellman optimality equation최적 가치 = 가장 좋은 행동의 (보상 + 할인된 다음 가치)05장
변분 추론variational inference계산할 수 없는 사후 분포를 다루기 쉬운 분포 q 로 근사하는 방법08장
보상reward행동 하나에 대해 환경이 주는 점수 r_t01장
보상 모델reward model상태 · 행동으로 보상을 예측하는 모델01장
보편 근사 정리universal approximation theorem충분히 넓은 신경망은 연속 함수를 원하는 만큼 가깝게 흉내 낼 수 있다는 정리04장
볼록convex두 점을 잇는 선분이 그래프 위에 있는 함수 모양 (예: x²)03장
부분 관측partial observability관측 하나로는 상태를 다 알 수 없는 상황. 그림 한 장으로는 각속도를 모른다01장
부트스트랩bootstrap① 통계: 데이터에서 복원 추출로 모델마다 조금씩 다른 학습 데이터를 만드는 방법(7장) ② 강화학습: 자기 자신의 가치 추정으로 학습 목표를 만드는 것(TD 목표, 12장)07장 · 12장
분리 표현disentanglement잠재 변수의 각 성분이 하나의 의미 있는 요인에 대응하는 표현08장
분산variance평균에서 얼마나 퍼져 있는지 Var[X] = E[(X − E[X])²]02장
분할 상환 추론amortized inference데이터마다 최적화하는 대신 신경망 하나(인코더)가 바로 q(z | x) 를 내놓는 방식08장
블랙박스 최적화black-box optimization함수의 기울기 없이 값만 보고 최적점을 찾는 최적화10장
사람 기준 정규화 점수human-normalized score, HNS(에이전트 − 무작위)/(사람 − 무작위). Atari 성적 비교에 쓴다13장
사전 확률prior데이터를 보기 전의 믿음 p(z)02장
사후 붕괴posterior collapseVAE 의 q(z | x) 가 사전 분포와 같아져 잠재 변수가 아무 정보도 담지 않는 현상08장
사후 확률 (사후 분포)posterior데이터를 본 뒤의 믿음 p(z | x)02장
상태state환경의 진짜 상황 s_t. 진자에서는 (θ, θ̇)01장
상태 공간 모델state-space model, SSM보이지 않는 상태가 시간에 따라 변하고, 관측은 상태에서 나온다고 보는 모델11장
상호정보량mutual information한 변수를 알면 다른 변수의 불확실성이 얼마나 줄어드는지 I(X; Y)03장
선형 층linear layery = Wx + b. 완전 연결 층04장
소프트맥스softmax점수들을 지수로 바꿔 합이 1 인 확률로 만드는 함수02장
손실 함수loss function예측이 얼마나 틀렸는지 재는 값. 학습은 이것을 줄인다04장
순환 신경망recurrent neural network, RNN은닉 상태를 들고 다니며 시퀀스를 한 스텝씩 처리하는 신경망09장
스트라이드stride합성곱 커널을 한 번에 몇 칸씩 옮기는지. 2 이면 출력 크기가 약 절반이 된다04장
신경망neural network매개변수가 있는 단순한 함수(층)를 여러 겹 합성해 만든 함수04장
앙상블ensemble같은 구조의 모델 여러 개를 따로 학습시켜 함께 쓰는 것. 의견 차이로 불확실성을 잰다07장
액터actor행동을 고르는 정책 신경망 π_ψ05장
어텐션attention질의와 열쇠의 유사도(softmax 가중치)로 값들을 섞는 연산. Transformer 의 핵심13장
에너지energy두 입력이 얼마나 안 맞는지 재는 값. JEPA 에서는 표현 사이의 거리13장
에이전트agent관측을 보고 행동을 고르는 주체01장
에폭epoch학습 데이터 전체를 한 번 다 보는 단위06장
에피소드episode시작부터 끝까지 한 번의 시도. 진자는 200 스텝01장
엔트로피entropy분포의 평균 정보량(불확실성) H(p) = −Σ p log p03장
역전파backpropagation연쇄 법칙으로 출력의 손실에서 모든 매개변수의 기울기를 거꾸로 계산하는 방법04장
열린 고리 롤아웃open-loop rollout처음 상태만 주고 이후는 모델 자신의 예측을 이어 붙여 굴리는 것06장
오목concave볼록의 반대 모양의 함수 (예: log x)03장
오차 누적compounding error여러 스텝 예측할 때 한 스텝의 작은 오차가 쌓여 커지는 현상01장
오토인코더autoencoder, AE입력을 작은 코드로 압축했다가 다시 복원하도록 학습하는 신경망08장
온도temperature분포를 얼마나 평평하게(무작위하게) 만들지 정하는 값 τ09장
우연적 불확실성aleatoric uncertainty세상 자체의 무작위성. 데이터가 많아도 줄지 않는다 (분산의 평균)07장
은닉 상태hidden stateRNN 이 들고 다니는 기억 h_t09장
음의 로그 가능도negative log-likelihood, NLL−log p(데이터). 최대우도 추정 = NLL 최소화02장
이점advantageA(s, a) = Q(s, a) − V(s). 이 행동이 평균보다 얼마나 나은지05장
인과 마스크causal maskTransformer 가 미래 토큰을 보지 못하게 점수를 −∞ 로 가리는 것13장
인식적 불확실성epistemic uncertainty데이터가 부족해서 생기는 모름. 데이터가 늘면 준다 (앙상블 평균의 퍼짐)07장
일반화generalization학습에 쓰지 않은 새 데이터에서도 잘 맞히는 성질04장
자기회귀autoregressive앞의 것들을 보고 다음 하나를 예측하는 것을 되풀이해 열을 만드는 방식13장
자동 미분automatic differentiation, autograd계산 과정을 기록해 두었다가 연쇄 법칙으로 기울기를 자동으로 구하는 기능04장
자유 내트free natsKL 이 정한 값보다 작으면 KL 항으로는 학습하지 않게 하는 기법 max(KL, c)11장
잠재 과대 예측latent overshooting여러 스텝 앞의 사전 분포까지 사후 분포에 맞추도록 하는 PlaNet 의 보조 목표11장
잠재 변수latent variable직접 보이지 않는, 데이터를 설명하는 숨은 변수 z01장
잠재 행동 모델latent action model, LAM행동 라벨 없는 영상에서 프레임 변화를 설명하는 이산 행동을 배우는 모델 (Genie)13장
재매개변수화 트릭reparameterization trickz = μ + σ·ε 로 써서 표본을 뽑는 단계를 지나 기울기를 흘리는 방법08장
전이 모델transition model, dynamics model지금 상태와 행동으로 다음 상태를 예측하는 모델01장
전체 기댓값의 법칙law of total expectation경우를 나눠 각 경우의 기댓값을 그 확률로 가중해 더하면 전체 기댓값이 된다. E[X] = Σ_y p(y) E[X | y]02장
전치 합성곱transposed convolution그림 크기를 키우는 합성곱. VAE 디코더에 쓴다04장 · 08장
정보 병목information bottleneck전달할 수 있는 정보를 일부러 좁혀 꼭 필요한 정보만 남기게 하는 설계13장
정보량information content, surprisal드문 사건일수록 큰 놀람 −log p(x)03장
정신 모형mental model사람이 머릿속에 가진 세상의 축소판 모형01장
정예eliteCEM 에서 점수가 가장 좋은 상위 후보들07장
정책policy상태(관측)를 보고 행동을 고르는 규칙 π(a | s)01장
젠센 부등식Jensen's inequality오목 함수 f 에 대해 f(E[X]) ≥ E[f(X)]. ELBO 유도의 핵심03장
조건부 기댓값conditional expectation어떤 조건이 주어졌을 때의 기댓값 E[X | Y = y]. MSE 를 최소로 하는 예측이 이것이다02장
조건부 확률conditional probabilityy 를 알 때 x 의 확률 p(x | y) = p(x, y)/p(y)02장
주변 확률marginal probability결합 확률에서 다른 변수를 모두 더해(적분해) 없앤 한 변수만의 확률02장
주변화marginalization관심 없는 변수를 합(적분)해서 없애는 것 p(x) = Σ_y p(x, y)02장
증거evidence베이즈 정리의 분모 p(x). 모든 원인에 대해 더한 관측의 확률02장
지도 학습supervised learning입력과 정답 쌍으로 입력 → 정답 함수를 배우는 학습04장
직선 통과 추정기straight-through estimator앞으로는 이산 값을, 뒤로는 기울기를 그대로 통과시키는 트릭12장
진화 경로evolution pathCMA-ES 가 지난 평균 이동들을 누적해 스텝 크기 · 공분산을 조절하는 데 쓰는 벡터10장
진화 전략evolution strategies, ES매개변수에 잡음을 더한 후보들의 점수로 다음 분포를 정하는 블랙박스 최적화10장
최대우도 추정maximum likelihood estimation, MLE데이터의 가능도를 가장 크게 만드는 매개변수를 고르는 방법02장
커널 (필터)kernel, filter합성곱에서 그림 위를 미끄러지며 곱해지는 작은 가중치 묶음04장
코드북codebookVQ-VAE 가 고를 수 있는 벡터들의 목록 {e_1, …, e_K}13장
크리틱critic상태의 가치를 추정하는 신경망 v_ξ05장
큰 수의 법칙law of large numbers표본이 많을수록 표본 평균이 기댓값에 가까워진다02장
텐서tensor숫자를 여러 축으로 늘어놓은 배열. PyTorch 의 기본 자료형04장
토크torque축을 중심으로 돌리는 힘. 진자의 행동 u06장
토큰token모델이 다루는 이산 기호 하나(정수). 그림도 VQ 로 토큰열이 된다13장
패딩padding합성곱 전에 그림 가장자리에 덧대는 값(보통 0). 출력 크기를 조절한다04장
편미분partial derivative다른 변수는 고정하고 한 변수에 대해서만 미분한 것04장
표준화standardization(x − 평균)/표준편차 로 평균 0, 표준편차 1 로 맞추는 전처리04장 · 06장
표현 붕괴representation collapse모든 입력이 같은 표현으로 뭉개져 손실만 작아지는 실패13장
필터링filtering지금까지의 관측으로 지금 상태의 분포를 추정하는 것11장
할인율discount factor미래 보상을 얼마나 깎아 셀지 정하는 값 γ (0 – 1)05장
합성 함수composite function함수 안에 함수가 들어간 것 f(g(x)). 연쇄 법칙의 대상04장
합성곱 신경망convolutional neural network, CNN작은 필터를 그림 위로 밀며 지역 특징을 뽑는 신경망04장
행동action에이전트가 환경에 하는 일 a_t. 진자에서는 토크 u01장
행동 반복action repeat같은 행동을 k 스텝 되풀이해 결정 횟수를 줄이는 기법11장
혼합 밀도 네트워크mixture density network, MDN출력으로 가우시안 혼합 분포의 가중치 · 평균 · 표준편차를 내는 신경망09장
확률밀도함수probability density function, PDF연속 변수의 확률 밀도. 구간에서 적분하면 확률02장
확률변수random variable실험 결과에 따라 값이 정해지는 변수02장
확률적 경사 하강법stochastic gradient descent, SGD미니배치로 추정한 기울기로 매개변수를 고치는 경사 하강법04장
확률질량함수probability mass function, PMF이산 변수가 각 값을 가질 확률02장
확산 모델diffusion model데이터에 잡음을 섞는 과정을 거꾸로 배워 잡음에서 데이터를 만드는 생성 모델13장
환경environment에이전트가 상호작용하는 세상. 행동을 받아 다음 관측 · 보상을 준다01장
활성 함수activation function층 사이에 넣는 비선형 함수 (ReLU, tanh, SiLU …)04장
후퇴 지평receding horizon매 스텝 H 스텝 앞을 계획하고 첫 행동만 실행한 뒤 창을 한 칸 밀어 다시 계획하는 방식07장
1차 테일러 근사first-order Taylor approximationf(x + Δ) ≈ f(x) + f'(x)Δ. 경사 하강법이 손실을 줄이는 이유04장
KL 균형KL balancingKL 의 기울기를 사전 쪽(α)과 사후 쪽(1−α)에 나눠 주는 DreamerV2 기법12장
KL 발산Kullback–Leibler divergence두 분포가 얼마나 다른지 KL(p‖q) = Σ p log(p/q) ≥ 003장
n-스텝 리턴n-step return실제 보상 n 개 + γⁿ × (n 스텝 뒤의 가치 추정)12장
β-VAEbeta-VAEKL 항에 β 를 곱해 재구성과 압축의 균형을 조절하는 VAE08장
λ-리턴λ-return여러 n-스텝 리턴을 (1−λ)λ^(n−1) 가중치로 섞은 가치 목표12장

영문 약어 · 이름

약어 · 영문 용어뜻설명한 장
Adam적응적 학습률 옵티마이저. 기울기의 이동 평균과 크기로 스텝을 조절한다04장
BPTTbackpropagation through time. 시간으로 펼친 RNN 에 대한 역전파09장
CEMcross-entropy method. 후보를 뽑고 상위(정예)로 가우시안을 다시 맞추기를 되풀이하는 최적화07장
CMA-EScovariance matrix adaptation evolution strategy. 공분산까지 적응하는 진화 전략10장
DDPMdenoising diffusion probabilistic model. 잡음 예측으로 학습하는 확산 모델 (Ho et al., 2020)13장
Dyna실제 경험으로 모델을 배우고, 모델이 만든 가상 경험으로도 가치 · 정책을 학습하는 구조 (Sutton, 1990 – 1991)01장
ELBOevidence lower bound. log p(x) 의 아래 경계 = 재구성 − KL08장
EMAexponential moving average. θ̄ ← τθ̄ + (1−τ)θ 로 천천히 따라오는 평균04장 · 13장
GRUgated recurrent unit. 게이트 두 개(갱신 · 리셋)로 기억을 조절하는 RNN09장
JEPAjoint-embedding predictive architecture. 픽셀 대신 표현 공간에서 예측하는 구조13장
log-sum-explog Σ exp(a_k) 를 최댓값을 빼고 안정적으로 계산하는 방법02장
LSTMlong short-term memory. 셀 상태와 게이트 세 개로 긴 기억을 유지하는 RNN09장
MCTSMonte Carlo tree search. 유망한 가지를 한 스텝씩 파 내려가는 탐색 (MuZero)13장
MDPMarkov decision process. 상태 · 행동 · 전이 확률 · 보상 · 할인율로 정의한 의사결정 문제05장
MPPImodel predictive path integral. 후보를 exp(J/τ) 가중치로 평균 내는 계획 방법13장
MSEmean squared error. 오차 제곱의 평균04장
PETSprobabilistic ensembles with trajectory sampling. 확률적 앙상블 + 궤적 표본 전파 + CEM-MPC07장
PlaNetdeep planning network. RSSM 잠재 공간에서 CEM 으로 계획하는 에이전트11장
POMDPpartially observable MDP. 관측만으로는 상태를 다 알 수 없는 MDP05장
pUCTMCTS 에서 이용(Q)과 탐험(사전 확률 · 방문 수)을 섞는 점수13장
REINFORCE∇J = E[∇ log π(a|s) · G] 로 정책을 직접 미분하는 정책 경사 방법05장
RSSMrecurrent state-space model. 결정적 경로 h_t 와 확률적 경로 z_t 를 함께 쓰는 잠재 동역학11장
SiLU (Swish)x · sigmoid(x). 부드러운 ReLU 꼴 활성 함수06장
SimNorm잠재 벡터를 묶음별 softmax 로 정규화하는 TD-MPC2 의 기법13장
softpluslog(1 + eˣ). 늘 양수인 부드러운 ReLU. 표준편차를 만들 때 쓴다07장
symlogsign(x) log(|x| + 1). 크기가 제각각인 값을 눌러 담는 변환 (DreamerV3)12장
TD 오차temporal difference error. δ = r + γV(s') − V(s). 기댓값이 이점이 된다05장
two-hot실수 하나를 이웃한 두 구간(bin)에 가중치를 나눠 담는 범주형 부호화 (DreamerV3)12장
unimix범주형 분포에 균등 분포를 조금(DreamerV3 는 1%) 섞어 확률이 정확히 0 이 되지 않게 하는 기법12장
VAEvariational autoencoder. 잠재 변수 모델 + 인코더(변분 추론)를 ELBO 로 함께 학습08장
VQ-VAEvector-quantized VAE. 잠재를 코드북의 가장 가까운 벡터로 바꿔 토큰을 만든다13장

7. 논문 지도: 무엇을 어떤 순서로 읽을까

논문은 처음부터 끝까지 읽기보다 ① 초록 · 그림 1, ② 방법 절의 핵심 식, ③ 실험의 주요 표 순서로 읽고, 이해가 안 되는 식은 이 튜토리얼의 해당 장으로 돌아와 보세요. 아래 순서는 이 튜토리얼의 흐름을 따라갑니다.

순서논문왜 읽나관련 장
0Sutton & Barto, Reinforcement Learning: An Introduction (2판) 3 – 4장, 8장MDP · 벨만 방정식, 그리고 Dyna(모델 기반 강화학습의 고전)05
1Kingma & Welling, “Auto-Encoding Variational Bayes”, 1312.6114VAE 와 재매개변수화 트릭의 원전08
2Graves, “Generating Sequences With Recurrent Neural Networks”, 1308.0850MDN-RNN 으로 시퀀스를 생성하는 방법09
3Ha & Schmidhuber, “World Models”, 1803.10122 (+ 상호작용 글)V · M · C 구조와 꿈속 학습. 읽기 쉽고 그림이 좋다10
4Chua et al., “PETS”, 1805.12114확률적 앙상블과 불확실성을 고려한 MPC07
5Janner et al., “MBPO: When to Trust Your Model”, 1906.08253짧은 모델 롤아웃으로 모델 없는 학습을 돕는 방법, 오차 누적의 분석06 · 07
6Salimans et al., “Evolution Strategies”, 1703.03864 · Hansen, “CMA-ES Tutorial”, 1604.00772기울기 없이 정책을 찾는 진화 전략10
7Hafner et al., “PlaNet”, 1811.04551RSSM 과 잠재 공간 계획11
8Hafner et al., “Dreamer”, 1912.01603상상 속 액터-크리틱과 λ-리턴12
9Hafner et al., “DreamerV2”, 2010.02193 · “DreamerV3”, 2301.04104범주형 잠재 · KL 균형, 그리고 하나의 설정으로 여러 영역12
10Schrittwieser et al., “MuZero”, 1911.08265가치 등가 모델과 MCTS13
11Hansen et al., “TD-MPC2”, 2310.16828디코더 없는 잠재 계획의 현재 형태13
12Micheli et al., “IRIS”, 2209.00588토큰 + Transformer World Model13
13Ho et al., “DDPM”, 2006.11239 → Alonso et al., “DIAMOND”, 2405.12399확산 모델과 확산 World Model13
14LeCun, “A Path Towards Autonomous Machine Intelligence” → “V-JEPA 2”, 2506.09985표현 공간 예측이라는 다른 길13
15Bruce et al., “Genie”, 2402.15391 → Hafner et al., “Dreamer 4”, 2509.24527대규모 비디오 World Model 과 그 안에서의 에이전트 학습13
+Moerland et al., “Model-based RL: A Survey”, 2006.16712모델 기반 강화학습 전체를 정리한 개관 논문. 지도를 다시 그리고 싶을 때01

8. 공개 구현 · 도구

이 튜토리얼의 작은 구현으로 원리를 익힌 뒤, 큰 과제에 도전할 때는 검증된 공개 구현에서 출발하는 것이 좋습니다.

구현내용
danijar/dreamerv3DreamerV3 공식 구현(JAX). dreamerv2 · dreamer 저장소도 있다
NM512/dreamerv3-torchDreamerV3 의 PyTorch 재구현(커뮤니티). 이 튜토리얼처럼 PyTorch 로 읽고 싶을 때
google-research/planetPlaNet 공식 구현(TensorFlow)
hardmaru/WorldModelsExperimentsHa & Schmidhuber World Models 실험 코드
facebookresearch/mbrl-libPETS · MBPO 등 모델 기반 강화학습 라이브러리(PyTorch)
nicklashansen/tdmpc2TD-MPC2 공식 구현과 학습된 체크포인트
werner-duvaud/muzero-generalMuZero 의 읽기 쉬운 PyTorch 재구현(커뮤니티)
eloialonso/iris · eloialonso/diamondIRIS(Transformer) · DIAMOND(확산) World Model 공식 구현
facebookresearch/vjepa2V-JEPA 2 코드와 사전 학습 모델
nvidia-cosmosNVIDIA Cosmos World Foundation Model 저장소들
Gymnasium · DeepMind Control Suite · MuJoCo실험 환경. 이 튜토리얼의 진자는 Gymnasium Pendulum-v1 과 같은 물리이고, PlaNet · Dreamer 는 DeepMind Control Suite 로 평가했다
팁 · 이 튜토리얼 코드를 Gymnasium 환경으로 옮기려면

wm_envs.py 의 환경은 obs, reward, done = env.step(action) 세 값을 돌려주지만, Gymnasium 은 obs, reward, terminated, truncated, info = env.step(action) 다섯 값을 돌려줍니다. done = terminated or truncated 로 바꾸고, reset() 이 (obs, info) 를 돌려주는 점만 맞추면 대부분의 실습 코드를 그대로 쓸 수 있습니다. 그림 관측은 환경을 render_mode="rgb_array" 로 만들고 env.render() 가 돌려주는 RGB 그림을 흑백(1채널)으로 바꾼 뒤 64×64 로 줄이세요(본문 모델은 1채널 입력입니다).

9. 자주 묻는 질문

Q. GPU 없이도 끝까지 따라갈 수 있나요?

10장까지와 13장은 네. CPU 로도 돌아가도록 작게 만들었고, 각 장에 이 튜토리얼을 쓴 환경에서 실제로 걸린 시간을 적어 두었습니다(06 · 07 · 13장은 CPU 로 1 – 20분 정도). 11 · 12장(그림을 보는 PlaNet · Dreamer)의 본문 설정은 CPU 로 하루 이상 걸려 사실상 어려우므로(0장), 먼저 --quick 으로 코드가 도는 것을 확인하고, 본 학습은 GPU(무료 클라우드 노트북도 됩니다)에서 돌리거나 학습 횟수를 줄여 경향만 보세요.

Q. World Model 과 시뮬레이터(물리 엔진)는 무엇이 다른가요?

물리 엔진은 사람이 규칙(방정식)을 직접 적어 넣은 것이고, World Model 은 그 규칙을 데이터에서 배운 것입니다. 6장에서 진자의 방정식을 아는데도 굳이 신경망으로 배운 까닭은, 실제 세상(로봇 · 게임 · 운전)에서는 대부분 방정식을 모르거나 너무 복잡하기 때문입니다. 대신 배운 모델은 틀릴 수 있으므로 불확실성(07장)과 모델 착취(10장)를 늘 의식해야 합니다.

Q. 모델 기반 강화학습이 모델 없는 강화학습보다 늘 좋은가요?

아닙니다. 환경과 상호작용하는 비용이 클 때(실제 로봇, 느린 시뮬레이터) 표본 효율이 큰 장점이 되지만, 모델을 배우는 계산 비용과 모델 오차라는 대가가 있습니다. 시뮬레이터가 아주 빠르고 값싸다면 모델 없는 방법이 더 단순하고 최종 성능이 좋을 때도 많습니다. 다만 DreamerV3 처럼 두 장점을 함께 노리는 방법이 점점 늘고 있습니다.

Q. 왜 처음부터 끝까지 진자만 썼나요?

세상이 같으면 “모델이 바뀐 효과” 만 비교할 수 있기 때문입니다. 진자는 물리가 세 줄로 적히고(정답을 알고 비교할 수 있음), 그림으로 보면 속도를 알 수 없는 부분 관측 문제가 되며, 그네처럼 에너지를 모아야 해서 단순한 탐욕적 정책으로는 풀리지 않습니다. 작지만 World Model 의 핵심 난점이 모두 들어 있습니다.

Q. 그림 크기를 키우거나 컬러로 바꾸려면 무엇을 고치나요?

인코더 · 디코더의 합성곱 층 수와 입력 채널(흑백 1 → 컬러 3)을 바꾸고, 8장 · 11장의 출력 크기 계산 풀이를 따라 층마다 크기가 맞는지 다시 계산하세요. 픽셀 수가 늘면 재구성 손실의 크기가 커지므로 KL 과의 균형(β, 자유 내트)도 다시 맞춰야 합니다.

Q. 내 Dreamer 가 논문만큼 성능이 나오지 않아요.

먼저 학습 스텝 수를 비교하세요. 논문은 수십만 ~ 수백만 스텝을 쓰지만 이 튜토리얼은 그보다 훨씬 적습니다. 그다음 2절의 표에서 “상상 리턴과 실제 리턴의 차이”, “열린 고리 상상 그림”, “KL 크기” 를 점검하세요. 재현이 목적이면 공개 구현(8절)과 같은 설정으로 비교하는 것이 가장 빠릅니다.

Q. 대규모 언어 모델(LLM)도 World Model 인가요?

LLM 이 세상에 대한 지식을 많이 담고 있는 것은 분명하지만, 이 튜토리얼의 좁은 정의 — “행동이 주어지면 다음 상태를 예측하고, 그것으로 계획 · 학습한다” — 에 딱 맞지는 않습니다. 다만 LLM 을 에이전트의 계획기로 쓰거나(“이 행동을 하면 어떻게 될까?” 를 글로 상상), 13장의 Genie 3 · 4 같은 비디오 World Model 이 글로 세계를 만들고 바꾸는 것처럼, 언어와 World Model 을 함께 쓰는 연구가 활발합니다. 어디까지를 World Model 로 부를지는 아직 연구자들 사이에서도 합의되지 않은 질문입니다.

Q. 수학이 막혀서 더 못 나가겠어요.

막힌 식의 풀이 상자에서 “↳” 설명이 가리키는 장(대개 2 · 3장)으로 돌아가세요. 그리고 식에 작은 숫자를 직접 넣어 계산해 보세요. 이 튜토리얼의 모든 핵심 식에는 숫자 예와 그 숫자를 확인하는 코드가 있습니다. 숫자로 맞는 것을 확인하고 나면 기호가 훨씬 덜 무섭습니다.

10. 다음 걸음: 직접 해 볼 프로젝트

튜토리얼의 코드를 출발점으로 삼아, 난이도 순으로 해 볼 만한 프로젝트를 모았습니다.

난이도프로젝트무엇을 배우나
★☆☆진자의 보상을 바꿔 “거꾸로 매달린 채 빨리 돌기” 를 목표로 7장 MPC 를 돌려 보기World Model 은 그대로 두고 보상만 바꿔 새 과제를 푸는 모델 기반 방법의 장점
★☆☆6장의 동역학 모델을 “변화량” 대신 “다음 관측” 을 직접 예측하도록 바꿔(요령 2 를 끄고) 1스텝 오차 · 오차 누적 비교출력 설계가 여러 스텝 예측에 주는 영향
★★☆Gymnasium 의 MountainCarContinuous-v0 로 6 · 7장 실습 옮기기(7장은 알고 있는 보상 함수를 쓰므로 새 환경의 보상 함수를 직접 적어야 합니다. CartPole 같은 이산 행동 환경은 가우시안 대신 범주형 CEM 이 필요합니다)환경 인터페이스, 보상이 드문 과제에서의 탐험 문제
★★☆12장 Dreamer 에 DreamerV3 의 symlog · two-hot · 자유 비트(free bits) · 리턴 정규화를 하나씩 넣고 효과 비교각 기법의 역할을 실험으로 확인하기(절제 실험)
★★☆7장 앙상블의 불일치를 12장 상상 보상에 벌점으로 넣어 모델 착취 줄이기불확실성을 고려한 상상 학습
★★★13장 확산 실습을 “64×64 진자 그림의 다음 프레임 예측” 으로 키우기조건부 확산 World Model, 드리프트와 잡음 증강
★★★11장 RSSM 에서 디코더를 떼고 TD-MPC 식 잠재 일관성 + TD 손실로 바꾸기재구성 없는 World Model 과 표현 붕괴
★★★진자 영상(행동 기록 없이)으로 Genie 식 잠재 행동 모델을 학습해, 코드가 토크 방향과 대응하는지 확인행동 라벨 없는 World Model 학습, 정보 병목

확인 문제

문제 1 · 기울기 자르기

기울기 $g = (3, 4)$ 를 최대 길이 $c = 1$ 로 자르면 무엇이 되나요? $c = 10$ 이면요?

답 보기

$\lVert g\rVert = 5$. $c = 1$ 이면 $g' = (3, 4)/5 = (0.6, 0.8)$. $c = 10$ 이면 $5 \le 10$ 이므로 그대로 $(3, 4)$.

문제 2 · 로짓 BCE

로짓 $x = 0$, 정답 $y = 1$ 일 때 $\operatorname{softplus}(x) - yx$ 로 BCE 를 계산하고, 정의 $-\log\sigma(0)$ 과 같은지 확인하세요.

답 보기

$\operatorname{softplus}(0) - 0 = \log 2 \approx 0.693$. 정의로는 $\sigma(0) = 0.5$ 이므로 $-\log 0.5 = \log 2$. 같습니다.

문제 3 · 증상 진단

VAE 를 학습했더니 KL 항이 거의 0 이고, 어떤 그림을 넣어도 재구성이 거의 같은 흐린 그림입니다. 무슨 일이 일어났고, 무엇을 해 볼까요?

답 보기

사후 붕괴입니다. 인코더의 $q(z\mid x)$ 가 사전 $\Normal(0, I)$ 와 같아져 잠재가 정보를 담지 않고, 디코더는 평균 그림만 그립니다. β 를 줄이거나 KL 가중치를 0 에서 서서히 올리고(warm-up), 자유 비트(free bits) 를 쓰고, 디코더가 너무 강하면(예: 자기회귀 디코더) 약하게 만들어 봅니다(08 · 11 · 12장).

문제 4 · 할인율과 시간 규모

행동 반복 2 인 진자 환경(에피소드당 결정 100번)에서 $\gamma = 0.9$ 를 쓰면 대략 몇 스텝 앞까지 본다고 할 수 있나요? 이것이 스윙업에 충분할까요?

답 보기

$\frac{1}{1 - 0.9} = 10$ 스텝, 즉 시간으로 $10 \times 2 \times 0.05 = 1$ 초 정도입니다. 진자를 흔들어 올리는 데는 몇 초가 걸리므로 짧을 수 있습니다. $\gamma = 0.99$ 면 약 100 스텝(10초)입니다.

튜토리얼을 마치며

00장에서 World Model 을 “상태와 행동이 주어지면 다음을 예측하는 학습된 시뮬레이터” 라고 한 문장으로 정의했습니다. 그 한 문장에서 출발해 확률 · 정보 이론 · 딥러닝 · 강화학습을 쌓고, 숫자 세 개를 예측하는 MLP 에서 그림만 보고 상상 속에서 진자 세우기를 배우는 Dreamer 까지 왔습니다. 그리고 13장에서 본 것처럼, 오늘의 거대한 World Model 들도 결국 같은 질문 — 무엇을 예측할 것인가, 불확실한 미래를 어떻게 표현할 것인가, 상상을 어떻게 행동으로 바꿀 것인가 — 에 대한 서로 다른 답입니다. 이제 여러분은 그 답들을 식으로 읽고, 코드로 확인하고, 직접 바꿔 볼 수 있습니다.