부록: 디버깅 · 용어집 · 다음 걸음
튜토리얼을 다 읽었더라도, 직접 World Model 을 만들다 보면 손실이 NaN 이 되거나, 재구성이 흐리거나, 상상 속에서는 잘하는데 실제로는 못하는 에이전트를 만나게 됩니다. 이 장은 그럴 때 펼쳐 보는 참고서 입니다. 처음부터 읽기보다 필요한 절을 찾아 쓰세요.
- 처음 30분 점검 순서와, 증상 → 원인 → 처방 디버깅 표
- NaN 을 막는 수치 안정성 공식 네 가지(유도 포함)
- PETS · Ha · PlaNet · DreamerV1/V2/V3 원 논문의 하이퍼파라미터와 이 튜토리얼의 설정
- 장별 핵심 수식 모음, 한영 용어집
- 논문을 읽는 순서, 공개 구현 · 도구, 자주 묻는 질문, 다음에 해 볼 프로젝트
1. 디버깅: 처음 30분 점검 순서
World Model 은 부품(인코더 · 동역학 · 디코더 · 보상 · 정책)이 많고, 강화학습은 결과의 분산이 커서 “어디가 틀렸는지” 찾기 어렵습니다. 무언가 이상하면 하이퍼파라미터를 이리저리 바꾸기 전에 다음 순서로 점검하세요. 경험상 대부분의 버그는 앞의 세 단계에서 잡힙니다.
- 데이터를 눈으로 본다. 관측 그림 몇 장을 저장해 열어 보고, 값의 최솟값 · 최댓값 · 평균을 출력합니다. 그림이 0–255 인지 0–1 인지, 행동의 범위(환경은 [−2, 2], 11 · 12장 에이전트의 출력은 [−1, 1])가 맞는지 확인합니다.
- 모양(shape)을 확인한다. 텐서마다 기대하는 모양을 주석으로 적고
assert로 확인합니다. 특히 시간 축 $T$ 와 배치 축 $B$ 의 순서, 관측($T{+}1$ 개)과 행동($T$ 개)의 짝을 봅니다. - 아주 작은 데이터에 과적합시켜 본다. 배치 하나(예: 시퀀스 4개)만 반복해서 학습시키면 손실이 거의 0 까지 내려가야 합니다. 안 내려가면 모델 · 손실 코드에 버그가 있는 것입니다.
- 손실을 항별로 따로 기록한다. 재구성 · 보상 · KL · 액터 · 크리틱을 합친 값만 보면 어느 항이 문제인지 모릅니다.
- 기준 점수와 비교한다. 정답의 평균만 내는 모델(6장, 표준화 MSE ≈ 1), 무작위 정책의 리턴(5장, 약 −1234)처럼 바보 같은 기준 점수보다 나은지 봅니다.
- 기울기의 크기를 기록한다. 기울기 노름이 0 이면 기울기가 끊긴 것이고(
.detach()실수), 갑자기 수천으로 튀면 폭발입니다. - 시드를 고정하고, 여러 시드로 돌린다. 한 시드의 좋은 결과는 운일 수 있습니다. 3 – 5개 시드의 평균과 범위를 봅니다.
- 그다음에야 하이퍼파라미터를 바꾼다. 한 번에 하나씩, 학습률부터.
아래 조각은 위 점검을 코드로 옮긴 것입니다. 학습 루프 안에 넣어 두면 문제를 일찍 잡을 수 있습니다.
import random
import numpy as np
import torch
def set_seed(seed):
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed) # CPU · GPU 모두
def check(name, x, shape=None):
"""모양과 유한성(NaN · inf 없음)을 확인한다."""
if shape is not None:
assert tuple(x.shape) == tuple(shape), f"{name}: {tuple(x.shape)} != {shape}"
assert torch.isfinite(x).all(), f"{name} 에 NaN 또는 inf 가 있습니다"
def grad_norm(model):
"""모든 매개변수 기울기를 한 벡터로 이었을 때의 길이."""
total = 0.0
for p in model.parameters():
if p.grad is not None:
total += p.grad.detach().pow(2).sum().item()
return total ** 0.5
# 학습 루프 안에서
# check("obs", obs, (B, L, 64, 64)) # 11장의 배치: 길이 L, 채널 축 없음
# loss.backward()
# print("grad norm", grad_norm(model))
# torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=100.0)
# NaN 이 어디서 처음 생기는지 찾을 때만 켠다 (느려진다)
# torch.autograd.set_detect_anomaly(True)
예측 pred 의 모양이 (B, 1) 이고 목표 target 이 (B,) 이면,
(pred - target) ** 2 는 오류 없이 (B, B) 행렬이 됩니다. 모든 예측이 모든 목표와 비교되어, 모델은 “평균” 만 예측하도록 배웁니다.
손실은 줄어드는 것처럼 보이므로 알아채기 어렵습니다. 손실을 계산하기 직전에 두 텐서의 모양이 같은지 꼭 확인하세요.
2. 증상 → 원인 → 처방
자주 만나는 증상을 부품별로 모았습니다. “관련 장” 에서 자세한 설명과 유도를 볼 수 있습니다.
데이터 · 모양
| 증상 | 흔한 원인 | 처방 | 관련 장 |
|---|---|---|---|
| 손실이 처음부터 터무니없이 크거나 작다 | 입력을 정규화하지 않았거나 두 번 했다. 그림을 0–255 그대로 넣었다 | 입력의 범위를 출력해 본다. 그림은 /255 (−0.5), 숫자 상태는 표준화 | 06 · 08 |
| 모델이 늘 비슷한 값(평균)만 예측한다 | 브로드캐스팅으로 손실이 (B, B) 가 됨. 입력과 목표의 짝이 어긋남 | 손실 직전 모양 확인, 데이터 몇 개를 손으로 대조 | 04 |
| 예측이 한 스텝씩 밀려 있다 | 관측은 $T{+}1$ 개, 행동 · 보상은 $T$ 개인데 인덱스를 잘못 짝지음 | $(o_t, a_t) \to o_{t+1}$, $r_t$ 의 짝을 그림으로 확인 (collect_episodes 의 설명) | 06 · 11 |
| 합성곱 층에서 모양 오류 | 그림이 (B, H, W, C) 인데 PyTorch 는 (B, C, H, W) 를 기대 | permute 또는 unsqueeze(1)(흑백) | 04 · 08 |
| 각도 ±π 근처에서 예측이 튄다 | 각도 $\theta$ 를 그대로 입력 · 출력해 $\pi$ 와 $-\pi$ 가 멀리 떨어진 숫자가 됨 | $(\cos\theta, \sin\theta)$ 로 표현 | 06 |
수치 안정성
| 증상 | 흔한 원인 | 처방 | 관련 장 |
|---|---|---|---|
| 손실이 NaN · inf 가 된다 | $\log 0$, $e^{x}$ 넘침, 표준편차 0, 학습률이 너무 큼 | 아래 3절의 안정 공식(softplus, 로짓 BCE)과 9장의 logsumexp, 최소 표준편차, 기울기 자르기, set_detect_anomaly | 02 · 09 |
| 가우시안 NLL 이 끝없이 내려간다(−∞ 쪽으로) | 예측 표준편차 $\sigma \to 0$ 으로 몇 점에 과적합 | $\sigma = \operatorname{softplus}(x) + \sigma_{\min}$, $\log\sigma^2$ 의 범위를 제한 | 07 · 11 |
| MDN 학습 중 갑자기 NaN | 혼합 가중치의 $\log\sum\exp$ 를 그대로 계산해 넘침 | torch.logsumexp 사용, $\log\sigma$ 범위 제한 | 09 |
| BCE 가 inf | sigmoid 를 먼저 하고 $\log$ 를 취해 $\log 0$ | 로짓을 받아 바로 계산하는 binary_cross_entropy_with_logits | 08 |
학습 동역학
| 증상 | 흔한 원인 | 처방 | 관련 장 |
|---|---|---|---|
| 손실이 전혀 줄지 않는다 | 학습률이 너무 작음, 기울기가 끊김(.detach(), torch.no_grad), 옵티마이저에 매개변수를 안 넣음 | 작은 데이터 과적합 시험, 기울기 노름 기록, optimizer.param_groups 확인 | 04 |
| 손실이 튀다가 발산한다 | 학습률이 곡률에 비해 큼($\eta \gt 2/a$), RNN 의 기울기 폭발 | 학습률을 1/3 씩 줄이기, 기울기 자르기 | 04 · 09 |
| 학습 손실은 주는데 새 데이터에서 나빠진다 | 과적합(데이터가 적음) | 데이터 더 모으기, 검증 손실로 조기 종료, 가중치 감쇠, 모델 줄이기 | 06 |
| 시드마다 결과가 크게 다르다 | 강화학습의 높은 분산, 초기 데이터의 운 | 여러 시드의 평균 · 범위로 판단, 평가 에피소드 늘리기 | 05 |
잠재 변수 모델 (VAE · RSSM)
| 증상 | 흔한 원인 | 처방 | 관련 장 |
|---|---|---|---|
| KL 이 0 에 붙고 재구성은 늘 같은 “평균 그림” | 사후 붕괴: 디코더가 잠재를 무시함, KL 가중치가 큼 | β 줄이기, KL 가중치를 0 에서 서서히 올리기(warm-up), 자유 내트(free nats) · 자유 비트(free bits) | 08 · 11 · 12 |
| 재구성이 흐리다 | MSE 가 가능한 그림들의 평균을 맞힘, 디코더 용량 부족, β 가 큼 | 디코더 키우기, β 조정, 여러 갈래를 표현하는 모델(MDN · 확률적 잠재 · 확산) | 08 · 09 · 13 |
| 재구성은 좋은데 상상(사전) 롤아웃이 엉망 | 사후 분포만 잘 배우고 전이(사전)가 따라오지 못함 | 열린 고리 상상 그림으로 점검, KL 균형, 학습 더 하기, 잠재 과대 예측 | 11 · 12 |
| 작은 물체(진자 막대)가 재구성에서 사라진다 | 그림 대부분이 배경이라 그 물체가 손실에서 차지하는 몫이 작음 | 해상도 · 디코더 용량 늘리기, 결과 그림을 늘 눈으로 확인 | 08 |
| KL 이 줄지 않고 계속 크다 | 사전이 사후를 따라잡지 못함, 표준편차 하한이 너무 작음 | KL 균형(사전 쪽에 더 큰 가중치), 최소 표준편차 조정 | 12 |
예측 · 계획 · 정책
| 증상 | 흔한 원인 | 처방 | 관련 장 |
|---|---|---|---|
| 한 스텝 예측은 좋은데 여러 스텝에서 발산 | 오차 누적(립시츠 상수 $L \gt 1$ 이면 오차의 상한이 지수적으로 커짐) | 여러 스텝 손실로 학습, 변화량 $\Delta o$ 예측, 앙상블, 상상 길이 줄이기 | 06 |
| 상상 속 리턴은 높은데 실제 리턴은 낮다 | 모델 착취: 정책이 모델의 틀린 곳을 이용 | 앙상블 불확실성 벌점, 짧은 상상, 데이터 더 모으기, 꿈의 온도 높이기 | 10 · 12 |
| MPC 가 너무 느리다 | 후보 수 × 상상 길이 × 반복 횟수만큼 모델을 돌림 | GPU 에서 후보를 한 배치로, 후보 줄이기, 지난 해를 한 칸 밀어 시작점으로(warm start), 정책 사전 · 가치로 상상 길이 줄이기 | 07 · 13 |
| 액터의 행동이 늘 ±최댓값 | tanh 포화, 엔트로피가 너무 빨리 줄어듦 | 엔트로피 보너스 키우기, 행동 범위 · 스케일 확인 | 12 |
| 크리틱 손실이 계속 커진다 | 보상 크기가 큼, 목표가 계속 움직임 | 보상 스케일 줄이기(11장은 0.1 배), 느린(목표) 크리틱, symlog · two-hot · 리턴 정규화 | 11 · 12 |
| 과제마다 설정을 다시 맞춰야 한다 | 보상 · 리턴의 크기에 민감한 설계 | DreamerV3 의 symlog, 리턴 정규화(백분위) | 12 |
3. NaN 을 막는 수치 안정성 공식
컴퓨터의 실수(float32)는 약 $3.4 \times 10^{38}$ 보다 큰 수를 담지 못하고 inf 가 됩니다. $e^{89} \approx 4.5 \times 10^{38}$ 이므로 지수 함수는 생각보다 쉽게 넘칩니다. PyTorch 의 안정 함수들이 내부에서 쓰는 공식을 유도해 두면, 왜 그 함수를 써야 하는지 납득할 수 있습니다.
안정적인 softplus
로짓으로 계산하는 이진 교차 엔트로피
8장의 베르누이 디코더처럼 확률 $p = \sigma(x)$ 를 신경망의 로짓 $x$ 로 낼 때, $\sigma(x)$ 를 먼저 계산하고 $\log$ 를 취하면 $\sigma(x)$ 가 0 으로 반올림되어 $\log 0 = -\infty$ 가 됩니다. 로짓에서 바로 계산하는 식을 유도합니다.
binary_cross_entropy_with_logits 가 이렇게 계산합니다. 예: $x = 50$, $y = 0$ 이면 $\sigma(50)$ 은 float32 로 정확히 1 이 되어 $\log(1 - 1) = -\infty$ 지만, 이 식은 $\operatorname{softplus}(50) - 0 = 50$ 을 줍니다.기울기 자르기
clip_grad_norm_(params, max_norm=c) 가 하는 일입니다.표준편차의 하한과 NLL 의 바닥
min_logvar 와 9장의 log_sigma.clamp(-7, 2) 가 이 역할을 합니다(11장의 min_std = 0.1 은 같은 생각을 잠재 분포의 $\sigma$ 에 쓴 것입니다).4. 하이퍼파라미터 참고표
원 논문의 값은 “그 논문의 환경 · 규모에서 잘 된 값” 입니다. 그대로 쓰기보다 출발점으로 삼으세요. 같은 논문이라도 판(version) · 공식 코드에 따라 값이 다를 수 있으니, 정확한 재현이 필요하면 원문 부록과 공식 코드의 설정 파일을 확인하세요.
원 논문의 값
| 방법 | 모델 | 학습 | 계획 · 행동 학습 | 데이터 수집 |
|---|---|---|---|---|
| PETS Chua et al., 2018 1805.12114 |
확률적 신경망 앙상블 5개 (완전 연결층 3개, 층당 500 단위(HalfCheetah 는 250), Swish) | 가우시안 NLL, $\log\sigma$ 상 · 하한 | CEM-MPC, 궤적 표본 전파 입자 20개 (계획 길이 · 후보 수 · 정예 수는 논문 본문에 없고 공개 코드에서 과제마다 정함) | 에피소드마다 모델 다시 학습 |
| World Models Ha & Schmidhuber, 2018 1803.10122 |
VAE $z$ 32차원(Doom 64), 64×64 컬러 · MDN-RNN: LSTM 256(Doom 512), 가우시안 5개 | VAE → MDN-RNN → 컨트롤러 순서로 따로 학습 | 선형 컨트롤러(CarRacing 867개 매개변수), CMA-ES 후보 64, 후보마다 16 롤아웃 · Doom 꿈 학습 온도 $\tau = 1.15$ | 무작위 정책 롤아웃 10,000개 |
| PlaNet Hafner et al., 2019 1811.04551 |
RSSM: $h$ 200(GRU), $z$ 30 | 배치 50 × 길이 50, Adam 학습률 $10^{-3}$, $\epsilon = 10^{-4}$, 기울기 자르기 1000, 자유 내트 3 | CEM: 계획 길이 12, 반복 10, 후보 1000, 정예 100 | 시드 에피소드 5, 학습 100번마다 1 에피소드, 탐험 잡음 $\Normal(0, 0.3^2)$, 행동 반복 2 – 8 |
| Dreamer (V1) Hafner et al., 2020 1912.01603 |
PlaNet 과 같은 RSSM (200 / 30) | 학습률 모델 $6 \times 10^{-4}$, 액터 · 가치 $8 \times 10^{-5}$, 기울기 자르기 100, 자유 내트 3 | 상상 길이 $H = 15$, $\gamma = 0.99$, $\lambda = 0.95$, 동역학 역전파로 액터 학습 | 행동 반복 2, 탐험 잡음 0.3 |
| DreamerV2 (Atari) Hafner et al., 2021 2010.02193 |
범주형 잠재 32개 × 클래스 32, GRU 600 | KL 균형 $\alpha = 0.8$, KL 가중치 0.1 (연속 제어 1.0), 학습률 모델 $2\times10^{-4}$ · 액터 $4\times10^{-5}$ · 크리틱 $10^{-4}$, 배치 50 × 길이 50 (arXiv v4 부록 표 D.1) | $H = 15$, $\gamma = 0.999$ (본문 2.1절의 값. 같은 논문의 부록 표에는 0.995 로 적혀 있음), $\lambda = 0.95$, 엔트로피 $10^{-3}$ (연속 제어 $10^{-4}$), REINFORCE 경사, 느린 크리틱 100번마다 | Atari 표준 설정(프레임 건너뛰기 4) |
| DreamerV3 Hafner et al., 2023 · Nature 2025 2301.04104 |
범주형 잠재 32 × 32 + unimix 1%, 크기별 모델(작은 것 ~ 수억 매개변수) | 자유 비트(free bits) 1, KL 가중치 $\beta_{\text{rep}} = 0.1$ · $\beta_{\text{dyn}}$ 은 판에 따라 다름(arXiv 초판 v1, 2023년 1월: 0.5 / 개정판 v2, 2024년 4월: 1), symlog · two-hot, 배치 16 × 64, 학습률도 판에 따라 다름(초판 모델 $10^{-4}$ · 액터 · 크리틱 $3\times10^{-5}$, 개정판 $4\times10^{-5}$) | $H = 15$, 할인 지평 333($\gamma \approx 0.997$), $\lambda = 0.95$, 엔트로피 $3\times10^{-4}$, 리턴 정규화(5 – 95 백분위), 크리틱 EMA | 모든 영역에서 같은 설정 을 쓰는 것이 핵심 |
이 튜토리얼의 설정
개인 컴퓨터에서 몇 분 ~ 수십 분 안에 돌도록 줄인 값입니다. 각 실습 파일의 argparse 기본값 · Config 에서 바꿀 수 있습니다.
| 장 · 파일 | 주요 설정 |
|---|---|
06 · ch06_dynamics.py | 무작위 에피소드 50개, 100 에폭 |
07 · ch07_mpc.py | 계획 길이 25, 랜덤 슈팅 후보 1000, CEM 후보 400 · 정예 40 · 반복 5, 반복 학습 8회 |
07 · ch07_pets.py | 앙상블 5개(은닉 128), 후보 200, 입자 10, 계획 길이 25 |
08 · ch08_vae.py | $z$ 32차원, $\beta = 1$, 에피소드 200개, 10 에폭 |
09 · ch09_mdn_rnn.py | LSTM 256, 가우시안 5개, 6000 스텝 |
10 · ch10_world_models.py | 컨트롤러 $a = 2\tanh(W[z; h] + b)$ (289개 매개변수), CMA-ES 60세대 · 후보 32 · 롤아웃 4 · $\sigma_0 = 0.1$, 꿈 온도 0.1 · 1.0 · 1.5 |
11 · ch11_rssm_planet.py | $h$ 200, $z$ 30, 배치 50 × 50, 학습률 $6\times10^{-4}$, 기울기 자르기 100, 자유 내트 3, 보상 × 0.1, CEM 12 · 1000 · 10 · 100, 행동 반복 2, 시드 에피소드 5, 탐험 잡음 0.3 |
12 · ch12_dreamer.py | 11장 설정 + $H = 15$, $\gamma = 0.99$, $\lambda = 0.95$, 액터 · 크리틱 학습률 $8\times10^{-5}$, 엔트로피 $10^{-4}$, 느린 크리틱 100번마다, 액터 · 크리틱 MLP 300 × 3 |
13 · ch13_diffusion_toy.py | 잡음 단계 100, $\beta$ 0.0001 → 0.15, MLP 256 × 3, 8000 스텝 |
잘 안 될 때 효과가 큰 순서는 대략 ① 데이터 양(에피소드 · 학습 스텝 수), ② 학습률, ③ 모델 크기, ④ KL 관련 값(β · 자유 내트), ⑤ 상상 · 계획 길이입니다. 할인율 $\gamma$ 는 “몇 스텝 앞까지 보는가” 를 정하므로($\frac{1}{1-\gamma}$ 스텝 정도, 5장) 과제의 시간 규모에 맞춰야 합니다. 12장의 진자는 행동 반복 2 로 100번 결정하므로 $\gamma = 0.99$(약 100 스텝)이면 충분합니다.
5. 장별 핵심 수식 모음
튜토리얼에서 유도한 핵심 식을 장 순서로 모았습니다. 유도 과정은 각 장의 풀이 상자에 있습니다. 기호는 00장 의 표기 규칙을 따릅니다.
기초 체력 (02 – 05장)
| 식 | 뜻 | 장 |
|---|---|---|
| $p(y \mid x) = \dfrac{p(x \mid y)\,p(y)}{p(x)}$ | 베이즈 정리 | 02 |
| $p(x_1, \dots, x_T) = \prod_{t=1}^{T} p(x_t \mid x_1, \dots, x_{t-1})$ | 확률의 연쇄 법칙(곱셈 법칙을 되풀이한 것) | 02 |
| $\E[X] = \sum_y p(y)\,\E[X \mid y]$ | 전체 기댓값의 법칙 (경우를 나눠 평균 내기. 5장 벨만 방정식 유도에 쓴다) | 02 |
| $\Var[X] = \E[X^2] - (\E[X])^2$, $\ \Var[aX + b] = a^2\Var[X]$ | 분산의 성질 | 02 |
| $\log \Normal(x; \mu, \sigma^2) = -\tfrac12\log(2\pi) - \log\sigma - \dfrac{(x-\mu)^2}{2\sigma^2}$ | 가우시안 로그 밀도 | 02 |
| $\hat\mu = \tfrac{1}{N}\sum_i x_i$, $\ \hat\sigma^2 = \tfrac1N\sum_i (x_i - \hat\mu)^2$ | 가우시안 최대우도 추정 | 02 |
| $\argmin_\theta \text{NLL} = \argmin_\theta \text{MSE}$ ($\sigma$ 고정) | MSE 는 고정 분산 가우시안의 NLL | 02 |
| $\text{BCE} = -[y\log p + (1-y)\log(1-p)]$, $\ \text{CE} = -l_y + \log\sum_j e^{l_j}$ | 베르누이 · 범주형 NLL | 02 |
| $H(p) = -\sum_x p(x)\log p(x)$, $\ H(p, q) = -\sum_x p(x)\log q(x)$ | 엔트로피, 교차 엔트로피 | 03 |
| $\KL(p\,\|\,q) = H(p, q) - H(p) = \E_p\!\big[\log\tfrac{p}{q}\big] \ge 0$ | KL 발산과 그 성질 | 03 |
| $\KL\big(\Normal(\mu_1,\sigma_1^2)\,\|\,\Normal(\mu_2,\sigma_2^2)\big) = \log\tfrac{\sigma_2}{\sigma_1} + \dfrac{\sigma_1^2 + (\mu_1-\mu_2)^2}{2\sigma_2^2} - \tfrac12$ | 두 가우시안의 KL | 03 |
| $f(\E[X]) \ge \E[f(X)]$ ($f$ 오목) | 젠센 부등식 | 03 |
| $\dfrac{dy}{dx} = \dfrac{dy}{du}\cdot\dfrac{du}{dx}$ | 연쇄 법칙 (역전파의 바탕) | 04 |
| $\theta \leftarrow \theta - \eta\,\nabla_\theta L$, $\ 0 \lt \eta \lt 2/a$ | 경사 하강법과 수렴 조건(곡률 $a$) | 04 |
| $\sigma'(z) = \sigma(z)(1 - \sigma(z))$, $\ \tanh'(z) = 1 - \tanh^2 z$ | 활성 함수의 미분 | 04 |
| $G_t = \sum_{k \ge 0}\gamma^k r_{t+k} = r_t + \gamma G_{t+1}$, $\ \sum_{k\ge0}\gamma^k = \dfrac{1}{1-\gamma}$ | 할인된 리턴과 그 재귀식 | 05 |
| $V^\pi(s) = \sum_a \pi(a\mid s)\sum_{s'}p(s'\mid s,a)\big[r(s,a,s') + \gamma V^\pi(s')\big]$ | 벨만 기대 방정식 | 05 |
| $V^\ast(s) = \max_a \sum_{s'}p(s'\mid s,a)\big[r(s,a,s') + \gamma V^\ast(s')\big]$ | 벨만 최적 방정식 (가치 반복의 바탕) | 05 |
| $\nabla_\psi J = \E_{\tau}\big[R(\tau)\sum_t \nabla_\psi\log\pi_\psi(a_t\mid s_t)\big]$ | 정책 경사 정리 (로그 미분 트릭, REINFORCE) | 05 |
첫 World Model (06 – 07장)
| 식 | 뜻 | 장 |
|---|---|---|
| $I = \tfrac13 ml^2$, $\ \ddot\theta = \dfrac{3g}{2l}\sin\theta + \dfrac{3}{ml^2}u$ | 진자의 관성 모멘트와 운동 방정식 | 06 |
| $\dot\theta \leftarrow \dot\theta + \ddot\theta\,\Delta t$, $\ \theta \leftarrow \theta + \dot\theta\,\Delta t$ | (반암시적) 오일러 적분 | 06 |
| $\tilde x = (x - \mu)/\sigma$ | 표준화 | 06 |
| $e_k \le \varepsilon\,\dfrac{L^k - 1}{L - 1}$ | 열린 고리 롤아웃의 오차 누적 상한 | 06 |
| $a^\ast_{t:t+H-1} = \argmax \sum_{k=0}^{H-1} r(\hat o_{t+k}, a_{t+k})$, $\ \hat o_{t+k+1} = f_\theta(\hat o_{t+k}, a_{t+k})$ | MPC 의 계획 목표 | 07 |
| $\mu \leftarrow \tfrac{1}{K}\sum_{k \in \text{정예}} a^{(k)}$, $\ \sigma^2 \leftarrow \tfrac1K\sum_k (a^{(k)} - \mu)^2$ | CEM: 정예로 가우시안 다시 맞추기(최대우도) | 07 |
| $\mathcal{L}(\mu, s) = (y - \mu)^2 e^{-s} + s$, $\ s = \log\sigma^2$ | 분산까지 예측하는 가우시안 NLL (상수 · ½ 생략, PETS) | 07 |
| $\Var[y] = \tfrac1E\sum_e \sigma_e^2 + \tfrac1E\sum_e(\mu_e - \bar\mu)^2$ | 앙상블의 불확실성 = 우연적(분산의 평균) + 인식적(평균의 퍼짐) | 07 |
그림을 보는 World Model (08 – 10장)
| 식 | 뜻 | 장 |
|---|---|---|
| $p_\theta(x) = \int p_\theta(x\mid z)\,p(z)\,dz$ | 잠재 변수 모델의 주변 가능도 | 08 |
| $\log p_\theta(x) \ge \E_{q_\phi(z\mid x)}[\log p_\theta(x\mid z)] - \KL(q_\phi(z\mid x)\,\|\,p(z))$ | ELBO | 08 |
| $\log p_\theta(x) = \text{ELBO} + \KL(q_\phi(z\mid x)\,\|\,p_\theta(z\mid x))$ | ELBO 와 진짜 로그 가능도의 차이 | 08 |
| $z = \mu + \sigma\odot\epsilon$, $\ \epsilon\sim\Normal(0, I)$ | 재매개변수화 트릭 | 08 |
| $\KL(\Normal(\mu,\sigma^2)\,\|\,\Normal(0,1)) = \tfrac12(\mu^2 + \sigma^2 - 1 - \log\sigma^2)$ | VAE 의 KL 항(차원별로 더함) | 08 |
| $\dfrac{\partial L_T}{\partial h_k} = \dfrac{\partial L_T}{\partial h_T}\prod_{t=k+1}^{T}\diag(1 - h_t^2)\,W_h$ | RNN 의 먼 과거 기울기(소실 · 폭발의 원인) | 09 |
| $\log p(y\mid x) = \operatorname{logsumexp}_k\big(\log\pi_k + \log\Normal(y;\mu_k,\sigma_k^2)\big)$ | 혼합 밀도 네트워크의 로그 가능도 | 09 |
| $\log\sum_k e^{a_k} = m + \log\sum_k e^{a_k - m}$, $\ m = \max_k a_k$ | log-sum-exp 안정화 | 09 |
| $a_t = 2\tanh(W_c[z_t; h_t] + b_c)$ | 이 튜토리얼의 컨트롤러 (Ha 의 선형 컨트롤러 $W_c[z_t; h_t] + b_c$ 에 토크 범위를 맞추는 $2\tanh$ 를 씌운 것) | 10 |
| $\nabla_\theta\,\E_\epsilon[F(\theta + \sigma\epsilon)] = \tfrac{1}{\sigma}\E_\epsilon[F(\theta + \sigma\epsilon)\,\epsilon]$ | 진화 전략의 기울기 추정 (가우시안 평활화) | 10 |
| $C_\mu = \sum_{i=1}^{\mu} w_i\, y_{i:\lambda}\, y_{i:\lambda}^\top$ | CMA-ES: 잘된 스텝들로 공분산 다시 맞추기(가중 최대우도) | 10 |
상상 속 학습과 현대 모델 (11 – 13장)
| 식 | 뜻 | 장 |
|---|---|---|
| $h_t = f(h_{t-1}, z_{t-1}, a_{t-1})$, $\ z_t \sim p(z_t\mid h_t)$, $\ z_t \sim q(z_t\mid h_t, o_t)$ | RSSM 의 결정 · 사전 · 사후 경로 | 11 |
| $\sum_t \Big(\E_q[\log p(o_t\mid h_t,z_t)] + \E_q[\log p(r_t\mid h_t,z_t)] - \E_q\big[\KL(q(z_t\mid h_t,o_t)\,\|\,p(z_t\mid h_t))\big]\Big)$ | 순차 ELBO | 11 |
| $\max(\KL, c)$ | 자유 내트(free nats) | 11 |
| $V^\lambda_t = \hat r_t + \gamma\big[(1-\lambda)\,v(s_{t+1}) + \lambda\,V^\lambda_{t+1}\big]$ | λ-리턴의 재귀식 | 12 |
| $\tfrac12\big(v_\xi(s_t) - \sg(V^\lambda_t)\big)^2$ | 크리틱 손실 | 12 |
| $z = \operatorname{onehot} + p - \sg(p)$ (값 = 원-핫, $\partial\mathcal{L}/\partial p = \partial\mathcal{L}/\partial z$) | 직선 통과 추정기 | 12 |
| $\alpha\,\KL(\sg(q)\,\|\,p) + (1-\alpha)\,\KL(q\,\|\,\sg(p))$ | KL 균형 (DreamerV2, $\alpha = 0.8$) | 12 |
| $\operatorname{symlog}(x) = \operatorname{sign}(x)\log(\lvert x\rvert + 1)$, $\ \operatorname{symexp}(x) = \operatorname{sign}(x)(e^{\lvert x\rvert} - 1)$ | symlog 와 그 역함수 | 12 |
| $w_{k+1} = \dfrac{y - b_k}{b_{k+1} - b_k}$, $\ w_k = \dfrac{b_{k+1} - y}{b_{k+1} - b_k}$ | two-hot 가중치 | 12 |
| $z_t = \sum_{i=0}^{n-1}\gamma^i r_{t+i} + \gamma^n v(s_{t+n})$ | n-스텝 가치 목표 (MuZero). 여기서 $z_t$ 는 잠재 변수가 아니라 가치 목표 | 13 |
| $Q(s,a) + P(s,a)\,\dfrac{\sqrt{\sum_b N(s,b)}}{1 + N(s,a)}\big(c_1 + \log\tfrac{\sum_b N(s,b) + c_2 + 1}{c_2}\big)$ | MCTS 의 pUCT 점수 | 13 |
| $q^\ast \propto p\,\exp(J/\tau)$, $\ w_i = \dfrac{\exp(J_i/\tau)}{\sum_j\exp(J_j/\tau)}$ | MPPI 가중치 ($\tau$ 는 온도) | 13 |
| $\operatorname{softmax}\!\big(QK^\top/\sqrt{d}\big)V$, $\ \Var(q\cdot k) = d$ | 어텐션과 $\sqrt d$ 로 나누는 이유 | 13 |
| $x_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon$ | 확산의 정방향 닫힌 꼴 | 13 |
| $\tilde\mu_t = \dfrac{1}{\sqrt{\alpha_t}}\Big(x_t - \dfrac{\beta_t}{\sqrt{1-\bar\alpha_t}}\epsilon\Big)$, $\ \tilde\beta_t = \dfrac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\beta_t$ | 역방향 정답 분포의 평균 · 분산 | 13 |
| $\E\big\lVert\epsilon - \epsilon_\theta(\sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\epsilon,\ t)\big\rVert^2$ | 확산 모델의 학습 손실 | 13 |
| $\bar\theta \leftarrow \tau\bar\theta + (1-\tau)\theta$ | EMA 목표 인코더 (JEPA · TD-MPC). 여기서 $\tau$ 는 섞는 비율 | 13 |
6. 용어집
튜토리얼에 나온 용어를 가나다순으로 모았습니다. “설명한 장” 은 그 용어를 처음 정의하고 자세히 설명한 장입니다(이름만 먼저 나온 장은 따로 적지 않았습니다).
| 용어 | 영어 | 뜻 | 설명한 장 |
|---|---|---|---|
| 가능도 | likelihood | 매개변수를 고정했을 때 관측한 데이터가 나올 확률(밀도). 매개변수의 함수로 본다 | 02장 |
| 가우시안 분포 (정규 분포) | Gaussian / normal distribution | 평균 μ, 분산 σ² 의 종 모양 분포 N(μ, σ²) | 02장 |
| 가우시안 평활화 | Gaussian smoothing | F 대신 E[F(θ + σε)] 를 최적화해 기울기를 표본으로 추정하게 하는 기법 | 10장 |
| 가치 등가 | value equivalence | 계획에 쓰이는 값(보상 · 가치 · 정책)만 진짜와 같으면 된다는 World Model 설계 원리 (MuZero) | 13장 |
| 가치 반복 | value iteration | 벨만 최적 방정식을 되풀이 적용해 최적 가치를 구하는 방법 | 05장 |
| 가치 함수 | value function | 상태 s 에서 정책을 따를 때 받을 리턴의 기댓값 V(s) | 05장 |
| 강화학습 | reinforcement learning, RL | 보상을 최대로 하는 행동을 시행착오로 배우는 학습 | 05장 |
| 결합 확률 | joint probability | 여러 사건이 함께 일어날 확률 p(x, y) | 02장 |
| 경사 하강법 | gradient descent | 기울기의 반대 방향으로 매개변수를 조금씩 옮겨 손실을 줄이는 방법 | 04장 |
| 계획 | planning | 모델로 미래를 미리 따져 보고 행동을 고르는 것 | 05장 |
| 곡률 | curvature | 손실 곡면이 휘어진 정도. 클수록 학습률을 작게 잡아야 한다 | 04장 |
| 공통 난수 | common random numbers | 후보들을 같은 시드 · 같은 초기 상태로 평가해 비교의 잡음을 줄이는 기법 | 10장 |
| 과적합 | overfitting | 학습 데이터는 잘 맞히지만 새 데이터에서는 틀리는 상태 | 04장 · 06장 |
| 관성 모멘트 | moment of inertia | 회전시키기 어려운 정도. 끝을 축으로 도는 막대는 ml²/3 | 06장 |
| 관측 | observation | 에이전트가 실제로 보는 것 o_t (숫자 벡터 · 그림) | 01장 |
| 교차 엔트로피 | cross-entropy | p 의 데이터를 q 로 부호화할 때의 평균 정보량 H(p, q) = −Σ p log q | 03장 |
| 궤적 | trajectory | 상태 · 행동 · 보상을 시간 순으로 늘어놓은 것 τ | 05장 |
| 궤적 표본 전파 | trajectory sampling, TS | 입자마다 앙상블 멤버와 잡음을 뽑아 불확실성을 미래로 전파하는 PETS 의 방법 | 07장 |
| 기댓값 | expectation | 확률로 가중한 평균 E[f(x)] | 02장 |
| 기울기 소실 | vanishing gradient | 층 · 시간을 거슬러 갈수록 기울기가 0 에 가까워져 학습이 안 되는 현상 | 04장 |
| 기울기 자르기 | gradient clipping | 기울기 벡터의 길이가 c 를 넘으면 길이를 c 로 줄이는 안정화 기법 | 09장 |
| 기울기 차단 | stop-gradient, sg | 값은 그대로 쓰되 기울기는 흘리지 않는 연산 (.detach()) | 12장 |
| 기준선 | baseline | 정책 경사의 분산을 줄이려고 리턴에서 빼는 값. 빼도 기댓값은 그대로 | 05장 |
| 꿈 | dream | World Model 이 스스로 만든 상상 속 궤적. 그 안에서 정책을 학습하기도 한다 | 09장 |
| 노출 편향 | exposure bias | 학습 땐 진짜 입력, 생성 땐 자기 출력을 입력으로 받아 생기는 차이 | 09장 |
| 다루기 어렵다 | intractable | 정확히 계산하려면 비용이 너무 커서 사실상 계산할 수 없다 | 08장 |
| 다봉 분포 | multimodal distribution | 봉우리가 여러 개인 분포. 평균이 어느 봉우리와도 닮지 않을 수 있다 | 01장 |
| 다양체 가설 | manifold hypothesis | 고차원 데이터(그림)가 실제로는 저차원 곡면 근처에 모여 있다는 가정 | 08장 |
| 다층 퍼셉트론 | multilayer perceptron, MLP | 선형 층과 활성 함수를 번갈아 쌓은 가장 기본적인 신경망 | 04장 |
| 대각 가우시안 | diagonal Gaussian | 차원끼리 독립인 다변량 가우시안. 공분산 행렬이 대각 행렬 | 02장 |
| 독립 | independent | p(x, y) = p(x) p(y). 한 변수를 알아도 다른 변수에 대한 정보가 없다 | 02장 |
| 드리프트 | drift | 자기 출력으로 계속 생성하면서 오차가 쌓여 장면이 점점 어긋나는 현상 | 13장 |
| 라그랑주 승수 | Lagrange multiplier | 조건이 있는 최적화를 조건 없는 문제로 바꾸려고 더하는 변수 | 13장 |
| 로그 미분 트릭 | log-derivative trick | ∇p = p ∇log p 를 이용해 기댓값의 기울기를 표본으로 추정하는 방법 | 05장 |
| 로짓 | logit | softmax · sigmoid 에 넣기 전의 점수(정규화되지 않은 로그 확률) | 02장 |
| 리턴 | return | 앞으로 받을 (할인된) 보상의 합 G_t | 05장 |
| 리플레이 버퍼 | replay buffer | 에이전트가 모은 경험(관측 · 행동 · 보상)을 쌓아 두고 학습 때 무작위로 꺼내 쓰는 저장소. 기호 𝒟 | 11장 |
| 립시츠 상수 | Lipschitz constant | 입력 차이가 출력에서 최대 몇 배로 커지는지의 상한 L | 06장 |
| 마르코프 결정 과정 | Markov decision process, MDP | 상태 · 행동 · 전이 확률 · 보상 · 할인율로 정의한 의사결정 문제 | 05장 |
| 마르코프 성질 | Markov property | 다음 상태가 지금 상태 · 행동에만 달려 있고 그 이전 과거와는 무관하다는 성질 | 05장 |
| 매개변수 | parameter | 학습으로 고치는 신경망의 숫자들(가중치 · 편향) | 04장 |
| 모델 기반 강화학습 | model-based RL | 환경의 모델(World Model)을 배워 계획 · 상상에 쓰는 강화학습 | 01장 |
| 모델 없는 강화학습 | model-free RL | 모델 없이 경험에서 바로 정책 · 가치를 배우는 강화학습 | 01장 |
| 모델 예측 제어 | model predictive control, MPC | 매 스텝 모델로 앞을 계획하고 첫 행동만 실행한 뒤 다시 계획하는 방법 | 07장 |
| 모델 착취 | model exploitation | 정책이 World Model 의 틀린 곳을 이용해 상상 속에서만 높은 점수를 내는 현상 | 01장 |
| 목표 신경망 | target network | 학습 목표값을 계산할 때 쓰는, 천천히 따라오는 신경망 사본(주기적 복사 또는 EMA). 목표가 매 스텝 흔들리지 않게 한다. Dreamer 의 느린 크리틱, TD-MPC · JEPA 의 목표 인코더 | 05장 · 12장 |
| 몬테카를로 추정 | Monte Carlo estimation | 표본을 뽑아 평균 내어 기댓값을 근사하는 방법 | 02장 |
| 미니배치 | minibatch | 전체 데이터 대신 매 스텝 무작위로 뽑아 쓰는 작은 묶음. 그 기울기는 전체 기울기의 불편 추정 | 04장 |
| 미분 | derivative | 입력을 아주 조금 바꿀 때 출력이 바뀌는 비율 | 04장 |
| 미분 방정식 | differential equation | 변화율(미분)과 값 사이의 관계식. 진자의 운동 방정식 | 06장 |
| 믿음 상태 | belief state | 부분 관측에서 지금 상태에 대한 확률 분포 b_t(s) | 05장 |
| 밴딧 | bandit | 상태 없이 행동만 고르는 가장 단순한 강화학습 문제 | 05장 |
| 베르누이 분포 | Bernoulli distribution | 0 또는 1 을 내는 분포. 1 이 나올 확률 p | 02장 |
| 베이즈 정리 | Bayes' theorem | p(y | x) = p(x | y) p(y) / p(x). 원인과 결과의 조건부 확률을 뒤집는다 | 02장 |
| 벨만 방정식 | Bellman equation | 가치 = 지금 보상 + 할인된 다음 상태의 가치, 라는 재귀식 | 05장 |
| 벨만 최적 방정식 | Bellman optimality equation | 최적 가치 = 가장 좋은 행동의 (보상 + 할인된 다음 가치) | 05장 |
| 변분 추론 | variational inference | 계산할 수 없는 사후 분포를 다루기 쉬운 분포 q 로 근사하는 방법 | 08장 |
| 보상 | reward | 행동 하나에 대해 환경이 주는 점수 r_t | 01장 |
| 보상 모델 | reward model | 상태 · 행동으로 보상을 예측하는 모델 | 01장 |
| 보편 근사 정리 | universal approximation theorem | 충분히 넓은 신경망은 연속 함수를 원하는 만큼 가깝게 흉내 낼 수 있다는 정리 | 04장 |
| 볼록 | convex | 두 점을 잇는 선분이 그래프 위에 있는 함수 모양 (예: x²) | 03장 |
| 부분 관측 | partial observability | 관측 하나로는 상태를 다 알 수 없는 상황. 그림 한 장으로는 각속도를 모른다 | 01장 |
| 부트스트랩 | bootstrap | ① 통계: 데이터에서 복원 추출로 모델마다 조금씩 다른 학습 데이터를 만드는 방법(7장) ② 강화학습: 자기 자신의 가치 추정으로 학습 목표를 만드는 것(TD 목표, 12장) | 07장 · 12장 |
| 분리 표현 | disentanglement | 잠재 변수의 각 성분이 하나의 의미 있는 요인에 대응하는 표현 | 08장 |
| 분산 | variance | 평균에서 얼마나 퍼져 있는지 Var[X] = E[(X − E[X])²] | 02장 |
| 분할 상환 추론 | amortized inference | 데이터마다 최적화하는 대신 신경망 하나(인코더)가 바로 q(z | x) 를 내놓는 방식 | 08장 |
| 블랙박스 최적화 | black-box optimization | 함수의 기울기 없이 값만 보고 최적점을 찾는 최적화 | 10장 |
| 사람 기준 정규화 점수 | human-normalized score, HNS | (에이전트 − 무작위)/(사람 − 무작위). Atari 성적 비교에 쓴다 | 13장 |
| 사전 확률 | prior | 데이터를 보기 전의 믿음 p(z) | 02장 |
| 사후 붕괴 | posterior collapse | VAE 의 q(z | x) 가 사전 분포와 같아져 잠재 변수가 아무 정보도 담지 않는 현상 | 08장 |
| 사후 확률 (사후 분포) | posterior | 데이터를 본 뒤의 믿음 p(z | x) | 02장 |
| 상태 | state | 환경의 진짜 상황 s_t. 진자에서는 (θ, θ̇) | 01장 |
| 상태 공간 모델 | state-space model, SSM | 보이지 않는 상태가 시간에 따라 변하고, 관측은 상태에서 나온다고 보는 모델 | 11장 |
| 상호정보량 | mutual information | 한 변수를 알면 다른 변수의 불확실성이 얼마나 줄어드는지 I(X; Y) | 03장 |
| 선형 층 | linear layer | y = Wx + b. 완전 연결 층 | 04장 |
| 소프트맥스 | softmax | 점수들을 지수로 바꿔 합이 1 인 확률로 만드는 함수 | 02장 |
| 손실 함수 | loss function | 예측이 얼마나 틀렸는지 재는 값. 학습은 이것을 줄인다 | 04장 |
| 순환 신경망 | recurrent neural network, RNN | 은닉 상태를 들고 다니며 시퀀스를 한 스텝씩 처리하는 신경망 | 09장 |
| 스트라이드 | stride | 합성곱 커널을 한 번에 몇 칸씩 옮기는지. 2 이면 출력 크기가 약 절반이 된다 | 04장 |
| 신경망 | neural network | 매개변수가 있는 단순한 함수(층)를 여러 겹 합성해 만든 함수 | 04장 |
| 앙상블 | ensemble | 같은 구조의 모델 여러 개를 따로 학습시켜 함께 쓰는 것. 의견 차이로 불확실성을 잰다 | 07장 |
| 액터 | actor | 행동을 고르는 정책 신경망 π_ψ | 05장 |
| 어텐션 | attention | 질의와 열쇠의 유사도(softmax 가중치)로 값들을 섞는 연산. Transformer 의 핵심 | 13장 |
| 에너지 | energy | 두 입력이 얼마나 안 맞는지 재는 값. JEPA 에서는 표현 사이의 거리 | 13장 |
| 에이전트 | agent | 관측을 보고 행동을 고르는 주체 | 01장 |
| 에폭 | epoch | 학습 데이터 전체를 한 번 다 보는 단위 | 06장 |
| 에피소드 | episode | 시작부터 끝까지 한 번의 시도. 진자는 200 스텝 | 01장 |
| 엔트로피 | entropy | 분포의 평균 정보량(불확실성) H(p) = −Σ p log p | 03장 |
| 역전파 | backpropagation | 연쇄 법칙으로 출력의 손실에서 모든 매개변수의 기울기를 거꾸로 계산하는 방법 | 04장 |
| 열린 고리 롤아웃 | open-loop rollout | 처음 상태만 주고 이후는 모델 자신의 예측을 이어 붙여 굴리는 것 | 06장 |
| 오목 | concave | 볼록의 반대 모양의 함수 (예: log x) | 03장 |
| 오차 누적 | compounding error | 여러 스텝 예측할 때 한 스텝의 작은 오차가 쌓여 커지는 현상 | 01장 |
| 오토인코더 | autoencoder, AE | 입력을 작은 코드로 압축했다가 다시 복원하도록 학습하는 신경망 | 08장 |
| 온도 | temperature | 분포를 얼마나 평평하게(무작위하게) 만들지 정하는 값 τ | 09장 |
| 우연적 불확실성 | aleatoric uncertainty | 세상 자체의 무작위성. 데이터가 많아도 줄지 않는다 (분산의 평균) | 07장 |
| 은닉 상태 | hidden state | RNN 이 들고 다니는 기억 h_t | 09장 |
| 음의 로그 가능도 | negative log-likelihood, NLL | −log p(데이터). 최대우도 추정 = NLL 최소화 | 02장 |
| 이점 | advantage | A(s, a) = Q(s, a) − V(s). 이 행동이 평균보다 얼마나 나은지 | 05장 |
| 인과 마스크 | causal mask | Transformer 가 미래 토큰을 보지 못하게 점수를 −∞ 로 가리는 것 | 13장 |
| 인식적 불확실성 | epistemic uncertainty | 데이터가 부족해서 생기는 모름. 데이터가 늘면 준다 (앙상블 평균의 퍼짐) | 07장 |
| 일반화 | generalization | 학습에 쓰지 않은 새 데이터에서도 잘 맞히는 성질 | 04장 |
| 자기회귀 | autoregressive | 앞의 것들을 보고 다음 하나를 예측하는 것을 되풀이해 열을 만드는 방식 | 13장 |
| 자동 미분 | automatic differentiation, autograd | 계산 과정을 기록해 두었다가 연쇄 법칙으로 기울기를 자동으로 구하는 기능 | 04장 |
| 자유 내트 | free nats | KL 이 정한 값보다 작으면 KL 항으로는 학습하지 않게 하는 기법 max(KL, c) | 11장 |
| 잠재 과대 예측 | latent overshooting | 여러 스텝 앞의 사전 분포까지 사후 분포에 맞추도록 하는 PlaNet 의 보조 목표 | 11장 |
| 잠재 변수 | latent variable | 직접 보이지 않는, 데이터를 설명하는 숨은 변수 z | 01장 |
| 잠재 행동 모델 | latent action model, LAM | 행동 라벨 없는 영상에서 프레임 변화를 설명하는 이산 행동을 배우는 모델 (Genie) | 13장 |
| 재매개변수화 트릭 | reparameterization trick | z = μ + σ·ε 로 써서 표본을 뽑는 단계를 지나 기울기를 흘리는 방법 | 08장 |
| 전이 모델 | transition model, dynamics model | 지금 상태와 행동으로 다음 상태를 예측하는 모델 | 01장 |
| 전체 기댓값의 법칙 | law of total expectation | 경우를 나눠 각 경우의 기댓값을 그 확률로 가중해 더하면 전체 기댓값이 된다. E[X] = Σ_y p(y) E[X | y] | 02장 |
| 전치 합성곱 | transposed convolution | 그림 크기를 키우는 합성곱. VAE 디코더에 쓴다 | 04장 · 08장 |
| 정보 병목 | information bottleneck | 전달할 수 있는 정보를 일부러 좁혀 꼭 필요한 정보만 남기게 하는 설계 | 13장 |
| 정보량 | information content, surprisal | 드문 사건일수록 큰 놀람 −log p(x) | 03장 |
| 정신 모형 | mental model | 사람이 머릿속에 가진 세상의 축소판 모형 | 01장 |
| 정예 | elite | CEM 에서 점수가 가장 좋은 상위 후보들 | 07장 |
| 정책 | policy | 상태(관측)를 보고 행동을 고르는 규칙 π(a | s) | 01장 |
| 젠센 부등식 | Jensen's inequality | 오목 함수 f 에 대해 f(E[X]) ≥ E[f(X)]. ELBO 유도의 핵심 | 03장 |
| 조건부 기댓값 | conditional expectation | 어떤 조건이 주어졌을 때의 기댓값 E[X | Y = y]. MSE 를 최소로 하는 예측이 이것이다 | 02장 |
| 조건부 확률 | conditional probability | y 를 알 때 x 의 확률 p(x | y) = p(x, y)/p(y) | 02장 |
| 주변 확률 | marginal probability | 결합 확률에서 다른 변수를 모두 더해(적분해) 없앤 한 변수만의 확률 | 02장 |
| 주변화 | marginalization | 관심 없는 변수를 합(적분)해서 없애는 것 p(x) = Σ_y p(x, y) | 02장 |
| 증거 | evidence | 베이즈 정리의 분모 p(x). 모든 원인에 대해 더한 관측의 확률 | 02장 |
| 지도 학습 | supervised learning | 입력과 정답 쌍으로 입력 → 정답 함수를 배우는 학습 | 04장 |
| 직선 통과 추정기 | straight-through estimator | 앞으로는 이산 값을, 뒤로는 기울기를 그대로 통과시키는 트릭 | 12장 |
| 진화 경로 | evolution path | CMA-ES 가 지난 평균 이동들을 누적해 스텝 크기 · 공분산을 조절하는 데 쓰는 벡터 | 10장 |
| 진화 전략 | evolution strategies, ES | 매개변수에 잡음을 더한 후보들의 점수로 다음 분포를 정하는 블랙박스 최적화 | 10장 |
| 최대우도 추정 | maximum likelihood estimation, MLE | 데이터의 가능도를 가장 크게 만드는 매개변수를 고르는 방법 | 02장 |
| 커널 (필터) | kernel, filter | 합성곱에서 그림 위를 미끄러지며 곱해지는 작은 가중치 묶음 | 04장 |
| 코드북 | codebook | VQ-VAE 가 고를 수 있는 벡터들의 목록 {e_1, …, e_K} | 13장 |
| 크리틱 | critic | 상태의 가치를 추정하는 신경망 v_ξ | 05장 |
| 큰 수의 법칙 | law of large numbers | 표본이 많을수록 표본 평균이 기댓값에 가까워진다 | 02장 |
| 텐서 | tensor | 숫자를 여러 축으로 늘어놓은 배열. PyTorch 의 기본 자료형 | 04장 |
| 토크 | torque | 축을 중심으로 돌리는 힘. 진자의 행동 u | 06장 |
| 토큰 | token | 모델이 다루는 이산 기호 하나(정수). 그림도 VQ 로 토큰열이 된다 | 13장 |
| 패딩 | padding | 합성곱 전에 그림 가장자리에 덧대는 값(보통 0). 출력 크기를 조절한다 | 04장 |
| 편미분 | partial derivative | 다른 변수는 고정하고 한 변수에 대해서만 미분한 것 | 04장 |
| 표준화 | standardization | (x − 평균)/표준편차 로 평균 0, 표준편차 1 로 맞추는 전처리 | 04장 · 06장 |
| 표현 붕괴 | representation collapse | 모든 입력이 같은 표현으로 뭉개져 손실만 작아지는 실패 | 13장 |
| 필터링 | filtering | 지금까지의 관측으로 지금 상태의 분포를 추정하는 것 | 11장 |
| 할인율 | discount factor | 미래 보상을 얼마나 깎아 셀지 정하는 값 γ (0 – 1) | 05장 |
| 합성 함수 | composite function | 함수 안에 함수가 들어간 것 f(g(x)). 연쇄 법칙의 대상 | 04장 |
| 합성곱 신경망 | convolutional neural network, CNN | 작은 필터를 그림 위로 밀며 지역 특징을 뽑는 신경망 | 04장 |
| 행동 | action | 에이전트가 환경에 하는 일 a_t. 진자에서는 토크 u | 01장 |
| 행동 반복 | action repeat | 같은 행동을 k 스텝 되풀이해 결정 횟수를 줄이는 기법 | 11장 |
| 혼합 밀도 네트워크 | mixture density network, MDN | 출력으로 가우시안 혼합 분포의 가중치 · 평균 · 표준편차를 내는 신경망 | 09장 |
| 확률밀도함수 | probability density function, PDF | 연속 변수의 확률 밀도. 구간에서 적분하면 확률 | 02장 |
| 확률변수 | random variable | 실험 결과에 따라 값이 정해지는 변수 | 02장 |
| 확률적 경사 하강법 | stochastic gradient descent, SGD | 미니배치로 추정한 기울기로 매개변수를 고치는 경사 하강법 | 04장 |
| 확률질량함수 | probability mass function, PMF | 이산 변수가 각 값을 가질 확률 | 02장 |
| 확산 모델 | diffusion model | 데이터에 잡음을 섞는 과정을 거꾸로 배워 잡음에서 데이터를 만드는 생성 모델 | 13장 |
| 환경 | environment | 에이전트가 상호작용하는 세상. 행동을 받아 다음 관측 · 보상을 준다 | 01장 |
| 활성 함수 | activation function | 층 사이에 넣는 비선형 함수 (ReLU, tanh, SiLU …) | 04장 |
| 후퇴 지평 | receding horizon | 매 스텝 H 스텝 앞을 계획하고 첫 행동만 실행한 뒤 창을 한 칸 밀어 다시 계획하는 방식 | 07장 |
| 1차 테일러 근사 | first-order Taylor approximation | f(x + Δ) ≈ f(x) + f'(x)Δ. 경사 하강법이 손실을 줄이는 이유 | 04장 |
| KL 균형 | KL balancing | KL 의 기울기를 사전 쪽(α)과 사후 쪽(1−α)에 나눠 주는 DreamerV2 기법 | 12장 |
| KL 발산 | Kullback–Leibler divergence | 두 분포가 얼마나 다른지 KL(p‖q) = Σ p log(p/q) ≥ 0 | 03장 |
| n-스텝 리턴 | n-step return | 실제 보상 n 개 + γⁿ × (n 스텝 뒤의 가치 추정) | 12장 |
| β-VAE | beta-VAE | KL 항에 β 를 곱해 재구성과 압축의 균형을 조절하는 VAE | 08장 |
| λ-리턴 | λ-return | 여러 n-스텝 리턴을 (1−λ)λ^(n−1) 가중치로 섞은 가치 목표 | 12장 |
영문 약어 · 이름
| 약어 · 영문 용어 | 뜻 | 설명한 장 |
|---|---|---|
| Adam | 적응적 학습률 옵티마이저. 기울기의 이동 평균과 크기로 스텝을 조절한다 | 04장 |
| BPTT | backpropagation through time. 시간으로 펼친 RNN 에 대한 역전파 | 09장 |
| CEM | cross-entropy method. 후보를 뽑고 상위(정예)로 가우시안을 다시 맞추기를 되풀이하는 최적화 | 07장 |
| CMA-ES | covariance matrix adaptation evolution strategy. 공분산까지 적응하는 진화 전략 | 10장 |
| DDPM | denoising diffusion probabilistic model. 잡음 예측으로 학습하는 확산 모델 (Ho et al., 2020) | 13장 |
| Dyna | 실제 경험으로 모델을 배우고, 모델이 만든 가상 경험으로도 가치 · 정책을 학습하는 구조 (Sutton, 1990 – 1991) | 01장 |
| ELBO | evidence lower bound. log p(x) 의 아래 경계 = 재구성 − KL | 08장 |
| EMA | exponential moving average. θ̄ ← τθ̄ + (1−τ)θ 로 천천히 따라오는 평균 | 04장 · 13장 |
| GRU | gated recurrent unit. 게이트 두 개(갱신 · 리셋)로 기억을 조절하는 RNN | 09장 |
| JEPA | joint-embedding predictive architecture. 픽셀 대신 표현 공간에서 예측하는 구조 | 13장 |
| log-sum-exp | log Σ exp(a_k) 를 최댓값을 빼고 안정적으로 계산하는 방법 | 02장 |
| LSTM | long short-term memory. 셀 상태와 게이트 세 개로 긴 기억을 유지하는 RNN | 09장 |
| MCTS | Monte Carlo tree search. 유망한 가지를 한 스텝씩 파 내려가는 탐색 (MuZero) | 13장 |
| MDP | Markov decision process. 상태 · 행동 · 전이 확률 · 보상 · 할인율로 정의한 의사결정 문제 | 05장 |
| MPPI | model predictive path integral. 후보를 exp(J/τ) 가중치로 평균 내는 계획 방법 | 13장 |
| MSE | mean squared error. 오차 제곱의 평균 | 04장 |
| PETS | probabilistic ensembles with trajectory sampling. 확률적 앙상블 + 궤적 표본 전파 + CEM-MPC | 07장 |
| PlaNet | deep planning network. RSSM 잠재 공간에서 CEM 으로 계획하는 에이전트 | 11장 |
| POMDP | partially observable MDP. 관측만으로는 상태를 다 알 수 없는 MDP | 05장 |
| pUCT | MCTS 에서 이용(Q)과 탐험(사전 확률 · 방문 수)을 섞는 점수 | 13장 |
| REINFORCE | ∇J = E[∇ log π(a|s) · G] 로 정책을 직접 미분하는 정책 경사 방법 | 05장 |
| RSSM | recurrent state-space model. 결정적 경로 h_t 와 확률적 경로 z_t 를 함께 쓰는 잠재 동역학 | 11장 |
| SiLU (Swish) | x · sigmoid(x). 부드러운 ReLU 꼴 활성 함수 | 06장 |
| SimNorm | 잠재 벡터를 묶음별 softmax 로 정규화하는 TD-MPC2 의 기법 | 13장 |
| softplus | log(1 + eˣ). 늘 양수인 부드러운 ReLU. 표준편차를 만들 때 쓴다 | 07장 |
| symlog | sign(x) log(|x| + 1). 크기가 제각각인 값을 눌러 담는 변환 (DreamerV3) | 12장 |
| TD 오차 | temporal difference error. δ = r + γV(s') − V(s). 기댓값이 이점이 된다 | 05장 |
| two-hot | 실수 하나를 이웃한 두 구간(bin)에 가중치를 나눠 담는 범주형 부호화 (DreamerV3) | 12장 |
| unimix | 범주형 분포에 균등 분포를 조금(DreamerV3 는 1%) 섞어 확률이 정확히 0 이 되지 않게 하는 기법 | 12장 |
| VAE | variational autoencoder. 잠재 변수 모델 + 인코더(변분 추론)를 ELBO 로 함께 학습 | 08장 |
| VQ-VAE | vector-quantized VAE. 잠재를 코드북의 가장 가까운 벡터로 바꿔 토큰을 만든다 | 13장 |
7. 논문 지도: 무엇을 어떤 순서로 읽을까
논문은 처음부터 끝까지 읽기보다 ① 초록 · 그림 1, ② 방법 절의 핵심 식, ③ 실험의 주요 표 순서로 읽고, 이해가 안 되는 식은 이 튜토리얼의 해당 장으로 돌아와 보세요. 아래 순서는 이 튜토리얼의 흐름을 따라갑니다.
| 순서 | 논문 | 왜 읽나 | 관련 장 |
|---|---|---|---|
| 0 | Sutton & Barto, Reinforcement Learning: An Introduction (2판) 3 – 4장, 8장 | MDP · 벨만 방정식, 그리고 Dyna(모델 기반 강화학습의 고전) | 05 |
| 1 | Kingma & Welling, “Auto-Encoding Variational Bayes”, 1312.6114 | VAE 와 재매개변수화 트릭의 원전 | 08 |
| 2 | Graves, “Generating Sequences With Recurrent Neural Networks”, 1308.0850 | MDN-RNN 으로 시퀀스를 생성하는 방법 | 09 |
| 3 | Ha & Schmidhuber, “World Models”, 1803.10122 (+ 상호작용 글) | V · M · C 구조와 꿈속 학습. 읽기 쉽고 그림이 좋다 | 10 |
| 4 | Chua et al., “PETS”, 1805.12114 | 확률적 앙상블과 불확실성을 고려한 MPC | 07 |
| 5 | Janner et al., “MBPO: When to Trust Your Model”, 1906.08253 | 짧은 모델 롤아웃으로 모델 없는 학습을 돕는 방법, 오차 누적의 분석 | 06 · 07 |
| 6 | Salimans et al., “Evolution Strategies”, 1703.03864 · Hansen, “CMA-ES Tutorial”, 1604.00772 | 기울기 없이 정책을 찾는 진화 전략 | 10 |
| 7 | Hafner et al., “PlaNet”, 1811.04551 | RSSM 과 잠재 공간 계획 | 11 |
| 8 | Hafner et al., “Dreamer”, 1912.01603 | 상상 속 액터-크리틱과 λ-리턴 | 12 |
| 9 | Hafner et al., “DreamerV2”, 2010.02193 · “DreamerV3”, 2301.04104 | 범주형 잠재 · KL 균형, 그리고 하나의 설정으로 여러 영역 | 12 |
| 10 | Schrittwieser et al., “MuZero”, 1911.08265 | 가치 등가 모델과 MCTS | 13 |
| 11 | Hansen et al., “TD-MPC2”, 2310.16828 | 디코더 없는 잠재 계획의 현재 형태 | 13 |
| 12 | Micheli et al., “IRIS”, 2209.00588 | 토큰 + Transformer World Model | 13 |
| 13 | Ho et al., “DDPM”, 2006.11239 → Alonso et al., “DIAMOND”, 2405.12399 | 확산 모델과 확산 World Model | 13 |
| 14 | LeCun, “A Path Towards Autonomous Machine Intelligence” → “V-JEPA 2”, 2506.09985 | 표현 공간 예측이라는 다른 길 | 13 |
| 15 | Bruce et al., “Genie”, 2402.15391 → Hafner et al., “Dreamer 4”, 2509.24527 | 대규모 비디오 World Model 과 그 안에서의 에이전트 학습 | 13 |
| + | Moerland et al., “Model-based RL: A Survey”, 2006.16712 | 모델 기반 강화학습 전체를 정리한 개관 논문. 지도를 다시 그리고 싶을 때 | 01 |
8. 공개 구현 · 도구
이 튜토리얼의 작은 구현으로 원리를 익힌 뒤, 큰 과제에 도전할 때는 검증된 공개 구현에서 출발하는 것이 좋습니다.
| 구현 | 내용 |
|---|---|
| danijar/dreamerv3 | DreamerV3 공식 구현(JAX). dreamerv2 · dreamer 저장소도 있다 |
| NM512/dreamerv3-torch | DreamerV3 의 PyTorch 재구현(커뮤니티). 이 튜토리얼처럼 PyTorch 로 읽고 싶을 때 |
| google-research/planet | PlaNet 공식 구현(TensorFlow) |
| hardmaru/WorldModelsExperiments | Ha & Schmidhuber World Models 실험 코드 |
| facebookresearch/mbrl-lib | PETS · MBPO 등 모델 기반 강화학습 라이브러리(PyTorch) |
| nicklashansen/tdmpc2 | TD-MPC2 공식 구현과 학습된 체크포인트 |
| werner-duvaud/muzero-general | MuZero 의 읽기 쉬운 PyTorch 재구현(커뮤니티) |
| eloialonso/iris · eloialonso/diamond | IRIS(Transformer) · DIAMOND(확산) World Model 공식 구현 |
| facebookresearch/vjepa2 | V-JEPA 2 코드와 사전 학습 모델 |
| nvidia-cosmos | NVIDIA Cosmos World Foundation Model 저장소들 |
| Gymnasium · DeepMind Control Suite · MuJoCo | 실험 환경. 이 튜토리얼의 진자는 Gymnasium Pendulum-v1 과 같은 물리이고, PlaNet · Dreamer 는 DeepMind Control Suite 로 평가했다 |
wm_envs.py 의 환경은 obs, reward, done = env.step(action) 세 값을 돌려주지만, Gymnasium 은
obs, reward, terminated, truncated, info = env.step(action) 다섯 값을 돌려줍니다. done = terminated or truncated 로 바꾸고,
reset() 이 (obs, info) 를 돌려주는 점만 맞추면 대부분의 실습 코드를 그대로 쓸 수 있습니다. 그림 관측은 환경을 render_mode="rgb_array" 로 만들고 env.render() 가 돌려주는 RGB 그림을 흑백(1채널)으로 바꾼 뒤 64×64 로 줄이세요(본문 모델은 1채널 입력입니다).
9. 자주 묻는 질문
10장까지와 13장은 네. CPU 로도 돌아가도록 작게 만들었고, 각 장에 이 튜토리얼을 쓴 환경에서 실제로 걸린 시간을 적어 두었습니다(06 · 07 · 13장은 CPU 로 1 – 20분 정도). 11 · 12장(그림을 보는 PlaNet · Dreamer)의 본문 설정은 CPU 로 하루 이상 걸려 사실상 어려우므로(0장),
먼저 --quick 으로 코드가 도는 것을 확인하고, 본 학습은 GPU(무료 클라우드 노트북도 됩니다)에서 돌리거나 학습 횟수를 줄여 경향만 보세요.
물리 엔진은 사람이 규칙(방정식)을 직접 적어 넣은 것이고, World Model 은 그 규칙을 데이터에서 배운 것입니다. 6장에서 진자의 방정식을 아는데도 굳이 신경망으로 배운 까닭은, 실제 세상(로봇 · 게임 · 운전)에서는 대부분 방정식을 모르거나 너무 복잡하기 때문입니다. 대신 배운 모델은 틀릴 수 있으므로 불확실성(07장)과 모델 착취(10장)를 늘 의식해야 합니다.
아닙니다. 환경과 상호작용하는 비용이 클 때(실제 로봇, 느린 시뮬레이터) 표본 효율이 큰 장점이 되지만, 모델을 배우는 계산 비용과 모델 오차라는 대가가 있습니다. 시뮬레이터가 아주 빠르고 값싸다면 모델 없는 방법이 더 단순하고 최종 성능이 좋을 때도 많습니다. 다만 DreamerV3 처럼 두 장점을 함께 노리는 방법이 점점 늘고 있습니다.
세상이 같으면 “모델이 바뀐 효과” 만 비교할 수 있기 때문입니다. 진자는 물리가 세 줄로 적히고(정답을 알고 비교할 수 있음), 그림으로 보면 속도를 알 수 없는 부분 관측 문제가 되며, 그네처럼 에너지를 모아야 해서 단순한 탐욕적 정책으로는 풀리지 않습니다. 작지만 World Model 의 핵심 난점이 모두 들어 있습니다.
인코더 · 디코더의 합성곱 층 수와 입력 채널(흑백 1 → 컬러 3)을 바꾸고, 8장 · 11장의 출력 크기 계산 풀이를 따라 층마다 크기가 맞는지 다시 계산하세요. 픽셀 수가 늘면 재구성 손실의 크기가 커지므로 KL 과의 균형(β, 자유 내트)도 다시 맞춰야 합니다.
먼저 학습 스텝 수를 비교하세요. 논문은 수십만 ~ 수백만 스텝을 쓰지만 이 튜토리얼은 그보다 훨씬 적습니다. 그다음 2절의 표에서 “상상 리턴과 실제 리턴의 차이”, “열린 고리 상상 그림”, “KL 크기” 를 점검하세요. 재현이 목적이면 공개 구현(8절)과 같은 설정으로 비교하는 것이 가장 빠릅니다.
LLM 이 세상에 대한 지식을 많이 담고 있는 것은 분명하지만, 이 튜토리얼의 좁은 정의 — “행동이 주어지면 다음 상태를 예측하고, 그것으로 계획 · 학습한다” — 에 딱 맞지는 않습니다. 다만 LLM 을 에이전트의 계획기로 쓰거나(“이 행동을 하면 어떻게 될까?” 를 글로 상상), 13장의 Genie 3 · 4 같은 비디오 World Model 이 글로 세계를 만들고 바꾸는 것처럼, 언어와 World Model 을 함께 쓰는 연구가 활발합니다. 어디까지를 World Model 로 부를지는 아직 연구자들 사이에서도 합의되지 않은 질문입니다.
막힌 식의 풀이 상자에서 “↳” 설명이 가리키는 장(대개 2 · 3장)으로 돌아가세요. 그리고 식에 작은 숫자를 직접 넣어 계산해 보세요. 이 튜토리얼의 모든 핵심 식에는 숫자 예와 그 숫자를 확인하는 코드가 있습니다. 숫자로 맞는 것을 확인하고 나면 기호가 훨씬 덜 무섭습니다.
10. 다음 걸음: 직접 해 볼 프로젝트
튜토리얼의 코드를 출발점으로 삼아, 난이도 순으로 해 볼 만한 프로젝트를 모았습니다.
| 난이도 | 프로젝트 | 무엇을 배우나 |
|---|---|---|
| ★☆☆ | 진자의 보상을 바꿔 “거꾸로 매달린 채 빨리 돌기” 를 목표로 7장 MPC 를 돌려 보기 | World Model 은 그대로 두고 보상만 바꿔 새 과제를 푸는 모델 기반 방법의 장점 |
| ★☆☆ | 6장의 동역학 모델을 “변화량” 대신 “다음 관측” 을 직접 예측하도록 바꿔(요령 2 를 끄고) 1스텝 오차 · 오차 누적 비교 | 출력 설계가 여러 스텝 예측에 주는 영향 |
| ★★☆ | Gymnasium 의 MountainCarContinuous-v0 로 6 · 7장 실습 옮기기(7장은 알고 있는 보상 함수를 쓰므로 새 환경의 보상 함수를 직접 적어야 합니다. CartPole 같은 이산 행동 환경은 가우시안 대신 범주형 CEM 이 필요합니다) | 환경 인터페이스, 보상이 드문 과제에서의 탐험 문제 |
| ★★☆ | 12장 Dreamer 에 DreamerV3 의 symlog · two-hot · 자유 비트(free bits) · 리턴 정규화를 하나씩 넣고 효과 비교 | 각 기법의 역할을 실험으로 확인하기(절제 실험) |
| ★★☆ | 7장 앙상블의 불일치를 12장 상상 보상에 벌점으로 넣어 모델 착취 줄이기 | 불확실성을 고려한 상상 학습 |
| ★★★ | 13장 확산 실습을 “64×64 진자 그림의 다음 프레임 예측” 으로 키우기 | 조건부 확산 World Model, 드리프트와 잡음 증강 |
| ★★★ | 11장 RSSM 에서 디코더를 떼고 TD-MPC 식 잠재 일관성 + TD 손실로 바꾸기 | 재구성 없는 World Model 과 표현 붕괴 |
| ★★★ | 진자 영상(행동 기록 없이)으로 Genie 식 잠재 행동 모델을 학습해, 코드가 토크 방향과 대응하는지 확인 | 행동 라벨 없는 World Model 학습, 정보 병목 |
확인 문제
기울기 $g = (3, 4)$ 를 최대 길이 $c = 1$ 로 자르면 무엇이 되나요? $c = 10$ 이면요?
답 보기
$\lVert g\rVert = 5$. $c = 1$ 이면 $g' = (3, 4)/5 = (0.6, 0.8)$. $c = 10$ 이면 $5 \le 10$ 이므로 그대로 $(3, 4)$.
로짓 $x = 0$, 정답 $y = 1$ 일 때 $\operatorname{softplus}(x) - yx$ 로 BCE 를 계산하고, 정의 $-\log\sigma(0)$ 과 같은지 확인하세요.
답 보기
$\operatorname{softplus}(0) - 0 = \log 2 \approx 0.693$. 정의로는 $\sigma(0) = 0.5$ 이므로 $-\log 0.5 = \log 2$. 같습니다.
VAE 를 학습했더니 KL 항이 거의 0 이고, 어떤 그림을 넣어도 재구성이 거의 같은 흐린 그림입니다. 무슨 일이 일어났고, 무엇을 해 볼까요?
답 보기
사후 붕괴입니다. 인코더의 $q(z\mid x)$ 가 사전 $\Normal(0, I)$ 와 같아져 잠재가 정보를 담지 않고, 디코더는 평균 그림만 그립니다. β 를 줄이거나 KL 가중치를 0 에서 서서히 올리고(warm-up), 자유 비트(free bits) 를 쓰고, 디코더가 너무 강하면(예: 자기회귀 디코더) 약하게 만들어 봅니다(08 · 11 · 12장).
행동 반복 2 인 진자 환경(에피소드당 결정 100번)에서 $\gamma = 0.9$ 를 쓰면 대략 몇 스텝 앞까지 본다고 할 수 있나요? 이것이 스윙업에 충분할까요?
답 보기
$\frac{1}{1 - 0.9} = 10$ 스텝, 즉 시간으로 $10 \times 2 \times 0.05 = 1$ 초 정도입니다. 진자를 흔들어 올리는 데는 몇 초가 걸리므로 짧을 수 있습니다. $\gamma = 0.99$ 면 약 100 스텝(10초)입니다.
00장에서 World Model 을 “상태와 행동이 주어지면 다음을 예측하는 학습된 시뮬레이터” 라고 한 문장으로 정의했습니다. 그 한 문장에서 출발해 확률 · 정보 이론 · 딥러닝 · 강화학습을 쌓고, 숫자 세 개를 예측하는 MLP 에서 그림만 보고 상상 속에서 진자 세우기를 배우는 Dreamer 까지 왔습니다. 그리고 13장에서 본 것처럼, 오늘의 거대한 World Model 들도 결국 같은 질문 — 무엇을 예측할 것인가, 불확실한 미래를 어떻게 표현할 것인가, 상상을 어떻게 행동으로 바꿀 것인가 — 에 대한 서로 다른 답입니다. 이제 여러분은 그 답들을 식으로 읽고, 코드로 확인하고, 직접 바꿔 볼 수 있습니다.