CHAPTER 13

현대 World Model 지형도

12장까지 우리는 “그림을 다시 그려 내는(재구성하는)” World Model, 즉 VAE · MDN-RNN · RSSM · Dreamer 를 직접 만들었습니다. 이 장에서는 그 모델을 기준점 으로 삼아, 2019년 이후 등장한 다른 계열들 — 보상과 가치만 예측하는 MuZero, 디코더 없이 계획하는 TD-MPC, 세상을 토큰으로 바꾸는 Transformer World Model, 잡음을 걷어 내며 미래를 그리는 확산 World Model, 픽셀 대신 표현을 예측하는 JEPA, 그리고 Genie · Sora · Cosmos 같은 대규모 비디오 World Model — 을 한 장의 지도 위에 올려놓습니다.

계열마다 “무엇을 바꿨고, 왜 바꿨으며, 그 대가는 무엇인지” 를 설명하고, 핵심 수식은 앞 장들과 똑같이 한 줄씩 유도합니다. 특히 확산 모델은 정방향 · 역방향 · 학습 목표를 처음부터 끝까지 유도한 뒤, 진자의 미래를 예측하는 작은 확산 World Model 을 직접 만들어 봅니다.

읽는 시간 약 90분난이도 ★★★★☆코드: code/ch13_numbers.py · code/ch13_diffusion_toy.py
이 장에서 배우는 것
이 장을 읽는 법

이 장은 넓은 지형을 훑는 장이라, 앞 장들처럼 하나의 모델을 끝까지 구현하지는 않습니다. 대신 계열마다 핵심 식 한두 개 를 골라 끝까지 유도합니다. 처음 읽을 때는 1절(지도)과 8절(비교표)을 먼저 보고, 관심 가는 계열의 절로 들어가도 좋습니다. 필요한 배경은 2 · 3장(확률 · KL), 5장(벨만 방정식), 7장(CEM), 8장(VAE · ELBO), 12장(Dreamer)입니다.

주의 · 같은 글자가 절마다 다른 뜻으로 쓰입니다

이 장은 여러 논문의 기호를 그대로 빌려 오기 때문에, 같은 글자가 절에 따라 다른 것을 가리킵니다. 헷갈리면 이 목록으로 돌아오세요.

1. 지도를 펼치기 전에: 기준점과 다섯 가지 질문

기준점: 우리가 만든 재구성형 World Model

12장의 Dreamer 를 다시 떠올려 봅시다. Dreamer 의 World Model 은 다음 네 부분으로 되어 있었습니다.

  1. 인코더: 그림 $o_t$ 를 보고 잠재 상태 $z_t$ 를 추측합니다.
  2. RSSM: 은닉 상태 $h_t$ 와 행동 $a_t$ 로 다음 잠재 상태를 예측합니다. 이것이 “머릿속 시뮬레이터” 의 본체입니다.
  3. 디코더: 잠재 상태에서 그림을 다시 그려 냅니다(재구성). 이 재구성 손실이 잠재 상태가 그림의 정보를 담도록 강제합니다.
  4. 보상 · 가치 · 정책: 잠재 상태에서 보상을 예측하고, 상상 속에서 액터-크리틱으로 행동을 배웁니다.

이 설계는 잘 동작하지만, 한 가지 질문을 남깁니다. “진자를 세우는 데 정말 64×64 픽셀을 전부 다시 그려 낼 필요가 있을까?” 그림에는 막대의 각도처럼 중요한 정보도 있지만, 배경의 얼룩이나 조명처럼 행동과 상관없는 정보도 많습니다. 재구성 손실은 이 둘을 구별하지 않고 모두 맞히라고 요구합니다. 현대 World Model 의 여러 계열은 바로 이 질문에 서로 다른 답을 내놓은 결과입니다.

World Model 을 나누는 다섯 가지 질문

질문가능한 답예
① 무엇을 예측하나픽셀 전체 / 학습한 표현 / 보상 · 가치만Dreamer · 확산 = 픽셀, JEPA · TD-MPC = 표현, MuZero = 보상 · 가치
② 잠재는 어떤 모양인가연속 가우시안 / 이산 범주 / 토큰 여러 개PlaNet = 가우시안, DreamerV2 = 범주, IRIS = 그림 한 장당 토큰 16개
③ 시간을 무엇으로 잇나RNN(GRU · LSTM) / Transformer / 확산 모델Dreamer = GRU, IRIS · STORM = Transformer, DIAMOND = 확산
④ 어떻게 쓰나계획(MPC · MCTS) / 상상 속 정책 학습 / 사람 · 에이전트가 쓰는 시뮬레이터PlaNet · TD-MPC = 계획, Dreamer = 상상 학습, Genie 3 = 시뮬레이터
⑤ 얼마나 큰가게임 2시간 분량 ~ 영상 수백만 시간Atari 100k(약 2시간) ~ Cosmos(약 2천만 시간)
무엇을 예측하나 픽셀(재구성 · 생성) 학습한 표현 보상 · 가치만 데이터 · 모델 규모 작음 큼 Ha · PlaNet · Dreamer VAE · RSSM (8 – 12장) IRIS · STORM 토큰 + Transformer DIAMOND · GameNGen 확산 World Model TD-MPC2 디코더 없는 잠재 V-JEPA 2 표현 예측 (100만 시간+) MuZero · EfficientZero 가치 등가 + MCTS Genie 1 – 4 · Sora · Cosmos · GAIA 대규모 비디오 · 상호작용 World Model Dreamer 4 오프라인 Minecraft
그림 13-1. 현대 World Model 의 지도. 가로축은 “모델이 무엇을 맞히도록 학습하는가”, 세로축은 데이터 · 모델의 규모입니다. 왼쪽 아래가 우리가 8 – 12장에서 만든 영역입니다. 위치는 대략적인 것이며, 한 모델이 여러 성격을 함께 가질 수 있습니다.
핵심

모든 World Model 은 “행동이 주어지면 미래가 어떻게 될지” 를 예측한다는 점에서 같습니다. 계열을 가르는 것은 미래의 무엇을(픽셀 · 표현 · 가치), 어떤 도구로(RNN · Transformer · 확산), 어디에 쓰려고(계획 · 상상 학습 · 시뮬레이터) 예측하느냐입니다.

2. 가치 등가 모델: MuZero

아이디어: 계획에 필요한 것만 예측한다

바둑 고수가 몇 수 앞을 내다볼 때 바둑돌의 나뭇결이나 조명의 반사까지 머릿속에 그리지는 않습니다. “이 수를 두면 형세가 얼마나 좋아지는가” 만 떠올립니다. 그림이 정확해야 할 필요는 없고, 판단에 필요한 값 만 맞으면 됩니다.

MuZeroSchrittwieser et al., Nature 2020 는 이 생각을 그대로 옮긴 World Model 입니다. MuZero 는 그림을 다시 그리지 않습니다. 대신 잠재 상태에서 세 가지만 맞히도록 학습합니다.

이렇게 “계획에 쓰이는 값들만 진짜 환경과 같으면 된다” 는 생각을 가치 등가value equivalence 라고 부릅니다 (MuZero 논문이 쓴 말은 아니고, 뒤이은 연구 Grimm et al., 2020 “The Value Equivalence Principle for Model-Based Reinforcement Learning” 이 붙인 이름입니다). 잠재 상태가 진짜 상태와 닮았는지는 상관하지 않습니다. 보상 · 가치 · 정책을 맞히는 데 쓸모 있기만 하면 됩니다. 그래서 MuZero 는 바둑 · 체스 · 쇼기 같은 보드게임과 Atari 게임을, 어느 쪽도 규칙(시뮬레이터)을 미리 알려 주지 않은 채 같은 알고리즘 으로 다룰 수 있었습니다 (앞선 AlphaZero 는 탐색할 때 게임의 규칙을 그대로 썼습니다).

세 개의 함수

MuZero 의 모델은 세 개의 신경망으로 되어 있습니다(논문의 기호를 그대로 씁니다).

$$ \begin{aligned} \text{표현(representation)}: &\quad s^0 = h_\theta(o_1, \dots, o_t) \\ \text{동역학(dynamics)}: &\quad r^k,\ s^k = g_\theta(s^{k-1}, a^k) \\ \text{예측(prediction)}: &\quad p^k,\ v^k = f_\theta(s^k) \end{aligned} $$

여기서 $s^k$ 는 진짜 환경 상태가 아니라 모델 안의 은닉 상태 이고, 위 첨자 $k$ 는 “현재 시각 $t$ 에서 상상으로 $k$ 스텝 나아갔다” 는 뜻입니다. $h_\theta$ 는 지금까지의 관측을 보고 출발점 $s^0$ 을 만들고, $g_\theta$ 는 행동 $a^k$ 를 받아 다음 은닉 상태와 보상을 내놓고, $f_\theta$ 는 은닉 상태마다 정책과 가치를 내놓습니다. Dreamer 의 RSSM 과 비교하면 $g_\theta$ 가 RSSM 의 전이 부분에 해당하고, 디코더가 없습니다. (여기서 $h_\theta$ 는 MuZero 논문의 이름일 뿐, 우리 표기의 RNN 은닉 상태 $h_t$ 와는 다릅니다.)

관측 o₁ … oₜ h s⁰ s¹ s² s³ g(·, a¹) g(·, a²) g(·, a³) r¹ r² r³ p⁰, v⁰ p¹, v¹ p², v² p³, v³ f f f f 그림을 다시 그리는 디코더가 없다 — 맞히는 것은 보상 r, 정책 p, 가치 v 뿐 학습: 실제로 했던 행동 a¹, a², a³ 을 넣어 K = 3 스텝 펼친 뒤, 스텝마다 세 값을 실제 목표와 비교한다
그림 13-2. MuZero 의 펼친(unrolled) 모델. 출발점만 관측에서 만들고, 그 뒤로는 행동만 넣어 상상으로 나아갑니다.

학습 목표: K 스텝 펼친 손실

리플레이 버퍼에서 시각 $t$ 를 하나 고르고, 그때 실제로 했던 행동 $a_{t+1}, \dots, a_{t+K}$ 를 동역학 함수에 차례로 넣어 $K$ 스텝 펼칩니다(MuZero 는 $K = 5$). 이 절의 손실 식은 MuZero 논문의 첨자를 따릅니다. 논문은 관측 $o_t$ 다음에 하는 행동을 $a_{t+1}$, 그 결과 받는 보상을 $u_{t+1}$ 로 써서 5장 표기보다 번호가 하나씩 큽니다. 그리고 스텝 $k$ 마다 모델의 예측과 목표를 비교합니다.

$$ \ell_t(\theta) = \sum_{k=0}^{K} \Big[\, \ell^{r}\big(u_{t+k},\ r^k_t\big) + \ell^{v}\big(z_{t+k},\ v^k_t\big) + \ell^{p}\big(\pi_{t+k},\ p^k_t\big) \Big] + c\,\lVert \theta \rVert^2 $$

n-스텝 가치 목표 유도하기

가치의 목표로 에피소드 끝까지의 리턴을 쓰면 분산이 크고, 한 스텝짜리 TD 목표를 쓰면 아직 부정확한 가치 추정의 오차(편향)가 그대로 스며듭니다(12장의 n-스텝 리턴 표와 같은 줄다리기). MuZero 는 그 사이인 n 스텝만 실제 보상을 쓰고, 나머지는 가치 추정으로 메우는 목표를 씁니다. 이 튜토리얼의 표기(5장: $r_t$ 는 $s_t$ 에서 $a_t$ 를 했을 때 받는 보상)로 유도해 봅시다.

n-스텝 리턴 목표
$$ G_t = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \cdots = \sum_{i=0}^{\infty} \gamma^i r_{t+i} $$
5장의 할인된 리턴의 정의입니다.
$$ G_t = r_t + \gamma \big( r_{t+1} + \gamma r_{t+2} + \cdots \big) = r_t + \gamma\, G_{t+1} $$
첫 항을 빼고 나머지에서 $\gamma$ 하나를 묶어 내면, 괄호 안은 정의에 따라 바로 $G_{t+1}$ 입니다(5장의 재귀식).
$$ G_t = r_t + \gamma \big( r_{t+1} + \gamma G_{t+2} \big) = r_t + \gamma r_{t+1} + \gamma^2 G_{t+2} $$
같은 재귀식을 $G_{t+1} = r_{t+1} + \gamma G_{t+2}$ 에 한 번 더 쓰고 괄호를 풉니다.
$$ G_t = \sum_{i=0}^{n-1} \gamma^i r_{t+i} \;+\; \gamma^n G_{t+n} $$
이 펼치기를 $n$ 번 되풀이하면 실제 보상 $n$ 개와, 남은 꼬리 $G_{t+n}$ 에 $\gamma^n$ 이 곱해진 꼴이 됩니다. 아직 근사는 없습니다.
$$ z_t := \sum_{i=0}^{n-1} \gamma^i r_{t+i} \;+\; \gamma^n\, v(s_{t+n}) $$
모르는 꼬리 $G_{t+n}$ 을 그 기댓값의 추정치인 가치 $v(s_{t+n})$ 으로 바꿉니다(5장: $V(s) = \E[G_t \mid s_t = s]$). 이것이 n-스텝 목표입니다. MuZero 는 Atari 에서 $n = 10$ 을 썼고, $v$ 로는 그때 MCTS 가 계산한 값을 씁니다.

숫자로 확인해 봅시다. $\gamma = 0.9$, $n = 3$, 실제 보상이 $r_t = 1,\ r_{t+1} = 0,\ r_{t+2} = 2$ 이고, 세 스텝 뒤의 가치 추정이 $v(s_{t+3}) = 5$ 라면

$$ z_t = 1 + 0.9 \times 0 + 0.9^2 \times 2 + 0.9^3 \times 5 = 1 + 0 + 0.81 \times 2 + 0.729 \times 5 = 1 + 1.62 + 3.645 = 6.265 $$

  
[n-스텝 목표] n=3, γ=0.9: z = 6.2650
팁 · 이 식은 여러 번 나온다

“실제 보상 몇 스텝 + 끝에서 가치로 메우기” 는 이 장에서 계속 나옵니다. 아래 TD-MPC 의 계획 목표도, 12장 Dreamer 의 λ-리턴도 모두 이 식의 변형입니다. λ-리턴은 여러 $n$ 의 n-스텝 목표를 $\lambda$ 비율로 섞은 평균이었습니다.

MCTS: 상상 속 나무 탐색

MuZero 는 학습한 모델로 몬테카를로 나무 탐색Monte Carlo Tree Search, MCTS 을 합니다. 7장의 CEM 이 “행동열 여러 개를 통째로 뽑아 보고 좋은 것을 고르는” 방식이었다면, MCTS 는 “유망한 가지를 한 스텝씩 더 깊이 파 보는” 방식입니다. 한 번의 탐색은 다음 세 단계를 수십 ~ 수백 번 되풀이합니다.

  1. 선택: 뿌리(지금 상태 $s^0$)에서 출발해, 각 노드에서 아래 pUCT 점수가 가장 큰 행동을 따라 내려갑니다.
  2. 확장 · 평가: 아직 펼치지 않은 노드에 닿으면 $g_\theta$ 로 다음 은닉 상태와 보상을 만들고, $f_\theta$ 로 정책 $p$ 와 가치 $v$ 를 얻습니다.
  3. 되돌려 쓰기(backup): 지나온 길의 노드마다 방문 횟수 $N$ 을 1 늘리고, 받은 보상과 가치로 평균 가치 $Q$ 를 고칩니다.

선택 단계의 점수(MuZero 논문의 pUCT 식)는 다음과 같습니다.

$$ a^\ast = \argmax_a \left[\, Q(s,a) \;+\; P(s,a)\,\frac{\sqrt{\sum_b N(s,b)}}{1 + N(s,a)} \left( c_1 + \log \frac{\sum_b N(s,b) + c_2 + 1}{c_2} \right) \right] $$
pUCT 점수를 숫자로 계산하기
$$ \text{A: } Q = 0.5,\ P = 0.3,\ N = 6 \qquad \text{B: } Q = 0.3,\ P = 0.7,\ N = 4 \qquad \textstyle\sum_b N = 10 $$
행동이 둘인 노드를 생각합니다. A 는 평균 가치가 더 높지만 정책 신경망은 B 를 더 유망하게 봅니다.
$$ c_1 + \log\frac{10 + 19652 + 1}{19652} = 1.25 + \log(1.00056) = 1.25 + 0.00056 = 1.25056 $$
$\log(1 + x) \approx x$ ($x$ 가 작을 때)이므로 $\log$ 항은 거의 0 입니다. 탐험 계수는 사실상 $c_1$ 입니다.
$$ \text{A: } 0.5 + 0.3 \times \frac{\sqrt{10}}{1 + 6} \times 1.25056 = 0.5 + 0.3 \times 0.45175 \times 1.25056 = 0.5 + 0.16948 = 0.66948 $$
$\sqrt{10} = 3.16228$, $3.16228 / 7 = 0.45175$ 입니다.
$$ \text{B: } 0.3 + 0.7 \times \frac{\sqrt{10}}{1 + 4} \times 1.25056 = 0.3 + 0.7 \times 0.63246 \times 1.25056 = 0.3 + 0.55365 = 0.85365 $$
$3.16228 / 5 = 0.63246$ 입니다.
$$ 0.85365 \gt 0.66948 \;\Rightarrow\; \text{B 를 고른다} $$
평균 가치는 A 가 높지만, B 는 덜 가 봤고 사전 확률이 커서 탐험 가산점이 더 큽니다. B 를 더 가 보고 $Q$ 가 실제로 낮으면 그때 A 로 돌아갑니다.

  
[pUCT] 행동 A = 0.6695, 행동 B = 0.8536 → 고르는 행동: B

탐색이 끝나면 뿌리에서 각 행동을 방문한 횟수의 비율 $\pi(a) = N(s^0, a) / \sum_b N(s^0, b)$ 를 행동 분포로 씁니다. 이 분포는 정책 신경망 $p$ 보다 “한 수 더 생각한” 결과이므로, 위 손실에서 $p$ 가 $\pi$ 를 따라가도록 학습시키면 정책이 점점 좋아집니다. 이것이 AlphaZero · MuZero 의 탐색으로 정책을 개선하고, 개선된 정책을 다시 신경망에 담는 순환입니다.

참고 · 가치 값의 크기 맞추기

Atari 게임의 보상은 게임마다 크기가 수백 배 다릅니다. MuZero 는 가치와 보상을 $h(x) = \operatorname{sign}(x)\big(\sqrt{\lvert x\rvert + 1} - 1\big) + \epsilon x$ 로 눌러 담은 뒤 범주 분포로 예측했습니다. 12장 DreamerV3 의 symlog 와 two-hot 이 바로 같은 문제(크기가 제각각인 값을 안정적으로 회귀하기)에 대한 답입니다.

EfficientZero: 적은 데이터로

MuZero 는 강력하지만 데이터를 많이 씁니다. EfficientZeroYe et al., NeurIPS 2021 는 MuZero 에 세 가지를 더해 Atari 100k 벤치마크(게임마다 에이전트 10만 스텝, 사람으로 치면 약 2시간 분량)에서 사람 점수를 넘는 평균 성능(NeurIPS 게재본 · arXiv v2 기준 평균 194.3%, arXiv v1 은 190.4%)을 처음으로 냈습니다.

  1. 자기 지도 일관성 손실: 디코더가 없으니 은닉 상태를 가르치는 신호가 보상 · 가치 · 정책뿐이라, 보상이 드문 초반에는 학습이 느립니다. 그래서 “동역학이 예측한 다음 은닉 상태” 와 “다음 관측을 인코더에 넣어 얻은 은닉 상태” 가 비슷해지도록 하는 손실을 더했습니다(목표 쪽은 기울기 차단(stop-gradient)). 아래 TD-MPC 의 잠재 일관성 손실, 6절 JEPA 의 표현 예측과 같은 생각입니다.
  2. 가치 접두사(value prefix): 보상을 한 스텝씩 따로 맞히는 대신, 몇 스텝의 보상 합을 LSTM 으로 한꺼번에 예측해 “언제 보상이 들어오는지” 의 모호함을 줄였습니다.
  3. 오래된 데이터 보정: 리플레이 버퍼의 오래된 궤적일수록 n-스텝 목표의 $n$ 을 줄이고, 최신 모델로 가치를 다시 계산합니다.
장점단점
그림을 그리지 않으므로 계획에 필요 없는 세부에 용량을 쓰지 않는다. MCTS 와 결합해 바둑 · Atari 모두에서 최고 수준. 보상이 드물면 은닉 상태를 가르칠 신호가 부족하다. 모델이 무엇을 상상하는지 눈으로 볼 수 없다. MCTS 는 이산 행동에 자연스럽고 연속 행동(진자 토크)에는 샘플링 등 추가 기법이 필요하다.

3. 디코더 없는 잠재 계획: TD-MPC 와 TD-MPC2

구성 요소

TD-MPCHansen, Wang, Su, ICML 2022 와 그 후속 TD-MPC2Hansen, Su, Wang, ICLR 2024 는 7장의 MPC(모델 예측 제어)를 잠재 공간에서 하되, MuZero 처럼 디코더를 두지 않는 연속 제어용 World Model 입니다. 다섯 부분으로 되어 있습니다.

$$ \begin{aligned} \text{인코더}: &\quad z_t = e_\theta(s_t) \\ \text{잠재 동역학}: &\quad z_{t+1} = d_\theta(z_t, a_t) \\ \text{보상}: &\quad \hat r_t = R_\theta(z_t, a_t) \\ \text{행동 가치}: &\quad \hat q_t = Q_\theta(z_t, a_t) \\ \text{정책(사전)}: &\quad \hat a_t = \pi_\theta(z_t) \end{aligned} $$

$Q_\theta(z, a)$ 는 5장의 행동 가치 함수, 즉 “상태 $z$ 에서 행동 $a$ 를 하고 그 뒤로 정책을 따를 때의 리턴의 기댓값” 입니다. (논문은 인코더를 $h_\theta$ 라고 쓰지만, 이 튜토리얼에서 $h$ 는 RNN 은닉 상태이므로 $e_\theta$ 로 바꿔 썼습니다.)

학습 목표: 보상 · TD · 잠재 일관성

리플레이 버퍼에서 길이 $H$ 의 구간 $(s_t, a_t, r_t, s_{t+1}), \dots$ 를 꺼내, 첫 상태만 인코딩한 뒤 잠재 동역학으로 펼치며 다음 손실을 더합니다.

$$ \mathcal{L}(\theta) = \sum_{i=t}^{t+H} \lambda^{\,i-t} \Big[\, c_1 \big\lVert R_\theta(z_i, a_i) - r_i \big\rVert^2 + c_2 \big\lVert Q_\theta(z_i, a_i) - y_i \big\rVert^2 + c_3 \big\lVert d_\theta(z_i, a_i) - \sg\!\big(e_{\bar\theta}(s_{i+1})\big) \big\rVert^2 \Big] $$

디코더를 버려도 될까: 붕괴 문제

디코더가 없으면 잠재 상태가 그림의 정보를 담도록 강제하는 손실이 없습니다. 그러면 잠재 일관성 항만으로는 이상한 해가 생깁니다.

일관성 손실만 있으면 “아무것도 안 배우는” 해가 최적이 된다
$$ e_\theta(s) = \mathbf{c} \quad (\text{모든 } s \text{ 에 대해 같은 상수 벡터}), \qquad d_\theta(z, a) = \mathbf{c} $$
인코더가 어떤 상태를 받든 같은 벡터 $\mathbf{c}$ 를 내놓고, 동역학도 늘 $\mathbf{c}$ 를 내놓는 경우를 생각합니다.
$$ \big\lVert d_\theta(z_i, a_i) - e_{\bar\theta}(s_{i+1}) \big\rVert^2 = \lVert \mathbf{c} - \mathbf{c} \rVert^2 = 0 $$
예측과 목표가 늘 같으므로 일관성 손실은 가장 작은 값 0 이 됩니다.
$$ \text{그러나 } R_\theta(\mathbf{c}, a) \text{ 는 상태를 구별할 수 없다} \;\Rightarrow\; \text{보상 · TD 손실은 커진다} $$
상태가 모두 같은 $\mathbf{c}$ 로 뭉개지면(이를 표현 붕괴, representation collapse 라고 합니다) 보상 · 가치를 상태별로 다르게 맞힐 수 없습니다. 그래서 TD-MPC 에서는 보상 · TD 항이 잠재 상태에 “보상과 가치를 구별하는 데 필요한 정보” 를 담도록 강제하는 역할을 합니다. 디코더가 하던 일을 “제어에 필요한 정보만” 남기는 방식으로 대신하는 셈입니다.

계획: 짧게 상상하고 끝은 Q 로 메우기

TD-MPC 는 매 스텝 잠재 공간에서 행동열 $a_{t:t+H}$ 를 최적화합니다($H$ 는 5 정도로 짧습니다). 행동열의 점수는

$$ J(a_{t:t+H}) = \sum_{i=0}^{H-1} \gamma^{i}\, R_\theta(z_{t+i}, a_{t+i}) \;+\; \gamma^{H}\, Q_\theta\big(z_{t+H}, a_{t+H}\big) $$

입니다(TD-MPC 원 논문의 식입니다. 끝항의 $a_{t+H}$ 는 뽑은 행동열의 마지막 행동인데, TD-MPC · TD-MPC2 의 공식 구현은 모두 그 자리에 정책이 고른 행동 $\pi_\theta(z_{t+H})$ 를 넣습니다). 위에서 유도한 n-스텝 목표와 꼴이 같습니다. 짧은 구간만 모델로 상상하고, 그 뒤의 긴 미래는 가치 함수 $Q$ 로 한 번에 메웁니다. 7장의 MPC 처럼 끝에 가치 함수가 없으면 상상 길이를 길게 잡아야 하지만(7장은 25 스텝), 끝에 가치 함수가 있으면 짧게 상상해도 먼 미래를 고려할 수 있습니다. 이름의 “TD” 가 이 가치 함수를 TD 학습으로 배운다는 뜻입니다.

행동열을 찾는 방법은 7장의 CEM 과 비슷한 MPPIModel Predictive Path Integral 입니다. CEM 은 상위 $K$ 개(정예, elite)를 똑같은 가중치 로 평균 냈습니다. MPPI 는 모든 후보를 점수에 따라 부드러운 가중치 $w_i \propto \exp(J_i / \tau)$ 로 평균 냅니다. 이 가중치가 어디서 나오는지 유도해 봅시다.

MPPI 가중치 유도하기

행동열 $A$ 를 뽑는 분포 $q(A)$ 를 고르는 문제로 생각합니다. 지금까지 쓰던 분포(예: 지난 스텝의 가우시안)를 $p(A)$ 라고 할 때, “점수의 기댓값은 크게, 그러나 $p$ 에서 너무 멀리 벗어나지는 않게” 를 식으로 쓰면 다음과 같습니다.

$$ \max_{q}\ \; \E_{A \sim q}\big[ J(A) \big] \;-\; \tau\, \KL\big(q \,\|\, p\big) $$

$\tau \gt 0$ 은 “얼마나 멀리 벗어나도 되는지” 를 정하는 온도입니다. 계산을 쉽게 하려고 행동열이 유한한 개수 $A_1, \dots, A_M$ 중 하나라고 하고, $q_i = q(A_i)$, $p_i = p(A_i)$, $J_i = J(A_i)$ 로 씁니다.

최적 분포 q* ∝ p · exp(J/τ)
$$ F(q) = \sum_{i} q_i J_i \;-\; \tau \sum_i q_i \log \frac{q_i}{p_i} $$
기댓값은 “값 × 확률” 의 합이고(2장), KL 의 정의는 $\KL(q\|p) = \sum_i q_i \log (q_i / p_i)$ 입니다(3장).
$$ \mathcal{L}(q, \kappa) = \sum_{i} q_i J_i - \tau \sum_i q_i \log \frac{q_i}{p_i} + \kappa \Big( \sum_i q_i - 1 \Big) $$
$q$ 는 확률이므로 합이 1 이어야 합니다. 이런 “조건이 있는 최대화” 는 조건에 라그랑주 승수 $\kappa$ 를 곱해 더한 함수 $\mathcal{L}$ 을 만들고, 각 변수로 미분한 값을 0 으로 놓아 풉니다.
$$ \frac{\partial \mathcal{L}}{\partial q_i} = J_i - \tau \Big( \log \frac{q_i}{p_i} + 1 \Big) + \kappa $$
$q_i$ 가 들어 있는 항만 미분합니다. $q_i J_i$ 의 미분은 $J_i$. $q_i \log(q_i / p_i) = q_i \log q_i - q_i \log p_i$ 의 미분은 곱의 미분법으로 $(\log q_i + q_i \cdot \tfrac{1}{q_i}) - \log p_i = \log\tfrac{q_i}{p_i} + 1$. $\kappa q_i$ 의 미분은 $\kappa$ 입니다.
$$ 0 = J_i - \tau \log \frac{q_i}{p_i} - \tau + \kappa \;\;\Longrightarrow\;\; \log \frac{q_i}{p_i} = \frac{J_i + \kappa - \tau}{\tau} $$
미분을 0 으로 놓고 $\log$ 항만 왼쪽에 남기도록 옮긴 뒤 양변을 $\tau$ 로 나눕니다.
$$ q_i = p_i \, \exp\!\Big(\frac{J_i}{\tau}\Big)\, \exp\!\Big(\frac{\kappa - \tau}{\tau}\Big) $$
양변에 $\exp$ 를 씌우면 $q_i / p_i = \exp(\cdots)$ 이고, $\exp(x + y) = \exp(x)\exp(y)$ 로 나눕니다.
$$ q_i^\ast = \frac{p_i\, \exp(J_i / \tau)}{\sum_j p_j\, \exp(J_j / \tau)} $$
마지막 인수 $\exp((\kappa - \tau)/\tau)$ 는 $i$ 와 상관없는 상수이므로, 합이 1 이 되도록 정하면 분모의 정규화 상수가 됩니다. 원래 분포 $p$ 에 “점수의 지수” 를 곱해 다시 정규화한 것이 최적입니다.

실제로는 행동열이 연속이고 $q^\ast$ 를 바로 계산할 수 없으므로, $p$ 에서 후보 $A_1, \dots, A_M$ 을 뽑아서 근사합니다. 후보가 이미 $p$ 에서 뽑혔기 때문에 $p_i$ 는 “뽑힌 횟수” 로 이미 반영되어 있고, 남는 가중치는 $\exp(J_i / \tau)$ 뿐입니다.

$$ w_i = \frac{\exp(J_i / \tau)}{\sum_{j=1}^{M} \exp(J_j / \tau)}, \qquad \mu_{\text{새}} = \sum_{i=1}^{M} w_i\, A_i $$

이 새 평균은 “가중치 $w_i$ 를 준 가우시안 최대우도 추정” 의 답이기도 합니다. 2장에서 가우시안의 최대우도 평균이 표본 평균이라는 것을 유도했는데, 가중치가 있으면 다음과 같습니다.

가중치 있는 최대우도의 평균 = 가중치 평균
$$ \ell(\mu) = \sum_{i} w_i \log \Normal(A_i;\, \mu, \sigma^2) = \sum_i w_i \Big[ -\frac{(A_i - \mu)^2}{2\sigma^2} - \frac{1}{2}\log(2\pi\sigma^2) \Big] $$
후보마다 가중치 $w_i$ 만큼 로그 가능도를 더합니다. 가우시안 로그 밀도의 꼴은 2장에서 유도했습니다(1차원으로 씁니다).
$$ \frac{d\ell}{d\mu} = \sum_i w_i \cdot \frac{2(A_i - \mu)}{2\sigma^2} = \frac{1}{\sigma^2} \sum_i w_i (A_i - \mu) $$
$-(A_i - \mu)^2$ 를 $\mu$ 로 미분하면 연쇄 법칙으로 $-2(A_i - \mu) \cdot (-1) = 2(A_i - \mu)$. 두 번째 항은 $\mu$ 와 상관없어 미분이 0 입니다.
$$ 0 = \sum_i w_i A_i - \mu \sum_i w_i $$
0 으로 놓고 $\sigma^2$ 를 곱해 없앤 뒤 괄호를 풉니다.
$$ \mu = \frac{\sum_i w_i A_i}{\sum_i w_i} = \sum_i w_i A_i \quad \Big(\textstyle\sum_i w_i = 1 \text{ 이므로}\Big) $$
CEM 은 정예에 $w = 1/K$, 나머지에 $w = 0$ 을 준 특수한 경우입니다. 같은 방법으로 분산도 가중치 평균 $\sigma^2 = \sum_i w_i (A_i - \mu)^2$ 이 됩니다.

숫자로 보겠습니다. 후보 세 개의 점수가 $J = (10, 8, 2)$ 일 때, $\tau = 1$ 이면

$$ \big(e^{10}, e^{8}, e^{2}\big) \propto \big(e^{0}, e^{-2}, e^{-8}\big) = (1,\ 0.1353,\ 0.000335), \qquad \text{합} = 1.13567 $$ $$ w = \Big( \tfrac{1}{1.13567},\ \tfrac{0.1353}{1.13567},\ \tfrac{0.000335}{1.13567} \Big) = (0.8805,\ 0.1192,\ 0.0003) $$

첫 줄에서 분자 · 분모를 똑같이 $e^{10}$ 으로 나눴습니다(가장 큰 점수를 빼는 것). 가중치는 변하지 않지만 $e^{10}$ 같은 큰 수를 직접 다루지 않아도 되어 컴퓨터에서 넘침(overflow)이 생기지 않습니다. 9장 MDN 의 log-sum-exp 와 같은 요령입니다.


  
[MPPI] τ =    1.0: 가중치 = [0.8805 0.1192 0.0003]
[MPPI] τ =    5.0: 가중치 = [0.5341 0.358  0.1078]
[MPPI] τ =    0.1: 가중치 = [1. 0. 0.]
[MPPI] τ =  100.0: 가중치 = [0.3444 0.3376 0.318 ]
[CEM ] 상위 2개   : 가중치 = [0.5 0.5 0. ]

$\tau$ 가 0 에 가까우면 가장 좋은 후보 하나만 남고(argmax), $\tau$ 가 아주 크면 모든 후보를 똑같이 평균 냅니다. 온도 $\tau$ 하나로 “욕심”과 “신중함” 사이를 연속적으로 조절할 수 있는 것이 MPPI 의 장점입니다. TD-MPC 는 실제로 둘을 섞어, 먼저 상위 $K$ 개 정예를 고른 뒤 정예 안에서 $\exp(\tau' J)$ 가중치로 평균 냅니다.

온도 τ 를 바꾸며 MPPI 가중치 보기

후보 다섯 개의 점수 $J = (10, 9, 8, 5, 2)$ 에 대한 가중치 $w_i$. 회색 막대는 상위 2개를 고르는 CEM 의 가중치입니다.

TD-MPC2: 하나의 설정으로 많은 과제를

TD-MPC2 는 같은 틀을 “크게, 그리고 튼튼하게” 만들었습니다. 논문은 한 가지 하이퍼파라미터 설정으로 DMControl · Meta-World · ManiSkill2 · MyoSuite 의 104개 과제를 풀었고, 80개 과제를 한 모델로 배우는 다중 과제 에이전트를 3억 1천7백만(317M) 개 매개변수까지 키웠습니다 (arXiv 2310.16828). 주요 변경은 다음과 같습니다.

장점단점
디코더가 없어 가볍고 빠르다. 짧은 계획 + 가치 함수로 긴 미래를 본다. 연속 제어 과제에서 강하고, 설정을 거의 바꾸지 않고 많은 과제에 쓸 수 있다. 잠재 상태를 눈으로 확인할 방법이 없다. 보상 신호에 의존하므로 보상이 없는 사전 학습(비디오만 보고 배우기)에는 맞지 않는다. 매 스텝 계획하므로 행동을 고르는 데 시간이 든다.

4. 세상을 토큰으로: Transformer World Model

왜 토큰인가

대규모 언어 모델(LLM)은 문장을 토큰token(낱말 조각)의 열로 보고, “다음 토큰” 을 맞히는 것만으로 놀라운 능력을 얻었습니다. 그렇다면 세상도 토큰의 열로 바꿀 수 있지 않을까요? 그림 한 장을 작은 정수 몇 개(토큰)로 바꿀 수 있다면, “그림 토큰, 행동 토큰, 그림 토큰, 행동 토큰, …” 으로 이어지는 열에서 다음 토큰을 맞히는 Transformer 가 곧 World Model 이 됩니다. 이 생각을 실현하려면 두 가지 도구가 필요합니다. 그림을 토큰으로 바꾸는 VQ-VAE, 그리고 토큰열을 예측하는 Transformer 입니다.

VQ-VAE: 그림을 정수로 바꾸기

VQ-VAEVector Quantized VAE, van den Oord et al., 2017 는 8장의 VAE 와 비슷하게 인코더 · 디코더로 되어 있지만, 잠재 변수가 연속 가우시안이 아니라 코드북(codebook) 이라는 유한한 벡터 목록 중 하나입니다.

  1. 인코더가 그림의 각 위치마다 벡터 $z_e \in \R^D$ 를 냅니다. 64×64 그림이면 예를 들어 4×4 = 16개 위치에서 16개의 벡터가 나옵니다.
  2. 코드북 $\{e_1, e_2, \dots, e_K\}$ ($e_j \in \R^D$) 에서 $z_e$ 에 가장 가까운 벡터를 고릅니다: $k = \argmin_j \lVert z_e - e_j \rVert^2$.
  3. 그 벡터 $z_q = e_k$ 를 디코더에 넣어 그림을 복원합니다. 그리고 정수 $k$ 가 그 위치의 토큰 입니다.

숫자 예를 보겠습니다. 2차원 코드북 $e_1 = (0,0)$, $e_2 = (1,1)$, $e_3 = (2,0)$ 이 있고 인코더 출력이 $z_e = (1.2,\ 0.7)$ 이라면

$$ \begin{aligned} \lVert z_e - e_1 \rVert^2 &= 1.2^2 + 0.7^2 = 1.44 + 0.49 = 1.93 \\ \lVert z_e - e_2 \rVert^2 &= 0.2^2 + (-0.3)^2 = 0.04 + 0.09 = 0.13 \\ \lVert z_e - e_3 \rVert^2 &= (-0.8)^2 + 0.7^2 = 0.64 + 0.49 = 1.13 \end{aligned} $$

이므로 가장 가까운 $e_2$ 를 고르고, 이 위치의 토큰은 2 입니다.

직선 통과 추정기: 고르기를 지나 기울기 보내기

문제가 하나 있습니다. “가장 가까운 것 고르기($\argmin$)” 는 미분할 수 없습니다. $z_e$ 를 조금 움직여도 고른 코드가 바뀌지 않는 한 $z_q$ 는 그대로이므로, $\partial z_q / \partial z_e = 0$ 입니다(바뀌는 경계에서는 값이 뚝 끊기고요). 그러면 디코더의 손실에서 인코더로 기울기가 전혀 흐르지 않아 인코더를 학습시킬 수 없습니다. 12장 DreamerV2 의 범주형 잠재에서 본 것과 같은 문제이고, 답도 같은 직선 통과 추정기straight-through estimator 입니다.

직선 통과(straight-through): 값은 z_q, 기울기는 z_e 로
$$ \tilde z = z_e + \sg\big(z_q - z_e\big) $$
디코더에 $z_q$ 대신 이 $\tilde z$ 를 넣습니다. $\sg$ 는 값은 그대로 두고 기울기만 0 으로 만드는 기울기 차단(stop-gradient) 연산입니다(PyTorch 의 .detach()).
$$ \text{값(forward)}: \quad \tilde z = z_e + (z_q - z_e) = z_q $$
$\sg$ 는 값에 아무 영향이 없으므로 괄호를 그대로 더하면 $z_e$ 가 지워집니다. 디코더는 정확히 양자화된 $z_q$ 를 받습니다.
$$ \text{기울기(backward)}: \quad \frac{\partial \tilde z}{\partial z_e} = I + \underbrace{\frac{\partial\, \sg(\cdot)}{\partial z_e}}_{=\,0} = I $$
첫 항 $z_e$ 의 자기 자신에 대한 미분은 단위 행렬 $I$ 이고, $\sg$ 항의 미분은 정의에 따라 0 입니다.
$$ \frac{\partial \mathcal{L}}{\partial z_e} = \frac{\partial \mathcal{L}}{\partial \tilde z}\cdot I = \frac{\partial \mathcal{L}}{\partial \tilde z} $$
연쇄 법칙(4장)에 따라 디코더 입력에서 받은 기울기가 그대로 $z_e$ 로 복사됩니다. “고르기” 단계를 기울기만 곧장 통과(straight through) 시키는 셈입니다. 코드로는 z_tilde = z_e + (z_q - z_e).detach() 한 줄입니다.

그러면 코드북 벡터 자체는 어떻게 배울까요? VQ-VAE 의 손실은 세 항입니다.

$$ \mathcal{L} = \underbrace{-\log p(x \mid \tilde z)}_{\text{재구성}} \;+\; \underbrace{\big\lVert \sg(z_e) - e_k \big\rVert^2}_{\text{코드북 손실}} \;+\; \beta\, \underbrace{\big\lVert z_e - \sg(e_k) \big\rVert^2}_{\text{커밋 손실}} $$

앞의 예에서 코드북 손실은 $0.13$, 커밋 손실은 $0.25 \times 0.13 = 0.0325$ 입니다. 학습률 $\eta = 0.1$ 로 코드북을 한 스텝 고치면 $e_2 \leftarrow (1, 1) + 0.2 \times (0.2, -0.3) = (1.04,\ 0.94)$ 로 $z_e = (1.2, 0.7)$ 쪽으로 조금 다가갑니다.


  
[VQ] 거리² = [1.93 0.13 1.13], 고른 코드 = e_2 = [1. 1.]
[VQ] 코드북 손실 = 0.1300, 커밋 손실(β=0.25) = 0.0325

자기회귀 분해: 다음 토큰 맞히기가 곧 확률 모델

토큰열 $x_1, x_2, \dots, x_N$ 전체의 확률을 어떻게 모델링할까요? 확률의 곱셈 규칙만으로 “앞의 것들을 보고 다음 하나를 맞히는” 문제로 정확히 바꿀 수 있습니다.

연쇄 규칙(chain rule of probability)
$$ p(a \mid b) = \frac{p(a, b)}{p(b)} \;\;\Longleftrightarrow\;\; p(a, b) = p(b)\, p(a \mid b) $$
2장의 조건부 확률의 정의에서 양변에 $p(b)$ 를 곱했습니다.
$$ p(x_1, x_2, x_3) = p(x_1, x_2)\; p(x_3 \mid x_1, x_2) $$
$a = x_3$, $b = (x_1, x_2)$ 로 놓고 위 식을 씁니다.
$$ = p(x_1)\, p(x_2 \mid x_1)\; p(x_3 \mid x_1, x_2) $$
$p(x_1, x_2)$ 에 같은 규칙을 한 번 더 씁니다($a = x_2$, $b = x_1$).
$$ p(x_{1:N}) = \prod_{i=1}^{N} p(x_i \mid x_{\lt i}), \qquad \log p(x_{1:N}) = \sum_{i=1}^{N} \log p(x_i \mid x_{\lt i}) $$
$N$ 개로 늘려도 같습니다($x_{\lt i}$ 는 $x_1, \dots, x_{i-1}$). 근사가 하나도 없는 등식입니다. 로그를 씌우면 곱이 합이 되므로, 전체 로그 가능도의 최대화 = 토큰마다 “다음 토큰” 의 교차 엔트로피(3장)를 줄이기 입니다.

World Model 에서는 열이 “그림 $t$ 의 토큰 16개, 행동 $a_t$, 그림 $t{+}1$ 의 토큰 16개, 행동 $a_{t+1}$, …” 입니다. 다음 그림의 토큰을 하나씩 맞히다 보면 다음 그림 전체가 만들어지고, 이것을 디코더에 넣으면 상상한 다음 장면이 나옵니다.

어텐션과 √d 로 나누는 이유

Transformer 의 핵심은 어텐션attention 입니다. 토큰마다 세 벡터 — 질의(query) $q$, 열쇠(key) $k$, 값(value) $v$ — 를 만들고, 한 토큰의 질의가 다른 토큰들의 열쇠와 얼마나 맞는지에 따라 그 토큰들의 값을 섞습니다.

도서관에서 책을 찾는다고 해 봅시다. 내가 찾는 주제(질의)를 책마다 붙은 분류표(열쇠)와 비교해, 잘 맞는 책일수록 그 내용(값)을 많이 참고합니다. “잘 맞는 정도” 가 내적 $q \cdot k$ 이고, 참고하는 비율이 softmax 가중치입니다.
$$ \operatorname{Attention}(Q, K, V) = \operatorname{softmax}\!\Big( \frac{Q K^{\top}}{\sqrt{d}} \Big) V, \qquad \alpha_{j} = \frac{\exp\!\big(q \cdot k_j / \sqrt{d}\big)}{\sum_{l} \exp\!\big(q \cdot k_l / \sqrt{d}\big)}, \quad \text{출력} = \sum_j \alpha_j v_j $$

$d$ 는 질의 · 열쇠 벡터의 길이(차원)입니다. 왜 굳이 $\sqrt{d}$ 로 나눌까요? 내적의 크기가 $d$ 에 따라 어떻게 변하는지 계산해 보면 이유가 보입니다.

Var(q·k) = d 이므로 √d 로 나눠 분산을 1 로 맞춘다
$$ q \cdot k = \sum_{i=1}^{d} q_i\, k_i, \qquad \E[q_i] = \E[k_i] = 0,\quad \Var(q_i) = \Var(k_i) = 1 $$
성분 $q_i, k_i$ 가 모두 서로 독립이고 평균 0, 분산 1 이라고 가정합니다. 학습 초기에 가중치를 그렇게 초기화하면 대략 맞는 가정입니다.
$$ \E[q_i k_i] = \E[q_i]\, \E[k_i] = 0 \times 0 = 0 $$
독립인 두 확률 변수의 곱의 기댓값은 기댓값의 곱입니다(2장).
$$ \E[q_i^2] = \Var(q_i) + \big(\E[q_i]\big)^2 = 1 + 0 = 1 $$
2장의 $\Var(X) = \E[X^2] - (\E[X])^2$ 를 $\E[X^2]$ 에 대해 정리했습니다. $\E[k_i^2] = 1$ 도 같습니다.
$$ \Var(q_i k_i) = \E\big[q_i^2 k_i^2\big] - \big(\E[q_i k_i]\big)^2 = \E[q_i^2]\,\E[k_i^2] - 0 = 1 $$
분산의 정의를 쓰고, $q_i^2$ 와 $k_i^2$ 도 서로 독립이므로 기댓값이 곱으로 나뉩니다.
$$ \Var(q \cdot k) = \sum_{i=1}^{d} \Var(q_i k_i) = d $$
서로 독립인 확률 변수들의 합의 분산은 분산의 합입니다(2장). 항이 $d$ 개, 각각 분산 1 입니다. 즉 내적의 표준편차는 $\sqrt{d}$ 로, 차원이 커질수록 점수가 커집니다.
$$ \Var\!\Big( \frac{q \cdot k}{\sqrt{d}} \Big) = \frac{1}{(\sqrt{d})^2}\, \Var(q \cdot k) = \frac{d}{d} = 1 $$
$\Var(cX) = c^2 \Var(X)$ 입니다(2장). $\sqrt{d}$ 로 나누면 차원과 상관없이 점수의 분산이 1 로 일정해집니다.

점수가 크면 왜 나쁠까요? softmax 가 거의 한 곳에만 1 을 주는 꼴로 “포화” 되어 기울기가 사라지기 때문입니다. 두 점수 $(s_1, s_2)$ 의 softmax 에서 $p_1 = e^{s_1}/(e^{s_1} + e^{s_2})$ 의 미분을 구해 봅시다.

softmax 의 기울기 p(1−p)
$$ \frac{\partial p_1}{\partial s_1} = \frac{e^{s_1}(e^{s_1} + e^{s_2}) - e^{s_1} \cdot e^{s_1}}{(e^{s_1} + e^{s_2})^2} $$
몫의 미분법 $\big(\tfrac{f}{g}\big)' = \tfrac{f'g - fg'}{g^2}$ 에서 $f = e^{s_1}$, $g = e^{s_1} + e^{s_2}$, $f' = g' = e^{s_1}$ 입니다($e^x$ 의 미분은 $e^x$).
$$ = \frac{e^{s_1}}{e^{s_1} + e^{s_2}} \cdot \frac{(e^{s_1} + e^{s_2}) - e^{s_1}}{e^{s_1} + e^{s_2}} = p_1 \cdot \frac{e^{s_2}}{e^{s_1} + e^{s_2}} $$
분자에서 $e^{s_1}$ 을 묶어 내고 분모를 둘로 나눴습니다.
$$ \frac{\partial p_1}{\partial s_1} = p_1\, (1 - p_1) $$
두 번째 인수는 $p_2 = 1 - p_1$ 입니다. $p_1$ 이 1 에 가까우면(포화) 기울기 $p_1(1-p_1)$ 이 0 에 가까워집니다.

$d = 64$ 면 점수의 표준편차가 $\sqrt{64} = 8$ 이므로, 나누지 않으면 $(8, 0)$ 같은 점수 차가 흔합니다. 이때 $p_1 = e^8/(e^8 + 1) = 0.99966$, 기울기는 $0.99966 \times 0.00034 = 0.00034$ 입니다. $\sqrt{d} = 8$ 로 나눈 $(1, 0)$ 이면 $p_1 = 0.731$, 기울기 $0.197$ 로 약 590배 큽니다($0.19661 / 0.000335 \approx 587$).


  
[어텐션] d =   4: Var(q·k) =     4.00, Var(q·k / sqrt(d)) = 0.999
[어텐션] d =  64: Var(q·k) =    63.82, Var(q·k / sqrt(d)) = 0.997
[어텐션] d = 512: Var(q·k) =   510.86, Var(q·k / sqrt(d)) = 0.998
[softmax] 점수 [8. 0.] → 확률 [0.9997 0.0003], 기울기 p(1-p) = 0.00034
[softmax] 점수 [1. 0.] → 확률 [0.7311 0.2689], 기울기 p(1-p) = 0.19661

마지막으로, 다음 토큰을 맞힐 때 미래 토큰을 엿보면 안 되므로 인과 마스크(causal mask)를 씁니다. 위치 $i$ 의 질의는 $j \gt i$ 인 열쇠와의 점수를 $-\infty$ 로 바꿉니다. $e^{-\infty} = 0$ 이므로 softmax 가중치가 정확히 0 이 되어 미래 정보가 섞이지 않습니다. 이 덕분에 길이 $N$ 의 열 전체를 한 번에 넣고 $N$ 개의 “다음 토큰 예측” 을 동시에 학습할 수 있습니다. RNN 이 한 스텝씩 차례로 계산해야 했던 것과 비교하면 학습이 훨씬 병렬적입니다.

그림 oₜ 64×64 VQ 토큰 4×4 = 16개 Transformer (인과 마스크) oₜ 토큰 16 aₜ oₜ₊₁ 토큰 16 aₜ₊₁ … 한 토큰씩 다음 토큰을 예측 + 보상 · 종료 예측 디코더 상상한 그림 ôₜ₊₁ 액터-크리틱 (12장과 같은 상상 학습) 상상한 그림 · 보상으로 정책을 배운다
그림 13-3. IRIS 의 구조. 그림을 정수 토큰으로 바꾸고, 언어 모델처럼 다음 토큰을 예측하는 Transformer 가 World Model 역할을 합니다.

대표 모델: IRIS · TWM · STORM

Atari 100k 의 성적은 보통 사람 기준 정규화 점수human-normalized score, HNS 로 비교합니다. 게임마다 점수 단위가 다르므로, 무작위 행동의 점수를 0, 사람의 점수를 1 로 맞춥니다.

$$ \text{HNS} = \frac{\text{에이전트 점수} - \text{무작위 점수}}{\text{사람 점수} - \text{무작위 점수}}, \qquad \text{예: } \frac{600 - 100}{1100 - 100} = 0.5\ (50\%) $$
장점단점
LLM 의 도구(학습 방법 · 하드웨어 최적화 · 규모 키우기)를 그대로 쓴다. 긴 과거를 직접 참조할 수 있어 기억이 좋다. 학습이 병렬적이다. 토큰을 하나씩 만드는 생성은 느리다(그림 한 장에 토큰 16번). 어텐션 비용이 열 길이의 제곱으로 는다. VQ 토크나이저가 작은 세부를 잃을 수 있다.

5. 잡음을 걷어 내며 미래 그리기: 확산 World Model

직관: 잉크를 거꾸로 돌리기

맑은 물에 잉크 한 방울을 떨어뜨리면 시간이 지나며 퍼져서 결국 물 전체가 고르게 흐려집니다. 이 과정을 거꾸로 돌린 영상을 상상해 보세요. 흐린 물에서 잉크가 조금씩 모여 처음의 방울 모양이 됩니다. 확산 모델 은 “고르게 퍼진 잡음” 에서 출발해 이 거꾸로 영상을 한 프레임씩 만들어 내는 법을 배웁니다.

확산 모델diffusion model, DDPM: Ho et al., 2020 은 두 과정으로 되어 있습니다. 데이터에 잡음을 조금씩 섞어 결국 순수한 가우시안 잡음으로 만드는 정방향 과정(정해진 규칙, 학습할 것이 없음)과, 잡음에서 시작해 잡음을 조금씩 걷어 내 데이터를 만드는 역방향 과정(신경망이 배움)입니다. 지금부터 필요한 식을 모두 유도합니다. 쓰는 도구는 2장의 가우시안, 3장의 KL, 8장의 ELBO 뿐입니다. 표기를 간단히 하려고 1차원으로 유도하지만, 벡터에서도 성분마다 똑같이 성립합니다.

정방향 과정: 한 스텝

데이터 $x_0$ 에서 시작해 $t = 1, 2, \dots, T$ 스텝마다 다음 규칙으로 잡음을 섞습니다. $\beta_t$ 는 스텝마다 섞는 잡음의 양(0.0001 ~ 0.02 같은 작은 수)이고, $\alpha_t := 1 - \beta_t$ 입니다.

$$ q(x_t \mid x_{t-1}) = \Normal\big(x_t;\ \sqrt{\alpha_t}\, x_{t-1},\ \beta_t\big) \quad\Longleftrightarrow\quad x_t = \sqrt{\alpha_t}\, x_{t-1} + \sqrt{\beta_t}\, \epsilon_t,\quad \epsilon_t \sim \Normal(0, 1) $$

왜 $x_{t-1}$ 에 $\sqrt{\alpha_t}$ 를 곱해 조금 줄일까요? 크기가 무한히 커지지 않게 하기 위해서입니다.

분산이 1 이면 계속 1 로 유지된다
$$ \Var(x_t) = \Var\big(\sqrt{\alpha_t}\, x_{t-1}\big) + \Var\big(\sqrt{\beta_t}\, \epsilon_t\big) $$
$x_{t-1}$ 과 새 잡음 $\epsilon_t$ 는 서로 독립이므로 합의 분산은 분산의 합입니다.
$$ = \alpha_t \Var(x_{t-1}) + \beta_t \Var(\epsilon_t) = \alpha_t \Var(x_{t-1}) + \beta_t $$
$\Var(cX) = c^2 \Var(X)$ 이고 $(\sqrt{\alpha_t})^2 = \alpha_t$, $\Var(\epsilon_t) = 1$ 입니다.
$$ \Var(x_{t-1}) = 1 \;\Rightarrow\; \Var(x_t) = \alpha_t + \beta_t = 1 $$
$\alpha_t + \beta_t = 1$ 이므로 분산이 1 인 데이터는 몇 스텝을 가도 분산 1 을 유지합니다. 그래서 끝에는 “분산 1 인 순수한 잡음” $\Normal(0, 1)$ 에 다다릅니다. (그냥 잡음을 더하기만 하면 분산이 $1 + \beta_1 + \beta_2 + \cdots$ 로 계속 커집니다.)

정방향 과정: 한 번에 t 스텝 (닫힌 꼴)

학습할 때마다 $x_0$ 에서 $t$ 스텝을 차례로 밟는 것은 낭비입니다. 다행히 가우시안을 여러 번 더한 결과는 다시 가우시안이므로, $x_0$ 에서 $x_t$ 로 한 번에 갈 수 있습니다. $\bar\alpha_t := \alpha_1 \alpha_2 \cdots \alpha_t$ 라고 정의합니다.

q(x_t | x_0) = N(√ᾱ_t x_0, 1 − ᾱ_t)
$$ x_t = \sqrt{\alpha_t}\, x_{t-1} + \sqrt{1 - \alpha_t}\, \epsilon_t $$
한 스텝 규칙입니다($\beta_t = 1 - \alpha_t$).
$$ x_t = \sqrt{\alpha_t}\Big( \sqrt{\alpha_{t-1}}\, x_{t-2} + \sqrt{1 - \alpha_{t-1}}\, \epsilon_{t-1} \Big) + \sqrt{1 - \alpha_t}\, \epsilon_t $$
$x_{t-1}$ 자리에 같은 규칙 $x_{t-1} = \sqrt{\alpha_{t-1}}\, x_{t-2} + \sqrt{1-\alpha_{t-1}}\, \epsilon_{t-1}$ 을 넣습니다.
$$ = \sqrt{\alpha_t \alpha_{t-1}}\, x_{t-2} + \underbrace{\sqrt{\alpha_t (1 - \alpha_{t-1})}\, \epsilon_{t-1} + \sqrt{1 - \alpha_t}\, \epsilon_t}_{\text{독립인 두 잡음의 합}} $$
괄호를 풀었습니다. $\sqrt{a}\sqrt{b} = \sqrt{ab}$ 입니다.
$$ \Var(\text{잡음 합}) = \alpha_t(1 - \alpha_{t-1}) + (1 - \alpha_t) = \alpha_t - \alpha_t\alpha_{t-1} + 1 - \alpha_t = 1 - \alpha_t \alpha_{t-1} $$
평균 0 인 독립 가우시안 두 개를 더하면 다시 가우시안이 됩니다(이 성질은 증명 없이 받아들입니다). 그 평균은 0, 분산은 두 분산의 합입니다(분산의 합은 2장). 계수를 제곱해 분산을 구하고 정리했습니다.
$$ x_t = \sqrt{\alpha_t \alpha_{t-1}}\, x_{t-2} + \sqrt{1 - \alpha_t\alpha_{t-1}}\; \bar\epsilon, \qquad \bar\epsilon \sim \Normal(0, 1) $$
두 잡음의 합은 “분산이 $1 - \alpha_t\alpha_{t-1}$ 인 가우시안 하나” 와 분포가 같으므로, 표준 정규 $\bar\epsilon$ 하나에 표준편차를 곱한 꼴로 바꿔 씁니다.
$$ x_t = \sqrt{\bar\alpha_t}\, x_0 + \sqrt{1 - \bar\alpha_t}\; \epsilon, \qquad q(x_t \mid x_0) = \Normal\big(x_t;\ \sqrt{\bar\alpha_t}\, x_0,\ 1 - \bar\alpha_t\big) $$
두 스텝에서 계수가 “$\alpha$ 들의 곱” 으로 정리되었습니다. 같은 일을 $x_0$ 까지 되풀이하면(수학적 귀납법) 곱이 $\alpha_t \alpha_{t-1}\cdots\alpha_1 = \bar\alpha_t$ 가 됩니다. $\bar\alpha_T$ 가 0 에 가까우면 $x_T \approx \epsilon$, 즉 순수한 잡음입니다.

숫자로 확인합니다. $x_0 = 2$, $\beta_1 = \beta_2 = \beta_3 = 0.1$ 이면 $\alpha = 0.9$, $\bar\alpha_3 = 0.9^3 = 0.729$ 이므로 $q(x_3 \mid x_0) = \Normal\big(\sqrt{0.729} \times 2,\ 1 - 0.729\big) = \Normal(1.7076,\ 0.271)$ 입니다. 한 스텝씩 분산을 따라가도 $0.1 \to 0.9 \times 0.1 + 0.1 = 0.19 \to 0.9 \times 0.19 + 0.1 = 0.271$ 로 같습니다. 백만 개의 표본으로 한 스텝씩 되풀이한 결과와 비교해 봅시다.


  
[확산] 되풀이:  평균 1.7079, 분산 0.2706
[확산] 닫힌 꼴: 평균 1.7076, 분산 0.2710
x₀ 데이터 xₜ₋₁ xₜ xT 순수한 잡음 ⋯ ⋯ q(xₜ | xₜ₋₁): 잡음 섞기 (고정) pθ(xₜ₋₁ | xₜ): 잡음 걷어 내기 (학습)
그림 13-4. 확산 모델의 두 과정. 위쪽 화살표(정방향)는 정해진 규칙이고, 아래쪽 화살표(역방향)를 신경망이 배웁니다.

역방향 과정의 정답: q(x_t−1 | x_t, x_0)

잡음에서 데이터로 돌아가려면 $q(x_{t-1} \mid x_t)$, 즉 “잡음이 조금 더 섞인 $x_t$ 를 보고 한 스텝 전 $x_{t-1}$ 을 맞히는 분포” 가 필요합니다. 이것은 데이터 전체의 분포를 알아야 계산되므로 직접 구할 수 없습니다. 그러나 원래 데이터 $x_0$ 까지 안다고 하면 정확히 계산할 수 있고, 그것이 가우시안이라는 사실이 학습 목표의 열쇠입니다. 먼저 도구 하나를 준비합니다.

도구: 같은 변수에 대한 가우시안 두 개의 곱은 가우시안이다
$$ \Normal(x; a, A)\cdot \Normal(x; b, B) \;\propto\; \exp\!\Big( -\frac{(x - a)^2}{2A} - \frac{(x - b)^2}{2B} \Big) $$
가우시안 밀도는 $\frac{1}{\sqrt{2\pi A}}\exp(-\frac{(x-a)^2}{2A})$ 입니다(2장). $x$ 와 상관없는 앞의 상수는 $\propto$(비례)로 버리고, 지수끼리의 곱은 지수의 합입니다.
$$ = \exp\!\Big( -\frac{1}{2}\Big[ x^2\Big(\frac{1}{A} + \frac{1}{B}\Big) - 2x\Big(\frac{a}{A} + \frac{b}{B}\Big) + \text{상수} \Big] \Big) $$
$(x - a)^2 = x^2 - 2ax + a^2$ 처럼 전개하고, $x^2$ 항과 $x$ 항끼리 모았습니다. $a^2/A + b^2/B$ 는 $x$ 와 상관없는 상수입니다.
$$ \frac{1}{C} := \frac{1}{A} + \frac{1}{B} \;\Rightarrow\; C = \frac{AB}{A + B}, \qquad m := C\Big(\frac{a}{A} + \frac{b}{B}\Big) = \frac{aB + bA}{A + B} $$
새 이름을 붙입니다. $\frac{1}{A} + \frac{1}{B} = \frac{A + B}{AB}$ 이므로 그 역수가 $C$ 이고, $m$ 은 $C$ 를 곱해 통분한 것입니다.
$$ x^2 \frac{1}{C} - 2x\frac{m}{C} = \frac{1}{C}\big(x^2 - 2mx\big) = \frac{1}{C}\Big( (x - m)^2 - m^2 \Big) $$
$\frac{a}{A} + \frac{b}{B} = \frac{m}{C}$ 입니다. 그리고 완전제곱식 $(x - m)^2 = x^2 - 2mx + m^2$ 을 이용해 “제곱을 완성” 했습니다.
$$ \Normal(x; a, A)\cdot \Normal(x; b, B) \;\propto\; \exp\!\Big( -\frac{(x - m)^2}{2C} \Big) \;\propto\; \Normal\!\Big(x;\ \frac{aB + bA}{A + B},\ \frac{AB}{A + B}\Big) $$
$-m^2/C$ 와 나머지 상수는 $x$ 와 상관없어 비례 상수로 들어갑니다. 결과는 평균 $m$, 분산 $C$ 인 가우시안의 모양입니다. 평균은 두 평균을 “상대 분산” 으로 가중 평균한 값이고, 분산은 둘보다 작아집니다(두 정보를 합치면 더 확실해진다).

다음으로, 정방향 한 스텝 $q(x_t \mid x_{t-1})$ 을 “$x_{t-1}$ 에 대한 가우시안 모양” 으로 바꿔 씁니다.

q(x_t | x_t−1) 을 x_t−1 의 함수로 보기
$$ \Normal\big(x_t;\ \sqrt{\alpha_t}\, x_{t-1},\ \beta_t\big) \;\propto\; \exp\!\Big( -\frac{(x_t - \sqrt{\alpha_t}\, x_{t-1})^2}{2\beta_t} \Big) $$
가우시안 밀도의 정의에서 상수 부분을 뺐습니다.
$$ (x_t - \sqrt{\alpha_t}\, x_{t-1})^2 = \Big( -\sqrt{\alpha_t}\big( x_{t-1} - \tfrac{x_t}{\sqrt{\alpha_t}} \big) \Big)^2 = \alpha_t \Big( x_{t-1} - \frac{x_t}{\sqrt{\alpha_t}} \Big)^2 $$
괄호 안에서 $-\sqrt{\alpha_t}$ 를 묶어 냈습니다. 제곱하면 부호는 사라지고 $(\sqrt{\alpha_t})^2 = \alpha_t$ 가 남습니다.
$$ \propto \exp\!\Big( -\frac{(x_{t-1} - x_t / \sqrt{\alpha_t})^2}{2\, \beta_t / \alpha_t} \Big) \;\propto\; \Normal\Big(x_{t-1};\ \frac{x_t}{\sqrt{\alpha_t}},\ \frac{\beta_t}{\alpha_t}\Big) $$
$\frac{\alpha_t (\cdots)^2}{2\beta_t} = \frac{(\cdots)^2}{2\beta_t/\alpha_t}$ 이므로, $x_{t-1}$ 의 함수로 보면 평균 $x_t/\sqrt{\alpha_t}$, 분산 $\beta_t/\alpha_t$ 인 가우시안 모양입니다.

이제 베이즈 정리(2장)로 정답 분포를 구합니다.

q(x_t−1 | x_t, x_0) 의 분산 β̃_t 와 평균 μ̃_t
$$ q(x_{t-1} \mid x_t, x_0) = \frac{q(x_t \mid x_{t-1}, x_0)\; q(x_{t-1} \mid x_0)}{q(x_t \mid x_0)} = \frac{q(x_t \mid x_{t-1})\; q(x_{t-1} \mid x_0)}{q(x_t \mid x_0)} $$
$x_0$ 을 조건으로 둔 채 베이즈 정리를 썼습니다. 정방향은 마르코프 과정(바로 앞 상태만 보고 다음을 정함)이라 $x_{t-1}$ 을 알면 $x_0$ 은 $x_t$ 에 더 줄 정보가 없으므로 $q(x_t \mid x_{t-1}, x_0) = q(x_t \mid x_{t-1})$ 입니다.
$$ \propto \Normal\Big(x_{t-1};\ \frac{x_t}{\sqrt{\alpha_t}},\ \frac{\beta_t}{\alpha_t}\Big) \cdot \Normal\big(x_{t-1};\ \sqrt{\bar\alpha_{t-1}}\, x_0,\ 1 - \bar\alpha_{t-1}\big) $$
분모는 $x_{t-1}$ 과 상관없어 비례 상수입니다. 첫 인수는 바로 위 풀이의 결과, 둘째 인수는 닫힌 꼴을 $t-1$ 에 쓴 것입니다.
$$ a = \frac{x_t}{\sqrt{\alpha_t}},\quad A = \frac{\beta_t}{\alpha_t},\quad b = \sqrt{\bar\alpha_{t-1}}\, x_0,\quad B = 1 - \bar\alpha_{t-1} $$
가우시안 곱의 도구에 넣기 위해 이름을 맞췄습니다.
$$ A + B = \frac{\beta_t}{\alpha_t} + 1 - \bar\alpha_{t-1} = \frac{\beta_t + \alpha_t - \alpha_t\bar\alpha_{t-1}}{\alpha_t} = \frac{1 - \bar\alpha_t}{\alpha_t} $$
통분한 뒤, $\beta_t + \alpha_t = 1$ 이고 $\alpha_t \bar\alpha_{t-1} = \bar\alpha_t$ ($\bar\alpha$ 의 정의) 임을 썼습니다.
$$ \tilde\beta_t := C = \frac{AB}{A + B} = \frac{\beta_t}{\alpha_t}(1 - \bar\alpha_{t-1}) \cdot \frac{\alpha_t}{1 - \bar\alpha_t} = \frac{1 - \bar\alpha_{t-1}}{1 - \bar\alpha_t}\, \beta_t $$
$A + B$ 로 나누는 것은 그 역수 $\frac{\alpha_t}{1 - \bar\alpha_t}$ 를 곱하는 것이고, $\alpha_t$ 가 약분됩니다. 이것이 정답 분포의 분산입니다. ($t = 1$ 일 때는 곱할 것이 없으므로 $\bar\alpha_0 := 1$ 로 약속합니다. 그러면 $\tilde\beta_1 = 0$ — $x_0$ 을 알면 $x_0$ 은 당연히 정확히 정해집니다.)
$$ \tilde\mu_t := m = \frac{aB + bA}{A + B} = \Big[ \frac{x_t}{\sqrt{\alpha_t}}(1 - \bar\alpha_{t-1}) + \sqrt{\bar\alpha_{t-1}}\, x_0\, \frac{\beta_t}{\alpha_t} \Big] \frac{\alpha_t}{1 - \bar\alpha_t} $$
도구의 평균 식에 그대로 넣었습니다.
$$ \tilde\mu_t = \frac{\sqrt{\alpha_t}\,(1 - \bar\alpha_{t-1})}{1 - \bar\alpha_t}\, x_t + \frac{\sqrt{\bar\alpha_{t-1}}\, \beta_t}{1 - \bar\alpha_t}\, x_0 $$
$\alpha_t$ 를 안으로 곱하면 첫 항은 $\frac{\alpha_t}{\sqrt{\alpha_t}} = \sqrt{\alpha_t}$, 둘째 항은 $\frac{\beta_t}{\alpha_t}\cdot\alpha_t = \beta_t$ 가 됩니다. 정답 분포는 $\Normal(\tilde\mu_t, \tilde\beta_t)$ — $x_t$ 와 $x_0$ 의 가중 평균을 중심으로 한 가우시안입니다.

숫자로 보면, $\beta = 0.1$ 이 일정할 때 $t = 2$ 에서 $\bar\alpha_1 = 0.9$, $\bar\alpha_2 = 0.81$ 이므로 $\tilde\beta_2 = \frac{1 - 0.9}{1 - 0.81} \times 0.1 = \frac{0.1}{0.19}\times 0.1 = 0.0526$ 입니다. 한 스텝에 섞은 잡음 $\beta_2 = 0.1$ 보다 작습니다. $x_0$ 이라는 추가 정보가 있으니 $x_1$ 을 더 확실하게 맞힐 수 있는 것입니다.

그런데 실제로 샘플을 만들 때는 $x_0$ 을 모릅니다(그걸 만들려는 것이니까요). 그래서 $x_0$ 을 “$x_t$ 에 섞인 잡음 $\epsilon$” 으로 바꿔 씁니다. 닫힌 꼴 $x_t = \sqrt{\bar\alpha_t}\, x_0 + \sqrt{1 - \bar\alpha_t}\, \epsilon$ 을 $x_0$ 에 대해 풀면 $x_0 = \big(x_t - \sqrt{1 - \bar\alpha_t}\,\epsilon\big)/\sqrt{\bar\alpha_t}$ 입니다.

μ̃_t 를 잡음 ε 으로 표현하기
$$ \frac{\sqrt{\bar\alpha_{t-1}}\, \beta_t}{1 - \bar\alpha_t}\, x_0 = \frac{\sqrt{\bar\alpha_{t-1}}\, \beta_t}{1 - \bar\alpha_t} \cdot \frac{x_t - \sqrt{1 - \bar\alpha_t}\,\epsilon}{\sqrt{\bar\alpha_t}} = \frac{\beta_t}{\sqrt{\alpha_t}\,(1 - \bar\alpha_t)}\big( x_t - \sqrt{1 - \bar\alpha_t}\,\epsilon \big) $$
$\tilde\mu_t$ 의 둘째 항에 $x_0$ 을 넣었습니다. $\sqrt{\bar\alpha_t} = \sqrt{\alpha_t}\sqrt{\bar\alpha_{t-1}}$ 이므로 $\sqrt{\bar\alpha_{t-1}}/\sqrt{\bar\alpha_t} = 1/\sqrt{\alpha_t}$ 입니다.
$$ x_t \text{ 의 계수} = \frac{\sqrt{\alpha_t}(1 - \bar\alpha_{t-1})}{1 - \bar\alpha_t} + \frac{\beta_t}{\sqrt{\alpha_t}(1 - \bar\alpha_t)} = \frac{\alpha_t (1 - \bar\alpha_{t-1}) + \beta_t}{\sqrt{\alpha_t}(1 - \bar\alpha_t)} $$
첫 항의 분자 · 분모에 $\sqrt{\alpha_t}$ 를 곱해 분모를 맞추고 더했습니다.
$$ = \frac{\alpha_t - \bar\alpha_t + 1 - \alpha_t}{\sqrt{\alpha_t}(1 - \bar\alpha_t)} = \frac{1 - \bar\alpha_t}{\sqrt{\alpha_t}(1 - \bar\alpha_t)} = \frac{1}{\sqrt{\alpha_t}} $$
$\alpha_t \bar\alpha_{t-1} = \bar\alpha_t$, $\beta_t = 1 - \alpha_t$ 를 넣으면 분자가 $1 - \bar\alpha_t$ 가 되어 약분됩니다.
$$ \epsilon \text{ 의 계수} = -\frac{\beta_t \sqrt{1 - \bar\alpha_t}}{\sqrt{\alpha_t}(1 - \bar\alpha_t)} = -\frac{\beta_t}{\sqrt{\alpha_t}\,\sqrt{1 - \bar\alpha_t}} $$
$\epsilon$ 은 첫 줄의 둘째 항에만 있습니다. $\frac{\sqrt{1 - \bar\alpha_t}}{1 - \bar\alpha_t} = \frac{1}{\sqrt{1 - \bar\alpha_t}}$ 입니다.
$$ \tilde\mu_t = \frac{1}{\sqrt{\alpha_t}} \Big( x_t - \frac{\beta_t}{\sqrt{1 - \bar\alpha_t}}\, \epsilon \Big) $$
두 계수를 합쳐 $\frac{1}{\sqrt{\alpha_t}}$ 로 묶었습니다. 한 스텝 전으로 돌아가려면 “$x_t$ 에 섞인 잡음 $\epsilon$” 만 알면 된다 는 뜻입니다. 그래서 신경망은 $\epsilon$ 을 맞히도록 배웁니다.

학습 목표는 어디서 오는가: 확산의 ELBO

8장의 VAE 에서 잠재 변수 $z$ 를 두고 $\log p(x)$ 의 아래 경계(ELBO)를 유도했습니다. 확산 모델은 잠재 변수가 $x_1, \dots, x_T$ 여러 개인 VAE 로 볼 수 있습니다. 모델(역방향)은 $p_\theta(x_{0:T}) = p(x_T) \prod_{t=1}^{T} p_\theta(x_{t-1} \mid x_t)$, $p(x_T) = \Normal(0, 1)$ 이고, “인코더” 자리에 고정된 정방향 $q(x_{1:T} \mid x_0) = \prod_{t=1}^{T} q(x_t \mid x_{t-1})$ 이 들어갑니다.

ELBO 를 스텝마다의 KL 합으로 바꾸기
$$ \log p_\theta(x_0) \;\ge\; \E_{q(x_{1:T} \mid x_0)}\Big[ \log \frac{p_\theta(x_{0:T})}{q(x_{1:T} \mid x_0)} \Big] =: \text{ELBO} $$
8장의 ELBO 유도(젠센 부등식)를 그대로 쓰되, 잠재 변수 $z$ 자리에 $x_{1:T}$ 를 놓았습니다.
$$ \log \frac{p_\theta(x_{0:T})}{q(x_{1:T} \mid x_0)} = \log p(x_T) + \sum_{t=1}^{T} \log \frac{p_\theta(x_{t-1} \mid x_t)}{q(x_t \mid x_{t-1})} $$
분자 · 분모를 곱으로 풀어 쓰고, 곱의 로그는 로그의 합이라는 성질을 썼습니다. 분자 · 분모 모두 $t = 1..T$ 의 인수가 $T$ 개씩 있어 짝을 지었습니다.
$$ = \log p(x_T) + \log \frac{p_\theta(x_0 \mid x_1)}{q(x_1 \mid x_0)} + \sum_{t=2}^{T} \log \frac{p_\theta(x_{t-1} \mid x_t)}{q(x_t \mid x_{t-1})} $$
$t = 1$ 항만 따로 떼어 냈습니다. 아래에서 $t \ge 2$ 인 항만 바꿀 것이기 때문입니다.
$$ q(x_t \mid x_{t-1}) = q(x_t \mid x_{t-1}, x_0) = \frac{q(x_{t-1} \mid x_t, x_0)\; q(x_t \mid x_0)}{q(x_{t-1} \mid x_0)} \qquad (t \ge 2) $$
마르코프 성질로 $x_0$ 을 조건에 더해도 같고, 거기에 베이즈 정리를 썼습니다. 이렇게 하면 “정방향” 확률이 우리가 위에서 구한 “역방향 정답” $q(x_{t-1} \mid x_t, x_0)$ 으로 바뀝니다.
$$ \sum_{t=2}^{T} \log \frac{p_\theta(x_{t-1} \mid x_t)}{q(x_t \mid x_{t-1})} = \sum_{t=2}^{T} \log \frac{p_\theta(x_{t-1} \mid x_t)}{q(x_{t-1} \mid x_t, x_0)} + \sum_{t=2}^{T} \log \frac{q(x_{t-1} \mid x_0)}{q(x_t \mid x_0)} $$
바로 위 식을 분모에 넣으면 분수가 뒤집히며 두 인수로 나뉘고, 로그가 합으로 갈라집니다.
$$ \sum_{t=2}^{T} \big[\log q(x_{t-1} \mid x_0) - \log q(x_t \mid x_0)\big] = \log q(x_1 \mid x_0) - \log q(x_T \mid x_0) $$
둘째 합은 앞 항의 빼는 부분과 다음 항의 더하는 부분이 차례로 지워지는 “망원경 합(telescoping sum)” 입니다. 예: $(L_1 - L_2) + (L_2 - L_3) + (L_3 - L_4) = L_1 - L_4$.
$$ \log\frac{p_\theta(x_{0:T})}{q(x_{1:T}\mid x_0)} = \log \frac{p(x_T)}{q(x_T \mid x_0)} + \log p_\theta(x_0 \mid x_1) + \sum_{t=2}^{T} \log \frac{p_\theta(x_{t-1} \mid x_t)}{q(x_{t-1} \mid x_t, x_0)} $$
모두 모읍니다. $t = 1$ 항의 분모 $-\log q(x_1 \mid x_0)$ 과 망원경 합의 $+\log q(x_1 \mid x_0)$ 이 지워지고, $\log p(x_T)$ 와 $-\log q(x_T \mid x_0)$ 이 한 분수로 묶입니다.
$$ \text{ELBO} = \underbrace{\E_q\big[\log p_\theta(x_0 \mid x_1)\big]}_{\text{재구성}} - \underbrace{\KL\big(q(x_T \mid x_0) \,\|\, p(x_T)\big)}_{\text{학습할 것 없음}} - \sum_{t=2}^{T} \E_{q(x_t \mid x_0)}\Big[ \underbrace{\KL\big(q(x_{t-1} \mid x_t, x_0) \,\|\, p_\theta(x_{t-1} \mid x_t)\big)}_{\text{스텝마다 정답을 따라 하기}} \Big] $$
기댓값을 씌웁니다. 셋째 항은 $x_t$ 를 고정하고 $x_{t-1}$ 에 대해 먼저 기댓값을 내면 $\E_{q(x_{t-1}\mid x_t, x_0)}[\log \frac{p_\theta}{q}] = -\KL(q \| p_\theta)$ 가 됩니다(3장 KL 의 정의). 가운데 항에는 $\theta$ 가 없고, $\bar\alpha_T \approx 0$ 이면 거의 0 입니다. 결국 학습은 “스텝마다 모델의 역방향 분포가 정답 $q(x_{t-1} \mid x_t, x_0)$ 을 따라 하게” 하는 것입니다.

모델의 역방향 한 스텝을 정답과 같은 꼴로 정합니다. 분산은 정해진 값 $\sigma_t^2$ (보통 $\beta_t$ 또는 $\tilde\beta_t$)로 두고, 평균은 정답 평균의 $\epsilon$ 자리를 신경망 $\epsilon_\theta$ 로 바꿉니다.

$$ p_\theta(x_{t-1} \mid x_t) = \Normal\big(x_{t-1};\ \mu_\theta(x_t, t),\ \sigma_t^2\big), \qquad \mu_\theta(x_t, t) = \frac{1}{\sqrt{\alpha_t}} \Big( x_t - \frac{\beta_t}{\sqrt{1 - \bar\alpha_t}}\, \epsilon_\theta(x_t, t) \Big) $$
스텝마다의 KL = 잡음 예측 오차의 제곱
$$ \KL\big(\Normal(\mu_1, \sigma^2) \,\|\, \Normal(\mu_2, \sigma^2)\big) = \log\frac{\sigma}{\sigma} + \frac{\sigma^2 + (\mu_1 - \mu_2)^2}{2\sigma^2} - \frac{1}{2} = \frac{(\mu_1 - \mu_2)^2}{2\sigma^2} $$
3장에서 유도한 두 가우시안의 KL 식 $\log\frac{\sigma_2}{\sigma_1} + \frac{\sigma_1^2 + (\mu_1-\mu_2)^2}{2\sigma_2^2} - \frac12$ 에 $\sigma_1 = \sigma_2 = \sigma$ 를 넣었습니다. 분산이 같으면 KL 은 평균 차이의 제곱에 비례합니다. (정답 분산 $\tilde\beta_t$ 와 모델 분산 $\sigma_t^2$ 가 다르면 $\theta$ 와 상관없는 상수 항이 더 붙을 뿐, $\theta$ 에 대한 부분은 같습니다.)
$$ \tilde\mu_t - \mu_\theta = \frac{1}{\sqrt{\alpha_t}}\cdot \frac{\beta_t}{\sqrt{1 - \bar\alpha_t}} \big( \epsilon_\theta(x_t, t) - \epsilon \big) $$
두 평균은 $\epsilon$ 자리만 다르므로 빼면 $x_t$ 항이 지워집니다.
$$ D_{\mathrm{KL},\,t} = \frac{\beta_t^2}{2\sigma_t^2\, \alpha_t\, (1 - \bar\alpha_t)}\; \big\lVert \epsilon - \epsilon_\theta(x_t, t) \big\rVert^2 $$
위 차이를 제곱해 $2\sigma_t^2$ 로 나눴습니다. 예를 들어 $\beta_t = \sigma_t^2 = 0.1$, $\alpha_t = 0.9$, $\bar\alpha_t = 0.81$ 이면 계수는 $\frac{0.01}{2 \times 0.1 \times 0.9 \times 0.19} = \frac{0.01}{0.0342} = 0.292$ 입니다.
$$ \mathcal{L}_{\text{simple}}(\theta) = \E_{t,\, x_0,\, \epsilon}\Big[ \big\lVert \epsilon - \epsilon_\theta\big( \sqrt{\bar\alpha_t}\, x_0 + \sqrt{1 - \bar\alpha_t}\, \epsilon,\ t \big) \big\rVert^2 \Big] $$
$x_t$ 를 닫힌 꼴로 바꿔 넣고, $t$ 를 무작위로 고르며, 앞의 계수는 떼어 버립니다. Ho et al.(2020)은 계수를 뗀 이 “단순한” 손실이 실제로 더 좋은 그림을 만든다는 것을 보였습니다. 결과적으로 학습은 “섞은 잡음을 맞히는 회귀” 한 줄로 끝납니다. (위 ELBO 에서 따로 남겨 둔 $t = 1$ 의 재구성 항도 같은 꼴입니다. $p_\theta(x_0 \mid x_1) = \Normal(\mu_\theta(x_1, 1), \sigma_1^2)$ 이므로 $-\log p_\theta(x_0 \mid x_1) = \frac{(x_0 - \mu_\theta)^2}{2\sigma_1^2} + \text{상수}$ 이고, $x_0 = (x_1 - \sqrt{1-\alpha_1}\,\epsilon)/\sqrt{\alpha_1}$ 을 넣으면 $x_0 - \mu_\theta = \frac{\beta_1}{\sqrt{\alpha_1}\sqrt{1-\bar\alpha_1}}(\epsilon_\theta - \epsilon)$ 가 되어 역시 $\lVert\epsilon - \epsilon_\theta\rVert^2$ 에 비례합니다. 그래서 $t = 1, \dots, T$ 를 구별 없이 뽑아도 됩니다.)
핵심 · 확산 모델 한 장 요약

실습: 진자의 미래를 그리는 작은 확산 World Model

이론을 손에 잡히게 해 봅시다. 다음 질문을 푸는 작은 World Model 을 만듭니다.

실습 질문

진자가 지금 각도 $\theta$, 각속도 $\dot\theta$ 에 있습니다. 앞으로 1초(20 스텝) 동안 어떤 토크 $u \in [-2, 2]$ 를 계속 걸지 모릅니다. 1초 뒤 막대 끝은 어디에 있을까요?

$u$ 를 모르므로 답은 한 점이 아니라 여러 가능성의 분포 입니다. 이 장난감은 그림 대신 막대 끝 위치 $(x, y)$ 두 숫자만 예측하지만, “미래가 여러 갈래일 때 무엇을 예측해야 하는가” 라는 질문은 그림을 예측하는 World Model 과 똑같습니다. 비교를 위해 6장처럼 평균 제곱 오차(MSE)로 한 점을 예측하는 보통의 회귀 모델도 함께 학습합니다.

먼저 데이터입니다. wm_envs.Pendulum 과 같은 물리를 numpy 벡터 연산으로 다시 써서 20만 개의 (지금 상태, 1초 뒤 막대 끝) 쌍을 한 번에 만듭니다.


  

simulate_batch 는 6장에서 유도한 물리 세 줄을 배열 전체에 한꺼번에 적용합니다. 스크립트는 시작할 때 이 함수의 결과가 Pendulum.step 과 정확히 같은지 확인합니다. 조건 cond 는 지금 상태 $[\cos\theta, \sin\theta, \dot\theta/3]$, 목표 target 은 1초 뒤 막대 끝 $(\sin\theta', \cos\theta')$ 입니다(위쪽이 $+y$).

다음은 잡음 일정과 닫힌 꼴입니다. 위에서 유도한 식이 그대로 코드가 됩니다.


  
  

신경망은 잡음 섞인 미래 $x_t$, 단계 $t$, 조건 $c$ 를 받아 잡음 $\epsilon$ 을 맞히는 MLP 입니다.


  

단계 $t$ 는 정수라 그대로 넣으면 신경망이 다루기 어렵습니다. time_embedding 은 $t$ 를 여러 주파수의 $\sin, \cos$ 값으로 바꿔 “지금 잡음이 얼마나 섞였는지” 를 부드러운 벡터로 알려 줍니다. Regressor 는 비교용으로, 조건만 보고 미래 위치를 바로 내놓습니다.


  

확산 모델의 학습 루프는 위의 $\mathcal{L}_{\text{simple}}$ 그대로입니다. 무작위 $t$ 와 $\epsilon$ 을 뽑고(torch.randint, torch.randn_like), q_sample 로 $x_t$ 를 만들고, (denoiser(...) - eps) ** 2 의 평균을 줄입니다. 회귀 모델은 6장과 같은 MSE 학습입니다.


  

샘플링은 핵심 상자의 역방향 식 그대로입니다. b / math.sqrt(1 - ab) * eps_hat 이 $\frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\epsilon_\theta$, / math.sqrt(a) 가 $\frac{1}{\sqrt{\alpha_t}}$, 마지막 줄이 $+\sigma_t z$ ($\sigma_t^2 = \beta_t$) 입니다.

$ python ch13_diffusion_toy.py
물리 확인: simulate_batch 와 Pendulum.step 결과가 같습니다.
장치: cpu,  ᾱ_T = 3.66e-04  (0 에 가까울수록 x_T 가 순수한 잡음)
데이터 200,000개 만들기: 0.2초
step  1000  확산 손실 0.2078  회귀 MSE 0.2710
step  2000  확산 손실 0.1627  회귀 MSE 0.2655
…
step  8000  확산 손실 0.1417  회귀 MSE 0.2688
학습: 130.8초
[near top, still] 회귀 예측 = (-0.237, -0.276), 원점에서 거리 0.363  |  확산 샘플의 원점 거리 평균 0.998
[hanging, still] 회귀 예측 = (-0.004, -0.939), 원점에서 거리 0.939  |  확산 샘플의 원점 거리 평균 1.000
[horizontal, moving] 회귀 예측 = (-0.745, +0.025), 원점에서 거리 0.746  |  확산 샘플의 원점 거리 평균 0.999
그림 저장: ch13-forward.png, ch13-futures.png, ch13-reverse.png

이 튜토리얼을 쓴 환경(노트북 CPU 4스레드)에서 전체가 약 2분 걸렸습니다(--quick 은 약 10초). 막대 끝은 늘 반지름 1 인 원 위에 있어야 합니다. 확산 샘플은 원점에서의 거리가 평균 0.998 – 1.000 으로 원 위에 놓이지만, 회귀 예측은 거리 0.36 – 0.94 로 원 안쪽, 즉 물리적으로 불가능한 곳을 예측합니다.

원 위의 데이터에 잡음을 단계별로 섞어 가우시안 덩어리가 되는 정방향 과정
그림 13-5. 정방향 과정. 원 위의 진짜 미래 위치들(왼쪽)에 잡음을 섞어 가면 $t = 100$ 에서 둥근 가우시안 잡음이 됩니다. 학습할 것이 없는, 정해진 과정입니다.
세 가지 시작 상태에 대한 1초 뒤 막대 끝의 진짜 분포, 확산 샘플, 회귀 예측 비교
그림 13-6. 1초 뒤 막대 끝의 위치. 초록 = 진짜 가능한 미래(시뮬레이션), 파랑 = 확산 모델의 샘플, 자주색 X = MSE 회귀의 예측, 검은 원 = 지금 위치. 거의 서 있는 진자(왼쪽)는 어느 쪽으로 얼마나 쓰러질지 몰라 미래가 원 둘레 전체로 퍼집니다. 회귀는 그 “평균” 인 원 안쪽 한 점을 내놓지만, 확산 모델은 원 위의 그럴듯한 미래들을 뽑습니다. (파란 점이 원 밖으로 조금 번진 것은 작은 MLP 와 짧은 학습의 한계입니다.)
잡음에서 시작해 단계별로 잡음을 걷어 내어 원 위의 미래들이 나타나는 역방향 과정
그림 13-7. 역방향 과정(거의 서 있는 진자를 조건으로). 잡음 덩어리가 마지막 몇 단계에서 빠르게 원 모양으로 모입니다.
핵심 · 왜 그림 World Model 이 흐려지는가

MSE 를 최소화하는 예측은 가능한 미래들의 평균 입니다(9장에서 유도했습니다. 상수 $c$ 에 대해 $\E[(X - c)^2]$ 를 미분하면 $-2\E[X - c]$, 이것을 0 으로 놓으면 $c = \E[X]$). 미래가 여러 갈래면 평균은 어느 갈래와도 닮지 않은 값입니다. 픽셀을 MSE 로 예측하는 World Model 에서는 이 평균이 여러 미래를 겹쳐 놓은 흐릿한 그림 으로 나타납니다. 확산 모델은 평균이 아니라 표본 을 뽑으므로, 미래가 불확실해도 또렷한 한 장면을 그립니다. (RSSM 이 잠재 변수를 확률적으로 둔 것도 같은 문제에 대한 다른 답입니다.)

확산 World Model: DIAMOND 와 GameNGen

실제 확산 World Model 은 위의 조건 $c$ 자리에 최근 그림 몇 장과 행동들 을 넣고, 다음 그림 전체(수천 개의 픽셀)를 잡음에서 그려 냅니다.

$$ \epsilon_\theta\big( x^{(k)}_{t+1},\ k,\ \underbrace{o_{t-L+1}, \dots, o_t}_{\text{최근 그림 } L \text{ 장}},\ \underbrace{a_{t-L+1}, \dots, a_t}_{\text{행동}} \big) $$

(여기서 $k$ 는 잡음 단계이고, $t$ 는 환경의 시각입니다. 두 시간 축을 헷갈리지 않도록 잡음 단계에 $k$ 를 썼습니다.)

실제 논문들은 신경망이 맞히는 대상을 조금씩 달리합니다. GameNGen 은 잡음과 데이터를 섞은 “속도” $v$ 를 맞히고(v-예측), DIAMOND 는 DDPM 대신 EDM(Karras et al., 2022) 방식으로 깨끗한 그림 쪽을 맞힙니다. $x_t$ 를 알면 $\epsilon$, $x_0$, $v$ 는 서로 바꿔 쓸 수 있으므로 위 유도의 뼈대는 같습니다. DIAMOND 는 EDM 을 쓴 것이 적은 단계의 샘플링을 가능하게 했다고 보고합니다.

DDPM 이후에 나와 최근 대규모 World Model 에서 자주 보이는 이름 세 가지도 알아 두면 논문을 읽기 쉽습니다. 모두 “잡음에서 데이터로 가는 길을 신경망으로 배운다” 는 같은 뼈대 위에 있습니다.

주의 · 자기 출력에 기대는 생성의 함정(드리프트)

학습할 때는 조건으로 진짜 지난 그림을 넣지만, 실제로 상상을 굴릴 때는 모델이 스스로 만든 그림이 다음 조건이 됩니다. 작은 오차가 다음 입력으로 들어가 점점 커지는 것은 6장의 오차 누적과 같은 문제입니다. GameNGen 은 학습할 때 조건 그림에 일부러 가우시안 잡음을 섞어 “조금 틀린 과거를 보고도 바로잡는 법” 을 배우게 했고, 이것이 긴 시간 동안 화면을 안정시키는 데 결정적이었다고 보고합니다.

장점단점
여러 갈래의 미래를 또렷하게 그린다(흐려지지 않음). 작은 시각 세부를 잘 보존한다. 이미지 · 비디오 생성에서 검증된 거대한 기술 기반을 쓸 수 있다. 그림 한 장에 잡음 제거를 여러 번 해야 해서 느리다(단계 수 × 프레임 수). 긴 시간 일관성이 어렵다(드리프트). 보상 · 가치는 따로 예측해야 한다.

6. 픽셀 대신 표현을 예측하기: JEPA

아이디어: 예측할 수 없는 것은 예측하지 않는다

바람에 흔들리는 나뭇잎 하나하나의 위치, 물결의 모양 같은 세부는 본질적으로 예측할 수 없습니다. 픽셀을 맞히라고 하면 모델은 이런 세부에 용량을 낭비하거나, 5절에서 본 것처럼 평균을 내 흐릿해집니다. Yann LeCun 은 2022년의 입장 논문 “A Path Towards Autonomous Machine Intelligence” 에서 JEPAJoint-Embedding Predictive Architecture 를 제안했습니다. 입력 $x$ 와 목표 $y$ 를 각각 인코더로 표현 $s_x, s_y$ 로 바꾸고, 예측은 표현 공간에서 한다 는 것입니다.

$$ s_x = \text{Enc}_\theta(x), \qquad s_y = \text{Enc}_{\bar\theta}(y), \qquad \hat s_y = \text{Pred}_\theta(s_x,\ \text{조건}), \qquad E(x, y) = D\big(s_y,\ \hat s_y\big) $$

$D$ 는 거리(예: L1 · L2)이고, $E(x, y)$ 를 에너지energy 라고 부릅니다. 서로 잘 맞는(그럴듯한) $x, y$ 쌍은 에너지가 낮고, 맞지 않는 쌍은 높도록 학습합니다. World Model 로 쓸 때는 $x$ = 지금 영상, 조건 = 행동, $y$ = 미래 영상입니다. 인코더가 “예측할 수 없는 세부” 를 표현에서 빼 버릴 수 있으므로, 예측기는 예측 가능한 본질(물체의 위치 · 움직임)에 집중합니다.

생성형 (Dreamer · 확산) x 모델 ŷ (픽셀) y (픽셀) 픽셀끼리 비교 JEPA x Encθ Pred ŝy y Encθ̄ sy 표현끼리 비교 D(sy, ŝy) 점선 인코더 = EMA 목표 · 기울기 차단
그림 13-8. 생성형 World Model 은 픽셀을 다시 만들어 비교하고, JEPA 는 두 인코더가 만든 표현끼리 비교합니다.

붕괴: 모든 것을 같은 점으로 보내면 에너지는 0

표현 공간에서 비교하면 3절 TD-MPC 에서 본 것과 같은 함정이 생깁니다.

붕괴한 인코더는 손실을 0 으로 만든다
$$ \text{Enc}_\theta(x) = \text{Enc}_{\bar\theta}(y) = \mathbf{c}, \qquad \text{Pred}_\theta(\mathbf{c}, \cdot) = \mathbf{c} \qquad (\text{모든 } x, y) $$
두 인코더가 어떤 입력이든 같은 상수 벡터 $\mathbf{c}$ 를 내놓고, 예측기도 $\mathbf{c}$ 를 그대로 내놓는 경우입니다.
$$ E(x, y) = D(\mathbf{c}, \mathbf{c}) = 0 \quad \text{— 맞는 쌍이든 틀린 쌍이든 모두} $$
에너지가 모든 쌍에서 최솟값 0 이 되어 “아무것도 구별하지 못하는” 모델이 손실을 가장 작게 만듭니다. 이것이 표현 붕괴 입니다. 재구성 손실이 있는 Dreamer 는 디코더가 $\mathbf{c}$ 에서 서로 다른 그림을 복원할 수 없으므로 이 문제가 없었습니다.

붕괴를 막는 대표적인 방법은 세 가지입니다.

  1. 대조 학습(contrastive): 맞지 않는 쌍(음성 표본)의 에너지를 일부러 올립니다. 음성 표본이 많이 필요하다는 단점이 있습니다.
  2. EMA 목표 인코더 + 기울기 차단: 목표 쪽 인코더 $\bar\theta$ 를 학습하지 않고, 학습하는 인코더 $\theta$ 의 지수 이동 평균exponential moving average, EMA 으로 천천히 따라오게 합니다(자기 지도 학습 방법 BYOL 에서 시작해 I-JEPA, V-JEPA 가 씁니다). $$ \bar\theta \leftarrow \tau\, \bar\theta + (1 - \tau)\, \theta, \qquad \tau \approx 0.99 \sim 0.999 $$
  3. 분산 · 공분산 정규화: 표현의 각 성분이 표본들 사이에서 충분히 퍼져 있도록(분산이 0 이 되지 않도록) 벌점을 줍니다(VICReg).
EMA 는 과거 값들의 지수 가중 평균이다
$$ \bar\theta_n = \tau\,\bar\theta_{n-1} + (1 - \tau)\,\theta_n $$
$n$ 번째 스텝의 갱신 규칙입니다.
$$ = \tau\big( \tau\,\bar\theta_{n-2} + (1-\tau)\,\theta_{n-1} \big) + (1 - \tau)\,\theta_n = \tau^2 \bar\theta_{n-2} + (1-\tau)\big(\theta_n + \tau\,\theta_{n-1}\big) $$
$\bar\theta_{n-1}$ 자리에 같은 규칙을 넣고 정리했습니다.
$$ \bar\theta_n = (1 - \tau) \sum_{j=0}^{n-1} \tau^{j}\, \theta_{n-j} \;+\; \tau^{n}\, \bar\theta_0 $$
끝까지 펼치면 최근 값일수록 큰 가중치($\tau^0 = 1$), 오래된 값일수록 지수적으로 작은 가중치를 받는 평균입니다. 목표 인코더가 갑자기 변하지 않으므로, 학습하는 쪽이 “움직이는 과녁을 쫓다 같이 무너지는” 일을 줄여 줍니다. 다만 왜 이것만으로 붕괴가 막히는지는 아직 이론적으로 완전히 설명되지 않았습니다.

$\tau = 0.9$ 일 때 학습하는 쪽이 갑자기 1 에서 0 으로 바뀌면, 목표는 $0.9 \to 0.81 \to 0.729 \to \cdots$ 로 천천히 따라갑니다.


  
[EMA] 1 스텝 뒤 θ̄ = 0.9000
[EMA] 2 스텝 뒤 θ̄ = 0.8100
[EMA] 3 스텝 뒤 θ̄ = 0.7290
[EMA] 4 스텝 뒤 θ̄ = 0.6561
[EMA] 5 스텝 뒤 θ̄ = 0.5905

VICReg 의 분산 항은 표현의 $j$ 번째 성분의 (배치 안) 표준편차가 기준 $\gamma$(보통 1)보다 작으면 벌점을 줍니다. $v = \frac{1}{d}\sum_{j=1}^{d} \max\big(0,\ \gamma - \sqrt{\Var(s^{(j)}) + \varepsilon}\big)$. 붕괴하면 모든 성분의 분산이 0 이므로 벌점이 최대인 $\gamma - \sqrt{\varepsilon} \approx 1$ 이 되어, 붕괴 해가 더는 최적이 아니게 됩니다.

네 번째 길도 나왔습니다. LeJEPA (Balestriero & LeCun, 2025년 11월 — arXiv 2511.08544)는 JEPA 의 표현이 따라야 할 가장 좋은 분포가 등방성 가우시안(모든 방향으로 같은 분산을 가진 가우시안)이라는 이론을 내놓고, 표현을 그 분포 쪽으로 미는 정규화 항 SIGReg(sketched isotropic Gaussian regularization)를 제안했습니다. 표현이 한 점으로 뭉치면 가우시안에서 멀어져 벌점을 받으므로 붕괴가 막힙니다. 그래서 기울기 차단도, 교사-학생(EMA) 구조도 쓰지 않고, 조절할 하이퍼파라미터도 하나뿐이라고 보고합니다. 위에서 아직 이론적으로 완전히 설명되지 않았다고 한 부분을 이론으로 메우려는 시도입니다.

I-JEPA · V-JEPA · V-JEPA 2

V-JEPA 2-AC 의 계획은 7장의 CEM 과 같은 방식입니다. 행동열 후보를 뽑아 예측기로 미래 표현을 상상하고, 목표 그림의 표현과의 거리(에너지) 가 가장 작은 행동열을 고릅니다. 보상 함수가 따로 없어도 “이 그림처럼 되게 해” 라는 목표만으로 계획할 수 있다는 점이 특징입니다.

같은 “표현 공간에서 예측하고 목표 그림으로 계획한다” 는 생각의 작은 모델도 있습니다. DINO-WM (Zhou, Pan, LeCun, Pinto, 2024년 11월 — arXiv 2411.04983)은 인코더를 새로 배우지 않고 미리 학습된 DINOv2 의 패치 특징을 그대로 가져와, 오프라인 궤적에서 “다음 패치 특징” 만 예측하도록 배웁니다. 그림을 재구성하지 않고, 시험 때 행동열을 최적화해 목표 그림의 특징에 가까워지는 길을 찾습니다(보상 모델 없이 zero-shot 계획). LeWorldModel (Maes, Le Lidec, Scieur, LeCun, Balestriero, 2026년 3월 — arXiv 2603.19312)은 반대로 미리 학습된 인코더 없이 픽셀에서 끝까지 JEPA World Model 을 배웁니다. 손실은 “다음 임베딩 예측” 과 “잠재를 가우시안 분포로 미는 정규화” 두 항뿐이고, 매개변수 약 1,500만 개짜리 모델을 GPU 한 장에서 몇 시간에 학습하며, 미리 학습된 큰 모델에 기대는 World Model 보다 계획이 최대 48배 빠르다고 보고했습니다. 이 튜토리얼의 11장만 한 규모에서 JEPA 를 직접 실험해 볼 수 있다는 뜻이기도 합니다.

장점단점
예측할 수 없는 세부를 무시하므로 효율적이다. 보상 없는 대량의 비디오로 사전 학습할 수 있다. 목표 그림만으로 계획할 수 있다. 붕괴를 막는 장치가 필요하다. 상상한 미래를 그림으로 볼 수 없어(디코더를 따로 붙여야 함) 디버깅이 어렵다. 표현이 행동에 필요한 정보를 담았는지 확인하기 어렵다.

7. 대규모 비디오 · 상호작용 World Model

2024년 무렵부터 “World Model” 이라는 말은 또 다른 뜻으로 널리 쓰이기 시작했습니다. 거대한 비디오 데이터로 학습해, 사람이나 에이전트가 키보드 · 글로 조작하면 그에 맞는 세상을 실시간으로 그려 내는 생성 모델입니다. 이 튜토리얼의 World Model(에이전트를 위한 학습된 시뮬레이터)과 뿌리는 같지만, 규모와 목적이 다릅니다.

주의 · 무엇이 World Model 인가

이 튜토리얼의 정의(00장)에서 World Model 은 행동을 받아 다음을 예측합니다. 글 한 줄로 영상 한 편을 통째로 만드는 비디오 생성 모델은 행동 입력이 없으므로, 그 자체로는 “행동의 결과” 를 묻는 데 쓸 수 없습니다. 아래 모델들을 볼 때 “행동(또는 조작)을 프레임마다 받는가” 를 기준으로 보면 위치가 분명해집니다.

Genie: 행동 라벨 없이 행동을 배우기

Genie (Bruce et al., ICML 2024 — arXiv 2402.15391)는 인터넷의 2D 플랫폼 게임 영상(약 3만 시간 분량으로 거른 것)으로 학습한 110억(11B) 매개변수의 “생성형 상호작용 환경” 입니다. 문제는 인터넷 영상에 어떤 버튼을 눌렀는지(행동) 가 기록되어 있지 않다는 것입니다. Genie 는 행동 자체를 영상에서 배웁니다.

  1. 비디오 토크나이저: 영상을 VQ 토큰으로 바꿉니다(4절).
  2. 잠재 행동 모델(LAM, latent action model): 지난 프레임들과 다음 프레임 을 함께 보고, 둘 사이의 변화를 설명하는 “행동” $\tilde a_t$ 를 코드북 크기 8 인 VQ 로 뽑습니다. 그리고 지난 프레임들과 $\tilde a_t$ 만으로 다음 프레임을 복원하도록 학습합니다.
  3. 동역학 모델: 지난 토큰들과 잠재 행동으로 다음 프레임의 토큰을 예측하는 Transformer 입니다.

잠재 행동이 왜 “행동다워” 질까요? 다음 프레임을 복원하려면 $\tilde a_t$ 에 “무엇이 바뀌었는지” 가 담겨야 하는데, 고를 수 있는 값이 8개뿐이라 담을 수 있는 정보가 아주 적습니다.

코드 8개가 실어 나를 수 있는 정보의 최대량
$$ H(\tilde a) = -\sum_{i=1}^{8} p_i \log p_i \;\le\; \log 8 $$
3장의 엔트로피 정의입니다. 엔트로피는 모든 값이 똑같은 확률로 나올 때(균등 분포) 가장 크고, 그때 값은 $-\sum_{i=1}^{8} \frac{1}{8}\log\frac{1}{8} = \log 8$ 입니다.
$$ \log 8 = 2.079\ \text{내트}, \qquad \log_2 8 = 3\ \text{비트} $$
한 프레임마다 3비트(예/아니오 질문 세 개)만 전할 수 있습니다. 화면의 세부를 담기에는 턱없이 부족하므로, 모델은 이 좁은 통로에 “캐릭터가 왼쪽 · 오른쪽 · 점프” 처럼 프레임 변화를 가장 많이 설명하는 정보, 즉 조작 을 담게 됩니다. 이런 좁은 통로를 정보 병목 이라고 부릅니다.

동역학 모델은 계산을 줄이려고 시공간(ST) Transformer 를 씁니다. 프레임 $T$ 장, 프레임마다 토큰 $N$ 개가 있을 때 모든 토큰끼리 어텐션하면 쌍의 수가 $(TN)^2$ 이지만, “같은 프레임 안끼리(공간)” 와 “같은 위치의 다른 시각끼리(시간)” 로 나누면 $T N^2 + N T^2$ 입니다. 예를 들어 $T = 16$, $N = 400$ 이면 $(6400)^2 = 40{,}960{,}000$ 대 $16 \times 160{,}000 + 400 \times 256 = 2{,}662{,}400$ 으로 약 15배 적습니다.

Genie 2 · Genie 3 · Genie 4

Sora, Cosmos, 자율주행 World Model

에이전트 쪽의 최신 흐름: DayDreamer · Dreamer 4 · World Action Model

8. 한눈에 비교하기

계열대표무엇을 예측잠재 · 표현학습 목표쓰는 법데이터 규모(대략)
VAE + RNNHa & Schmidhuber (10장)픽셀 재구성 + 다음 잠재가우시안 $z$ + LSTMVAE ELBO, MDN 가능도꿈속 진화 전략약 1만 에피소드(무작위 롤아웃 10,000개)
RSSMPlaNet · Dreamer (11 · 12장)픽셀 재구성 · 보상결정 $h$ + 확률 $z$순차 ELBOCEM 계획 / 상상 속 액터-크리틱수십만 ~ 수백만 스텝
가치 등가MuZero · EfficientZero보상 · 가치 · 정책은닉 상태(디코더 없음)K 스텝 펼친 손실MCTSAtari 100k ~ 수십억 프레임
디코더 없는 잠재TD-MPC2보상 · Q · 다음 잠재SimNorm 잠재보상 + TD + 잠재 일관성MPPI + Q과제당 수십만 ~ 수백만 스텝
토큰 + TransformerIRIS · TWM · STORM다음 토큰 · 보상VQ 토큰 / 범주 잠재교차 엔트로피상상 속 액터-크리틱Atari 100k(약 2시간)
확산DIAMOND · GameNGen다음 그림(픽셀)(픽셀 그대로 또는 잠재)잡음 제거(ε · v · x₀ 예측)상상 학습 / 게임 엔진 대체Atari 100k ~ 대규모 게임 녹화
표현 예측V-JEPA 2미래의 표현자기 지도 표현표현 거리 + 붕괴 방지목표 그림으로 CEM 계획비디오 100만 시간+, 로봇 62시간 미만
대규모 비디오Genie · Sora · Cosmos · GAIA다음 프레임 · 영상비디오 토큰 · 잠재다음 토큰 / 확산사람 · 에이전트의 시뮬레이터, 합성 데이터수만 ~ 수천만 시간
World Action ModelDreamZero미래 영상 + 행동비디오 확산 모델의 잠재영상 · 행동을 함께 잡음 제거모델이 곧 정책(예측한 행동을 실행)사전 학습된 비디오 모델 + 로봇 데이터

9. 진자로 다시 보기

같은 진자 문제를 각 계열이 어떻게 다룰지 상상해 보면, 차이가 구체적으로 보입니다.

10. 아직 풀리지 않은 문제들

  1. 긴 시간 일관성: 6장의 오차 누적은 거대한 모델에서도 사라지지 않습니다. Genie 2 · 3 · 4 가 일관성 유지 시간을 “분” 단위로 늘린 것 자체가 큰 성과로 발표될 만큼 어려운 문제입니다.
  2. 인과 · 물리의 이해: 그럴듯해 보이는 영상과 물리적으로 맞는 영상은 다릅니다(Sora 의 유리 예). 보기에는 자연스러워도 행동의 결과를 틀리게 예측하면 계획에 쓸 수 없습니다.
  3. 평가: 생성 품질 지표(픽셀 오차로 재는 PSNR, 영상 분포 사이의 거리로 재는 FVD 등)가 높다고 그 안에서 학습한 정책이 실제로 잘 움직인다는 보장은 없습니다. “보기 좋은가” 와 “쓸모 있는가” 를 함께 재는 방법이 아직 부족합니다.
  4. 모델 착취: 10장에서 본 것처럼, 정책은 World Model 의 틈(실제와 다른 곳)을 찾아 “꿈속에서만 통하는 꼼수” 를 배웁니다. 모델이 클수록 틈은 줄지만 사라지지 않습니다.
  5. 계산 비용: 확산 모델의 여러 잡음 제거 단계, Transformer 의 긴 문맥은 실시간 상호작용과 상상 학습을 비싸게 만듭니다. 적은 단계로 생성하는 기법(Dreamer 4 의 shortcut 등)이 활발히 연구되고 있습니다.
  6. 안전과 실제 세계로의 이전: 로봇 · 자율주행에서는 World Model 이 틀린 곳에서의 실패가 실제 사고가 됩니다. 불확실성 추정(7장의 앙상블)과 보수적인 계획이 여전히 중요합니다.
이 장의 정리

확인 문제

문제 1 · n-스텝 목표

$\gamma = 0.5$, $n = 2$, 보상 $r_t = 4$, $r_{t+1} = 2$, 두 스텝 뒤 가치 $v(s_{t+2}) = 8$ 일 때 n-스텝 목표 $z_t$ 는?

답 보기

$z_t = 4 + 0.5 \times 2 + 0.5^2 \times 8 = 4 + 1 + 2 = 7$.

문제 2 · MPPI 의 두 극단

점수가 $J = (3, 1)$ 인 두 후보에 대해 (가) $\tau = 1$ 일 때 가중치를 구하고, (나) $\tau \to 0$, (다) $\tau \to \infty$ 일 때 가중치가 어떻게 되는지 설명하세요.

답 보기

(가) $\exp(3), \exp(1) \propto 1, e^{-2} = 1, 0.1353$. 합 $1.1353$ 으로 나누면 $w = (0.881, 0.119)$.

(나) $\exp((J_i - J_{\max})/\tau)$ 에서 최고 점수가 아닌 후보는 지수가 $-\infty$ 로 가므로 $w = (1, 0)$, 즉 가장 좋은 후보만 고르는 argmax.

(다) 지수가 모두 0 으로 가므로 $w = (0.5, 0.5)$, 즉 점수를 무시한 단순 평균.

문제 3 · 직선 통과 추정기

z_tilde = z_e + (z_q - z_e).detach() 에서 순전파 값과 z_e 에 대한 기울기가 각각 무엇인지 설명하세요. .detach() 를 빼면 어떻게 될까요?

답 보기

값은 $z_e + z_q - z_e = z_q$ 이고, 기울기는 $\partial \tilde z/\partial z_e = I$ 라서 디코더 쪽 기울기가 그대로 인코더로 갑니다.

.detach() 를 빼면 $\tilde z = z_q$ 가 되어 기울기가 $\partial z_q / \partial z_e = 0$ (argmin 은 미분이 0) 이므로 인코더가 학습되지 않습니다.

문제 4 · √d

질의 · 열쇠의 성분이 평균 0, 분산 $\sigma^2$ (1 이 아님)인 독립 확률 변수라면, 점수 $q \cdot k$ 의 분산을 1 로 만들려면 무엇으로 나눠야 할까요?

답 보기

$\Var(q_i k_i) = \E[q_i^2]\E[k_i^2] = \sigma^2 \cdot \sigma^2 = \sigma^4$, 합의 분산은 $d\sigma^4$. 따라서 $\sqrt{d\sigma^4} = \sigma^2\sqrt{d}$ 로 나누면 분산이 1 이 됩니다.

문제 5 · 확산의 닫힌 꼴

$\beta_1 = 0.2$, $\beta_2 = 0.5$, $x_0 = 1$ 일 때 $q(x_2 \mid x_0)$ 의 평균과 분산을 닫힌 꼴로 구하고, 한 스텝씩 분산을 따라가 같은지 확인하세요.

답 보기

$\alpha_1 = 0.8$, $\alpha_2 = 0.5$, $\bar\alpha_2 = 0.4$. 평균 $\sqrt{0.4} \times 1 = 0.632$, 분산 $1 - 0.4 = 0.6$.

한 스텝씩: $x_0$ 은 상수라 분산 0. $\Var(x_1) = 0.8 \times 0 + 0.2 = 0.2$, $\Var(x_2) = 0.5 \times 0.2 + 0.5 = 0.6$. 같습니다. 평균도 $\sqrt{0.8}\sqrt{0.5} = \sqrt{0.4}$ 배로 같습니다.

문제 6 · 붕괴

JEPA 에서 목표 인코더를 EMA 로 두지 않고, 학습하는 인코더와 같은 매개변수를 쓰며 양쪽 모두로 기울기를 흘리면 어떤 문제가 생기기 쉬울까요? 재구성형 World Model 에는 왜 이 문제가 없을까요?

답 보기

두 인코더가 함께 움직이며 모든 입력을 같은 벡터로 보내는 붕괴 해(에너지가 모든 쌍에서 0)로 쉽게 빠집니다.

재구성형은 잠재 상태에서 원래 그림을 복원해야 하므로, 모든 입력을 같은 잠재로 보내면 서로 다른 그림을 복원할 수 없어 재구성 손실이 커집니다. 디코더가 붕괴를 막는 역할을 합니다.

더 읽을거리

이것으로 World Model 의 지형도를 한 바퀴 돌았습니다. 마지막 14장에는 실습하다 막혔을 때 볼 디버깅 체크리스트, 원 논문의 하이퍼파라미터, 튜토리얼 전체의 핵심 식 모음, 용어집, 논문을 읽는 순서를 모아 두었습니다.