CHAPTER 01

World Model 이란 무엇인가

사람은 컵을 테이블 끝에 놓기 전에 “떨어지겠다” 는 것을 압니다. 실제로 떨어뜨려 보지 않고도요. 머릿속에 세상이 어떻게 움직이는지에 대한 작은 모형 이 있기 때문입니다. 이 장에서는 그 “머릿속 모형” 을 신경망으로 만든 것, 곧 World Model 이 무엇이고 왜 필요한지를 수식 없이도 이해할 수 있도록 큰 그림부터 잡습니다. 꼭 필요한 수식 두어 개는 한 줄씩 풀어 둡니다.

읽는 시간 약 45분난이도 ★☆☆☆☆코드: 없음 (브라우저 데모)
이 장에서 배우는 것

머릿속의 시뮬레이터

세 가지 장면을 떠올려 봅시다.

세 경우 모두 우리는 실제로 해 보기 전에 머릿속에서 결과를 돌려 봅니다. 심리학자 케네스 크레이크(Kenneth Craik)는 1943년 책 『The Nature of Explanation』 에서 이렇게 주장했습니다. 생물이 머릿속에 바깥 세상과 자신의 행동에 대한 “작은 규모의 모형(small-scale model)” 을 가지고 있다면, 여러 가지 행동을 머릿속에서 시험해 보고 가장 좋은 것을 고를 수 있고, 일어나기 전에 미래 상황에 대비할 수 있다고요. 오늘날 이것을 정신 모형mental model 이라고 부릅니다.

World Model 은 에이전트의 머릿속에 들어 있는 “작은 게임 엔진” 입니다. 진짜 게임 엔진은 물리 법칙을 프로그래머가 직접 코드로 적어 넣지만, World Model 은 그 법칙을 경험(데이터)만 보고 스스로 배웁니다. 그리고 한번 배우고 나면, 진짜 세상 대신 이 작은 엔진 안에서 “이렇게 하면 어떻게 될까?” 를 몇 번이고 싸게, 안전하게 돌려 볼 수 있습니다.
핵심

World Model 은 “지금 상황에서 이 행동을 하면 다음에 무슨 일이 일어날까?” 를 예측하도록 데이터로 학습한 모델입니다. 예측기가 있으면 에이전트는 실제로 해 보지 않고도 미래를 상상할 수 있고, 그 상상으로 계획을 세우거나 행동을 배울 수 있습니다.

에이전트와 환경: 주고받는 고리

World Model 을 정확하게 말하려면 먼저 몇 가지 용어가 필요합니다. 이 용어들은 5장(강화학습)에서 수식으로 다시 정리하지만, 여기서는 뜻만 잡아 둡니다.

에이전트 정책 π 로 행동을 고른다 환경 (진짜 세상) 물리 법칙대로 바뀐다 행동 at 다음 관측 ot+1, 보상 rt
그림 1-1. 에이전트와 환경의 고리. 행동을 보내면 환경이 바뀌고, 에이전트는 바뀐 세상을 관측하며 보상을 받습니다. 이 고리가 200번 돌면 진자의 한 에피소드가 끝납니다.

이 튜토리얼의 무대인 진자에 이 용어들을 대입하면 다음과 같습니다.

용어진자에서는
상태 $s_t$각도 $\theta$ 와 각속도 $\dot\theta$. 두 숫자만 알면 앞으로의 움직임이 완전히 정해집니다.
관측 $o_t$World Model 의 입력으로 6 · 7장: $[\cos\theta, \sin\theta, \dot\theta]$ (상태를 다 보여 줌). 8장부터: 64×64 흑백 그림 (각속도가 안 보임)
행동 $a_t$토크 $u \in [-2, 2]$. +는 시계 방향, −는 반시계 방향으로 돌리는 힘
보상 $r_t$$-(\theta^2 + 0.1\,\dot\theta^2 + 0.001\,u^2)$. 위에 가만히 서 있으면 0(최대), 아래에 매달려 있으면 약 −9.9
에피소드200 스텝. 한 스텝은 0.05초이므로 10초

직접 해 보기: 진자를 세워 보세요

World Model 이 왜 쓸모 있는지 몸으로 느껴 보는 것이 가장 빠릅니다. 아래 시뮬레이터는 실습 코드 wm_envs.py 의 Pendulum 과 똑같은 물리 법칙 을 JavaScript 로 옮긴 것입니다. 막대가 아래로 매달린 상태에서 시작합니다. 단추를 누르고 있거나 키보드 ← → 를 누르고 있는 동안 토크가 걸립니다. 10초 안에 막대를 위로 세워 보세요.

진자 세우기

단추는 누르고 있는 동안만 힘이 걸립니다. 이 상자를 한 번 누른 뒤에는 키보드 ← → 로도 조종할 수 있습니다. “자동 조종 보기” 는 아래에서 설명하는 “흔들어 에너지를 모은 뒤 세우는” 전략을 그대로 실행합니다.

몇 번 해 보면 다음을 알게 됩니다.

  1. 한쪽으로만 계속 밀면 올라가지 않습니다. 토크의 최댓값(2)이 중력이 막대를 끌어내리는 토크(막대가 옆으로 누웠을 때 최대 $mgl/2 = 5$)의 절반에도 못 미치기 때문입니다. wm_envs.py 의 Pendulum 으로 확인해 보면(위 데모에서 한쪽 토크만 계속 걸어도 됩니다), 아래에서 +2 를 계속 걸었을 때 막대는 아래쪽에서 약 49° 까지만 올라갔다가 다시 떨어집니다.
  2. 그네처럼 흔들어야 합니다. 막대가 움직이는 방향으로 힘을 보태 주면 한 번 왕복할 때마다 조금씩 더 높이 올라갑니다. 그네를 탈 때 다리를 굴러 점점 높이 올라가는 것과 같습니다.
  3. 위에 거의 왔을 때는 반대로 해야 합니다. 이제는 넘어가지 않도록 브레이크를 걸고 균형을 잡아야 합니다. 같은 “토크 +2” 가 아래에서는 좋은 행동이고, 위에서는 나쁜 행동일 수 있습니다.

“자동 조종 보기” 는 바로 이 전략(에너지가 부족하면 움직이는 방향으로 밀고, 위에 가까워지면 균형 잡기)을 실행합니다. 아래에서 시작하면 약 3초(62 스텝) 만에 막대를 세우고, 한 에피소드의 보상 합은 약 −373 입니다. 직접 조종한 점수와 비교해 보세요.

핵심

“지금 밀면 손해 같지만 몇 초 뒤에는 이득” 이라는 판단은 미래를 머릿속에 그려 볼 수 있어야 가능합니다. 진자 세우기는 바로 앞의 보상만 보고 욕심을 부리면 실패하는 문제라서, World Model 로 미래를 상상하는 방법의 장점이 잘 드러나는 연습 문제입니다.

강화학습에서 “모델” 이란

일상에서 “모델” 은 아주 넓은 말이지만, 강화학습에서 모델 은 정확히 다음 두 가지를 말합니다.

  1. 전이 모델transition model, dynamics model: 지금 상태 $s_t$ 에서 행동 $a_t$ 를 하면 다음 상태 $s_{t+1}$ 이 무엇이 되는가.
  2. 보상 모델reward model: 지금 상태 $s_t$ 에서 행동 $a_t$ 를 하면 보상 $r_t$ 를 얼마나 받는가.

세상이 늘 똑같이 반응한다면(결정적, deterministic) 전이 모델은 함수 하나로 씁니다.

$$ s_{t+1} = f(s_t, a_t), \qquad r_t = R(s_t, a_t) $$

$f$ 는 “상태와 행동을 넣으면 다음 상태가 나오는 기계” 라고 읽으면 됩니다. 진자에서는 wm_envs.py 의 step() 안 세 줄이 바로 진짜 $f$ 입니다.

그런데 세상은 늘 똑같이 반응하지 않습니다. 같은 자리에서 주사위를 던져도 결과가 다르고, 같은 교차로에서 앞차가 왼쪽으로 갈지 오른쪽으로 갈지는 모릅니다. 그래서 일반적으로는 전이 모델을 확률 분포 로 씁니다.

$$ s_{t+1} \sim p(s_{t+1} \mid s_t, a_t) $$

읽는 법: “다음 상태 $s_{t+1}$ 은, 지금 상태가 $s_t$ 이고 행동이 $a_t$ 일 때의 분포 $p$ 에서 뽑힌다(∼).” 세로 막대 $\mid$ 뒤가 “이미 알고 있는 것” 입니다. 이 표기는 2장에서 조건부 확률로 자세히 다룹니다. 결정적인 세상은 이 분포가 한 점에만 확률 1 을 몰아준 특수한 경우입니다.

World Model 은 진짜 $f$ (또는 $p$) 를 모르는 채, 데이터를 보고 그것을 흉내 내는 학습된 모델입니다. 학습되는 숫자(신경망의 가중치)를 $\theta$ 로 묶어 $f_\theta$ 또는 $p_\theta$ 로 씁니다.

$$ \hat{s}_{t+1} = f_\theta(s_t, a_t) \approx f(s_t, a_t) $$

데이터로 배운다는 것: 작은 예

“데이터로 배운다” 가 무슨 뜻인지 아주 작은 예로 보겠습니다. 어떤 1차원 세상의 진짜 규칙이 $s_{t+1} = s_t + 0.5\,a_t$ 라고 합시다. 우리는 이 규칙을 모르고, 다음과 같은 경험 세 개만 가지고 있습니다.

경험$s_t$$a_t$$s_{t+1}$ (관찰된 결과)
1021.0
21−20.0
3313.5

모델의 꼴을 $f_\theta(s, a) = s + \theta\,a$ 로 정하고, 숫자 하나 $\theta$ 만 배운다고 해 봅시다. $\theta$ 를 1 로 찍어 보면 예측이 얼마나 틀리는지, “틀린 정도” 를 오차의 제곱을 평균 낸 값(평균 제곱 오차, MSE)으로 재 봅니다.

θ = 1 일 때 평균 제곱 오차 계산하기
$$ \hat{s}^{(1)} = 0 + 1\cdot 2 = 2, \quad \hat{s}^{(2)} = 1 + 1\cdot(-2) = -1, \quad \hat{s}^{(3)} = 3 + 1 \cdot 1 = 4 $$
각 경험의 $s_t$, $a_t$ 를 $f_\theta(s,a) = s + \theta a$ 에 $\theta = 1$ 로 넣습니다. 위 첨자 $(1), (2), (3)$ 은 몇 번째 경험인지를 나타냅니다.
$$ \text{오차} = \hat{s} - s_{t+1}: \quad 2 - 1 = 1, \quad -1 - 0 = -1, \quad 4 - 3.5 = 0.5 $$
예측에서 실제 결과를 뺍니다.
$$ \text{MSE}(\theta{=}1) = \frac{1^2 + (-1)^2 + 0.5^2}{3} = \frac{1 + 1 + 0.25}{3} = 0.75 $$
오차를 제곱해(음수 · 양수 오차가 서로 지워지지 않게) 평균 냅니다.
$$ \text{MSE}(\theta{=}0.5) = \frac{(1-1)^2 + (0-0)^2 + (3.5 - 3.5)^2}{3} = 0 $$
$\theta = 0.5$ 로 다시 계산하면 예측이 $1, 0, 3.5$ 로 관찰과 정확히 같아 오차가 0 입니다.
$$ \theta^\ast = 0.5 \quad\Rightarrow\quad f_{\theta^\ast}(s, a) = s + 0.5\,a $$
오차를 가장 작게 만드는 $\theta$ 를 찾았더니 진짜 규칙이 그대로 나왔습니다. “데이터로 모델을 배운다” 는 바로 이 일입니다.

실제 World Model 은 $\theta$ 가 숫자 하나가 아니라 수만 – 수백만 개(신경망의 가중치)이고, 손으로 찍어 보는 대신 경사 하강법(4장)으로 오차를 줄여 갑니다. 또 오차를 왜 하필 “제곱” 으로 재는지에는 깊은 이유가 있는데, 2장에서 “가우시안 분포의 최대우도” 로 그 정체를 밝힙니다. 원리는 위의 작은 예와 같습니다.

그림만 보일 때: 잠재 공간의 World Model

진자를 숫자 $(\theta, \dot\theta)$ 대신 카메라 그림으로만 본다면 어떨까요? 64×64 그림은 숫자 4096개입니다. 다음 그림의 픽셀 4096개를 통째로 예측하는 것은 어렵고 낭비입니다. 그림 속 정보는 사실 “막대가 어느 각도에 있는가” 하나뿐이니까요. 그래서 그림을 보는 World Model 은 보통 세 부분으로 나뉩니다.

  1. 인코더: 그림 $o_t$ 를 작은 벡터 $z_t$ 로 압축합니다(잠재 변수latent variable). → 8장 VAE
  2. 잠재 동역학: 작은 벡터 공간에서 다음을 예측합니다. $z_{t+1} \sim p_\theta(z_{t+1} \mid z_t, a_t, \text{기억})$ → 9 · 11장
  3. 디코더: 필요하면 작은 벡터를 다시 그림으로 펼칩니다. → 8장

이렇게 하면 “상상” 은 작은 벡터 공간 안에서 아주 빠르게 돌아갑니다. Ha 의 World Models(10장), PlaNet(11장), Dreamer(12장)가 모두 이 구조입니다.

모델 없이, 또는 모델을 써서: model-free 와 model-based

강화학습 알고리즘은 World Model 을 쓰는지 여부로 크게 둘로 나뉩니다.

비교model-freemodel-based (World Model)
표본 효율
(실제 경험을 얼마나 아끼나)
낮음. 실제 환경과 아주 많이 상호작용해야 합니다(수백만 스텝도 흔함). 높음. 한 번 모은 경험으로 모델을 배우고, 상상 경험을 많이 만들어 씁니다.
계산량
(컴퓨터가 하는 일)
적음. 정책 · 가치 신경망만 학습합니다. 많음. 모델도 배워야 하고, 모델 안에서 계획 · 상상도 돌려야 합니다.
점근 성능
(데이터가 무한할 때 최종 실력)
전통적으로 높음. 진짜 경험만 쓰므로 모델 오차의 영향이 없습니다. 모델이 틀린 만큼 손해를 볼 수 있습니다. 최근 방법(DreamerV3 등)은 여러 과제에서 model-free 와 대등하거나 앞섭니다.
오류의 원인 가치 추정의 편향 · 분산, 탐험 부족. 위 원인에 더해 모델 오차(model bias). 틀린 모델 안에서 세운 계획은 실제로는 틀립니다.
재사용 목표(보상)가 바뀌면 처음부터 다시 배워야 하는 경우가 많습니다. 세상의 규칙은 목표와 상관없으므로, 보상만 바꿔 같은 모델로 새 목표를 계획할 수 있습니다.
이 튜토리얼 5장에서 기초만 6 – 13장 전체

표본 효율의 차이는 꽤 큽니다. 예를 들어 PETS 논문(Chua 외, 2018)은 HalfCheetah 라는 달리기 과제에서 model-free 방법인 SAC 보다 약 8배, PPO 보다 약 125배 적은 표본으로 비슷한 성능에 도달했다고 보고했습니다. 로봇 팔을 한 번 움직이는 데 몇 초가 걸리고, 넘어지면 부서질 수 있는 실제 세상에서 이 차이는 결정적입니다.

참고 · 둘은 섞어 쓸 수 있다

model-free 와 model-based 는 대립하는 것이 아니라 함께 쓰이는 경우가 많습니다. 예를 들어 Dreamer(12장)는 World Model 이 만든 상상 경험 위에서 액터-크리틱(model-free 의 대표적인 방법)을 돌립니다. 다음 절의 Dyna 가 바로 이 “섞어 쓰기” 의 원조입니다.

World Model 이 주는 다섯 가지

  1. 표본 효율. 실제 경험은 비쌉니다. 로봇은 닳고, 자율주행차의 사고는 되돌릴 수 없고, 신약 실험은 몇 달이 걸립니다. World Model 은 한 번의 실제 경험에서 최대한 많이 배우게 해 줍니다.
  2. 계획(planning). 행동하기 전에 여러 행동 후보를 모델 안에서 돌려 보고 가장 좋은 것을 고릅니다. 체스에서 수를 읽는 것과 같습니다. → 7장 MPC · CEM, 11장 PlaNet
  3. 상상 속 학습. 계획을 매번 하는 대신, 모델이 만든 “꿈” 속에서 정책을 연습시켜 둡니다. 실전에서는 연습한 정책을 바로 씁니다. → 10장 World Models, 12장 Dreamer
  4. 시뮬레이터 · 데이터 생성. 충분히 좋은 World Model 은 그 자체로 게임 엔진이나 주행 시뮬레이터 역할을 합니다. 위험한 상황(사고 직전 장면 등)을 마음껏 만들어 다른 AI 를 훈련하거나 시험할 수 있습니다. → 13장 GameNGen · Genie · Cosmos
  5. 이해와 재사용. 미래를 잘 예측하려면 세상의 구조(무엇이 물체이고 어떻게 움직이는지)를 파악해야 하므로, World Model 이 배운 표현은 다른 과제에도 쓸모가 있습니다. 목표가 바뀌어도 세상의 규칙은 그대로이므로 모델을 재사용할 수 있습니다.

Dyna: 실제 경험과 상상 경험을 섞기

리처드 서튼(Richard Sutton)은 1990 – 1991년에 Dyna 라는 구조를 제안했습니다. 생각은 단순합니다.

  1. 실제 환경에서 행동해 경험 $(s, a, r, s')$ 를 얻습니다. ($s'$ 는 “다음 상태” 를 짧게 쓴 것입니다.)
  2. 이 실제 경험으로 (a) 정책 · 가치를 직접 고치고(model-free 와 같음), (b) 동시에 모델을 고칩니다.
  3. 그다음, 모델에게 “이 상태에서 이 행동을 하면?” 하고 물어 가상 경험 을 여러 개 만들고, 그 가상 경험으로도 정책 · 가치를 똑같이 고칩니다.
실제 환경 (비싸고 느림) 정책 · 가치 행동을 고른다 World Model (싸고 빠름) 가상 경험 상상으로 만든 (s, a, r, s') ① 실제 경험으로 직접 학습 ② 모델 학습 ③ 상상 ④ 가상 경험으로 학습 행동
그림 1-2. Dyna 의 구조. 실제 경험 하나로 정책을 한 번 고치고(①), 모델을 고친 뒤(②), 모델이 만든 가상 경험(③)으로 정책을 여러 번 더 고칩니다(④).

의사코드로 쓰면 다음과 같습니다. 실제 경험 한 번마다 상상 경험을 $n$ 번 씁니다.

for step in range(total_steps):
    a = policy(s)                      # 1. 행동을 고른다
    s_next, r = real_env.step(a)       # 2. 진짜 세상에서 해 본다 (비싸다)
    update_policy(s, a, r, s_next)     # 3. 진짜 경험으로 배운다
    model.update(s, a, r, s_next)      # 4. 세상의 규칙도 배운다

    for _ in range(n):                 # 5. 상상 경험으로 n 번 더 배운다 (싸다)
        s_im, a_im = sample_seen_state_action()
        s_im_next, r_im = model.predict(s_im, a_im)
        update_policy(s_im, a_im, r_im, s_im_next)
    s = s_next

$n = 0$ 이면 그냥 model-free 이고, $n$ 이 클수록 같은 실제 경험에서 더 많이 배웁니다. 단, 모델이 틀렸다면 상상 경험도 틀려서 오히려 해가 됩니다. 이 균형이 model-based 강화학습 전체를 관통하는 고민입니다. Dyna 의 생각은 30년이 지난 지금도 그대로 살아 있어서, MBPO(2019) 같은 방법은 Dyna 를 신경망 앙상블로 되살린 것이고, Dreamer 는 “상상 경험만으로 정책을 배우는” 극단적인 Dyna 라고 볼 수 있습니다.

World Model 의 역사

“세상을 예측하는 모델을 배워 행동에 쓴다” 는 생각은 오래되었지만, 높은 차원의 그림을 다룰 수 있게 된 것은 딥러닝 덕분입니다. 이 튜토리얼에서 다룰 연구를 중심으로 정리했습니다.

연도연구핵심 생각이 튜토리얼
1943Craik, 『The Nature of Explanation』생물은 머릿속에 세상의 작은 모형을 두고 미리 시험해 본다는 가설1장
1990Schmidhuber, “Making the World Differentiable”순환 신경망으로 환경을 모델링하고, 그 모델을 통해 미분해 컨트롤러를 학습9 · 10장 (같은 생각)
1990 – 1991Sutton, Dyna실제 경험과 모델이 만든 가상 경험을 섞어 학습 · 계획1장
2011Deisenroth & Rasmussen, PILCO가우시안 프로세스로 불확실성까지 담은 동역학 모델. 아주 적은 시도로 제어를 배움7장 (불확실성이라는 생각)
2018Ha & Schmidhuber, “World Models”VAE(눈) + MDN-RNN(기억) + 작은 컨트롤러. 모델이 꾸는 꿈속에서 정책 학습8 · 9 · 10장
2018Chua 외, PETS확률적 신경망 앙상블 + CEM 계획으로 높은 표본 효율7장
2019Hafner 외, PlaNetRSSM: 결정적 · 확률적 경로를 함께 쓰는 잠재 동역학. 그림에서 배워 잠재 공간에서 계획11장
2019 – 20Schrittwieser 외, MuZero관측을 복원하지 않고 보상 · 가치 · 정책만 맞추는 모델 + 트리 탐색. 바둑 · 체스 · 쇼기 · Atari13장
2020Hafner 외, Dreamer잠재 공간의 상상 속에서 액터-크리틱 학습12장
2021Hafner 외, DreamerV2범주형(이산) 잠재 변수. World Model 안에서 배운 정책으로 Atari 55종에서 사람 수준12장
2021Ye 외, EfficientZeroMuZero 를 개선해, 게임마다 10만 스텝만 쓰는 Atari 100k 벤치마크에서 사람 점수를 넘는 평균 성능13장
2022LeCun, “A Path Towards Autonomous Machine Intelligence”픽셀이 아니라 “표현” 을 예측하는 JEPA 구조를 제안한 입장 논문13장
2022 · 2024Hansen 외, TD-MPC · TD-MPC2디코더 없이 잠재 공간에서 MPC 로 계획하는 연속 제어용 World Model13장
2023 (Nature 2025)Hafner 외, DreamerV3하나의 고정된 설정으로 150여 개 과제를 학습. Minecraft 에서 사람 데이터 없이 다이아몬드 수집12장
2023Micheli 외, IRIS그림을 이산 토큰으로 바꾸고 Transformer 로 다음 토큰을 예측하는 World Model13장
2024OpenAI, Sora시공간 패치를 토큰으로 쓰는 확산 Transformer. 비디오 생성 모델이 물리 세계의 시뮬레이터가 될 수 있다고 주장13장
2024Bruce 외, Genie행동 라벨 없는 게임 영상에서 “잠재 행동” 을 배워 조작 가능한 2D 세계를 생성13장
2024Alonso 외, DIAMOND확산(diffusion) 모델로 만든 World Model 안에서 Atari 에이전트 학습13장
2024Valevski 외, GameNGen확산 모델이 게임 DOOM 의 화면을 실시간으로 생성. 신경망이 게임 엔진을 대신함13장
2024Google DeepMind, Genie 2그림 한 장에서 키보드 · 마우스로 조작할 수 있는 3D 세계를 생성13장
2025NVIDIA, Cosmos로봇 · 자율주행 같은 물리 AI 를 위한 “world foundation model” 플랫폼 공개13장
2025Meta, V-JEPA 2영상으로 자기지도 학습한, 그림이 아니라 “표현” 을 예측하는 World Model. 로봇 계획에 활용13장
2025Google DeepMind, Genie 3글로 지시한 3D 세계를 실시간으로 생성하고 사용자가 그 안을 돌아다닐 수 있음13장
2025Hafner 외, Dreamer 4환경과 상호작용하지 않고 오프라인 데이터만으로 Minecraft 에서 다이아몬드를 얻었다고 보고13장
2026Google DeepMind, Genie 4연구 미리보기로 공개. 세계에 맞는 소리를 실시간으로 함께 생성13장

흐름을 한 줄로 요약하면 이렇습니다. 작은 상태를 예측하는 모델(1990년대 – 2010년대) → 그림을 압축한 잠재 공간에서 예측하는 모델(2018 – 2021) → 거대한 데이터로 학습한 범용 영상 · 3D 세계 모델(2023 – ). 이 튜토리얼은 이 흐름을 그대로 따라갑니다.

World Model 의 지도: 여러 갈래로 나누기

“World Model” 이라는 이름 아래에는 꽤 다른 것들이 섞여 있습니다. 몇 가지 기준으로 나눠 보면 각 연구의 위치가 분명해집니다.

기준 1. 무엇을 입력으로 보는가

기준 2. 무엇을 맞히도록 학습하는가

갈래학습 목표장점단점예
재구성형 미래의 관측(그림) 자체를 복원 · 생성 학습 신호가 풍부함(픽셀 하나하나가 정답). 결과를 눈으로 확인 가능 과제와 상관없는 세부(배경 무늬 등)까지 맞히느라 용량을 씀 Ha 의 World Models, PlaNet, Dreamer, 비디오 생성 모델
가치 등가형 미래의 보상 · 가치 · 정책만 맞히면 됨 (관측은 복원 안 함) 과제에 필요한 것만 배움 보상이 드물면 학습 신호가 약함. 다른 과제에 재사용하기 어려움 MuZero, (일부) TD-MPC
표현 예측형 미래 관측의 “표현(요약 벡터)” 을 예측 예측할 수 없는 세부는 버리고 의미 있는 구조만 예측 모든 것을 같은 벡터로 보내는 “붕괴” 를 막는 장치가 필요 JEPA 계열(V-JEPA 2)

기준 3. 결정적인가, 확률적인가

기준 4. 모델을 어디에 쓰는가

기준 5. 어떤 신경망 구조인가

다층 퍼셉트론(MLP, 6장) → 순환 신경망(RNN · RSSM, 9 · 11장) → Transformer, 확산 모델(13장) 순서로 발전해 왔습니다. 구조는 달라도 “과거와 행동을 보고 미래를 예측한다” 는 일은 같습니다.

World Model 을 어렵게 만드는 네 가지

World Model 은 강력하지만 쉽지 않습니다. 이 튜토리얼의 뒤쪽 장들은 사실상 아래 네 가지 문제를 하나씩 풀어 가는 과정입니다.

1. 오차 누적

한 스텝 예측이 아주 조금만 틀려도, 그 틀린 예측을 다시 입력으로 넣어 다음을 예측하면 오차가 쌓입니다. 이것을 오차 누적compounding error 이라고 합니다. 얼마나 빨리 쌓이는지 간단한 모형으로 계산해 봅시다.

$k$ 스텝 뒤의 오차 크기를 $e_k$ 라고 합시다. 매 스텝 모델이 새로 만드는 오차가 $\varepsilon$ 이고, 이미 있던 오차는 세상의 움직임 때문에 $L$ 배로 늘어난다고 가정합니다 ($L \gt 1$ 이면 작은 차이가 점점 커지는 세상. 진자가 위에 서 있을 때가 그렇습니다).

$$ e_1 = \varepsilon, \qquad e_{k+1} = L\, e_k + \varepsilon $$
k 스텝 뒤의 오차 ek 를 닫힌 꼴로 구하기
$$ e_2 = L e_1 + \varepsilon = L\varepsilon + \varepsilon = \varepsilon(1 + L) $$
점화식에 $k = 1$ 을 넣고, $e_1 = \varepsilon$ 을 대입한 뒤 $\varepsilon$ 으로 묶습니다.
$$ e_3 = L e_2 + \varepsilon = L\varepsilon(1+L) + \varepsilon = \varepsilon(1 + L + L^2) $$
$k = 2$ 를 넣습니다. $L\varepsilon(1+L) = \varepsilon(L + L^2)$ 이고 여기에 $\varepsilon$ 을 더해 묶었습니다.
$$ e_k = \varepsilon\,(1 + L + L^2 + \cdots + L^{k-1}) = \varepsilon \sum_{j=0}^{k-1} L^j $$
규칙이 보입니다. 한 스텝 갈 때마다 기존 항 전체에 $L$ 이 곱해지고 새로 1 이 붙습니다. $\sum$ 은 합 기호입니다.
$$ S := \sum_{j=0}^{k-1} L^j = 1 + L + \cdots + L^{k-1}, \qquad L S = L + L^2 + \cdots + L^{k} $$
괄호 안의 합을 $S$ 라 부르고, 양변에 $L$ 을 곱한 식을 하나 더 씁니다. 각 항의 지수가 1씩 올라갑니다.
$$ L S - S = L^k - 1 $$
$LS$ 에서 $S$ 를 빼면 $L, L^2, \dots, L^{k-1}$ 이 모두 지워지고, $LS$ 의 맨 끝 $L^k$ 와 $S$ 의 맨 앞 $1$ 만 남습니다.
$$ S\,(L - 1) = L^k - 1 \quad\Rightarrow\quad S = \frac{L^k - 1}{L - 1} \quad (L \ne 1) $$
왼쪽을 $S$ 로 묶고 양변을 $L - 1$ 로 나눕니다. 이것이 등비수열의 합 공식입니다.
$$ e_k = \varepsilon\,\frac{L^k - 1}{L - 1} $$
$L \gt 1$ 이면 $L^k$ 때문에 오차가 기하급수적으로 커집니다. $L = 1$ 이면 $S = k$ 이므로 $e_k = k\varepsilon$ 으로 일정하게 늘어납니다.

숫자를 넣어 봅시다. 한 스텝 오차가 $\varepsilon = 0.01$ 로 아주 작고, $L = 1.2$ 라고 하면 $k = 10$ 일 때 $e_{10} = 0.01 \times (1.2^{10} - 1)/0.2 = 0.01 \times (6.19 - 1)/0.2 \approx 0.26$, $k = 20$ 일 때 $e_{20} = 0.01 \times (1.2^{20} - 1)/0.2 = 0.01 \times (38.34 - 1)/0.2 \approx 1.87$ 입니다. 한 스텝에서는 0.01 이던 오차가 20 스텝 뒤에는 거의 190배가 됩니다. 6장에서 실제로 학습한 진자 모델로 이 현상을 직접 확인하고, 7장에서는 짧게 상상하고 자주 다시 계획하는 방법(MPC)으로 피해 갑니다.

2. 모델 착취

계획이나 정책 학습은 “모델 안에서 보상을 최대로” 만드는 행동을 찾습니다. 그런데 모델이 어딘가에서 틀려서 실제보다 보상을 후하게 준다면, 최적화는 정확히 그 틀린 곳을 찾아냅니다. 이것을 모델 착취model exploitation 라고 합니다. 게임의 버그를 찾아 점수를 올리는 것과 비슷한데, 그 버그가 모델에만 있고 진짜 세상에는 없으니 실제로 해 보면 실패합니다. 10장의 World Models 논문은 이 현상을 “꿈속에서 속이기(cheating)” 라고 불렀습니다. 해결책: 모델이 얼마나 확신하는지 를 함께 예측해 불확실한 곳을 피하기(7장 앙상블), 짧게만 상상하기, 실제 데이터를 계속 모아 모델을 고치기.

3. 부분 관측

그림 한 장으로는 진자가 지금 어느 방향으로 얼마나 빨리 도는지 알 수 없습니다. 정지 사진 속 공이 올라가는 중인지 내려가는 중인지 모르는 것과 같습니다. 이처럼 관측이 상태의 일부만 보여 주는 상황을 부분 관측partial observability 이라고 하며, 여러 장면을 기억 해야 상태를 추론할 수 있습니다. → 5장 POMDP, 9장 RNN, 11장 RSSM

4. 확률성과 다봉성

같은 상황에서도 결과가 여러 갈래일 수 있습니다. 동전을 던지면 앞면(+1) 또는 뒷면(−1)이 반반으로 나옵니다. 이 결과 $y$ 를 숫자 하나 $c$ 로 예측하면서 평균 제곱 오차 $\E[(y - c)^2]$ 를 가장 작게 만들면 어떤 $c$ 가 나올까요? ($\E$ 는 평균, 곧 기댓값입니다. 2장에서 자세히 다룹니다.)

제곱 오차를 최소로 만드는 예측은 평균이다
$$ J(c) = \E[(y - c)^2] = \E[y^2 - 2cy + c^2] $$
최소화할 값을 $J(c)$ 라고 부르고, $(y - c)^2 = y^2 - 2cy + c^2$ 로 전개합니다.
$$ J(c) = \E[y^2] - 2c\,\E[y] + c^2 $$
평균은 더하기를 나눠 가질 수 있고 상수 $c$ 는 밖으로 꺼낼 수 있습니다(기댓값의 선형성, 2장에서 증명).
$$ \frac{dJ}{dc} = -2\,\E[y] + 2c $$
$c$ 에 대해 미분합니다. $\E[y^2]$ 는 $c$ 와 상관없는 상수라 0, $-2c\E[y]$ 는 $-2\E[y]$, $c^2$ 는 $2c$ 가 됩니다(4장의 미분 규칙).
$$ \frac{dJ}{dc} = 0 \;\Rightarrow\; c^\ast = \E[y] $$
가장 낮은 점에서는 기울기가 0 이므로 이를 풀면, 제곱 오차를 최소로 만드는 예측은 평균 입니다.

동전의 평균은 $0.5 \times (+1) + 0.5 \times (-1) = 0$ 입니다. 그러니 제곱 오차로 학습한 결정적 모델은 “0” 이라고 예측합니다. 그런데 0 은 절대 일어나지 않는 결과입니다! 그림으로 치면, 갈림길에서 자동차가 왼쪽 또는 오른쪽으로 갈 때 모델은 두 그림을 반씩 겹친 흐릿한 유령 차를 그립니다. 이처럼 가능한 결과가 여러 봉우리로 나뉜 분포를 다봉 분포multimodal distribution 라고 합니다. 해결책은 미래를 숫자 하나가 아니라 분포 로 예측하는 것입니다. → 7장 가우시안 출력, 9장 혼합 밀도 네트워크, 11 · 12장 확률적 잠재 변수, 13장 확산 모델

모델 기반 학습 고리

이 튜토리얼에서 만드는 모든 World Model 에이전트는, 세부는 달라도 다음 네 단계를 되풀이합니다.

① 경험 모으기 데이터 D 에 (o, a, r) 추가 ② World Model 학습 D 로 예측 오차 줄이기 ③ 계획 · 상상 학습 모델 안에서 미래를 돌려 봄 ④ 실제로 행동 더 나은 정책으로 환경에서
그림 1-3. 모델 기반 학습 고리. 새로 모은 경험이 모델을 고치고, 고친 모델이 더 나은 행동을 낳고, 더 나은 행동이 더 쓸모 있는 경험을 모읍니다.
D = collect_episodes(env, policy=None)        # 처음엔 무작위 행동으로 경험을 모은다

for iteration in range(num_iterations):
    world_model.train(D)                        # ② 모은 경험으로 세상의 규칙을 배운다
    policy = plan_or_learn_in_imagination(      # ③ 모델 안에서 계획하거나 정책을 연습한다
        world_model)
    new_episodes = collect_episodes(env, policy)  # ④ 실제 환경에서 행동해 본다
    D = D + new_episodes                        # ① 새 경험을 데이터에 더한다

왜 한 번에 끝내지 않고 되풀이할까요?

각 장에서 ③ 단계가 어떻게 구현되는지 미리 정리하면 다음과 같습니다.

장World Model③ 계획 · 상상 학습
6 – 7상태를 보는 MLP (결정적 → 확률적 앙상블)행동마다 모델 안에서 행동열을 검색 (랜덤 슈팅, CEM, MPC)
8 – 10VAE + MDN-RNN꿈속에서 진화 전략(CMA-ES)으로 작은 컨트롤러 학습
11RSSM잠재 공간에서 CEM 계획 (PlaNet)
12RSSM상상 속 액터-크리틱 (Dreamer)

이 튜토리얼에서 직접 만들 것

진자 하나를 무대로, World Model 이 점점 똑똑해지는 과정을 직접 구현합니다.

  1. 6장: 숫자 3개를 보고 다음 숫자 3개를 예측하는 신경망. 한 스텝은 잘 맞히지만 길게 상상하면 어긋나는 것(오차 누적)을 눈으로 확인합니다.
  2. 7장: 그 모델 안에서 행동열을 검색해 실제 진자를 세웁니다. 모델이 자기 불확실성을 알게 만들어 모델 착취를 줄입니다.
  3. 8 · 9 · 10장: 그림을 32차원 벡터로 압축하고(VAE), 그 벡터의 미래를 예측하고(MDN-RNN), 그 “꿈” 속에서 컨트롤러를 학습합니다.
  4. 11 · 12장: 그림만 보고 진자를 세우는 PlaNet 과 Dreamer 를 처음부터 구현합니다.

그 전에, 2 – 5장에서 이 모든 것에 필요한 도구(확률, 정보 이론, 딥러닝, 강화학습)를 하나씩 갖춥니다.

이 장의 정리

확인 문제

문제 1

다음 중 model-based 강화학습의 장점이 아닌 것은? (가) 실제 경험을 아낀다 (나) 보상이 바뀌어도 모델을 재사용할 수 있다 (다) 계산량이 적다 (라) 행동 전에 계획할 수 있다

답 보기

(다). 모델을 배우고 모델 안에서 계획 · 상상까지 해야 하므로 계산량은 보통 model-free 보다 많습니다. 대신 비싼 실제 경험을 아낍니다.

문제 2

$p(s_{t+1} \mid s_t, a_t)$ 를 한국어 문장으로 읽어 보세요. 결정적인 세상에서는 이 분포가 어떤 모양일까요?

답 보기

“지금 상태가 $s_t$ 이고 행동 $a_t$ 를 했을 때, 다음 상태가 $s_{t+1}$ 일 확률(밀도)”. 결정적인 세상에서는 다음 상태가 하나로 정해지므로, 그 한 점 $f(s_t, a_t)$ 에만 확률 1 이 몰린 분포입니다.

문제 3

오차 누적 모형 $e_k = \varepsilon (L^k - 1)/(L - 1)$ 에서 $\varepsilon = 0.01$, $L = 1.1$ 일 때 $e_{10}$ 을 계산해 보세요. ($1.1^{10} \approx 2.594$)

답 보기

$e_{10} = 0.01 \times (2.594 - 1)/0.1 = 0.01 \times 15.94 \approx 0.159$. 한 스텝 오차의 약 16배입니다. $L$ 이 1.2 에서 1.1 로 조금만 작아져도($e_{10} \approx 0.26$ → $0.16$) 오차가 크게 줄어듭니다.

문제 4

어떤 상황에서 다음 결과가 확률 0.8 로 10, 확률 0.2 로 0 이라고 합니다. 제곱 오차로 학습한 결정적 모델은 무엇을 예측할까요? 그 예측이 문제가 되는 까닭은?

답 보기

평균 $0.8 \times 10 + 0.2 \times 0 = 8$ 을 예측합니다. 그런데 실제로는 10 이나 0 만 나오고 8 은 한 번도 나오지 않습니다. 다봉 분포를 숫자 하나로 요약하면 일어날 수 없는 미래를 상상하게 됩니다.

문제 5

Dyna 의 의사코드에서 상상 횟수 $n$ 을 0 으로 하면 무엇이 되나요? $n$ 을 아주 크게 하면 어떤 위험이 있나요?

답 보기

$n = 0$ 이면 모델을 쓰지 않는 model-free 학습과 같습니다. $n$ 이 아주 크면 정책이 거의 상상 경험으로만 학습되므로, 모델이 틀린 곳의 잘못된 경험을 그대로 배우는(모델 착취 · 모델 편향) 위험이 커집니다.

큰 그림을 잡았습니다. 이제 World Model 이 “분포” 를 예측하고 “최대우도” 로 학습된다는 말을 정확히 이해하기 위해, 다음 장에서 확률의 기초부터 차근차근 쌓겠습니다.