World Model 이란 무엇인가
사람은 컵을 테이블 끝에 놓기 전에 “떨어지겠다” 는 것을 압니다. 실제로 떨어뜨려 보지 않고도요. 머릿속에 세상이 어떻게 움직이는지에 대한 작은 모형 이 있기 때문입니다. 이 장에서는 그 “머릿속 모형” 을 신경망으로 만든 것, 곧 World Model 이 무엇이고 왜 필요한지를 수식 없이도 이해할 수 있도록 큰 그림부터 잡습니다. 꼭 필요한 수식 두어 개는 한 줄씩 풀어 둡니다.
- “머릿속 시뮬레이터” 라는 World Model 의 직관
- 에이전트 · 환경 · 상태 · 관측 · 행동 · 보상이라는 기본 용어
- 강화학습에서 말하는 “모델” 의 정확한 뜻: 전이 모델과 보상 모델
- model-free 와 model-based 의 차이, 그리고 Dyna 라는 생각
- World Model 의 역사와 갈래, 그리고 World Model 을 어렵게 만드는 네 가지 문제
- 이 튜토리얼 전체에서 되풀이할 “모델 기반 학습 고리”
머릿속의 시뮬레이터
세 가지 장면을 떠올려 봅시다.
- 공 받기. 야구 외야수는 타자가 공을 치는 순간 공이 어디쯤 떨어질지 짐작하고 달리기 시작합니다. 눈으로 본 정보가 뇌에서 처리되는 데에는 시간이 걸리므로, 지금 보이는 공의 위치만 쫓아가서는 늦습니다. “공이 이렇게 날아가겠구나” 를 미리 예측 하고 그 예측을 향해 움직입니다.
- 운전. 빗길에서 브레이크를 밟으면 평소보다 멀리 미끄러진다는 것을 압니다. 그래서 실제로 미끄러져 보기 전에 일찍 속도를 줄입니다. 머릿속에서 “지금 밟으면 어디쯤 설까” 를 시뮬레이션한 것입니다.
- 컵 놓기. 컵을 테이블 끝에 반쯤 걸쳐 놓으면 떨어진다는 것을, 컵을 깨뜨려 보지 않고도 압니다.
세 경우 모두 우리는 실제로 해 보기 전에 머릿속에서 결과를 돌려 봅니다. 심리학자 케네스 크레이크(Kenneth Craik)는 1943년 책 『The Nature of Explanation』 에서 이렇게 주장했습니다. 생물이 머릿속에 바깥 세상과 자신의 행동에 대한 “작은 규모의 모형(small-scale model)” 을 가지고 있다면, 여러 가지 행동을 머릿속에서 시험해 보고 가장 좋은 것을 고를 수 있고, 일어나기 전에 미래 상황에 대비할 수 있다고요. 오늘날 이것을 정신 모형mental model 이라고 부릅니다.
World Model 은 “지금 상황에서 이 행동을 하면 다음에 무슨 일이 일어날까?” 를 예측하도록 데이터로 학습한 모델입니다. 예측기가 있으면 에이전트는 실제로 해 보지 않고도 미래를 상상할 수 있고, 그 상상으로 계획을 세우거나 행동을 배울 수 있습니다.
에이전트와 환경: 주고받는 고리
World Model 을 정확하게 말하려면 먼저 몇 가지 용어가 필요합니다. 이 용어들은 5장(강화학습)에서 수식으로 다시 정리하지만, 여기서는 뜻만 잡아 둡니다.
- 에이전트agent: 행동을 고르는 주체. 사람, 로봇, 게임 캐릭터를 움직이는 프로그램 등.
- 환경environment: 에이전트를 둘러싼 세상. 에이전트의 행동에 반응해 바뀝니다.
- 상태state $s_t$: 시각 $t$ 에 세상이 “정확히 어떤 모습인지” 를 다 담은 정보. 진자라면 각도와 각속도.
- 관측observation $o_t$: 에이전트가 실제로 볼 수 있는 정보. 상태 전부일 수도, 일부일 수도 있습니다(예: 카메라 그림 한 장).
- 행동action $a_t$: 에이전트가 고르는 것. 진자라면 축에 거는 토크.
- 보상reward $r_t$: 행동의 결과로 받는 점수. 에이전트의 목표는 보상의 합을 크게 만드는 것입니다.
- 정책policy $\pi$: 관측(또는 상태)을 보고 행동을 고르는 규칙. “이럴 땐 이렇게 한다” 의 모음.
- 에피소드episode: 시작부터 끝까지 한 판. 진자는 200 스텝(10초)이 한 판입니다.
이 튜토리얼의 무대인 진자에 이 용어들을 대입하면 다음과 같습니다.
| 용어 | 진자에서는 |
|---|---|
| 상태 $s_t$ | 각도 $\theta$ 와 각속도 $\dot\theta$. 두 숫자만 알면 앞으로의 움직임이 완전히 정해집니다. |
| 관측 $o_t$ | World Model 의 입력으로 6 · 7장: $[\cos\theta, \sin\theta, \dot\theta]$ (상태를 다 보여 줌). 8장부터: 64×64 흑백 그림 (각속도가 안 보임) |
| 행동 $a_t$ | 토크 $u \in [-2, 2]$. +는 시계 방향, −는 반시계 방향으로 돌리는 힘 |
| 보상 $r_t$ | $-(\theta^2 + 0.1\,\dot\theta^2 + 0.001\,u^2)$. 위에 가만히 서 있으면 0(최대), 아래에 매달려 있으면 약 −9.9 |
| 에피소드 | 200 스텝. 한 스텝은 0.05초이므로 10초 |
직접 해 보기: 진자를 세워 보세요
World Model 이 왜 쓸모 있는지 몸으로 느껴 보는 것이 가장 빠릅니다. 아래 시뮬레이터는 실습 코드 wm_envs.py 의 Pendulum
과 똑같은 물리 법칙 을 JavaScript 로 옮긴 것입니다. 막대가 아래로 매달린 상태에서 시작합니다. 단추를 누르고 있거나
키보드 ← → 를 누르고 있는 동안 토크가 걸립니다. 10초 안에 막대를 위로 세워 보세요.
단추는 누르고 있는 동안만 힘이 걸립니다. 이 상자를 한 번 누른 뒤에는 키보드 ← → 로도 조종할 수 있습니다. “자동 조종 보기” 는 아래에서 설명하는 “흔들어 에너지를 모은 뒤 세우는” 전략을 그대로 실행합니다.
몇 번 해 보면 다음을 알게 됩니다.
-
한쪽으로만 계속 밀면 올라가지 않습니다. 토크의 최댓값(2)이 중력이 막대를 끌어내리는 토크(막대가 옆으로 누웠을 때 최대 $mgl/2 = 5$)의 절반에도 못 미치기 때문입니다.
wm_envs.py의Pendulum으로 확인해 보면(위 데모에서 한쪽 토크만 계속 걸어도 됩니다), 아래에서 +2 를 계속 걸었을 때 막대는 아래쪽에서 약 49° 까지만 올라갔다가 다시 떨어집니다. - 그네처럼 흔들어야 합니다. 막대가 움직이는 방향으로 힘을 보태 주면 한 번 왕복할 때마다 조금씩 더 높이 올라갑니다. 그네를 탈 때 다리를 굴러 점점 높이 올라가는 것과 같습니다.
- 위에 거의 왔을 때는 반대로 해야 합니다. 이제는 넘어가지 않도록 브레이크를 걸고 균형을 잡아야 합니다. 같은 “토크 +2” 가 아래에서는 좋은 행동이고, 위에서는 나쁜 행동일 수 있습니다.
“자동 조종 보기” 는 바로 이 전략(에너지가 부족하면 움직이는 방향으로 밀고, 위에 가까워지면 균형 잡기)을 실행합니다. 아래에서 시작하면 약 3초(62 스텝) 만에 막대를 세우고, 한 에피소드의 보상 합은 약 −373 입니다. 직접 조종한 점수와 비교해 보세요.
“지금 밀면 손해 같지만 몇 초 뒤에는 이득” 이라는 판단은 미래를 머릿속에 그려 볼 수 있어야 가능합니다. 진자 세우기는 바로 앞의 보상만 보고 욕심을 부리면 실패하는 문제라서, World Model 로 미래를 상상하는 방법의 장점이 잘 드러나는 연습 문제입니다.
강화학습에서 “모델” 이란
일상에서 “모델” 은 아주 넓은 말이지만, 강화학습에서 모델 은 정확히 다음 두 가지를 말합니다.
- 전이 모델transition model, dynamics model: 지금 상태 $s_t$ 에서 행동 $a_t$ 를 하면 다음 상태 $s_{t+1}$ 이 무엇이 되는가.
- 보상 모델reward model: 지금 상태 $s_t$ 에서 행동 $a_t$ 를 하면 보상 $r_t$ 를 얼마나 받는가.
세상이 늘 똑같이 반응한다면(결정적, deterministic) 전이 모델은 함수 하나로 씁니다.
$$ s_{t+1} = f(s_t, a_t), \qquad r_t = R(s_t, a_t) $$
$f$ 는 “상태와 행동을 넣으면 다음 상태가 나오는 기계” 라고 읽으면 됩니다. 진자에서는 wm_envs.py 의 step() 안 세 줄이 바로 진짜 $f$ 입니다.
그런데 세상은 늘 똑같이 반응하지 않습니다. 같은 자리에서 주사위를 던져도 결과가 다르고, 같은 교차로에서 앞차가 왼쪽으로 갈지 오른쪽으로 갈지는 모릅니다. 그래서 일반적으로는 전이 모델을 확률 분포 로 씁니다.
$$ s_{t+1} \sim p(s_{t+1} \mid s_t, a_t) $$
읽는 법: “다음 상태 $s_{t+1}$ 은, 지금 상태가 $s_t$ 이고 행동이 $a_t$ 일 때의 분포 $p$ 에서 뽑힌다(∼).” 세로 막대 $\mid$ 뒤가 “이미 알고 있는 것” 입니다.
이 표기는 2장에서 조건부 확률로 자세히 다룹니다. 결정적인 세상은 이 분포가 한 점에만 확률 1 을 몰아준 특수한 경우입니다.
World Model 은 진짜 $f$ (또는 $p$) 를 모르는 채, 데이터를 보고 그것을 흉내 내는 학습된 모델입니다. 학습되는 숫자(신경망의 가중치)를 $\theta$ 로 묶어 $f_\theta$ 또는 $p_\theta$ 로 씁니다.
$$ \hat{s}_{t+1} = f_\theta(s_t, a_t) \approx f(s_t, a_t) $$데이터로 배운다는 것: 작은 예
“데이터로 배운다” 가 무슨 뜻인지 아주 작은 예로 보겠습니다. 어떤 1차원 세상의 진짜 규칙이 $s_{t+1} = s_t + 0.5\,a_t$ 라고 합시다. 우리는 이 규칙을 모르고, 다음과 같은 경험 세 개만 가지고 있습니다.
| 경험 | $s_t$ | $a_t$ | $s_{t+1}$ (관찰된 결과) |
|---|---|---|---|
| 1 | 0 | 2 | 1.0 |
| 2 | 1 | −2 | 0.0 |
| 3 | 3 | 1 | 3.5 |
모델의 꼴을 $f_\theta(s, a) = s + \theta\,a$ 로 정하고, 숫자 하나 $\theta$ 만 배운다고 해 봅시다. $\theta$ 를 1 로 찍어 보면 예측이 얼마나 틀리는지, “틀린 정도” 를 오차의 제곱을 평균 낸 값(평균 제곱 오차, MSE)으로 재 봅니다.
실제 World Model 은 $\theta$ 가 숫자 하나가 아니라 수만 – 수백만 개(신경망의 가중치)이고, 손으로 찍어 보는 대신 경사 하강법(4장)으로 오차를 줄여 갑니다. 또 오차를 왜 하필 “제곱” 으로 재는지에는 깊은 이유가 있는데, 2장에서 “가우시안 분포의 최대우도” 로 그 정체를 밝힙니다. 원리는 위의 작은 예와 같습니다.
그림만 보일 때: 잠재 공간의 World Model
진자를 숫자 $(\theta, \dot\theta)$ 대신 카메라 그림으로만 본다면 어떨까요? 64×64 그림은 숫자 4096개입니다. 다음 그림의 픽셀 4096개를 통째로 예측하는 것은 어렵고 낭비입니다. 그림 속 정보는 사실 “막대가 어느 각도에 있는가” 하나뿐이니까요. 그래서 그림을 보는 World Model 은 보통 세 부분으로 나뉩니다.
- 인코더: 그림 $o_t$ 를 작은 벡터 $z_t$ 로 압축합니다(잠재 변수latent variable). → 8장 VAE
- 잠재 동역학: 작은 벡터 공간에서 다음을 예측합니다. $z_{t+1} \sim p_\theta(z_{t+1} \mid z_t, a_t, \text{기억})$ → 9 · 11장
- 디코더: 필요하면 작은 벡터를 다시 그림으로 펼칩니다. → 8장
이렇게 하면 “상상” 은 작은 벡터 공간 안에서 아주 빠르게 돌아갑니다. Ha 의 World Models(10장), PlaNet(11장), Dreamer(12장)가 모두 이 구조입니다.
모델 없이, 또는 모델을 써서: model-free 와 model-based
강화학습 알고리즘은 World Model 을 쓰는지 여부로 크게 둘로 나뉩니다.
- 모델 없는 강화학습model-free RL: 세상이 어떻게 움직이는지는 배우지 않고, “이 상황에서 이 행동은 좋았다/나빴다” 를 시행착오로 직접 배웁니다. 예: DQN, PPO, SAC. 자전거를 넘어지고 또 넘어지며 몸으로 익히는 것과 비슷합니다.
- 모델 기반 강화학습model-based RL: 먼저 세상의 규칙(World Model)을 배우고, 그 모델을 이용해 계획하거나 상상 속에서 연습합니다. 예: PETS, PlaNet, Dreamer, MuZero. 체스 선수가 수를 두기 전에 머릿속으로 여러 수를 읽어 보는 것과 비슷합니다.
| 비교 | model-free | model-based (World Model) |
|---|---|---|
| 표본 효율 (실제 경험을 얼마나 아끼나) |
낮음. 실제 환경과 아주 많이 상호작용해야 합니다(수백만 스텝도 흔함). | 높음. 한 번 모은 경험으로 모델을 배우고, 상상 경험을 많이 만들어 씁니다. |
| 계산량 (컴퓨터가 하는 일) |
적음. 정책 · 가치 신경망만 학습합니다. | 많음. 모델도 배워야 하고, 모델 안에서 계획 · 상상도 돌려야 합니다. |
| 점근 성능 (데이터가 무한할 때 최종 실력) |
전통적으로 높음. 진짜 경험만 쓰므로 모델 오차의 영향이 없습니다. | 모델이 틀린 만큼 손해를 볼 수 있습니다. 최근 방법(DreamerV3 등)은 여러 과제에서 model-free 와 대등하거나 앞섭니다. |
| 오류의 원인 | 가치 추정의 편향 · 분산, 탐험 부족. | 위 원인에 더해 모델 오차(model bias). 틀린 모델 안에서 세운 계획은 실제로는 틀립니다. |
| 재사용 | 목표(보상)가 바뀌면 처음부터 다시 배워야 하는 경우가 많습니다. | 세상의 규칙은 목표와 상관없으므로, 보상만 바꿔 같은 모델로 새 목표를 계획할 수 있습니다. |
| 이 튜토리얼 | 5장에서 기초만 | 6 – 13장 전체 |
표본 효율의 차이는 꽤 큽니다. 예를 들어 PETS 논문(Chua 외, 2018)은 HalfCheetah 라는 달리기 과제에서 model-free 방법인 SAC 보다 약 8배, PPO 보다 약 125배 적은 표본으로 비슷한 성능에 도달했다고 보고했습니다. 로봇 팔을 한 번 움직이는 데 몇 초가 걸리고, 넘어지면 부서질 수 있는 실제 세상에서 이 차이는 결정적입니다.
model-free 와 model-based 는 대립하는 것이 아니라 함께 쓰이는 경우가 많습니다. 예를 들어 Dreamer(12장)는 World Model 이 만든 상상 경험 위에서 액터-크리틱(model-free 의 대표적인 방법)을 돌립니다. 다음 절의 Dyna 가 바로 이 “섞어 쓰기” 의 원조입니다.
World Model 이 주는 다섯 가지
- 표본 효율. 실제 경험은 비쌉니다. 로봇은 닳고, 자율주행차의 사고는 되돌릴 수 없고, 신약 실험은 몇 달이 걸립니다. World Model 은 한 번의 실제 경험에서 최대한 많이 배우게 해 줍니다.
- 계획(planning). 행동하기 전에 여러 행동 후보를 모델 안에서 돌려 보고 가장 좋은 것을 고릅니다. 체스에서 수를 읽는 것과 같습니다. → 7장 MPC · CEM, 11장 PlaNet
- 상상 속 학습. 계획을 매번 하는 대신, 모델이 만든 “꿈” 속에서 정책을 연습시켜 둡니다. 실전에서는 연습한 정책을 바로 씁니다. → 10장 World Models, 12장 Dreamer
- 시뮬레이터 · 데이터 생성. 충분히 좋은 World Model 은 그 자체로 게임 엔진이나 주행 시뮬레이터 역할을 합니다. 위험한 상황(사고 직전 장면 등)을 마음껏 만들어 다른 AI 를 훈련하거나 시험할 수 있습니다. → 13장 GameNGen · Genie · Cosmos
- 이해와 재사용. 미래를 잘 예측하려면 세상의 구조(무엇이 물체이고 어떻게 움직이는지)를 파악해야 하므로, World Model 이 배운 표현은 다른 과제에도 쓸모가 있습니다. 목표가 바뀌어도 세상의 규칙은 그대로이므로 모델을 재사용할 수 있습니다.
Dyna: 실제 경험과 상상 경험을 섞기
리처드 서튼(Richard Sutton)은 1990 – 1991년에 Dyna 라는 구조를 제안했습니다. 생각은 단순합니다.
- 실제 환경에서 행동해 경험 $(s, a, r, s')$ 를 얻습니다. ($s'$ 는 “다음 상태” 를 짧게 쓴 것입니다.)
- 이 실제 경험으로 (a) 정책 · 가치를 직접 고치고(model-free 와 같음), (b) 동시에 모델을 고칩니다.
- 그다음, 모델에게 “이 상태에서 이 행동을 하면?” 하고 물어 가상 경험 을 여러 개 만들고, 그 가상 경험으로도 정책 · 가치를 똑같이 고칩니다.
의사코드로 쓰면 다음과 같습니다. 실제 경험 한 번마다 상상 경험을 $n$ 번 씁니다.
for step in range(total_steps):
a = policy(s) # 1. 행동을 고른다
s_next, r = real_env.step(a) # 2. 진짜 세상에서 해 본다 (비싸다)
update_policy(s, a, r, s_next) # 3. 진짜 경험으로 배운다
model.update(s, a, r, s_next) # 4. 세상의 규칙도 배운다
for _ in range(n): # 5. 상상 경험으로 n 번 더 배운다 (싸다)
s_im, a_im = sample_seen_state_action()
s_im_next, r_im = model.predict(s_im, a_im)
update_policy(s_im, a_im, r_im, s_im_next)
s = s_next
$n = 0$ 이면 그냥 model-free 이고, $n$ 이 클수록 같은 실제 경험에서 더 많이 배웁니다. 단, 모델이 틀렸다면 상상 경험도 틀려서 오히려 해가 됩니다. 이 균형이 model-based 강화학습 전체를 관통하는 고민입니다. Dyna 의 생각은 30년이 지난 지금도 그대로 살아 있어서, MBPO(2019) 같은 방법은 Dyna 를 신경망 앙상블로 되살린 것이고, Dreamer 는 “상상 경험만으로 정책을 배우는” 극단적인 Dyna 라고 볼 수 있습니다.
World Model 의 역사
“세상을 예측하는 모델을 배워 행동에 쓴다” 는 생각은 오래되었지만, 높은 차원의 그림을 다룰 수 있게 된 것은 딥러닝 덕분입니다. 이 튜토리얼에서 다룰 연구를 중심으로 정리했습니다.
| 연도 | 연구 | 핵심 생각 | 이 튜토리얼 |
|---|---|---|---|
| 1943 | Craik, 『The Nature of Explanation』 | 생물은 머릿속에 세상의 작은 모형을 두고 미리 시험해 본다는 가설 | 1장 |
| 1990 | Schmidhuber, “Making the World Differentiable” | 순환 신경망으로 환경을 모델링하고, 그 모델을 통해 미분해 컨트롤러를 학습 | 9 · 10장 (같은 생각) |
| 1990 – 1991 | Sutton, Dyna | 실제 경험과 모델이 만든 가상 경험을 섞어 학습 · 계획 | 1장 |
| 2011 | Deisenroth & Rasmussen, PILCO | 가우시안 프로세스로 불확실성까지 담은 동역학 모델. 아주 적은 시도로 제어를 배움 | 7장 (불확실성이라는 생각) |
| 2018 | Ha & Schmidhuber, “World Models” | VAE(눈) + MDN-RNN(기억) + 작은 컨트롤러. 모델이 꾸는 꿈속에서 정책 학습 | 8 · 9 · 10장 |
| 2018 | Chua 외, PETS | 확률적 신경망 앙상블 + CEM 계획으로 높은 표본 효율 | 7장 |
| 2019 | Hafner 외, PlaNet | RSSM: 결정적 · 확률적 경로를 함께 쓰는 잠재 동역학. 그림에서 배워 잠재 공간에서 계획 | 11장 |
| 2019 – 20 | Schrittwieser 외, MuZero | 관측을 복원하지 않고 보상 · 가치 · 정책만 맞추는 모델 + 트리 탐색. 바둑 · 체스 · 쇼기 · Atari | 13장 |
| 2020 | Hafner 외, Dreamer | 잠재 공간의 상상 속에서 액터-크리틱 학습 | 12장 |
| 2021 | Hafner 외, DreamerV2 | 범주형(이산) 잠재 변수. World Model 안에서 배운 정책으로 Atari 55종에서 사람 수준 | 12장 |
| 2021 | Ye 외, EfficientZero | MuZero 를 개선해, 게임마다 10만 스텝만 쓰는 Atari 100k 벤치마크에서 사람 점수를 넘는 평균 성능 | 13장 |
| 2022 | LeCun, “A Path Towards Autonomous Machine Intelligence” | 픽셀이 아니라 “표현” 을 예측하는 JEPA 구조를 제안한 입장 논문 | 13장 |
| 2022 · 2024 | Hansen 외, TD-MPC · TD-MPC2 | 디코더 없이 잠재 공간에서 MPC 로 계획하는 연속 제어용 World Model | 13장 |
| 2023 (Nature 2025) | Hafner 외, DreamerV3 | 하나의 고정된 설정으로 150여 개 과제를 학습. Minecraft 에서 사람 데이터 없이 다이아몬드 수집 | 12장 |
| 2023 | Micheli 외, IRIS | 그림을 이산 토큰으로 바꾸고 Transformer 로 다음 토큰을 예측하는 World Model | 13장 |
| 2024 | OpenAI, Sora | 시공간 패치를 토큰으로 쓰는 확산 Transformer. 비디오 생성 모델이 물리 세계의 시뮬레이터가 될 수 있다고 주장 | 13장 |
| 2024 | Bruce 외, Genie | 행동 라벨 없는 게임 영상에서 “잠재 행동” 을 배워 조작 가능한 2D 세계를 생성 | 13장 |
| 2024 | Alonso 외, DIAMOND | 확산(diffusion) 모델로 만든 World Model 안에서 Atari 에이전트 학습 | 13장 |
| 2024 | Valevski 외, GameNGen | 확산 모델이 게임 DOOM 의 화면을 실시간으로 생성. 신경망이 게임 엔진을 대신함 | 13장 |
| 2024 | Google DeepMind, Genie 2 | 그림 한 장에서 키보드 · 마우스로 조작할 수 있는 3D 세계를 생성 | 13장 |
| 2025 | NVIDIA, Cosmos | 로봇 · 자율주행 같은 물리 AI 를 위한 “world foundation model” 플랫폼 공개 | 13장 |
| 2025 | Meta, V-JEPA 2 | 영상으로 자기지도 학습한, 그림이 아니라 “표현” 을 예측하는 World Model. 로봇 계획에 활용 | 13장 |
| 2025 | Google DeepMind, Genie 3 | 글로 지시한 3D 세계를 실시간으로 생성하고 사용자가 그 안을 돌아다닐 수 있음 | 13장 |
| 2025 | Hafner 외, Dreamer 4 | 환경과 상호작용하지 않고 오프라인 데이터만으로 Minecraft 에서 다이아몬드를 얻었다고 보고 | 13장 |
| 2026 | Google DeepMind, Genie 4 | 연구 미리보기로 공개. 세계에 맞는 소리를 실시간으로 함께 생성 | 13장 |
흐름을 한 줄로 요약하면 이렇습니다. 작은 상태를 예측하는 모델(1990년대 – 2010년대) → 그림을 압축한 잠재 공간에서 예측하는 모델(2018 – 2021) → 거대한 데이터로 학습한 범용 영상 · 3D 세계 모델(2023 – ). 이 튜토리얼은 이 흐름을 그대로 따라갑니다.
World Model 의 지도: 여러 갈래로 나누기
“World Model” 이라는 이름 아래에는 꽤 다른 것들이 섞여 있습니다. 몇 가지 기준으로 나눠 보면 각 연구의 위치가 분명해집니다.
기준 1. 무엇을 입력으로 보는가
- 상태 기반: 위치 · 속도처럼 이미 정리된 숫자를 봅니다. 모델이 작고 배우기 쉽습니다. 로봇 관절 제어 등. → 6 · 7장
- 관측(그림) 기반: 카메라 그림 같은 날 데이터를 봅니다. 먼저 그림에서 쓸모 있는 정보를 뽑아내야 합니다. → 8 – 12장
기준 2. 무엇을 맞히도록 학습하는가
| 갈래 | 학습 목표 | 장점 | 단점 | 예 |
|---|---|---|---|---|
| 재구성형 | 미래의 관측(그림) 자체를 복원 · 생성 | 학습 신호가 풍부함(픽셀 하나하나가 정답). 결과를 눈으로 확인 가능 | 과제와 상관없는 세부(배경 무늬 등)까지 맞히느라 용량을 씀 | Ha 의 World Models, PlaNet, Dreamer, 비디오 생성 모델 |
| 가치 등가형 | 미래의 보상 · 가치 · 정책만 맞히면 됨 (관측은 복원 안 함) | 과제에 필요한 것만 배움 | 보상이 드물면 학습 신호가 약함. 다른 과제에 재사용하기 어려움 | MuZero, (일부) TD-MPC |
| 표현 예측형 | 미래 관측의 “표현(요약 벡터)” 을 예측 | 예측할 수 없는 세부는 버리고 의미 있는 구조만 예측 | 모든 것을 같은 벡터로 보내는 “붕괴” 를 막는 장치가 필요 | JEPA 계열(V-JEPA 2) |
기준 3. 결정적인가, 확률적인가
- 결정적 모델: 같은 입력에 늘 같은 예측 하나. 단순하지만, 미래가 여러 갈래일 때 그 평균을 예측하는 문제가 있습니다(아래 “다봉성”). → 6장
- 확률적 모델: 미래의 분포를 예측해 여러 가능성을 뽑아 볼 수 있습니다. → 7 · 9 · 11 · 12장
기준 4. 모델을 어디에 쓰는가
- 계획에 쓰기: 행동할 때마다 모델 안에서 미래를 검색합니다. PETS, PlaNet, MuZero, TD-MPC. → 7 · 11장
- 상상 속 정책 학습: 모델 안에서 정책을 미리 훈련합니다. World Models, Dreamer, IRIS. → 10 · 12장
- 시뮬레이터 · 생성: 모델 자체를 사람이나 다른 AI 가 쓰는 세상으로 씁니다. GameNGen, Genie, Cosmos. → 13장
기준 5. 어떤 신경망 구조인가
다층 퍼셉트론(MLP, 6장) → 순환 신경망(RNN · RSSM, 9 · 11장) → Transformer, 확산 모델(13장) 순서로 발전해 왔습니다. 구조는 달라도 “과거와 행동을 보고 미래를 예측한다” 는 일은 같습니다.
World Model 을 어렵게 만드는 네 가지
World Model 은 강력하지만 쉽지 않습니다. 이 튜토리얼의 뒤쪽 장들은 사실상 아래 네 가지 문제를 하나씩 풀어 가는 과정입니다.
1. 오차 누적
한 스텝 예측이 아주 조금만 틀려도, 그 틀린 예측을 다시 입력으로 넣어 다음을 예측하면 오차가 쌓입니다. 이것을 오차 누적compounding error 이라고 합니다. 얼마나 빨리 쌓이는지 간단한 모형으로 계산해 봅시다.
$k$ 스텝 뒤의 오차 크기를 $e_k$ 라고 합시다. 매 스텝 모델이 새로 만드는 오차가 $\varepsilon$ 이고, 이미 있던 오차는 세상의 움직임 때문에 $L$ 배로 늘어난다고 가정합니다 ($L \gt 1$ 이면 작은 차이가 점점 커지는 세상. 진자가 위에 서 있을 때가 그렇습니다).
$$ e_1 = \varepsilon, \qquad e_{k+1} = L\, e_k + \varepsilon $$숫자를 넣어 봅시다. 한 스텝 오차가 $\varepsilon = 0.01$ 로 아주 작고, $L = 1.2$ 라고 하면 $k = 10$ 일 때 $e_{10} = 0.01 \times (1.2^{10} - 1)/0.2 = 0.01 \times (6.19 - 1)/0.2 \approx 0.26$, $k = 20$ 일 때 $e_{20} = 0.01 \times (1.2^{20} - 1)/0.2 = 0.01 \times (38.34 - 1)/0.2 \approx 1.87$ 입니다. 한 스텝에서는 0.01 이던 오차가 20 스텝 뒤에는 거의 190배가 됩니다. 6장에서 실제로 학습한 진자 모델로 이 현상을 직접 확인하고, 7장에서는 짧게 상상하고 자주 다시 계획하는 방법(MPC)으로 피해 갑니다.
2. 모델 착취
계획이나 정책 학습은 “모델 안에서 보상을 최대로” 만드는 행동을 찾습니다. 그런데 모델이 어딘가에서 틀려서 실제보다 보상을 후하게 준다면, 최적화는 정확히 그 틀린 곳을 찾아냅니다. 이것을 모델 착취model exploitation 라고 합니다. 게임의 버그를 찾아 점수를 올리는 것과 비슷한데, 그 버그가 모델에만 있고 진짜 세상에는 없으니 실제로 해 보면 실패합니다. 10장의 World Models 논문은 이 현상을 “꿈속에서 속이기(cheating)” 라고 불렀습니다. 해결책: 모델이 얼마나 확신하는지 를 함께 예측해 불확실한 곳을 피하기(7장 앙상블), 짧게만 상상하기, 실제 데이터를 계속 모아 모델을 고치기.
3. 부분 관측
그림 한 장으로는 진자가 지금 어느 방향으로 얼마나 빨리 도는지 알 수 없습니다. 정지 사진 속 공이 올라가는 중인지 내려가는 중인지 모르는 것과 같습니다. 이처럼 관측이 상태의 일부만 보여 주는 상황을 부분 관측partial observability 이라고 하며, 여러 장면을 기억 해야 상태를 추론할 수 있습니다. → 5장 POMDP, 9장 RNN, 11장 RSSM
4. 확률성과 다봉성
같은 상황에서도 결과가 여러 갈래일 수 있습니다. 동전을 던지면 앞면(+1) 또는 뒷면(−1)이 반반으로 나옵니다. 이 결과 $y$ 를 숫자 하나 $c$ 로 예측하면서 평균 제곱 오차 $\E[(y - c)^2]$ 를 가장 작게 만들면 어떤 $c$ 가 나올까요? ($\E$ 는 평균, 곧 기댓값입니다. 2장에서 자세히 다룹니다.)
동전의 평균은 $0.5 \times (+1) + 0.5 \times (-1) = 0$ 입니다. 그러니 제곱 오차로 학습한 결정적 모델은 “0” 이라고 예측합니다. 그런데 0 은 절대 일어나지 않는 결과입니다! 그림으로 치면, 갈림길에서 자동차가 왼쪽 또는 오른쪽으로 갈 때 모델은 두 그림을 반씩 겹친 흐릿한 유령 차를 그립니다. 이처럼 가능한 결과가 여러 봉우리로 나뉜 분포를 다봉 분포multimodal distribution 라고 합니다. 해결책은 미래를 숫자 하나가 아니라 분포 로 예측하는 것입니다. → 7장 가우시안 출력, 9장 혼합 밀도 네트워크, 11 · 12장 확률적 잠재 변수, 13장 확산 모델
모델 기반 학습 고리
이 튜토리얼에서 만드는 모든 World Model 에이전트는, 세부는 달라도 다음 네 단계를 되풀이합니다.
D = collect_episodes(env, policy=None) # 처음엔 무작위 행동으로 경험을 모은다
for iteration in range(num_iterations):
world_model.train(D) # ② 모은 경험으로 세상의 규칙을 배운다
policy = plan_or_learn_in_imagination( # ③ 모델 안에서 계획하거나 정책을 연습한다
world_model)
new_episodes = collect_episodes(env, policy) # ④ 실제 환경에서 행동해 본다
D = D + new_episodes # ① 새 경험을 데이터에 더한다
왜 한 번에 끝내지 않고 되풀이할까요?
- 처음 무작위 행동으로 모은 데이터에는 “막대가 위에 서 있는 장면” 이 거의 없습니다. 그런 곳에서 모델은 틀리기 쉽습니다.
- 조금 나아진 정책으로 행동하면, 정책이 실제로 가 보는 곳(예: 위쪽 근처)의 데이터가 모이고, 그곳에서 모델이 정확해집니다.
- 모델이 착취당한 곳(모델은 좋다고 했지만 실제로는 나빴던 곳)의 진짜 결과가 데이터에 들어가 모델이 바로잡힙니다.
각 장에서 ③ 단계가 어떻게 구현되는지 미리 정리하면 다음과 같습니다.
| 장 | World Model | ③ 계획 · 상상 학습 |
|---|---|---|
| 6 – 7 | 상태를 보는 MLP (결정적 → 확률적 앙상블) | 행동마다 모델 안에서 행동열을 검색 (랜덤 슈팅, CEM, MPC) |
| 8 – 10 | VAE + MDN-RNN | 꿈속에서 진화 전략(CMA-ES)으로 작은 컨트롤러 학습 |
| 11 | RSSM | 잠재 공간에서 CEM 계획 (PlaNet) |
| 12 | RSSM | 상상 속 액터-크리틱 (Dreamer) |
이 튜토리얼에서 직접 만들 것
진자 하나를 무대로, World Model 이 점점 똑똑해지는 과정을 직접 구현합니다.
- 6장: 숫자 3개를 보고 다음 숫자 3개를 예측하는 신경망. 한 스텝은 잘 맞히지만 길게 상상하면 어긋나는 것(오차 누적)을 눈으로 확인합니다.
- 7장: 그 모델 안에서 행동열을 검색해 실제 진자를 세웁니다. 모델이 자기 불확실성을 알게 만들어 모델 착취를 줄입니다.
- 8 · 9 · 10장: 그림을 32차원 벡터로 압축하고(VAE), 그 벡터의 미래를 예측하고(MDN-RNN), 그 “꿈” 속에서 컨트롤러를 학습합니다.
- 11 · 12장: 그림만 보고 진자를 세우는 PlaNet 과 Dreamer 를 처음부터 구현합니다.
그 전에, 2 – 5장에서 이 모든 것에 필요한 도구(확률, 정보 이론, 딥러닝, 강화학습)를 하나씩 갖춥니다.
- World Model 은 “상태 · 행동 → 다음 상태 · 보상” 을 예측하도록 데이터로 학습한 모델, 곧 머릿속 시뮬레이터입니다.
- 강화학습의 “모델” 은 전이 모델 $p(s_{t+1} \mid s_t, a_t)$ 와 보상 모델 $r_t = R(s_t, a_t)$ 두 가지입니다.
- model-based 는 표본 효율이 높고 재사용이 쉬운 대신, 계산이 많고 모델 오차의 위험이 있습니다. Dyna 는 실제 경험과 상상 경험을 섞는 원조 구조입니다.
- World Model 은 입력(상태/그림), 학습 목표(재구성/가치 등가/표현 예측), 확률성, 쓰임새(계획/상상 학습/시뮬레이터), 구조로 나눠 볼 수 있습니다.
- 어려움 네 가지: 오차 누적($e_k = \varepsilon (L^k - 1)/(L - 1)$), 모델 착취, 부분 관측, 확률성 · 다봉성(제곱 오차 예측은 평균으로 간다).
- 모든 장의 에이전트는 “경험 모으기 → 모델 학습 → 계획 · 상상 학습 → 실제 행동” 고리를 되풀이합니다.
확인 문제
다음 중 model-based 강화학습의 장점이 아닌 것은? (가) 실제 경험을 아낀다 (나) 보상이 바뀌어도 모델을 재사용할 수 있다 (다) 계산량이 적다 (라) 행동 전에 계획할 수 있다
답 보기
(다). 모델을 배우고 모델 안에서 계획 · 상상까지 해야 하므로 계산량은 보통 model-free 보다 많습니다. 대신 비싼 실제 경험을 아낍니다.
$p(s_{t+1} \mid s_t, a_t)$ 를 한국어 문장으로 읽어 보세요. 결정적인 세상에서는 이 분포가 어떤 모양일까요?
답 보기
“지금 상태가 $s_t$ 이고 행동 $a_t$ 를 했을 때, 다음 상태가 $s_{t+1}$ 일 확률(밀도)”. 결정적인 세상에서는 다음 상태가 하나로 정해지므로, 그 한 점 $f(s_t, a_t)$ 에만 확률 1 이 몰린 분포입니다.
오차 누적 모형 $e_k = \varepsilon (L^k - 1)/(L - 1)$ 에서 $\varepsilon = 0.01$, $L = 1.1$ 일 때 $e_{10}$ 을 계산해 보세요. ($1.1^{10} \approx 2.594$)
답 보기
$e_{10} = 0.01 \times (2.594 - 1)/0.1 = 0.01 \times 15.94 \approx 0.159$. 한 스텝 오차의 약 16배입니다. $L$ 이 1.2 에서 1.1 로 조금만 작아져도($e_{10} \approx 0.26$ → $0.16$) 오차가 크게 줄어듭니다.
어떤 상황에서 다음 결과가 확률 0.8 로 10, 확률 0.2 로 0 이라고 합니다. 제곱 오차로 학습한 결정적 모델은 무엇을 예측할까요? 그 예측이 문제가 되는 까닭은?
답 보기
평균 $0.8 \times 10 + 0.2 \times 0 = 8$ 을 예측합니다. 그런데 실제로는 10 이나 0 만 나오고 8 은 한 번도 나오지 않습니다. 다봉 분포를 숫자 하나로 요약하면 일어날 수 없는 미래를 상상하게 됩니다.
Dyna 의 의사코드에서 상상 횟수 $n$ 을 0 으로 하면 무엇이 되나요? $n$ 을 아주 크게 하면 어떤 위험이 있나요?
답 보기
$n = 0$ 이면 모델을 쓰지 않는 model-free 학습과 같습니다. $n$ 이 아주 크면 정책이 거의 상상 경험으로만 학습되므로, 모델이 틀린 곳의 잘못된 경험을 그대로 배우는(모델 착취 · 모델 편향) 위험이 커집니다.
큰 그림을 잡았습니다. 이제 World Model 이 “분포” 를 예측하고 “최대우도” 로 학습된다는 말을 정확히 이해하기 위해, 다음 장에서 확률의 기초부터 차근차근 쌓겠습니다.