CHAPTER 00

시작하기

이 튜토리얼은 딥러닝의 World Model(세계 모델) 을 머신러닝 초급자가 처음부터 끝까지 혼자 따라갈 수 있도록 쓴 글입니다. “World Model 이 뭐지?” 라는 질문에서 시작해, 필요한 확률 · 정보 이론 · 딥러닝 · 강화학습을 하나씩 쌓고, 마지막에는 그림만 보고 진자를 세우는 법을 상상 속에서 배우는 Dreamer 를 직접 구현합니다.

읽는 시간 약 25분난이도 ★☆☆☆☆코드: 설치 확인만
이 장에서 배우는 것

이 튜토리얼이 약속하는 것

World Model 을 다룬 글은 많지만, 대부분 “VAE 는 이미 안다”, “ELBO 는 유명하니 생략한다”, “벨만 방정식은 기본이다” 처럼 중요한 단계를 건너뜁니다. 초급자는 바로 그 건너뛴 자리에서 길을 잃습니다. 이 튜토리얼은 다음 세 가지를 약속합니다.

  1. 건너뛰지 않습니다. 수식이 나오면 한 줄씩 풀고, 각 줄 옆에 “왜 이렇게 되는지” 를 적습니다. “쉽게 보이듯이(it is easy to see)” 라는 말은 쓰지 않습니다.
  2. 직접 만들어 봅니다. 모든 핵심 개념은 PyTorch 코드로 구현합니다. 코드는 실제로 돌려 본 것이고, 본문의 그래프 · 그림은 그 코드가 만든 결과입니다.
  3. 같은 세상에서 끝까지 갑니다. 처음부터 끝까지 진자(pendulum) 라는 하나의 작은 세상을 씁니다. 처음에는 숫자 3개(각도와 속도)로 보고, 나중에는 64×64 그림으로 봅니다. 세상이 같으니 모델이 바뀌는 것에만 집중할 수 있습니다.
64×64 흑백 그림으로 본 진자의 여러 순간
그림 0-1. 이 튜토리얼의 무대인 진자 환경을 64×64 흑백 그림으로 본 모습(무작위 행동, 25 스텝 간격). 가운데 축에 매달린 막대를 토크로 돌려 똑바로 세우는 것 이 목표입니다. 8장부터는 모델이 이 그림만 보고 세상을 배웁니다.

World Model 을 한 문장으로

1장에서 자세히 다루지만, 먼저 한 문장으로 정리해 두겠습니다.

핵심

World Model 은 “지금 상태에서 이 행동을 하면 다음에 무슨 일이 일어날까?” 를 예측하도록 학습한 신경망입니다. 이 예측기가 있으면 에이전트(행동하는 주체)는 실제로 해 보지 않고도 머릿속에서 미리 시뮬레이션 해 볼 수 있고, 그 상상을 이용해 계획을 세우거나 행동을 배울 수 있습니다.

수식으로 쓰면, 현재 상태 $s_t$ 와 행동 $a_t$ 로 다음 상태 $s_{t+1}$ 과 보상 $r_t$ 를 예측하는 함수입니다.

$$ (s_t,\ a_t) \;\xrightarrow{\ \text{World Model}\ }\; (\hat{s}_{t+1},\ \hat{r}_t) $$

$\hat{s}$ 처럼 기호 위에 모자(^, “햇” 이라고 읽습니다)를 쓴 것은 “모델이 예측한 값” 이라는 뜻입니다. 진짜 값 $s_{t+1}$ 과 예측 $\hat{s}_{t+1}$ 이 가까워지도록 신경망을 학습시키는 것, 이것이 World Model 학습의 가장 단순한 형태입니다. 여기에 “그림을 보고”, “불확실성까지”, “긴 시간을 기억하며”, “상상 속에서 행동을 배우는” 능력을 하나씩 더해 가는 것이 이 튜토리얼의 줄거리입니다.

튜토리얼 지도

전체는 15개 장입니다. 크게 네 단계로 나뉩니다. 각 단계가 다음 단계의 재료가 되므로 처음이라면 순서대로 읽기를 권합니다.

1단계 · 기초 체력 01 World Model 직관 02 확률 · 최대우도 03 정보 이론 · KL 04 딥러닝 · PyTorch 05 강화학습 2단계 · 첫 모델 06 동역학 모델 07 MPC · CEM · 앙상블 관측: 숫자 3개 [cos θ, sin θ, θ̇] 3단계 · 그림 보기 08 VAE (눈) 09 MDN-RNN (기억) 10 Ha의 World Models 관측: 64×64 그림 4단계 · 상상 학습 11 RSSM · PlaNet 12 Dreamer 13 현대 지형도 14 부록
그림 0-2. 튜토리얼의 네 단계. 왼쪽 단계가 오른쪽 단계의 재료가 됩니다.

    단계별로 무엇을 얻는가

    단계장끝나면 할 수 있는 것
    1. 기초 체력01 – 05 World Model 이 왜 필요한지 설명하기. 가우시안 · 최대우도 · KL 발산을 손으로 계산하기. PyTorch 로 신경망 학습하기. 벨만 방정식 유도하기.
    2. 첫 World Model06 – 07 숫자로 된 상태를 보고 다음 상태를 예측하는 모델 만들기. 그 모델 안에서 계획(MPC · CEM)을 세워 진자를 실제로 세우기.
    3. 그림을 보는 World Model08 – 10 그림을 작은 잠재 벡터로 압축하기(VAE). 잠재 공간에서 미래를 예측하기(MDN-RNN). 모델이 꾸는 “꿈” 속에서 행동 배우기.
    4. 상상 속 학습과 현대 모델11 – 14 RSSM 의 학습 목표(순차 ELBO)를 직접 유도하기. Dreamer 를 구현해 그림만 보고 진자 세우기. MuZero · Transformer · Diffusion · JEPA · 비디오 World Model 의 위치 이해하기.

    읽는 방법 세 가지

    목적에 따라 읽는 깊이를 고를 수 있습니다. 어느 길을 가든 각 장의 “핵심” 상자 와 그림 은 꼭 보세요.

    길이런 분께읽는 법
    A. 직관의 길 개념만 빨리 잡고 싶은 분 01, 05 앞부분, 06, 08, 10, 12, 13 장의 설명 · 그림 · 핵심 상자만 읽고, 풀이 상자는 결과 줄(파란 바탕)만 봅니다.
    B. 수학의 길 논문을 읽을 수 있게 되고 싶은 분 모든 장을 순서대로, 풀이 상자를 한 줄씩 종이에 따라 쓰며 읽습니다. 확인 문제를 풀어 봅니다.
    C. 구현의 길 직접 만들어 보고 싶은 분 B 의 길에 더해, 각 장의 코드를 직접 타이핑해 실행하고, “직접 바꿔 보기” 의 실험을 해 봅니다.
    팁 · 막히면

    수식에서 막히면 그 줄의 “↳” 설명을 먼저 읽고, 그래도 막히면 2 · 3장으로 돌아가 해당 개념을 다시 보세요. 모르는 용어는 14장 부록의 용어집 에 모두 모아 두었습니다.

    준비물

    배경지식

    이 튜토리얼은 다음 정도만 알고 있다고 가정합니다.

    선형대수(행렬), 확률, 미적분, 딥러닝, 강화학습은 몰라도 됩니다. 필요한 만큼 2 – 5장에서 처음부터 설명합니다.

    컴퓨터

    설치

    Python 3.10 이상이 필요합니다. 터미널(Windows 는 “명령 프롬프트” 나 PowerShell)을 열고 다음을 차례로 입력합니다. $ 는 입력하는 줄이라는 표시이므로 따라 치지 않습니다.

    $ python --version          # Python 3.10 이상인지 확인 (macOS · Linux 는 python3)
    $ mkdir world-model && cd world-model
    $ python -m venv .venv       # 이 폴더 전용 Python 환경 만들기
    $ source .venv/bin/activate  # Windows 는: .venv\Scripts\activate
    $ pip install torch numpy matplotlib   # 또는: pip install -r requirements.txt (최소 버전까지 맞춤)

    venv(가상 환경)는 이 실습 전용 Python 방을 하나 만드는 것입니다. 여기에 설치한 패키지는 다른 프로젝트와 섞이지 않습니다. NVIDIA GPU 를 쓰려면 pip install torch 대신 PyTorch 설치 안내 에서 자기 환경을 고르고 나오는 명령을 쓰세요.

    설치가 잘 되었는지 확인합니다.

    $ python -c "import torch; print(torch.__version__, torch.cuda.is_available())"
    2.x.x False

    버전 숫자가 나오면 성공입니다. 두 번째 값은 GPU 를 쓸 수 있으면 True, 아니면 False 입니다. 어느 쪽이든 실습할 수 있습니다.

    실습 코드 받기

    각 장의 코드는 이 튜토리얼과 함께 있는 code/ 폴더에 파일로 들어 있습니다. 본문에 보이는 코드 상자는 그 파일의 일부를 그대로 불러온 것이라 본문과 파일이 어긋나지 않습니다. 코드 상자 머리의 “파일 열기” 로 전체 파일을 볼 수 있습니다.

    파일장내용
    requirements.txt—필요한 패키지 목록
    wm_envs.py4장부터진자 환경(숫자 · 그림). 진자를 쓰는 실습 파일(4 – 8장, 10 – 12장, 13장의 ch13_diffusion_toy.py)이 이 파일을 불러옵니다.

    장마다 쓰는 실습 파일은 다음과 같습니다. 시간은 이 튜토리얼을 쓴 환경(노트북 CPU 4스레드 · 노트북 GPU 8GB)에서 기본 설정으로 잰 값입니다. 뒤 장의 파일은 앞 장의 파일이나 결과를 불러다 쓰므로 “먼저 필요한 것” 칸의 순서를 지켜 주세요.

    파일장먼저 필요한 것걸린 시간
    ch02_probability.py02—CPU 몇 초
    ch03_information.py03—CPU 몇 초
    ch04_basics.py04—CPU 3 – 6분
    ch05_rl_basics.py05—CPU 30초 안쪽
    ch06_dynamics.py06—CPU 약 1분
    ch07_mpc.py07ch06_dynamics.py 파일CPU 6 – 10분
    ch07_pets.py07ch06_dynamics.py · ch07_mpc.py 파일CPU 약 20분
    ch08_vae.py08—GPU 2 – 4분 / CPU 약 50분
    ch09_mdn_rnn.py09ch08_vae.py 를 실행해 만든 결과GPU 2 – 3분 / CPU 약 20분
    ch10_world_models.py10ch08_vae.py · ch09_mdn_rnn.py 를 실행해 만든 결과GPU 약 15분 / CPU 약 1시간
    ch11_rssm_planet.py11—GPU 약 1시간 (CPU 는 하루 이상)
    ch12_dreamer.py12ch11_rssm_planet.py 파일GPU 약 45분 (CPU 는 하루 이상)
    ch13_numbers.py · ch13_diffusion_toy.py13—CPU 1초 · 약 2분

    받은 파일은 모두 같은 폴더 에 두고, 그 폴더에서 실행하세요. 각 장의 실습 파일이 만드는 그림은 그 폴더 아래 figures/ 에 저장됩니다. 먼저 환경 파일만 실행해 보세요. 이 파일만은 확인용 진자 그림 한 장을 figures/ 가 아니라 실행한 폴더에 pixel_pendulum.png 로 저장합니다(그림 0-1 이 바로 이 그림입니다).

    $ python wm_envs.py
    상태 관측 (201, 3) 행동 (200, 1) 보상 합 -1071.9
    그림 관측 (201, 64, 64) uint8 값 범위 0 255
    pixel_pendulum.png 저장

    무대 미리 보기: 진자 환경

    이 튜토리얼의 모든 실습은 진자 스윙업(pendulum swing-up) 이라는 작은 세상에서 합니다. 강화학습에서 가장 유명한 연습 문제 가운데 하나로, OpenAI Gym 의 Pendulum-v1 과 물리 법칙이 같습니다. 물리 법칙이 어떻게 나왔는지는 6장에서 뉴턴 법칙부터 유도합니다.

    
      

    지금 이 코드를 모두 이해할 필요는 없습니다. step() 안의 단 세 줄(속도 갱신, 속도 자르기, 각도 갱신)이 이 세상의 물리 법칙 전부라는 것만 기억해 두세요. World Model 은 이 세 줄을 보지 못한 채, 오직 (상태, 행동, 다음 상태) 데이터만 보고 비슷한 함수를 배워야 합니다.

    수식 읽는 법

    수식은 “짧게 쓴 문장” 일 뿐입니다. 기호 몇 가지만 익히면 한국어 문장처럼 읽을 수 있습니다. 이 튜토리얼에서 쓰는 기호를 미리 모아 두었습니다. 지금 다 외울 필요는 없고, 수식이 낯설 때 돌아와 찾아보세요.

    팁 · 눌러서 바로 보기

    본문에서 점선 밑줄이 그어진 낱말을 누르면 그 뜻 · 대표 식 · 자세히 설명한 장이 담긴 카드가 열립니다. 수식을 누르면 그 식에 나오는 기호가 그 자리에서 무슨 뜻인지 보여 줍니다(같은 글자도 장 · 절마다 뜻이 다를 수 있어서입니다). 카드 안의 관련 항목을 누르면 같은 카드 안에서 옮겨 가고, Esc 를 누르거나 카드 바깥을 누르면 닫힙니다.

    그리스 문자

    기호읽는 법이 튜토리얼에서 주로 쓰는 뜻
    $\theta$세타 (theta)① 진자의 각도 ② World Model 신경망의 매개변수(가중치) — 문맥으로 구별합니다
    $\phi$파이 (phi)인코더(관측 → 잠재 변수) 신경망의 매개변수
    $\psi$프사이 (psi)정책(행동을 고르는 신경망, actor)의 매개변수
    $\xi$크사이 (xi)가치 함수(critic) 신경망의 매개변수
    $\mu$뮤 (mu)평균
    $\sigma$시그마 (sigma)표준편차. $\sigma^2$ 은 분산
    $\epsilon$엡실론 (epsilon)표준 정규 분포에서 뽑은 잡음, 또는 아주 작은 수
    $\gamma$감마 (gamma)할인율 (미래 보상을 얼마나 깎을지, 0 – 1)
    $\lambda$람다 (lambda)λ-리턴의 섞는 비율 (12장). 그 밖에 고윳값(4 · 6장), CMA-ES 의 후보 수(10장)로도 쓰며, 그때마다 본문에서 밝힙니다
    $\eta$에타 (eta)학습률 (한 번에 얼마나 고칠지). 12장에서는 엔트로피 계수로도 씁니다
    $\pi$파이 (pi)① 원주율 3.14159… ② 정책(policy) ③ 아래 첨자가 붙은 $\pi_k$ 는 $k$ 번째 범주 · 혼합 성분의 확률(2 · 9장) — 문맥으로 구별합니다
    $\tau$타우 (tau)① 궤적(trajectory): 상태 · 행동 · 보상을 시간 순으로 늘어놓은 것 ② 진자에 거는 토크(6장) ③ 표본을 뽑을 때의 온도(9 · 10 · 13장) — 문맥으로 구별합니다
    $\Sigma$, $\sum$시그마 (대문자)합. $\sum_{i=1}^{3} x_i = x_1 + x_2 + x_3$
    $\prod$파이 (대문자)곱. $\prod_{i=1}^{3} x_i = x_1 \cdot x_2 \cdot x_3$

    자주 쓰는 기호

    기호읽는 법뜻과 예
    $x_t$엑스 티시각 $t$ 의 $x$. 아래 첨자는 “몇 번째” 를 나타냅니다.
    $x_{1:T}$엑스 일부터 티까지$x_1, x_2, \dots, x_T$ 를 한꺼번에 부르는 이름
    $\hat{x}$엑스 햇모델이 예측 · 추정한 $x$
    $\dot{\theta}$세타 닷$\theta$ 의 시간 변화율(속도). 점 두 개 $\ddot{\theta}$ 는 가속도
    $x \in \R^n$엑스는 알 엔에 속한다$x$ 는 실수 $n$ 개로 된 벡터. 예: $x = (0.3, -1.2, 5.0) \in \R^3$
    $p(x)$피 엑스$x$ 의 확률(또는 확률 밀도)
    $p(y \mid x)$엑스가 주어졌을 때 와이의 확률조건부 확률. 세로 막대 뒤가 “이미 아는 것”
    $x \sim p$엑스는 피를 따른다$x$ 를 분포 $p$ 에서 뽑는다(샘플링)
    $\E_{x \sim p}[f(x)]$피에 대한 에프의 기댓값$x$ 를 $p$ 에서 여러 번 뽑아 $f(x)$ 를 평균 낸 값 (2장)
    $\Normal(\mu, \sigma^2)$정규 분포 뮤, 시그마 제곱평균 $\mu$, 분산 $\sigma^2$ 인 가우시안(종 모양) 분포 (2장)
    $\KL(q \,\|\, p)$큐와 피의 KL 발산두 분포가 얼마나 다른지 재는 값 (3장)
    $\log x$로그 엑스이 튜토리얼에서 log 는 모두 자연로그($\ln$, 밑이 $e \approx 2.718$)입니다
    $\nabla_\theta L$나블라 세타 엘$L$ 을 $\theta$ 의 각 성분으로 미분한 값을 모은 벡터(기울기, gradient) (4장)
    $\frac{\partial L}{\partial w}$엘을 더블유로 편미분다른 변수는 고정하고 $w$ 만 조금 바꿀 때 $L$ 이 바뀌는 비율 (4장)
    $\argmax_x f(x)$아그맥스$f(x)$ 를 가장 크게 만드는 $x$. 최댓값 자체가 아니라 그때의 $x$ 입니다
    $\propto$비례한다$p(x) \propto f(x)$: 상수배 차이만 있다
    $\approx$근사적으로 같다정확히는 아니지만 거의 같다
    $:=$정의한다$G := r_1 + r_2$: 왼쪽 이름을 오른쪽으로 정한다
    $a \odot b$원소별 곱같은 자리끼리 곱한다. $(1,2) \odot (3,4) = (3, 8)$
    $\sg(x)$기울기 차단 (stop-gradient)값은 $x$ 그대로 쓰되, 이 부분으로는 기울기를 흘리지 않는다 (12장)

    이 튜토리얼의 표기 규칙

    기호뜻
    $s_t$환경의 진짜 상태(state). 진자에서는 $(\theta, \dot{\theta})$
    $o_t$관측(observation). 에이전트가 실제로 보는 것. World Model 의 입력으로 6 · 7장은 $[\cos\theta, \sin\theta, \dot\theta]$, 8장부터는 64×64 그림을 씁니다
    $a_t$행동(action). 진자에서는 토크 $u$
    $r_t$보상(reward). $s_t$ 에서 $a_t$ 를 했을 때 받는 점수
    $z_t$잠재 변수(latent). 관측을 압축한 작은 벡터 (8장부터)
    $h_t$은닉 상태(hidden state). RNN 이 들고 다니는 기억 (9장부터)
    $T$, $H$$T$: 에피소드 · 시퀀스 길이. $H$: 계획 · 상상의 길이(horizon)
    $p_\theta$매개변수 $\theta$ 를 가진 모델이 정하는 분포(World Model)
    $q_\phi$매개변수 $\phi$ 를 가진 인코더가 정하는 분포(관측을 보고 잠재 변수를 추측)
    $\pi_\psi$, $v_\xi$정책(actor)과 가치 함수(critic)
    $\mathcal{D}$모아 둔 데이터(경험)의 집합. 리플레이 버퍼
    주의 · 같은 기호, 다른 뜻

    $\theta$ 는 “진자의 각도” 와 “신경망 매개변수” 두 가지로 쓰입니다. 둘 다 너무 널리 쓰이는 관례라 바꾸지 않았습니다. 진자 각도가 나올 때는 늘 “각도 $\theta$”, 매개변수일 때는 주로 $p_\theta$, $f_\theta$ 처럼 아래 첨자로 붙여 쓰거나 “매개변수 $\theta$” 라고 밝혀 써서 구별합니다. $\pi$ 는 원주율, 정책, 그리고 범주 · 혼합 성분의 확률 $\pi_k$ 세 가지로 쓰입니다. 정책은 주로 $\pi(a \mid s)$ 처럼 괄호가, 성분의 확률은 $\pi_k$ 처럼 아래 첨자가 붙습니다. $\sigma$ 도 표준편차와 시그모이드 함수 $\sigma(z)$ 두 가지이고(함수일 때는 늘 괄호가 붙습니다), $H$ 도 괄호가 붙은 $H(p)$ 는 엔트로피(3장), 홀로 쓰인 $H$ 는 계획 · 상상의 길이입니다.

    풀이 상자 읽는 법

    이 튜토리얼에서 수식 유도는 모두 다음과 같은 풀이 상자 에 들어 있습니다. 예로 아주 쉬운 것을 하나 풀어 보겠습니다.

    $(a+b)^2 = a^2 + 2ab + b^2$ 확인하기
    $$ (a+b)^2 = (a+b)(a+b) $$
    제곱은 같은 것을 두 번 곱한다는 뜻입니다.
    $$ = a(a+b) + b(a+b) $$
    분배 법칙: 앞의 괄호를 풀어, $a$ 와 $b$ 가 각각 뒤의 괄호 전체에 곱해지게 합니다.
    $$ = a^2 + ab + ba + b^2 $$
    다시 분배 법칙으로 괄호를 풉니다.
    $$ = a^2 + 2ab + b^2 $$
    곱셈은 순서를 바꿔도 같으므로($ab = ba$) 둘을 묶습니다. 파란 바탕 줄이 최종 결과입니다.

    각 줄은 바로 위 줄과 같고, “↳” 뒤에 그 변형의 이유를 적었습니다. 줄을 건너뛰지 않으므로, 종이에 따라 쓰며 읽으면 혼자서도 모든 유도를 끝까지 따라갈 수 있습니다.

    다른 상자들

    참고

    더 알면 좋은 배경 지식입니다. 처음 읽을 때는 건너뛰어도 됩니다.

    팁

    실습 · 구현에서 도움이 되는 요령입니다.

    주의

    초급자가 자주 빠지는 함정이나 헷갈리기 쉬운 부분입니다.

    핵심

    그 절에서 꼭 가져가야 할 한두 문장입니다. 복습할 때 이것만 다시 읽어도 됩니다.

    확인 문제

    $\sum_{t=0}^{2} \gamma^t$ 를 $\gamma = 0.5$ 일 때 계산해 보세요.

    답 보기

    $\gamma^0 + \gamma^1 + \gamma^2 = 1 + 0.5 + 0.25 = 1.75$. ($\gamma^0 = 1$ 입니다. 0 이 아닌 어떤 수도 0제곱은 1 입니다.)

    이 튜토리얼이 다루지 않는 것

    이 장의 정리

    준비가 끝났습니다. 다음 장에서 “World Model 이란 무엇인가” 를 직관부터 차근차근 잡아 보겠습니다.