CHAPTER 04

딥러닝과 PyTorch 기초

World Model 은 결국 신경망 입니다. “상태와 행동을 넣으면 다음 상태가 나오는 함수” 를 신경망으로 만들고, 데이터를 보며 그 함수를 조금씩 고쳐 나갑니다. 이 장에서는 그 “고쳐 나가는 법” — 미분, 경사 하강법, 역전파 — 을 고등학교 수학에서 출발해 한 줄씩 유도하고, 2층 신경망의 역전파를 숫자로 끝까지 손계산한 뒤 PyTorch 가 같은 숫자를 내는 것을 확인합니다. 마지막에는 그림을 읽는 합성곱 신경망(CNN)으로 진자 그림에서 각도를 읽어 냅니다.

읽는 시간 약 100분난이도 ★★☆☆☆코드: code/ch04_basics.py
이 장에서 배우는 것

신경망은 매개변수를 가진 함수다

중학교에서 배운 일차 함수 $y = 2x + 1$ 을 떠올려 봅시다. 여기서 2 와 1 은 고정된 숫자입니다. 이 숫자를 비워 두고 $y = wx + b$ 라고 쓰면, $w$ 와 $b$ 를 바꿀 때마다 다른 직선이 됩니다. 이렇게 함수의 모양을 정하는 조절 손잡이를 매개변수parameter라고 합니다.

신경망neural network 은 이 생각을 아주 크게 키운 것입니다. 손잡이가 수천 개에서 수십억 개까지 있고, 그 손잡이들을 적당히 돌려 놓으면 “그림 → 각도”, “(상태, 행동) → 다음 상태” 처럼 복잡한 함수도 흉내 낼 수 있습니다. 매개변수를 모두 묶어 $\theta$ 라고 쓰고, 신경망이 나타내는 함수를 $f_\theta$ 라고 씁니다.

$$ \hat{y} = f_\theta(x) $$

“학습” 이란 데이터 $\{(x_i, y_i)\}$ 를 보고 $f_\theta(x_i)$ 가 $y_i$ 에 가까워지도록 $\theta$ 를 찾는 일입니다. 이렇게 입력 $x_i$ 마다 정답 $y_i$ 가 짝지어진 데이터로 배우는 것을 지도 학습supervised learning이라고 합니다. “얼마나 가까운가” 를 숫자 하나로 잰 것을 손실 함수loss function $L(\theta)$ 라고 합니다. 가장 흔한 손실은 평균 제곱 오차mean squared error, MSE 입니다.

$$ L(\theta) = \frac{1}{N} \sum_{i=1}^{N} \big(f_\theta(x_i) - y_i\big)^2 $$

예측이 정답과 같으면 0, 멀어질수록 커집니다. 왜 하필 “제곱” 인지는 2장에서 가우시안 분포의 최대우도로 설명합니다. 지금은 “틀린 정도를 양수로 만들어 평균 낸 것” 으로 충분합니다. 학습은 결국 다음 문제를 푸는 것입니다.

$$ \theta^\ast = \argmin_\theta L(\theta) $$

6장의 World Model 도 똑같습니다. 입력 $x$ 가 (상태, 행동), 정답 $y$ 가 다음 상태일 뿐입니다. 그래서 이 장에서 배우는 도구가 이후 모든 장의 바탕이 됩니다.

데이터 입력 x, 정답 y 모델 fθ ① 순전파 예측 ŷ fθ(x) 손실 L ② ŷ 와 y 비교 ③ 역전파: 기울기 ∇θ L 각 매개변수를 어느 쪽으로 돌려야 L 이 줄어드나 ④ 갱신 θ ← θ − η ∇θ L 수천 번 되풀이
그림 4-1. 학습 고리. 순전파 → 손실 → 역전파 → 갱신을 수천 번 되풀이하면 손실이 점점 줄어듭니다. 이 장은 ③ 과 ④ 가 왜 작동하는지를 설명합니다. (PyTorch 코드에서는 맨 앞에 “지난 스텝의 기울기 지우기” 가 하나 더 붙어 다섯 단계가 됩니다. 그래서 뒤에 나오는 “학습 고리 5단계” 에서는 번호가 하나씩 밀립니다.)

남은 질문은 하나입니다. 손잡이 $\theta$ 를 어느 쪽으로, 얼마나 돌려야 $L$ 이 줄어드는가? 이 질문에 답하는 도구가 미분입니다.

미분: 기울기를 재는 도구

미분의 정의

함수 $f(x)$ 의 미분derivative $f'(x)$ 는 “$x$ 를 아주 조금 바꿨을 때 $f$ 가 몇 배로 바뀌는가”, 즉 그래프의 기울기입니다. $x$ 를 $h$ 만큼 움직였을 때의 평균 기울기는 $\frac{f(x+h) - f(x)}{h}$ 이고, $h$ 를 0 에 한없이 가깝게 줄인 값이 미분입니다.

$$ f'(x) = \frac{df}{dx} = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h} $$

$\lim_{h \to 0}$ 은 “$h$ 를 0 에 한없이 가깝게 할 때 다가가는 값” 이라는 뜻입니다(0 을 직접 넣으면 $\frac{0}{0}$ 이 되어 계산할 수 없으므로 “다가가는 값” 을 봅니다). $f(x) = x^2$ 의 $x = 3$ 에서의 기울기를 숫자로 재 봅시다.

$h$$f(3+h)$$\frac{f(3+h) - f(3)}{h}$
0.1$3.1^2 = 9.61$$(9.61 - 9)/0.1 = 6.1$
0.01$3.01^2 = 9.0601$$(9.0601 - 9)/0.01 = 6.01$
0.001$3.001^2 = 9.006001$$(9.006001 - 9)/0.001 = 6.001$

$h$ 가 작아질수록 6 에 다가갑니다. 이번에는 식으로 정확히 구해 봅시다.

$f(x) = x^2$ 의 미분
$$ \frac{f(x+h) - f(x)}{h} = \frac{(x+h)^2 - x^2}{h} $$
정의에 $f(x) = x^2$ 를 넣었습니다.
$$ = \frac{x^2 + 2xh + h^2 - x^2}{h} $$
$(x+h)^2 = x^2 + 2xh + h^2$ 으로 전개했습니다(0장의 풀이 상자 예).
$$ = \frac{2xh + h^2}{h} = 2x + h $$
$x^2$ 끼리 지우고, 분자의 각 항을 $h$ 로 나눴습니다. $h \ne 0$ 이므로 나눌 수 있습니다.
$$ f'(x) = \lim_{h \to 0} (2x + h) = 2x $$
$h$ 가 0 에 다가가면 $2x + h$ 는 $2x$ 에 다가갑니다. $x = 3$ 이면 $6$ — 위 표의 숫자와 같습니다.

미분 규칙

매번 극한을 계산할 수는 없으므로, 자주 쓰는 규칙을 한 번씩 유도해 두고 그 뒤로는 규칙만 씁니다. 신경망 학습에 필요한 규칙은 다섯 가지면 충분합니다.

① 상수배 · 합의 규칙

$(c\,f)' = c\,f'$, $(f + g)' = f' + g'$. 정의식의 분자에서 $c$ 를 밖으로 빼거나 $f$ 와 $g$ 부분을 나눠 쓰면 바로 나옵니다. 예: $(3x^2 + x)' = 3 \cdot 2x + 1 = 6x + 1$.

② 거듭제곱 규칙

$(x^n)' = n x^{n-1}$ ($n$ 은 자연수)
$$ (x+h)^n = x^n + n x^{n-1} h + \binom{n}{2} x^{n-2} h^2 + \cdots + h^n $$
이항 정리: $(x+h)^n$ 을 전개하면 $h$ 가 0번 곱해진 항 $x^n$, 1번 곱해진 항 $n x^{n-1} h$ ($n$ 개의 괄호 중 어느 하나에서 $h$ 를 고르는 방법이 $n$ 가지), 그리고 $h^2$ 이상이 곱해진 항들이 나옵니다.
$$ \frac{(x+h)^n - x^n}{h} = n x^{n-1} + \binom{n}{2} x^{n-2} h + \cdots + h^{n-1} $$
$x^n$ 을 빼고 $h$ 로 나누면, 첫 항을 뺀 나머지는 모두 $h$ 가 하나 이상 곱해진 채로 남습니다.
$$ (x^n)' = \lim_{h\to 0} \big( n x^{n-1} + (\text{h 가 곱해진 항들}) \big) = n x^{n-1} $$
$h \to 0$ 이면 $h$ 가 곱해진 항은 모두 0 이 됩니다. $n = 2$ 면 $2x$ — 앞의 결과와 같습니다. (이 규칙은 $n$ 이 음수 · 분수여도 성립합니다. 예: $(x^{-1})' = -x^{-2}$.)

③ 곱의 규칙

$(f g)' = f' g + f g'$
$$ f(x+h)g(x+h) - f(x)g(x) = f(x+h)g(x+h) - f(x)g(x+h) + f(x)g(x+h) - f(x)g(x) $$
같은 값 $f(x)g(x+h)$ 를 빼고 다시 더했습니다. 값은 변하지 않지만, 두 부분으로 묶을 수 있게 됩니다.
$$ = \big(f(x+h) - f(x)\big)\, g(x+h) + f(x)\,\big(g(x+h) - g(x)\big) $$
앞의 두 항은 $g(x+h)$ 로, 뒤의 두 항은 $f(x)$ 로 묶었습니다.
$$ \frac{f(x+h)g(x+h) - f(x)g(x)}{h} = \frac{f(x+h) - f(x)}{h}\, g(x+h) + f(x)\, \frac{g(x+h) - g(x)}{h} $$
양변을 $h$ 로 나눴습니다.
$$ (fg)'(x) = f'(x)\, g(x) + f(x)\, g'(x) $$
$h \to 0$: 두 분수는 각각 $f'(x)$, $g'(x)$ 로, $g(x+h)$ 는 $g(x)$ 로 다가갑니다.

④ 지수 · 로그 함수

$e \approx 2.71828$ 은 “$\lim_{h \to 0} \frac{e^h - 1}{h} = 1$ 이 되는 특별한 수” 로 정의할 수 있습니다($h = 0.001$ 이면 $\frac{e^{0.001} - 1}{0.001} = 1.0005\ldots$). 이 성질 하나로 $e^x$ 의 미분이 나옵니다.

$(e^x)' = e^x$ 와 $(\log x)' = 1/x$
$$ \frac{e^{x+h} - e^x}{h} = \frac{e^x e^h - e^x}{h} = e^x \cdot \frac{e^h - 1}{h} $$
지수 법칙 $e^{x+h} = e^x e^h$ 를 쓰고, 공통인 $e^x$ 로 묶었습니다.
$$ (e^x)' = e^x \cdot \lim_{h\to 0}\frac{e^h - 1}{h} = e^x \cdot 1 = e^x $$
$e$ 의 정의에서 그 극한이 1 입니다. $e^x$ 는 미분해도 자기 자신 — 그래서 확률 · 신경망 수식에 $e$ 가 그토록 자주 나옵니다.
$$ y = \log x \;\Longleftrightarrow\; x = e^y $$
자연로그는 $e^y$ 의 역함수입니다. 이제 $x = e^y$ 의 양변을 $x$ 로 미분합니다.
$$ 1 = e^y \cdot \frac{dy}{dx} $$
왼쪽: $x$ 를 $x$ 로 미분하면 1. 오른쪽: $e^y$ 를 $y$ 로 미분하면 $e^y$ 이고, $y$ 가 $x$ 에 따라 변하므로 $\frac{dy}{dx}$ 가 곱해집니다(바로 아래의 연쇄 법칙).
$$ (\log x)' = \frac{dy}{dx} = \frac{1}{e^y} = \frac{1}{x} $$
$e^y = x$ 를 다시 넣었습니다. 예: $x = 2$ 에서 $\log$ 의 기울기는 $0.5$.

⑤ 연쇄 법칙 — 역전파의 전부

함수 안에 함수가 들어 있는 합성 함수composite function $y = f(g(x))$ 의 미분입니다. 신경망은 층을 겹겹이 쌓은 합성 함수이므로, 이 규칙 하나가 곧 역전파 알고리즘입니다. 가운데 값을 $u = g(x)$ 라고 부르겠습니다.

연쇄 법칙 $\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}$
$$ \Delta u = g(x + h) - g(x), \qquad \Delta y = f(u + \Delta u) - f(u) $$
$x$ 를 $h$ 만큼 바꾸면 $u$ 가 $\Delta u$ 만큼 바뀌고, 그 때문에 $y$ 가 $\Delta y$ 만큼 바뀝니다.
$$ \frac{\Delta y}{h} = \frac{\Delta y}{\Delta u} \cdot \frac{\Delta u}{h} $$
분모 · 분자에 같은 $\Delta u$ 를 곱하고 나눴습니다($\Delta u \ne 0$ 인 경우. 엄밀한 증명은 $\Delta u = 0$ 인 경우도 따로 처리하지만 결과는 같습니다).
$$ \frac{dy}{dx} = \lim_{h\to 0}\frac{\Delta y}{\Delta u} \cdot \lim_{h\to 0}\frac{\Delta u}{h} = f'(u) \cdot g'(x) $$
$h \to 0$ 이면 $\Delta u \to 0$ 이므로 첫 분수는 $f'(u)$, 둘째 분수는 $g'(x)$ 로 다가갑니다. “바깥 함수의 미분 × 안쪽 함수의 미분”.
톱니바퀴 세 개가 맞물려 있다고 합시다. 첫째 바퀴($x$)가 1바퀴 돌면 둘째($u$)가 3바퀴, 둘째가 1바퀴 돌면 셋째($y$)가 2바퀴 돈다면, 첫째가 1바퀴 돌 때 셋째는 $3 \times 2 = 6$ 바퀴 돕니다. 연쇄 법칙은 “변화율은 곱해진다” 는 이 당연한 사실입니다.

예: $y = (3x + 1)^2$. 안쪽 $u = 3x + 1$, 바깥 $y = u^2$ 이므로 $\frac{dy}{dx} = 2u \cdot 3 = 6(3x+1)$. $x = 1$ 이면 $24$. 검산: $x = 1.001$ 이면 $y = 4.003^2 = 16.024009$, $x = 1$ 이면 $16$, 기울기 $\approx 0.024009/0.001 = 24.009$. 맞습니다.

편미분과 기울기 벡터

신경망의 손실은 매개변수 여러 개의 함수입니다. 이때는 하나만 움직이고 나머지는 고정 해서 미분하는데, 이를 편미분partial derivative이라 하고 $\partial$(“라운드 디” 또는 “파셜”)로 씁니다. 예를 들어 데이터 한 점 $(x, y) = (2, 5)$ 에 대한 손실 $L(w, b) = (wx + b - y)^2 = (2w + b - 5)^2$ 을 봅시다.

$L(w,b) = (2w + b - 5)^2$ 의 편미분
$$ \frac{\partial L}{\partial w} = 2(2w + b - 5) \cdot \frac{\partial}{\partial w}(2w + b - 5) = 2(2w + b - 5) \cdot 2 $$
연쇄 법칙: 바깥 $u^2$ 의 미분 $2u$ × 안쪽을 $w$ 로 미분한 값. $b$ 는 상수 취급이므로 안쪽의 미분은 $2$.
$$ \frac{\partial L}{\partial b} = 2(2w + b - 5) \cdot 1 $$
이번에는 $w$ 를 상수로 보고 $b$ 로 미분합니다. 안쪽 $2w + b - 5$ 를 $b$ 로 미분하면 1.
$$ \nabla L = \begin{pmatrix} \partial L / \partial w \\ \partial L / \partial b \end{pmatrix} = \begin{pmatrix} 4(2w + b - 5) \\ 2(2w + b - 5) \end{pmatrix} \;\overset{w=b=0}{=}\; \begin{pmatrix} -20 \\ -10 \end{pmatrix} $$
편미분을 모은 벡터를 기울기(gradient) $\nabla L$(“나블라 엘”)이라 합니다. $w = b = 0$ 에서 둘 다 음수 → $w$, $b$ 를 키우면 손실이 준다는 뜻입니다.
핵심 · 기울기 벡터의 뜻

$\nabla_\theta L$ 의 각 성분은 “그 매개변수를 아주 조금 키우면 손실이 얼마나 커지는가” 입니다. 양수면 그 매개변수를 줄여야 하고, 음수면 키워야 합니다. 그리고 다음 절에서 보듯, 기울기 벡터는 손실이 가장 가파르게 커지는 방향 을 가리킵니다.

경사 하강법

기울기 반대로 가면 손실이 준다

경사 하강법gradient descent은 다음 한 줄을 되풀이합니다. $\eta$(에타)는 학습률learning rate, 한 번에 얼마나 움직일지 정하는 작은 양수입니다.

$$ \theta \leftarrow \theta - \eta \, \nabla_\theta L(\theta) $$

왜 이렇게 하면 손실이 줄어들까요? “아주 조금 움직이면 함수는 거의 직선처럼 변한다” 는 1차 테일러 근사first-order Taylor approximation로 설명할 수 있습니다.

경사 하강 한 스텝이 손실을 줄이는 이유
$$ L(\theta + \Delta) \approx L(\theta) + \sum_j \frac{\partial L}{\partial \theta_j}\Delta_j = L(\theta) + \nabla L \cdot \Delta $$
1차 근사: 매개변수 $\theta_j$ 를 $\Delta_j$ 만큼 움직이면 손실은 대략 (기울기 × 움직인 양)만큼 바뀌고, 여러 매개변수의 효과는 더해집니다. $\nabla L \cdot \Delta$ 는 두 벡터의 내적(같은 자리끼리 곱해서 더한 것)입니다. $\Delta$ 가 작을수록 정확합니다.
$$ \Delta = -\eta \nabla L \quad\Longrightarrow\quad L(\theta - \eta\nabla L) \approx L(\theta) - \eta\, \nabla L \cdot \nabla L $$
경사 하강의 움직임 $\Delta = -\eta\nabla L$ 을 넣었습니다.
$$ L(\theta_{\text{new}}) \approx L(\theta) - \eta\, \|\nabla L\|^2 \;\le\; L(\theta) $$
$\nabla L \cdot \nabla L = \sum_j (\partial L/\partial\theta_j)^2 = \|\nabla L\|^2$ 은 제곱의 합이라 0 이상입니다. $\eta \gt 0$ 이므로 손실은 (근사가 맞을 만큼 $\eta$ 가 작다면) 반드시 줄어듭니다. 기울기가 0 이면 더 움직이지 않습니다 — 평평한 곳(최솟값 후보)에 도착한 것입니다.

한 걸음 더 나가면, 같은 거리 $\|\Delta\|$ 를 움직일 때 손실을 가장 많이 줄이는 방향이 정확히 $-\nabla L$ 임도 보일 수 있습니다.

$-\nabla L$ 이 가장 가파른 내리막인 이유
$$ \nabla L \cdot \Delta = \|\nabla L\|\,\|\Delta\| \cos\alpha $$
내적의 기하학적 뜻: 두 벡터의 길이를 곱하고, 사잇각 $\alpha$ 의 코사인을 곱한 값입니다.
$$ \min_{\|\Delta\| = c} \nabla L \cdot \Delta = -\|\nabla L\|\, c \quad (\alpha = 180^\circ) $$
$\cos\alpha$ 는 $-1$ 과 $1$ 사이이고, $\alpha = 180^\circ$(정반대 방향)일 때 가장 작은 $-1$ 입니다. 그러므로 길이가 같다면 $\nabla L$ 의 정반대 방향이 손실을 가장 빨리 줄입니다. 그래서 “경사(가장 가파른 기울기)를 따라 내려간다” 는 이름이 붙었습니다.
짙은 안개 속 산에서 골짜기로 내려가려 합니다. 멀리는 보이지 않지만 발밑의 기울기는 느낄 수 있습니다. 가장 가파르게 내려가는 쪽으로 한 스텝, 다시 기울기를 느끼고 한 스텝. 보폭(학습률)이 너무 작으면 해가 지도록 못 내려가고, 너무 크면 골짜기를 건너뛰어 맞은편 비탈로 올라가 버립니다.

학습률이 너무 크면 왜 발산하는가

가장 단순한 그릇 모양 손실 $L(w) = \frac{a}{2}w^2$ ($a \gt 0$, 최솟값은 $w = 0$)에서 경사 하강을 정확히 풀어 보면, 학습률의 한계가 깔끔하게 나옵니다. $a$ 는 그릇이 얼마나 가파르게 휘었는지, 즉 곡률curvature입니다.

$L(w) = \frac{a}{2}w^2$ 에서 경사 하강이 수렴할 조건
$$ L'(w) = \frac{a}{2}\cdot 2w = a w $$
거듭제곱 규칙과 상수배 규칙.
$$ w_{k+1} = w_k - \eta\, a\, w_k = (1 - \eta a)\, w_k $$
경사 하강 한 스텝. $w_k$ 로 묶었습니다.
$$ w_k = (1 - \eta a)^k\, w_0 $$
한 스텝마다 같은 수 $(1-\eta a)$ 가 곱해지므로, $k$ 스텝 뒤에는 $k$ 번 곱해집니다.
$$ w_k \to 0 \iff |1 - \eta a| \lt 1 \iff 0 \lt \eta \lt \frac{2}{a} $$
어떤 수를 거듭 곱해 0 으로 가려면 그 수의 크기가 1 보다 작아야 합니다. $-1 \lt 1 - \eta a \lt 1$ 을 풀면 $0 \lt \eta a \lt 2$. $\eta \gt 2/a$ 면 $|1 - \eta a| \gt 1$ 이라 $w$ 가 부호를 바꾸며 점점 커집니다(발산). $\eta = 1/a$ 면 $1 - \eta a = 0$ 이라 한 스텝에 최솟값에 도착합니다.

곡률이 큰(가파른) 방향일수록 허용되는 학습률이 작습니다. 매개변수가 여러 개면 방향마다 곡률이 다르고, 가장 가파른 방향 이 학습률의 상한을 정합니다. 바로 아래 선형 회귀 예제에서 이 한계를 실제 숫자로 확인합니다.

선형 회귀를 손으로 학습시키기

점 세 개 $(1, 3), (2, 5), (3, 7)$ 에 직선 $\hat{y} = wx + b$ 를 맞춥니다(정답은 $y = 2x + 1$). 손실은 MSE 입니다. 먼저 기울기 공식을 유도합니다.

MSE 의 기울기
$$ L(w, b) = \frac{1}{N}\sum_{i=1}^{N} (w x_i + b - y_i)^2 $$
$N = 3$. 각 점의 오차(잔차) $e_i = w x_i + b - y_i$ 를 제곱해 평균 냅니다.
$$ \frac{\partial L}{\partial w} = \frac{1}{N}\sum_{i=1}^{N} \frac{\partial}{\partial w}(w x_i + b - y_i)^2 $$
합의 미분은 미분의 합, 상수 $\frac{1}{N}$ 은 밖으로(상수배 · 합의 규칙).
$$ = \frac{1}{N}\sum_{i=1}^{N} 2(w x_i + b - y_i)\cdot x_i = \frac{2}{N}\sum_{i=1}^N e_i\, x_i $$
연쇄 법칙: $u^2$ 의 미분 $2u$ × 안쪽 $w x_i + b - y_i$ 를 $w$ 로 미분한 $x_i$.
$$ \frac{\partial L}{\partial w} = \frac{2}{N}\sum_i e_i x_i, \qquad \frac{\partial L}{\partial b} = \frac{2}{N}\sum_i e_i $$
$b$ 쪽도 똑같이 하면 안쪽의 미분이 1 이라 $x_i$ 대신 1 이 곱해집니다.

이제 $w = b = 0$ 에서 출발해 학습률 $\eta = 0.05$ 로 두 스텝을 손으로 갑니다.

경사 하강 두 스텝 (η = 0.05)
$$ \text{스텝 0: } \hat{y} = (0, 0, 0),\quad e = (0-3,\ 0-5,\ 0-7) = (-3, -5, -7) $$
$w = b = 0$ 이면 예측은 모두 0. 잔차 = 예측 − 정답.
$$ L = \frac{9 + 25 + 49}{3} = \frac{83}{3} \approx 27.6667 $$
잔차를 제곱해 평균.
$$ \frac{\partial L}{\partial w} = \frac{2}{3}\big((-3)(1) + (-5)(2) + (-7)(3)\big) = \frac{2}{3}(-34) \approx -22.6667,\qquad \frac{\partial L}{\partial b} = \frac{2}{3}(-15) = -10 $$
위에서 유도한 공식에 그대로 넣었습니다. 둘 다 음수 → $w$, $b$ 를 키워야 합니다.
$$ w = 0 - 0.05 \times (-22.6667) = 1.1333,\qquad b = 0 - 0.05 \times (-10) = 0.5 $$
경사 하강 한 스텝.
$$ \text{스텝 1: } \hat{y} = (1.6333,\ 2.7667,\ 3.9),\quad e = (-1.3667,\ -2.2333,\ -3.1) $$
$\hat{y}_i = 1.1333 x_i + 0.5$ 를 계산하고 정답을 뺐습니다.
$$ L = \frac{1.8678 + 4.9878 + 9.61}{3} \approx 5.4885 $$
27.67 에서 5.49 로 줄었습니다.
$$ \frac{\partial L}{\partial w} = \frac{2}{3}(-1.3667 - 4.4667 - 9.3) \approx -10.0889,\qquad \frac{\partial L}{\partial b} = \frac{2}{3}(-6.7) \approx -4.4667 $$
$e_i x_i$ 는 $-1.3667 \times 1$, $-2.2333 \times 2$, $-3.1 \times 3$.
$$ w = 1.1333 + 0.5044 = 1.6378,\qquad b = 0.5 + 0.2233 = 0.7233 $$
다음 스텝의 손실은 1.0897. 이것을 2000번 되풀이하면 $w = 2$, $b = 1$ 에 도착합니다.

같은 계산을 numpy 로 씁니다. 손으로 유도한 기울기 공식이 코드 두 줄(dw, db)이 됩니다.

팁 · 이 장의 코드 돌리기

이 장의 모든 실습은 ch04_basics.py 하나에 들어 있고, wm_envs.py 와 같은 폴더에서 python ch04_basics.py 로 차례대로 실행됩니다. 이 튜토리얼을 쓴 환경(노트북 CPU 4스레드)에서 전체 약 3~6분(대부분 마지막 CNN 학습), python ch04_basics.py --quick 은 약 10초 걸렸습니다. 그림은 figures/ 폴더에 저장됩니다. 이 작은 예제들은 GPU 로 돌려도 거의 빨라지지 않습니다.


  

  
  step 0: w=0.0000 b=0.0000 loss=27.6667  dL/dw=-22.6667 dL/db=-10.0000
  step 1: w=1.1333 b=0.5000 loss=5.4885  dL/dw=-10.0889 dL/db=-4.4667
  step 2: w=1.6378 b=0.7233 loss=1.0897  dL/dw=-4.4874 dL/db=-2.0022
  2000 스텝 뒤: w=2.0000, b=1.0000, loss=1.43e-24
  lr=0.01  200 스텝 뒤 loss=5.556e-04
  lr=0.05  200 스텝 뒤 loss=1.154e-05
  lr=0.17  200 스텝 뒤 loss=8.211e-11
  lr=0.19  200 스텝 뒤 loss=1.601e+19

손계산과 코드의 숫자가 정확히 같습니다. 학습률을 바꾼 결과도 보세요. 0.17 은 잘 수렴하는데 0.19 는 손실이 $10^{19}$ 까지 폭발합니다.

왼쪽: 스텝이 지날수록 직선이 점들에 맞춰지는 모습. 오른쪽: 학습률별 손실 곡선, 0.19 는 발산
그림 4-2. 왼쪽: 스텝 0(회색) → 1 → 2 → 10 → 2000(주황) 동안 직선이 점에 맞춰집니다. 오른쪽: 학습률별 손실(로그 눈금). 작은 학습률(0.01)은 느리고, 0.19 는 발산합니다.
참고 · 0.18 이 경계인 이유

손실이 $w$, $b$ 두 개의 함수라서 “곡률” 이 방향마다 다릅니다. 두 번 미분한 값을 모은 표(헤세 행렬)는 $\frac{\partial^2 L}{\partial w^2} = \frac{2}{N}\sum x_i^2 = \frac{2}{3}(1 + 4 + 9) = \frac{28}{3} \approx 9.333$, $\frac{\partial^2 L}{\partial b^2} = 2$, $\frac{\partial^2 L}{\partial w \partial b} = \frac{2}{N}\sum x_i = 4$ 입니다.

가장 가파른 방향의 곡률 구하기
$$ H = \begin{pmatrix} 9.333 & 4 \\ 4 & 2 \end{pmatrix},\qquad \det(H - \lambda I) = (9.333 - \lambda)(2 - \lambda) - 4 \cdot 4 = 0 $$
어떤 방향 $v$ 에 $H$ 를 곱했을 때 $Hv = \lambda v$ 처럼 방향은 그대로이고 크기만 $\lambda$ 배가 되면, $\lambda$ 를 고윳값, $v$ 를 고유벡터라 합니다. 그 방향만 보면 손실은 $\frac{\lambda}{2}w^2$ 꼴의 그릇이라 앞 절의 $a$ 가 곧 $\lambda$ 입니다(방향별 곡률). $(H - \lambda I)v = 0$ 이 0 이 아닌 $v$ 를 가지려면 행렬식($2\times2$ 행렬 $\begin{pmatrix} a & b \\ c & d\end{pmatrix}$ 에서는 $\det = ad - bc$)이 0 이어야 하고, 이 조건이 고윳값을 구하는 방정식(특성 방정식)입니다.
$$ \lambda^2 - 11.333\lambda + (18.667 - 16) = \lambda^2 - 11.333\lambda + 2.667 = 0 $$
전개: $(9.333 - \lambda)(2 - \lambda) = 18.667 - 11.333\lambda + \lambda^2$.
$$ \lambda = \frac{11.333 \pm \sqrt{11.333^2 - 4 \times 2.667}}{2} = \frac{11.333 \pm 10.853}{2} \approx 11.093,\ 0.240 $$
근의 공식. 가장 가파른 방향의 곡률이 $11.093$ 이므로 앞의 결과에서 $\eta \lt 2/11.093 \approx 0.180$ 이어야 수렴합니다. 0.17 은 안쪽, 0.19 는 바깥쪽 — 실험과 정확히 맞습니다. 가장 완만한 방향의 곡률(0.240)이 작아서 $\eta = 0.01$ 에서는 그 방향으로 아주 느리게 움직입니다.

활성 함수와 층 쌓기

선형 층

신경망의 기본 부품은 선형 층linear layer, fully-connected layer입니다. 입력 벡터 $x \in \R^{n}$ 을 가중치 행렬 $W \in \R^{m \times n}$ 과 편향 $b \in \R^m$ 으로 바꿉니다.

$$ z = W x + b, \qquad z_j = \sum_{i=1}^{n} W_{ji}\, x_i + b_j $$

$z_j$ 는 “입력에 가중치를 곱해 더하고 편향을 더한 값”, 즉 $j$ 번째 출력 하나가 $y = wx + b$ 를 여러 입력으로 넓힌 것입니다. 예: $W = \begin{pmatrix} 0.5 & -0.4 \\ 0.3 & 0.8 \end{pmatrix}$, $x = \begin{pmatrix} 1 \\ 0.5 \end{pmatrix}$, $b = \begin{pmatrix} 0.1 \\ -0.2 \end{pmatrix}$ 이면 $z_1 = 0.5 \cdot 1 + (-0.4)\cdot 0.5 + 0.1 = 0.4$, $z_2 = 0.3 \cdot 1 + 0.8 \cdot 0.5 - 0.2 = 0.5$ 입니다(조금 뒤 역전파 예제에서 그대로 씁니다).

왜 비선형 함수가 필요한가

선형 층만 두 개 쌓으면 어떻게 될까요?

선형 층 두 개 = 선형 층 한 개
$$ y = W_2 (W_1 x + b_1) + b_2 $$
첫 층의 출력을 둘째 층에 넣었습니다.
$$ = W_2 W_1 x + W_2 b_1 + b_2 $$
행렬 곱의 분배 법칙.
$$ = W' x + b', \qquad W' = W_2 W_1,\ b' = W_2 b_1 + b_2 $$
결국 새로운 행렬 $W'$ 과 벡터 $b'$ 를 쓴 선형 층 하나와 같습니다. 백 개를 쌓아도 직선(평면)밖에 못 그립니다.

그래서 층과 층 사이에 구부러진 함수, 활성 함수activation function를 끼웁니다. $h = \sigma(Wx + b)$ 처럼 각 성분에 따로따로 적용합니다. 은닉 뉴런이 충분히 많으면 이 작은 구부림들을 모아 (유한한 구간 위의) 어떤 연속 함수든 원하는 만큼 가깝게 흉내 낼 수 있다는 것이 보편 근사 정리universal approximation theorem입니다.

시그모이드 · tanh · ReLU

sigmoid σ(z) 1 z σ′(z)=σ(1−σ) (점선) tanh(z) 1 z tanh′(z)=1−tanh² (점선) ReLU(z)=max(0,z) 1 z ReLU′(z)=0 또는 1 (점선)
그림 4-3. 대표적인 활성 함수(실선)와 그 미분(점선). 시그모이드 · tanh 는 $|z|$ 가 크면 미분이 0 에 가까워지고(포화), ReLU 는 양수 쪽에서 미분이 늘 1 입니다.

시그모이드

$\sigma(z) = \frac{1}{1 + e^{-z}}$ 는 어떤 실수든 0 과 1 사이로 눌러 줍니다. $\sigma(0) = 0.5$, $\sigma(2) \approx 0.881$, $\sigma(-2) \approx 0.119$. “확률” 이나 “0~1 사이의 밝기” 를 출력할 때 씁니다. 미분이 아주 예쁜 꼴이 됩니다.

$\sigma'(z) = \sigma(z)\,(1 - \sigma(z))$
$$ \sigma(z) = (1 + e^{-z})^{-1} $$
분수를 $-1$ 제곱으로 썼습니다. 이제 연쇄 법칙을 씁니다: 바깥 $u^{-1}$, 안쪽 $u = 1 + e^{-z}$.
$$ \sigma'(z) = -(1 + e^{-z})^{-2} \cdot \frac{d}{dz}(1 + e^{-z}) $$
거듭제곱 규칙 $(u^{-1})' = -u^{-2}$ × 안쪽의 미분.
$$ \frac{d}{dz}(1 + e^{-z}) = e^{-z} \cdot (-1) = -e^{-z} $$
1 의 미분은 0. $e^{-z}$ 는 다시 연쇄 법칙: 바깥 $e^v$ 의 미분 $e^v$ × 안쪽 $v = -z$ 의 미분 $-1$.
$$ \sigma'(z) = \frac{e^{-z}}{(1 + e^{-z})^2} = \frac{1}{1 + e^{-z}} \cdot \frac{e^{-z}}{1 + e^{-z}} $$
두 음수 부호가 만나 양수가 되었고, 분모의 제곱을 두 분수의 곱으로 나눴습니다.
$$ \frac{e^{-z}}{1 + e^{-z}} = \frac{(1 + e^{-z}) - 1}{1 + e^{-z}} = 1 - \frac{1}{1 + e^{-z}} = 1 - \sigma(z) $$
분자에 1 을 더하고 빼서 나눴습니다.
$$ \sigma'(z) = \sigma(z)\,\big(1 - \sigma(z)\big) $$
순전파에서 이미 계산한 $\sigma(z)$ 만 있으면 미분이 공짜로 나옵니다. $z = 0$ 이면 $0.5 \times 0.5 = 0.25$ 가 최댓값이고, $z = 2$ 면 $0.881 \times 0.119 \approx 0.105$ 로 작아집니다.

tanh

$\tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}$ 는 $-1$ 과 $1$ 사이로 눌러 줍니다. 출력의 평균이 0 근처라 은닉층에 쓰기 좋고, RNN(9장)에서 자주 씁니다. 시그모이드를 늘이고 옮긴 것과 같아서 미분도 시그모이드에서 바로 나옵니다.

$\tanh'(z) = 1 - \tanh^2(z)$
$$ 2\sigma(2z) - 1 = \frac{2}{1 + e^{-2z}} - 1 = \frac{2 - (1 + e^{-2z})}{1 + e^{-2z}} = \frac{1 - e^{-2z}}{1 + e^{-2z}} $$
통분해서 하나의 분수로 만들었습니다.
$$ = \frac{e^{z}(1 - e^{-2z})}{e^{z}(1 + e^{-2z})} = \frac{e^z - e^{-z}}{e^z + e^{-z}} = \tanh(z) $$
분자 · 분모에 $e^z$ 를 곱했습니다($e^z \cdot e^{-2z} = e^{-z}$). 즉 $\tanh(z) = 2\sigma(2z) - 1$.
$$ \tanh'(z) = 2\,\sigma'(2z)\cdot 2 = 4\,\sigma(2z)\big(1 - \sigma(2z)\big) $$
연쇄 법칙(안쪽 $2z$ 의 미분 2)과 시그모이드 미분 공식.
$$ 1 - \tanh^2 = 1 - (2s - 1)^2 = 1 - (4s^2 - 4s + 1) = 4s - 4s^2 = 4s(1-s) = \tanh'(z) $$
$s = \sigma(2z)$ 로 두고 전개하면 바로 위의 값과 같습니다. 그러므로 $\tanh' = 1 - \tanh^2$. $z = 0$ 에서 최댓값 1.

ReLU

$\mathrm{ReLU}(z) = \max(0, z)$. 음수는 0 으로, 양수는 그대로. 미분은 $z \gt 0$ 이면 1, $z \lt 0$ 이면 0 입니다($z = 0$ 에서는 정의되지 않지만 보통 0 으로 둡니다). 계산이 가장 싸고, 양수 쪽 미분이 1 로 줄어들지 않아서 깊은 신경망에서 기본으로 씁니다.

주의 · 기울기 소실

시그모이드의 미분은 최대 0.25 입니다. 층을 10개 쌓으면 역전파 때 이런 값이 10번 곱해져 $0.25^{10} \approx 10^{-6}$ 까지 줄 수 있습니다. 앞쪽 층에 기울기가 거의 전달되지 않는 이 현상을 기울기 소실vanishing gradient이라 합니다. 그래서 은닉층에는 ReLU 를 주로 쓰고, 시그모이드는 “0~1 사이 출력” 이 꼭 필요한 마지막 층에만 씁니다. RNN 에서 이 문제가 다시 나옵니다(9장).

역전파: 2층 신경망을 손으로 계산하기

이제 모든 도구가 모였습니다. 아주 작은 신경망 하나를 골라, 순전파 · 역전파를 숫자로 끝까지 계산해 봅니다. 역전파backpropagation는 새로운 수학이 아니라 “연쇄 법칙을 출력 쪽에서부터 차례로 적용하고, 중간 결과를 재사용하는 것” 일 뿐이라는 것을 직접 확인하는 것이 목표입니다.

신경망과 숫자

부분식값
입력$x = (x_1, x_2)$$(1.0,\ 0.5)$
1층(은닉 2개)$z = W_1 x + b_1$, $h = \sigma(z)$$W_1 = \begin{pmatrix} 0.5 & -0.4 \\ 0.3 & 0.8 \end{pmatrix}$, $b_1 = (0.1,\ -0.2)$
2층(출력 1개)$\hat{y} = w_2 \cdot h + b_2$$w_2 = (1.2,\ -0.7)$, $b_2 = 0.05$
손실$L = (\hat{y} - y)^2$정답 $y = 1.0$
W₁₁=0.5 W₂₁=0.3 W₁₂=−0.4 W₂₂=0.8 σ σ w₂₁=1.2 w₂₂=−0.7 (ŷ−y)² x₁ x₂ z₁ z₂ h₁ h₂ ŷ L 1.0 0.5 0.4 0.5 0.5987 0.6225 0.3327 0.4453 ∂L/∂z₁=−0.3848 ∂L/∂z₂=0.2195 ∂L/∂h₁=−1.6015 ∂L/∂h₂=0.9342 ∂L/∂ŷ=−1.3346 ∂L/∂L=1 파랑: 순전파 값 (왼쪽 → 오른쪽) 분홍: 역전파 기울기 (오른쪽 → 왼쪽)
그림 4-4. 계산 그래프. 순전파는 왼쪽에서 오른쪽으로 값을 계산하고, 역전파는 오른쪽에서 왼쪽으로 “손실이 이 값에 얼마나 민감한가” 를 전달합니다.

순전파

순전파: 입력에서 손실까지
$$ z_1 = 0.5 \cdot 1.0 + (-0.4)\cdot 0.5 + 0.1 = 0.5 - 0.2 + 0.1 = 0.4 $$
$z_1 = W_{11}x_1 + W_{12}x_2 + b_{1,1}$ (선형 층의 첫 번째 출력).
$$ z_2 = 0.3 \cdot 1.0 + 0.8 \cdot 0.5 + (-0.2) = 0.3 + 0.4 - 0.2 = 0.5 $$
두 번째 출력.
$$ h_1 = \sigma(0.4) = \frac{1}{1 + e^{-0.4}} = \frac{1}{1 + 0.670320} = 0.598688 $$
$e^{-0.4} \approx 0.670320$.
$$ h_2 = \sigma(0.5) = \frac{1}{1 + e^{-0.5}} = \frac{1}{1 + 0.606531} = 0.622459 $$
$e^{-0.5} \approx 0.606531$.
$$ \hat{y} = 1.2 \times 0.598688 + (-0.7)\times 0.622459 + 0.05 = 0.718425 - 0.435722 + 0.05 = 0.332704 $$
출력층: 은닉값에 가중치를 곱해 더하고 편향을 더합니다(출력층에는 활성 함수를 쓰지 않았습니다). 이 풀이의 값은 모두 끝까지 계산한 뒤 여섯 자리로 반올림한 것이라, 적힌 값끼리 직접 계산하면 끝자리가 1 다를 수 있습니다.
$$ L = (0.332704 - 1)^2 = (-0.667296)^2 = 0.445284 $$
정답 1.0 에서 꽤 멉니다. 이제 이 손실을 줄이려면 각 매개변수를 어느 쪽으로 돌려야 하는지 구합니다.

역전파

목표는 매개변수 9개($W_1$ 의 4개, $b_1$ 의 2개, $w_2$ 의 2개, $b_2$)에 대한 $\frac{\partial L}{\partial(\cdot)}$ 입니다. 출력 쪽부터 거꾸로 갑니다. 각 단계에서 바로 앞(오른쪽)에서 구한 값에 국소 미분 하나를 곱하는 것뿐입니다.

역전파: 손실에서 입력 쪽으로
$$ \frac{\partial L}{\partial \hat{y}} = 2(\hat{y} - y) = 2 \times (-0.667296) = -1.334593 $$
$L = (\hat{y} - y)^2$ 을 $\hat{y}$ 로 미분(연쇄 법칙, 안쪽의 미분은 1). 음수 → $\hat{y}$ 를 키우면 손실이 준다.
$$ \frac{\partial L}{\partial w_{2,j}} = \frac{\partial L}{\partial \hat{y}}\cdot\frac{\partial \hat{y}}{\partial w_{2,j}} = \frac{\partial L}{\partial \hat{y}}\cdot h_j $$
$\hat{y} = w_{2,1}h_1 + w_{2,2}h_2 + b_2$ 를 $w_{2,j}$ 로 미분하면 $h_j$.
$$ \begin{aligned} \frac{\partial L}{\partial w_{2,1}} &= (-1.334593)(0.598688) = -0.799004 \\ \frac{\partial L}{\partial w_{2,2}} &= (-1.334593)(0.622459) = -0.830730 \end{aligned} $$
숫자를 넣었습니다.
$$ \frac{\partial L}{\partial b_2} = \frac{\partial L}{\partial \hat{y}}\cdot 1 = -1.334593 $$
$\hat{y}$ 를 $b_2$ 로 미분하면 1.
$$ \frac{\partial L}{\partial h_j} = \frac{\partial L}{\partial \hat{y}}\cdot w_{2,j} \;\Rightarrow\; (-1.334593)(1.2) = -1.601511,\quad (-1.334593)(-0.7) = 0.934215 $$
이번엔 $\hat{y}$ 를 $h_j$ 로 미분: $w_{2,j}$. 매개변수가 아니지만, 더 왼쪽으로 기울기를 전달하려면 필요합니다.
$$ \frac{\partial L}{\partial z_j} = \frac{\partial L}{\partial h_j}\cdot \sigma'(z_j) = \frac{\partial L}{\partial h_j}\cdot h_j(1 - h_j) $$
$h_j = \sigma(z_j)$ 이고, 시그모이드의 미분 공식 $\sigma' = \sigma(1-\sigma)$. 순전파에서 구한 $h_j$ 를 그대로 재사용합니다.
$$ \begin{aligned} h_1(1-h_1) &= 0.598688 \times 0.401312 = 0.240261 \\ h_2(1-h_2) &= 0.622459 \times 0.377541 = 0.235004 \end{aligned} $$
시그모이드의 국소 기울기. 최대 0.25 라 기울기가 여기서 1/4 정도로 줄어듭니다.
$$ \frac{\partial L}{\partial z_1} = -1.601511 \times 0.240261 = -0.384780,\qquad \frac{\partial L}{\partial z_2} = 0.934215 \times 0.235004 = 0.219544 $$
두 수를 곱했습니다.
$$ \frac{\partial L}{\partial W_{1,ji}} = \frac{\partial L}{\partial z_j}\cdot x_i \;\Rightarrow\; \begin{pmatrix} -0.384780 \times 1.0 & -0.384780 \times 0.5 \\ 0.219544 \times 1.0 & 0.219544 \times 0.5 \end{pmatrix} = \begin{pmatrix} -0.384780 & -0.192390 \\ 0.219544 & 0.109772 \end{pmatrix} $$
$z_j = \sum_i W_{1,ji}x_i + b_{1,j}$ 를 $W_{1,ji}$ 로 미분하면 $x_i$. 행렬로 쓰면 $\frac{\partial L}{\partial z}$ 와 $x$ 의 바깥곱입니다.
$$ \frac{\partial L}{\partial b_1} = \frac{\partial L}{\partial z} = (-0.384780,\ 0.219544) $$
$z_j$ 를 $b_{1,j}$ 로 미분하면 1. 이로써 9개 매개변수의 기울기를 모두 구했습니다.
핵심 · 역전파의 구조

한 스텝 갱신해 보기

학습률 $\eta = 0.1$ 로 9개 매개변수를 모두 $\theta \leftarrow \theta - \eta\,\frac{\partial L}{\partial \theta}$ 로 고칩니다. 예를 들어 $w_{2,1} = 1.2 - 0.1 \times (-0.799004) = 1.279900$, $W_{1,11} = 0.5 - 0.1 \times (-0.384780) = 0.538478$, $b_2 = 0.05 - 0.1\times(-1.334593) = 0.183459$ 입니다. 고친 매개변수로 다시 순전파하면 $\hat{y} = 0.599293$, $L = 0.160566$. 한 스텝 만에 손실이 0.4453 에서 0.1606 으로 줄었습니다.

PyTorch 로 확인하기

같은 계산을 numpy 로 한 줄씩 옮긴 것이 아래 코드입니다. 주석의 식이 위 풀이 상자의 각 줄과 짝을 이룹니다.


  

이제 PyTorch 의 자동 미분autograd에 맡겨 봅니다. 순전파만 쓰고 .backward() 를 부르면, PyTorch 가 순전파 때 기록해 둔 계산 그래프를 거꾸로 따라가며 위와 똑같은 연쇄 법칙 계산을 해 줍니다. requires_grad=True 는 “이 텐서에 대한 기울기를 구해 달라” 는 표시이고, 결과는 그 텐서의 .grad 에 들어갑니다.


  
  z=[0.4 0.5], h=[0.598688 0.622459], y_hat=0.332704, L=0.445284
  [손계산] dL/dw2 = [-0.799004 -0.83073 ]  dL/db2 = -1.334593
  [손계산] dL/dW1 = [[-0.38478, -0.19239], [0.219544, 0.109772]]  dL/db1 = [-0.38478   0.219544]
  [autograd] dL/dw2 = [-0.799004 -0.83073 ]  dL/db2 = -1.334593
  [autograd] dL/dW1 = [[-0.38478, -0.19239], [0.219544, 0.109772]]  dL/db1 = [-0.38478   0.219544]
  두 결과가 같은가? True

손으로 구한 9개의 숫자와 autograd 의 숫자가 소수점 여섯째 자리까지 같습니다. 앞으로는 역전파를 직접 쓰지 않고 autograd 에 맡기지만, 그 안에서 일어나는 일은 정확히 이 풀이 상자 라는 것을 기억해 두세요. 8장의 “재매개변수화 트릭” 이나 12장의 “상상 속에서 기울기를 흘려보내기” 는 모두 “연쇄 법칙이 끊기지 않게 계산 그래프를 잇는 요령” 입니다.

분류: 소프트맥스와 교차 엔트로피

출력이 “여러 개 중 하나” 인 문제(분류)에서는 신경망이 클래스마다 점수 $z_k$(로짓logit)를 내고, 소프트맥스softmax로 확률로 바꿉니다. 이 조합은 DreamerV2 · V3 의 범주형 잠재 변수(12장)와 이산 행동 정책(5장)에서 쓰입니다.

$$ p_k = \frac{e^{z_k}}{\sum_{j=1}^{K} e^{z_j}} $$

$e^{z}$ 는 늘 양수이고, 모두 더한 값으로 나누므로 $p_k$ 는 0 과 1 사이, 합은 1 이 됩니다. 예: $z = (2,\ 1,\ 0.1)$ 이면 $e^z = (7.389,\ 2.718,\ 1.105)$, 합 $11.213$, 그러므로 $p = (0.659,\ 0.242,\ 0.099)$.

정답이 클래스 $c$ 일 때 손실은 정답 클래스 확률의 음의 로그, 교차 엔트로피cross-entropy입니다. 정답을 원-핫 벡터 $y$ (정답 자리만 1, 나머지 0)로 쓰면 $L = -\sum_k y_k \log p_k = -\log p_c$. 정답 확률이 1 이면 손실 0, 0 에 가까우면 손실이 끝없이 커집니다. 이 손실이 어디서 왔는지는 2장(최대우도)과 3장(정보 이론)에서 다룹니다. 여기서는 그 기울기가 놀랍도록 간단하다는 것을 유도합니다.

소프트맥스 + 교차 엔트로피의 기울기 $\frac{\partial L}{\partial z_i} = p_i - y_i$
$$ L = -\log p_c = -\log \frac{e^{z_c}}{\sum_j e^{z_j}} $$
정의.
$$ = -\Big(\log e^{z_c} - \log \sum_j e^{z_j}\Big) = -z_c + \log\sum_j e^{z_j} $$
로그 성질 $\log\frac{a}{b} = \log a - \log b$, 그리고 $\log e^{z} = z$.
$$ \frac{\partial}{\partial z_i}(-z_c) = -\mathbf{1}[i = c] = -y_i $$
첫째 항: $i = c$ 이면 $-1$, 아니면 $z_c$ 와 무관하므로 0. 이것은 정확히 $-y_i$ 입니다. ($\mathbf{1}[\cdot]$ 은 괄호 안이 참이면 1, 거짓이면 0 인 지시 함수입니다.)
$$ \frac{\partial}{\partial z_i}\log\sum_j e^{z_j} = \frac{1}{\sum_j e^{z_j}}\cdot \frac{\partial}{\partial z_i}\sum_j e^{z_j} = \frac{e^{z_i}}{\sum_j e^{z_j}} = p_i $$
연쇄 법칙: $\log u$ 의 미분 $\frac{1}{u}$ × 안쪽의 미분. 합 중에서 $z_i$ 를 포함한 항은 $e^{z_i}$ 하나뿐이고 그 미분은 $e^{z_i}$.
$$ \frac{\partial L}{\partial z_i} = p_i - y_i $$
“예측 확률 − 정답”. 정답 클래스의 로짓은 올리고($p_c - 1 \lt 0$), 나머지는 자기 확률만큼 내립니다. 예: $p = (0.659, 0.242, 0.099)$, 정답 0번이면 기울기 $= (-0.341,\ 0.242,\ 0.099)$.
import torch
import torch.nn.functional as F

z = torch.tensor([2.0, 1.0, 0.1], requires_grad=True)  # 로짓
target = torch.tensor(0)                               # 정답 클래스 = 0번
loss = F.cross_entropy(z.unsqueeze(0), target.unsqueeze(0))
loss.backward()
print("p      =", torch.softmax(z, dim=0).detach().numpy().round(4))
print("loss   =", round(loss.item(), 4))
print("dL/dz  =", z.grad.numpy().round(4))   # p − y 와 같은가?
p      = [0.659  0.2424 0.0986]
loss   = 0.417
dL/dz  = [-0.341   0.2424  0.0986]
참고 · 회귀에서도 같은 꼴

MSE 의 기울기도 $\frac{\partial}{\partial\hat{y}}\frac{1}{2}(\hat{y} - y)^2 = \hat{y} - y$, 시그모이드 + 이진 교차 엔트로피의 기울기도 $\sigma(z) - y$ 입니다. “예측 − 정답” 이 신호가 되는 이 공통점은 우연이 아니라, 세 손실 모두 어떤 확률 분포의 음의 로그 가능도이기 때문입니다(2장).

미니배치 · SGD · Adam

미니배치와 확률적 경사 하강

손실은 보통 데이터 $N$ 개의 평균 $L = \frac{1}{N}\sum_{i=1}^N \ell_i$ 이고, 기울기도 평균 $\nabla L = \frac{1}{N}\sum_i \nabla \ell_i$ 입니다. $N$ 이 백만이면 한 스텝 가는 데 백만 번 계산해야 합니다. 그래서 매번 무작위로 $B$ 개(예: 64개)만 뽑아 그 평균 기울기로 한 스텝 갑니다. 이 $B$ 개 묶음을 미니배치minibatch, 이 방법을 확률적 경사 하강stochastic gradient descent, SGD이라 합니다.

미니배치 기울기는 전체 기울기의 “평균적으로 맞는” 추정이다
$$ \hat{g} = \frac{1}{B}\sum_{k=1}^{B} \nabla \ell_{I_k}, \qquad I_k \text{ 는 } \{1,\dots,N\} \text{ 에서 고르게 뽑은 번호} $$
미니배치 기울기의 정의. 번호 $I_k$ 가 무작위이므로 $\hat{g}$ 도 무작위입니다.
$$ \E[\nabla\ell_{I_k}] = \sum_{i=1}^{N} \frac{1}{N}\,\nabla \ell_i = \nabla L $$
기댓값 = (나올 수 있는 값 × 그 확률)의 합. 각 번호가 확률 $\frac{1}{N}$ 로 뽑힙니다(기댓값은 2장).
$$ \E[\hat{g}] = \frac{1}{B}\sum_{k=1}^{B}\E[\nabla\ell_{I_k}] = \frac{1}{B}\cdot B \cdot \nabla L = \nabla L $$
기댓값의 선형성(합의 기댓값 = 기댓값의 합). 미니배치 기울기는 편향 없는(unbiased) 추정입니다. 다만 잡음이 있고, 뽑기가 서로 독립이면 그 분산은 $\frac{1}{B}$ 배로 줄어듭니다: $\Var\big(\frac{1}{B}\sum_k X_k\big) = \frac{1}{B^2}\sum_k \Var(X_k) = \frac{\sigma^2}{B}$ (여기서 $\sigma^2$ 은 뽑기 하나의 분산 $\Var(X_k)$ 입니다).

용어: 미니배치 하나로 한 번 갱신하는 것을 스텝(step) 또는 반복(iteration), 데이터 전체를 한 바퀴 도는 것을 에폭(epoch) 이라고 합니다.

모멘텀과 지수 이동 평균

미니배치 기울기는 출렁입니다. 그래서 지난 기울기들의 평균 쪽으로 가면 더 안정적입니다. 최근 것에 더 큰 가중치를 두는 평균, 지수 이동 평균exponential moving average, EMA을 씁니다.

지수 이동 평균을 풀어 쓰기
$$ m_t = \beta\, m_{t-1} + (1 - \beta)\, g_t, \qquad m_0 = 0 $$
정의. $\beta$ 는 0.9 같은 값. 새 기울기는 10%, 지금까지의 평균은 90% 섞습니다.
$$ m_t = (1-\beta)g_t + \beta(1-\beta)g_{t-1} + \beta^2 m_{t-2} $$
$m_{t-1} = \beta m_{t-2} + (1-\beta)g_{t-1}$ 을 대입했습니다.
$$ m_t = (1-\beta)\sum_{k=1}^{t}\beta^{\,t-k}\, g_k $$
계속 대입하면 $m_0 = 0$ 에 닿습니다. $j$ 스텝 전 기울기 $g_{t-j}$ 의 가중치는 $(1-\beta)\beta^{j}$ 로, 오래될수록 $\beta$ 배씩 줄어듭니다. $\beta = 0.9$ 면 대략 최근 $\frac{1}{1-\beta} = 10$ 스텝의 평균입니다(이 “유효 길이” 는 5장의 할인율에서 “유효 지평” 이라는 이름으로 다시 나옵니다).

Adam

Adamadaptive moment estimation은 오늘날 가장 많이 쓰는 최적화 알고리즘이고, 이 튜토리얼에서 신경망을 학습시키는 실습도 (10장에서 컨트롤러를 CMA-ES 로 학습하는 것만 빼고) 모두 Adam 을 씁니다. 기울기의 평균(1차 모멘트)과 기울기 제곱의 평균(2차 모멘트)을 함께 들고 다닙니다. 매개변수 하나하나에 따로 적용합니다.

$$ \begin{aligned} m_t &= \beta_1 m_{t-1} + (1-\beta_1)\, g_t &&\text{기울기의 이동 평균 (방향)}\\ v_t &= \beta_2 v_{t-1} + (1-\beta_2)\, g_t^2 &&\text{기울기 제곱의 이동 평균 (크기)}\\ \hat{m}_t &= \frac{m_t}{1 - \beta_1^t},\quad \hat{v}_t = \frac{v_t}{1 - \beta_2^t} &&\text{편향 보정}\\ \theta_t &= \theta_{t-1} - \eta\, \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon} &&\text{갱신} \end{aligned} $$

기본값은 $\beta_1 = 0.9$, $\beta_2 = 0.999$, $\epsilon = 10^{-8}$, 학습률 $\eta = 10^{-3}$ 입니다. 각 항의 뜻은 이렇습니다.

편향 보정 $\frac{1}{1-\beta^t}$ 이 필요한 이유
$$ m_t = (1-\beta_1)\sum_{k=1}^{t}\beta_1^{\,t-k}\, g_k $$
위의 지수 이동 평균 풀이.
$$ \E[m_t] = (1-\beta_1)\sum_{k=1}^{t}\beta_1^{\,t-k}\,\E[g] $$
기울기들의 기댓값이 모두 $\E[g]$ 로 같다고 가정하고(기울기 분포가 천천히 변한다면 근사적으로 맞습니다), 기댓값의 선형성을 썼습니다.
$$ (1-\beta_1)\sum_{k=1}^{t}\beta_1^{\,t-k} = (1-\beta_1)(1 + \beta_1 + \cdots + \beta_1^{t-1}) = 1 - \beta_1^{t} $$
등비수열의 합: $(1-\beta)(1 + \beta + \cdots + \beta^{t-1})$ 을 전개하면 가운데 항이 모두 지워지고 $1 - \beta^t$ 만 남습니다(5장에서 같은 계산을 자세히 합니다).
$$ \E[m_t] = (1 - \beta_1^t)\,\E[g] \quad\Longrightarrow\quad \E\!\left[\frac{m_t}{1-\beta_1^t}\right] = \E[g] $$
$m_t$ 는 참값보다 $(1-\beta_1^t)$ 배 작게 치우쳐 있으므로 그만큼 나눠 줍니다. $t = 1$ 이면 $1 - 0.9 = 0.1$ 이라 $m_1 = 0.1\,g_1$ 인데, 보정하면 $\hat{m}_1 = g_1$. $t = 50$ 이면 $1 - 0.9^{50} \approx 0.995$ 라 보정이 거의 필요 없습니다. $v_t$ 도 똑같습니다($\beta_2 = 0.999$ 라 보정이 더 오래 중요합니다).

과적합 · 검증 데이터 · 정규화

과적합

우리가 원하는 것은 훈련 데이터를 외우는 것이 아니라 처음 보는 데이터에서도 잘 맞추는 것, 즉 일반화generalization입니다. 훈련 데이터의 손실은 계속 줄어드는데 처음 보는 데이터의 손실은 오히려 커지는 현상을 과적합overfitting이라 합니다. 그래서 데이터를 나눠 씁니다.

극단적인 예를 만들어 봅니다. 잡음이 큰 점 12개에 매개변수 약 6.6만 개짜리 신경망($1 \to 256 \to 256 \to 1$)을 4000 스텝 학습시킵니다.


  
  no regularization : 마지막 train 0.0001  마지막 val 0.5977  (val 최저 0.1709 @ step 33)
  L2 penalty 1e-2   : 마지막 train 0.0155  마지막 val 0.1793  (val 최저 0.1709 @ step 35)
왼쪽: 정규화 없는 모델은 점을 모두 지나는 구불구불한 곡선, L2 정규화 모델은 완만한 곡선. 오른쪽: 훈련 · 검증 손실 곡선
그림 4-5. 과적합. 정규화가 없으면(주황) 훈련 손실은 0.0001 까지 내려가지만 잡음까지 외워 곡선이 구불구불하고, 점이 없는 오른쪽 끝에서는 엉뚱하게 치솟습니다. 검증 손실은 처음 수십 스텝에 가장 낮았다가 다시 커집니다. L2 정규화(파랑)는 훈련 손실이 조금 높은 대신 검증 손실이 훨씬 낮습니다.

L2 정규화(가중치 감쇠)

과적합한 모델은 작은 입력 변화에도 출력이 크게 출렁이고, 그러려면 가중치가 커야 합니다. 그래서 손실에 “가중치가 크면 벌점” 을 더합니다.

$$ L_{\text{total}}(\theta) = L(\theta) + \lambda \sum_{w} w^2 $$
L2 벌점은 가중치를 매 스텝 0 쪽으로 줄인다
$$ \frac{\partial}{\partial w}\big(\lambda w^2\big) = 2\lambda w $$
거듭제곱 규칙. 다른 가중치의 제곱은 $w$ 와 무관해 미분하면 0.
$$ w \leftarrow w - \eta\Big(\frac{\partial L}{\partial w} + 2\lambda w\Big) $$
벌점을 더한 손실로 경사 하강 한 스텝.
$$ w \leftarrow (1 - 2\eta\lambda)\, w - \eta\,\frac{\partial L}{\partial w} $$
$w$ 끼리 묶었습니다. 원래 경사 하강에 더해 매 스텝 $w$ 를 $(1 - 2\eta\lambda)$ 배(1 보다 조금 작은 수)로 줄입니다. 그래서 “가중치 감쇠(weight decay)” 라고도 부릅니다. 데이터가 강하게 요구하지 않는 가중치는 0 쪽으로 시들어 갑니다.
참고 · 다른 처방들

입력 표준화

입력 성분마다 크기가 크게 다르면(예: 각도는 $-\pi$~$\pi$, 속도는 $-8$~$8$) 학습이 느려집니다. 그래서 학습 전에 성분마다 평균을 빼고 표준편차로 나눕니다. 이것을 표준화standardization라고 합니다. 6장의 World Model 도 입력과 출력을 모두 표준화합니다.

$$ x' = \frac{x - \mu}{s}, \qquad \mu = \frac{1}{N}\sum_i x_i,\quad s = \sqrt{\frac{1}{N}\sum_i (x_i - \mu)^2} $$
표준화한 값은 평균 0, 분산 1
$$ \frac{1}{N}\sum_i x_i' = \frac{1}{s}\Big(\frac{1}{N}\sum_i x_i - \mu\Big) = \frac{1}{s}(\mu - \mu) = 0 $$
합을 나눠 쓰고, $\frac{1}{N}\sum_i x_i = \mu$ 를 썼습니다.
$$ \frac{1}{N}\sum_i (x_i' - 0)^2 = \frac{1}{s^2}\cdot\frac{1}{N}\sum_i (x_i - \mu)^2 = \frac{s^2}{s^2} = 1 $$
평균이 0 이므로 분산은 제곱의 평균. $s^2$ 의 정의를 그대로 썼습니다.

표준화가 왜 학습을 빠르게 하는지는 앞의 선형 회귀로 정확히 보일 수 있습니다. $x = (1, 2, 3)$ 을 표준화하면 $\mu = 2$, $s \approx 0.8165$, $x' \approx (-1.2247,\ 0,\ 1.2247)$ 입니다. 이때 헤세 행렬은 $\frac{\partial^2 L}{\partial w^2} = \frac{2}{N}\sum x_i'^2 = 2 \times 1 = 2$, $\frac{\partial^2 L}{\partial w\,\partial b} = \frac{2}{N}\sum x_i' = 0$, $\frac{\partial^2 L}{\partial b^2} = 2$ 가 되어 두 방향의 곡률이 모두 2 로 같아집니다 (표준화 전에는 11.09 와 0.24 로 46배 차이). 그러면 $\eta = 1/2 = 0.5$ 로 한 스텝 만에 최솟값에 도착합니다. 곡률을 고르게 만드는 것, 이것이 표준화의 진짜 효과입니다.

PyTorch 기초: 텐서와 모양

PyTorch 의 기본 자료형은 텐서tensor, 숫자를 여러 축으로 늘어놓은 배열입니다. 숫자 하나는 0차원, 벡터는 1차원, 행렬은 2차원, 그림 묶음은 4차원 텐서입니다. 텐서를 다룰 때 가장 중요한 정보는 모양(shape), 즉 축마다의 길이입니다. 딥러닝 코드 오류의 대부분이 모양 불일치이므로, 이 튜토리얼의 코드에는 # (B, T, C) 처럼 모양을 주석으로 적어 둡니다.


  
a.shape        : (2, 3)
a[1, 2]        : 6.0
a.sum(dim=0)   : [5.0, 7.0, 9.0]
a.mean(dim=1)  : [2.0, 5.0]
a + b          : [[11.0, 22.0, 33.0], [14.0, 25.0, 36.0]]
a + c          : [[101.0, 102.0, 103.0], [204.0, 205.0, 206.0]]
(x @ W.T).shape: (5, 4)
x.reshape(15).shape: (15,)
x.unsqueeze(0).shape: (1, 5, 3)

nn.Module 과 학습 고리 5단계

신경망은 nn.Module 을 상속한 클래스로 만듭니다. __init__ 에서 층(매개변수를 가진 부품)을 만들고, forward 에서 순전파를 씁니다. 역전파는 autograd 가 해 주므로 쓰지 않습니다.


  

이 MLP(다층 퍼셉트론multi-layer perceptron)의 매개변수 개수를 세어 봅시다. nn.Linear(n, m) 은 가중치 $m \times n$ 개와 편향 $m$ 개를 가집니다. $(1 \times 64 + 64) + (64 \times 64 + 64) + (64 \times 1 + 1) = 128 + 4160 + 65 = 4353$ 개. 아래 실행 결과의 숫자와 같습니다. 이 신경망으로 $\sin x$ 에 잡음을 섞은 점 256개를 맞춰 봅니다.


  

그리고 이 튜토리얼에서 수십 번 보게 될 학습 고리 입니다.


  
  step    0  train 0.67709  val 0.33090
  step  500  train 0.00282  val 0.00288
  step 1000  train 0.00277  val 0.00285
  step 1500  train 0.00274  val 0.00284
  step 1999  train 0.00273  val 0.00286
  매개변수 개수: 4353
  1. optimizer.zero_grad(): PyTorch 는 .backward() 를 부를 때마다 기울기를 .grad 에 더합니다(덮어쓰지 않습니다). 지난 스텝의 기울기를 지우지 않으면 기울기가 쌓여 엉뚱한 방향으로 갑니다.
  2. 순전파 model(x_train): 예측을 계산하며, 역전파에 필요한 계산 그래프와 중간값을 기록합니다.
  3. 손실 계산: nn.MSELoss() 는 앞에서 쓴 MSE 와 같습니다.
  4. loss.backward(): 역전파. 모든 매개변수의 .grad 가 채워집니다.
  5. optimizer.step(): Adam 갱신식으로 매개변수를 고칩니다.

검증 손실은 torch.no_grad() 안에서 계산합니다. 기울기가 필요 없으니 계산 그래프를 기록하지 않아 빠르고 메모리도 아낍니다. .item() 은 숫자 하나짜리 텐서를 파이썬 숫자로 꺼냅니다.

왼쪽: 학습이 진행될수록 신경망 곡선이 sin 곡선에 맞춰지는 모습. 오른쪽: 훈련 · 검증 손실 곡선
그림 4-6. 왼쪽: 스텝 0(회색, 거의 평평한 직선) → 100 → 300 → 2000(주황) 동안 곡선이 $\sin x$ 모양을 찾아 갑니다. 오른쪽: 손실이 약 0.0027 에서 멈춥니다. 중간중간 손실이 잠깐 $10^{-2}$ 근처까지 튀었다가 곧 제자리로 돌아오는 뾰족한 봉우리는, 학습률($10^{-2}$)이 큰 편이라 Adam 의 스텝이 가끔 지나치게 커지기 때문입니다. 데이터에 섞은 잡음의 분산이 $0.05^2 = 0.0025$ 이므로, 이보다 더 낮아지면 오히려 잡음을 외우는 것입니다. 이 예에서는 훈련 · 검증 손실이 함께 움직여 과적합이 없습니다.

합성곱 신경망: 그림을 읽는 신경망

8장부터 World Model 은 64×64 그림을 봅니다. 그림을 4096개 숫자로 펴서 선형 층에 넣으면, 은닉 128개짜리 층 하나에만 매개변수가 $4096 \times 128 + 128 = 524{,}416$ 개 필요합니다. 게다가 “왼쪽 위의 막대” 와 “오른쪽 아래의 막대” 를 완전히 따로 배워야 합니다. 합성곱 신경망convolutional neural network, CNN은 두 가지 생각으로 이를 해결합니다.

합성곱을 숫자로

4×4 입력에 세로 경계를 찾는 3×3 커널을 적용해 봅니다.

$$ X = \begin{pmatrix} 1 & 2 & 0 & 1 \\ 0 & 1 & 3 & 1 \\ 2 & 1 & 0 & 0 \\ 1 & 0 & 1 & 2 \end{pmatrix},\qquad K = \begin{pmatrix} 1 & 0 & -1 \\ 1 & 0 & -1 \\ 1 & 0 & -1 \end{pmatrix} $$

커널을 입력 위에 겹쳐 놓고, 겹친 칸끼리 곱해 모두 더한 값이 출력 한 칸입니다. 커널을 한 칸씩 옮기면 2×2 출력이 나옵니다.

출력 네 칸 계산하기
$$ \begin{aligned} Y_{11} &= (1\cdot1 + 2\cdot0 + 0\cdot(-1)) + (0\cdot1 + 1\cdot0 + 3\cdot(-1)) + (2\cdot1 + 1\cdot0 + 0\cdot(-1)) \\ &= 1 - 3 + 2 = 0 \end{aligned} $$
커널을 왼쪽 위(행 1–3, 열 1–3)에 놓았습니다. 괄호 하나가 한 행입니다.
$$ Y_{12} = (2 + 0 - 1) + (1 + 0 - 1) + (1 + 0 - 0) = 1 + 0 + 1 = 2 $$
한 칸 오른쪽(열 2–4). 왼쪽 열 값 − 오른쪽 열 값을 행마다 더한 꼴입니다.
$$ Y_{21} = (0 + 0 - 3) + (2 + 0 - 0) + (1 + 0 - 1) = -3 + 2 + 0 = -1 $$
한 칸 아래(행 2–4, 열 1–3).
$$ Y_{22} = (1 + 0 - 1) + (1 + 0 - 0) + (0 + 0 - 2) = 0 + 1 - 2 = -1, \qquad Y = \begin{pmatrix} 0 & 2 \\ -1 & -1 \end{pmatrix} $$
오른쪽 아래(행 2–4, 열 2–4). torch.nn.functional.conv2d 로 계산해도 같은 결과가 나옵니다. 학습에서는 커널의 9개 숫자가 매개변수이고, 어떤 무늬를 찾을지 데이터가 정합니다.
참고 · 채널

흑백 그림은 채널 1개, 컬러는 3개(R, G, B)입니다. nn.Conv2d(C_in, C_out, K) 은 커널을 $C_{\text{out}}$ 개 가지며, 커널 하나는 입력 채널 전부에 걸친 $C_{\text{in}} \times K \times K$ 크기입니다. 그래서 매개변수는 $C_{\text{out}} \cdot C_{\text{in}} \cdot K \cdot K + C_{\text{out}}$(편향) 개. 출력 채널 하나하나가 “어떤 무늬가 어디에 있는지” 를 나타내는 지도(feature map)가 됩니다. 그리고 PyTorch 의 “합성곱” 은 수학 교과서의 합성곱과 달리 커널을 뒤집지 않습니다(엄밀히는 상호 상관). 학습으로 커널을 정하므로 차이가 없습니다.

출력 크기 공식

커널 크기 $K$ 외에 두 가지 설정이 있습니다. 스트라이드stride $S$ 는 커널을 한 번에 몇 칸씩 옮길지, 패딩padding $P$ 는 입력 가장자리에 0 을 몇 줄 덧댈지입니다. 출력 크기를 유도해 봅시다(가로 한 줄만 보면 됩니다).

출력 크기 $\left\lfloor \frac{W - K + 2P}{S} \right\rfloor + 1$
$$ W_{\text{pad}} = W + 2P $$
양쪽에 $P$ 칸씩 덧대면 길이가 $2P$ 늘어납니다.
$$ \text{커널의 시작 위치} \in \{0,\ S,\ 2S,\ \dots\},\qquad \text{시작} + K \le W + 2P $$
커널은 0번 칸에서 시작해 $S$ 칸씩 옮겨 가고, 커널 전체가 (덧댄) 입력 안에 있어야 합니다.
$$ nS \le W + 2P - K \quad\Longleftrightarrow\quad n \le \frac{W - K + 2P}{S} $$
$n$ 번째 시작 위치 $nS$ ($n = 0, 1, 2, \dots$) 가 위 조건을 만족해야 합니다.
$$ W_{\text{out}} = \left\lfloor \frac{W - K + 2P}{S} \right\rfloor + 1 $$
가능한 $n$ 은 $0$ 부터 $\lfloor\cdot\rfloor$(내림)까지이므로 개수는 그 값 + 1. 예: $W = 64, K = 4, S = 2, P = 1$ → $\lfloor 62/2 \rfloor + 1 = 32$ (절반으로). $K = 3, S = 1, P = 1$ → $64$ (크기 유지). $K = 5, P = 0$ → $60$. 앞의 4×4 예: $\lfloor (4-3)/1 \rfloor + 1 = 2$.

전치 합성곱: 작은 것을 크게

인코더는 그림을 작게 줄이고, 디코더(8장 VAE, 11장 RSSM)는 작은 잠재 벡터에서 그림을 다시 그려야 합니다. 이때 쓰는 것이 전치 합성곱transposed convolution(nn.ConvTranspose2d)입니다. 입력의 각 값이 커널에 곱해진 “도장” 을 출력에 찍고, 겹치는 자리는 더합니다. 1차원 예: 입력 $(1, 2)$, 커널 $(1, 2, 1)$, 스트라이드 2.

$$ \begin{aligned} 1 \times (1, 2, 1) &\to (1,\ 2,\ 1,\ 0,\ 0) &&\text{0번 위치에 도장}\\ 2 \times (1, 2, 1) &\to (0,\ 0,\ 2,\ 4,\ 2) &&\text{스트라이드 2 → 2번 위치에 도장}\\ \text{합} &= (1,\ 2,\ 3,\ 4,\ 2) &&\text{길이 2 → 5} \end{aligned} $$

출력 크기는 합성곱 공식을 거꾸로 풀면 나옵니다. 합성곱이 큰 $W_{\text{big}}$ 을 작은 $W_{\text{small}} = \frac{W_{\text{big}} - K + 2P}{S} + 1$ 로 줄인다면(나누어떨어질 때), $W_{\text{big}}$ 에 대해 풀면 $W_{\text{big}} = (W_{\text{small}} - 1)S - 2P + K$ 입니다. 위 예는 $(2-1)\cdot 2 - 0 + 3 = 5$, $K = 4, S = 2, P = 1$ 이면 $(4 - 1)\cdot 2 - 2 + 4 = 8$ — 정확히 두 배가 되어, 인코더의 64 → 32 → 16 → 8 → 4 를 거꾸로 되돌릴 수 있습니다.


  
Conv2d(k=4, s=2, p=1)        : (1, 1, 64, 64) → (1, 16, 32, 32)
Conv2d(k=3, s=1, p=1)        : (1, 1, 64, 64) → (1, 8, 64, 64)
Conv2d(k=5, s=1, p=0)        : (1, 1, 64, 64) → (1, 8, 60, 60)
ConvTranspose2d(k=4, s=2, p=1): (1, 64, 4, 4) → (1, 32, 8, 8)

실습: 진자 그림에서 각도 읽기

이 장의 마지막 실습입니다. PixelPendulum 의 64×64 그림만 보고 막대의 각도를 $(\cos\theta, \sin\theta)$ 로 맞히는 CNN 을 학습시킵니다. “그림 → 숫자” 로 바꾸는 이 일은 8장 VAE 인코더가 하는 일의 축소판이고, World Model 이 그림을 다루는 첫 단계입니다. 먼저 무작위 행동으로 진자를 돌리며 (그림, 정답 각도) 쌍을 모읍니다. 정답 각도는 env.state() 로 몰래 꺼내 라벨로만 씁니다.


  

그림은 0~255 정수라서 255 로 나눠 0~1 로 맞춥니다(표준화의 간단한 형태). unsqueeze(1) 은 채널 축을 만들어 (N, 64, 64) 를 (N, 1, 64, 64) 로 바꿉니다. 모델은 스트라이드 2 합성곱 4개로 64 → 32 → 16 → 8 → 4 로 줄인 뒤, 선형 층으로 숫자 2개를 냅니다.


  

매개변수는 합성곱 $272 + 8{,}224 + 32{,}832 + 65{,}600$, 선형 층 $131{,}200 + 258$ 로 모두 238,386 개입니다. 64×64 그림을 곧바로 선형 층(은닉 128)에 넣을 때의 절반도 안 되면서 훨씬 잘 배웁니다. 학습 고리는 앞과 같고, 매 스텝 무작위로 64장을 뽑는 미니배치를 씁니다.


  
  훈련 그림 6000장, 검증 그림 2000장 (모으는 데 2.9초)
  step    0  train 0.51018  val 0.50112
  step  500  train 0.00002  val 0.00003
  step 1000  train 0.00003  val 0.00004
  step 1500  train 0.00001  val 0.00002
  step 2000  train 0.00005  val 0.00003
  step 2500  train 0.00001  val 0.00001
  step 3000  train 0.00003  val 0.00005
  수집 + 학습 시간 200.7초 (장치: cpu)
  검증 각도 오차: 평균 0.26°, 중앙값 0.21°, 최대 0.66°
왼쪽: 검증 그림 여섯 장 위에 정답(초록)과 예측(주황) 방향을 겹친 모습. 오른쪽: 정답 각도와 예측 각도의 산점도가 대각선 위에 놓임
그림 4-7. 처음 보는 검증 그림 2000장에서 CNN 이 읽은 각도. 왼쪽: 초록(정답)과 주황(예측) 선이 거의 겹칩니다. 오른쪽: 예측 대 정답이 대각선 위에 있습니다. 오른쪽 아래 구석의 점 하나는 오류가 아니라 $+180^\circ$ 와 $-180^\circ$ 가 같은 자세라서 생긴 표시상의 끝점입니다($\cos$, $\sin$ 으로 맞히게 한 이유이기도 합니다. 6장 참고).

잡음 없는 단순한 그림이라 평균 오차가 1° 도 안 될 만큼 정확합니다. 그런데 이 CNN 은 각속도 $\dot\theta$ 는 절대 맞힐 수 없습니다. 그림 한 장에는 “얼마나 빨리 도는지” 가 담겨 있지 않기 때문입니다. 이 한계가 바로 다음 장에서 배우는 부분 관측 문제이고, 9 · 11장에서 기억(RNN)을 더해 해결합니다.

팁 · 직접 바꿔 보기

정리와 확인 문제

이 장의 정리
확인 문제 1

$f(x) = \log(1 + x^2)$ 의 미분을 구하고, $x = 1$ 에서의 값을 계산하세요.

답 보기

연쇄 법칙: 바깥 $\log u$ 의 미분 $\frac{1}{u}$, 안쪽 $u = 1 + x^2$ 의 미분 $2x$. $f'(x) = \frac{2x}{1 + x^2}$, $f'(1) = \frac{2}{2} = 1$.

확인 문제 2

손실 $L(w) = 2w^2$ 에서 경사 하강이 수렴하는 학습률의 범위는? 한 스텝 만에 최솟값에 도착하는 학습률은?

답 보기

$L = \frac{a}{2}w^2$ 꼴에서 $a = 4$. 수렴 조건 $0 \lt \eta \lt 2/a = 0.5$. $\eta = 1/a = 0.25$ 면 $w \leftarrow (1 - 0.25 \times 4)w = 0$ 으로 한 스텝에 도착합니다.

확인 문제 3

nn.Conv2d(3, 8, kernel_size=3, stride=2, padding=1) 에 (1, 3, 32, 32) 를 넣으면 출력 모양은? 매개변수는 몇 개?

답 보기

$\lfloor (32 - 3 + 2)/2 \rfloor + 1 = \lfloor 15.5 \rfloor + 1 = 16$ → (1, 8, 16, 16). 매개변수 $8 \times 3 \times 3 \times 3 + 8 = 224$.

확인 문제 4

로짓 $z = (0, 0)$, 정답 클래스 0 일 때 교차 엔트로피 손실과 $\frac{\partial L}{\partial z}$ 를 구하세요.

답 보기

$p = (0.5, 0.5)$, $L = -\log 0.5 = \log 2 \approx 0.693$. 기울기 $p - y = (0.5 - 1,\ 0.5 - 0) = (-0.5,\ 0.5)$.

확인 문제 5

Adam 에서 $\beta_1 = 0.9$, 첫 두 스텝의 기울기가 모두 $g$ 일 때 $m_2$ 와 $\hat{m}_2$ 를 구하세요.

답 보기

$m_1 = 0.1g$, $m_2 = 0.9 \times 0.1g + 0.1g = 0.19g$. $\hat{m}_2 = \frac{0.19g}{1 - 0.9^2} = \frac{0.19g}{0.19} = g$. 편향 보정 덕분에 참값 $g$ 가 나옵니다.

확인 문제 6

학습 고리에서 optimizer.zero_grad() 를 빼먹으면 어떤 일이 생길까요?

답 보기

.backward() 는 기울기를 .grad 에 더하므로, $t$ 번째 스텝의 기울기가 지금까지의 모든 기울기의 합이 됩니다. 스텝이 점점 커지고 엉뚱한 방향으로 가서 학습이 불안정해지거나 발산합니다.

이제 신경망을 만들고 학습시킬 수 있습니다. 하지만 World Model 은 단순히 “맞히는” 모델이 아니라, 행동하는 에이전트 를 돕기 위한 모델입니다. 다음 장에서는 에이전트가 보상을 최대로 하도록 행동을 배우는 틀, 강화학습을 처음부터 쌓아 올립니다.