CHAPTER 08

눈 만들기: VAE

6 · 7장의 World Model 은 진자의 상태를 숫자 3개 $[\cos\theta, \sin\theta, \dot\theta]$ 로 받았습니다. 하지만 진짜 세상은 숫자를 건네주지 않습니다. 로봇은 카메라 그림을 보고, 게임 에이전트는 화면을 봅니다. 이 장부터 에이전트는 64×64 흑백 그림 만 봅니다. 그림을 그대로 예측하는 대신, 먼저 그림을 작은 숫자 벡터로 압축하는 눈 을 만듭니다. 그 눈이 변분 오토인코더(VAE) 입니다.

읽는 시간 약 70분난이도 ★★★☆☆코드: code/ch08_vae.py
이 장에서 배우는 것

왜 그림을 압축해야 하나

PixelPendulum 환경의 관측 $o_t$ 는 64×64 = 4096개 의 픽셀이고, 픽셀마다 0 – 255 의 밝기를 가집니다. World Model 이 할 일은 “지금 그림과 행동을 보고 다음 그림을 예측하기” 입니다. 4096개의 숫자를 통째로 예측하는 것은 어렵고 낭비가 큽니다.

이렇게 고차원 데이터가 실제로는 훨씬 낮은 차원의 “면” 이나 “선” 위에 놓여 있다는 생각을 다양체 가설manifold hypothesis 이라고 부릅니다. 그렇다면 그림을 그 선 위의 좌표 로 바꾸어 예측은 좌표에서 하고, 필요할 때만 좌표를 그림으로 되돌리면 됩니다. 이것이 Ha & Schmidhuber(2018) 의 World Models 가 택한 전략이고(10장), 이 장에서 만드는 VAE 는 그 구조의 V(Vision, 눈) 에 해당합니다.

그림 x 64×64 = 4096 인코더 qφ(z | x) z 32개 디코더 pθ(x | z) 복원 x̂ 64×64 병목(bottleneck): 4096 → 32 로 줄였다가 다시 4096 으로
그림 8-1. 압축하는 눈의 구조. 인코더가 그림을 작은 벡터 $z$ 로 줄이고, 디코더가 $z$ 에서 그림을 되살립니다.

오토인코더와 그 한계

오토인코더: 스스로를 맞히는 신경망

가장 단순한 압축기는 오토인코더autoencoder, AE 입니다. 두 신경망을 이어 붙입니다.

그리고 “출력이 입력과 같아지도록” 학습합니다. 정답이 입력 자신이므로 사람이 정답을 달아 줄 필요가 없습니다(자기 지도 학습). 가운데 $z$ 가 입력보다 훨씬 작으므로, 네트워크는 그림을 되살리는 데 꼭 필요한 정보만 $z$ 에 담는 법을 배워야 합니다.

$$ \min_{\phi,\theta}\; \frac{1}{N}\sum_{n=1}^{N} \text{재구성 오차}\big(x^{(n)},\; g_\theta(f_\phi(x^{(n)}))\big) $$

재구성 오차로는 픽셀별 제곱 오차(MSE)나 이진 교차 엔트로피(BCE)를 씁니다. 둘 중 무엇을 쓰는지는 뒤에서 “확률 모델” 의 관점으로 다시 정합니다.

오토인코더로는 부족한 두 가지

오토인코더도 재구성은 아주 잘 합니다(뒤의 그림 8-5). 문제는 잠재 공간 $z$ 의 모양 입니다. 이 장의 코드는 비교를 위해 VAE 와 똑같은 구조의 오토인코더도 함께 학습합니다. 그 결과에서 두 가지 문제가 드러납니다.

  1. 잠재 벡터가 어디에 있는지 모릅니다. 오토인코더는 $z$ 가 어떤 범위에 있어야 하는지 아무 제약을 받지 않습니다. 실제로 학습된 오토인코더의 $z$ 는 성분 하나의 크기가 최대 36, 주성분 축으로 재면 ±60 안팎까지 퍼져 있었습니다(그림 8-7 오른쪽). “아무 $z$ 나 하나 뽑아 그림을 만들어 보자” 고 해도, 어디서 뽑아야 할지 알 수 없습니다.
  2. 잠재 공간이 듬성듬성합니다. 디코더는 학습 데이터가 실제로 떨어진 점들에서만 훈련됩니다. 그 점들 사이나 바깥의 $z$ 를 넣으면 디코더는 한 번도 본 적 없는 입력을 받으므로 엉뚱한 그림을 냅니다(그림 8-9 의 AE 줄).

World Model 에게 이 두 문제는 치명적입니다. 9장의 M 모델은 잠재 공간에서 다음 $z$ 를 뽑아 미래를 상상합니다. 뽑은 $z$ 가 디코더가 모르는 곳에 떨어지면 상상은 곧바로 엉망이 됩니다. 우리에게 필요한 것은 “$z$ 가 어떤 분포를 따르는지 알고, 그 분포에서 뽑은 어떤 $z$ 도 그럴듯한 그림이 되는” 잠재 공간입니다. 이것을 확률 모델 로 정면에서 풀어낸 것이 VAE 입니다.

잠재 변수 모델: 그림이 만들어지는 이야기

생성 이야기

VAE 는 먼저 “그림이 어떻게 만들어지는지” 에 대한 이야기(생성 과정)를 가정합니다.

  1. 먼저 잠재 벡터 $z$ 를 표준 정규 분포에서 뽑는다: $z \sim p(z) = \Normal(0, I)$. ($I$ 는 단위 행렬. 32개 성분이 서로 독립이고 각각 평균 0, 분산 1)
  2. 그다음 $z$ 를 디코더에 넣어 그림의 분포를 정하고, 거기서 그림을 뽑는다: $x \sim p_\theta(x \mid z)$.

$z$ 는 데이터에 직접 보이지 않는 변수라서 잠재 변수latent variable 라고 부릅니다. 이 이야기를 믿으면, 그림 $x$ 하나가 나올 확률은 “모든 가능한 $z$ 에 대해, 그 $z$ 가 뽑힐 확률 × 그 $z$ 에서 $x$ 가 나올 확률” 을 모두 더한 것입니다.

그림 하나의 확률(주변 가능도) 쓰기
$$ p_\theta(x) = \sum_{z} p_\theta(x, z) $$
주변화(2장): 결합 확률 $p(x, z)$ 를 $z$ 의 모든 값에 대해 더하면 $x$ 만의 확률이 됩니다. 우선 $z$ 가 셀 수 있는 값이라고 생각합니다.
$$ = \sum_{z} p_\theta(x \mid z)\, p(z) $$
곱셈 법칙(2장): $p(x, z) = p(x \mid z)\,p(z)$. “먼저 $z$, 그다음 $z$ 를 보고 $x$” 라는 생성 이야기를 그대로 옮긴 것입니다.
$$ p_\theta(x) = \int p_\theta(x \mid z)\, p(z)\, dz $$
$z$ 는 실수 벡터(연속)이므로 합 $\sum$ 이 적분 $\int$ 로 바뀝니다. 적분은 “아주 잘게 나눈 칸들의 합” 이라고 읽으면 됩니다.

학습 목표는 2장의 최대우도 입니다. 가진 그림들 $x^{(1)}, \dots, x^{(N)}$ 이 나올 확률이 가장 크도록 $\theta$ 를 고릅니다.

$$ \theta^\ast = \argmax_\theta \sum_{n=1}^{N} \log p_\theta\big(x^{(n)}\big) $$

왜 그대로는 계산할 수 없나

문제는 $\int p_\theta(x \mid z)\,p(z)\,dz$ 입니다. $z$ 가 32차원이므로 이것은 32겹 적분입니다. 각 축을 고작 10칸씩만 나눠도 $10^{32}$ 개의 칸에서 디코더를 돌려야 합니다.

“그렇다면 $z$ 를 사전 분포 $p(z)$ 에서 몇 개 뽑아 평균을 내면 되지 않을까?” (2장의 몬테카를로 추정) 라고 생각할 수 있습니다.

$$ p_\theta(x) = \E_{z \sim p(z)}\big[p_\theta(x \mid z)\big] \approx \frac{1}{S}\sum_{s=1}^{S} p_\theta\big(x \mid z^{(s)}\big),\qquad z^{(s)} \sim p(z) $$

식은 맞지만 실제로는 쓸모가 없습니다. 특정한 진자 그림 $x$ (예: 막대가 오른쪽 45°) 를 만들어 내는 $z$ 는 잠재 공간의 아주 작은 구역뿐입니다. 아무렇게나 뽑은 $z$ 는 거의 모두 다른 각도의 그림을 만들므로 $p_\theta(x \mid z^{(s)})$ 는 사실상 0 이고, 그 구역에 우연히 떨어지는 드문 표본 하나가 평균을 좌우합니다. 추정값이 표본마다 크게 흔들려(분산이 커서) 학습 신호로 쓸 수 없습니다.

사후 분포도 같은 벽에 막힌다

“$x$ 를 만든 $z$ 가 어디쯤 있을까?” 를 알면 그 근처에서만 뽑으면 됩니다. 그 답이 사후 분포posterior $p_\theta(z \mid x)$ 이고, 베이즈 정리(2장)로 쓸 수 있습니다.

$$ p_\theta(z \mid x) = \frac{p_\theta(x \mid z)\, p(z)}{p_\theta(x)} = \frac{p_\theta(x \mid z)\, p(z)}{\int p_\theta(x \mid z')\, p(z')\, dz'} $$

분자는 디코더를 한 번 돌리면 계산됩니다. 그런데 분모가 바로 방금 계산할 수 없다던 그 적분 입니다. 결국 우리는 $p_\theta(x)$ 도, $p_\theta(z \mid x)$ 도 계산할 수 없습니다. 이런 상황을 “사후 분포가 다루기 어렵다intractable” 라고 말합니다.

변분 추론: 사후 분포를 추측하는 신경망

계산할 수 없는 $p_\theta(z \mid x)$ 대신, 다루기 쉬운 분포 $q_\phi(z \mid x)$ 로 근사 하자는 것이 변분 추론variational inference 의 아이디어입니다. VAE 는 이 $q_\phi$ 를 신경망(인코더)으로 만듭니다.

$$ q_\phi(z \mid x) = \Normal\!\big(z;\ \mu_\phi(x),\ \diag(\sigma^2_\phi(x))\big) $$

그림마다 따로 최적화 문제를 푸는 대신 신경망 하나가 모든 그림의 $q$ 를 한 번에 내놓으므로 이를 분할 상환 추론amortized inference 이라고도 합니다. 이제 남은 질문은 “무엇을 최대화하면 $q_\phi$ 가 좋은 추측이 되고, 동시에 $p_\theta(x)$ 도 커지는가?” 입니다. 그 답이 ELBO 입니다.

ELBO 유도 ① 젠센 부등식으로

3장에서 배운 젠센 부등식 을 다시 떠올립니다. 로그처럼 위로 볼록한(오목한) 함수는 “평균의 로그 ≥ 로그의 평균” 을 만족합니다.

$$ \log \E[Y] \;\ge\; \E[\log Y] $$

숫자로 확인해 봅니다. $Y$ 가 반반의 확률로 1 또는 4 라면 $\log \E[Y] = \log 2.5 \approx 0.916$, $\E[\log Y] = \tfrac{1}{2}(\log 1 + \log 4) \approx 0.693$ 이므로 정말 앞쪽이 큽니다. 이 부등식 하나로 계산할 수 없는 $\log p_\theta(x)$ 의 아래 경계 를 만듭니다.

로그 가능도의 아래 경계(ELBO) 만들기
$$ \log p_\theta(x) = \log \int p_\theta(x, z)\, dz $$
앞에서 본 주변 가능도의 정의입니다($p_\theta(x \mid z)p(z) = p_\theta(x, z)$).
$$ = \log \int q_\phi(z \mid x)\, \frac{p_\theta(x, z)}{q_\phi(z \mid x)}\, dz $$
적분 안에 $\frac{q_\phi(z \mid x)}{q_\phi(z \mid x)} = 1$ 을 곱했습니다. 1 을 곱했으니 값은 그대로입니다. ($q_\phi$ 가 0 이 아닌 곳에서 생각합니다. 가우시안은 어디서나 0 보다 큽니다.)
$$ = \log \E_{z \sim q_\phi(z \mid x)}\!\left[\frac{p_\theta(x, z)}{q_\phi(z \mid x)}\right] $$
기댓값의 정의(2장): $\int q(z)\, g(z)\, dz = \E_{z \sim q}[g(z)]$. 여기서 $g(z) = \frac{p_\theta(x,z)}{q_\phi(z\mid x)}$ 입니다.
$$ \ge \E_{z \sim q_\phi(z \mid x)}\!\left[\log \frac{p_\theta(x, z)}{q_\phi(z \mid x)}\right] $$
젠센 부등식 $\log \E[Y] \ge \E[\log Y]$ 에 $Y = g(z)$ 를 넣었습니다. 여기서 등호가 부등호로 바뀝니다.
$$ = \E_{q_\phi}\!\left[\log p_\theta(x \mid z) + \log p(z) - \log q_\phi(z \mid x)\right] $$
로그의 성질 $\log\frac{ab}{c} = \log a + \log b - \log c$ 와 $p_\theta(x, z) = p_\theta(x \mid z)\,p(z)$ 를 썼습니다.
$$ = \E_{q_\phi}\!\left[\log p_\theta(x \mid z)\right] - \E_{q_\phi}\!\left[\log q_\phi(z \mid x) - \log p(z)\right] $$
기댓값의 선형성(2장): 합의 기댓값은 기댓값의 합입니다. 뒤의 두 항을 묶고 부호를 밖으로 뺐습니다.
$$ \log p_\theta(x) \;\ge\; \underbrace{\E_{q_\phi(z \mid x)}\!\left[\log p_\theta(x \mid z)\right] - \KL\!\big(q_\phi(z \mid x)\,\|\,p(z)\big)}_{\text{ELBO}(\theta,\phi;\,x)} $$
두 번째 항은 KL 발산의 정의(3장) $\KL(q\,\|\,p) = \E_q[\log q - \log p]$ 그 자체입니다. 이 오른쪽 전체를 ELBO(Evidence Lower BOund, 증거 하한)라고 부릅니다. “증거(evidence)” 는 $p_\theta(x)$ 의 다른 이름이고, ELBO 는 그 로그의 아래 경계입니다.

오른쪽의 두 항은 모두 계산할 수 있습니다. 첫 항은 $q_\phi$ 에서 $z$ 를 뽑아 디코더에 넣으면 되고, 둘째 항은 두 가우시안 사이의 KL 이라 공식으로 바로 나옵니다(뒤에서 유도). 계산할 수 없는 $\log p_\theta(x)$ 대신 계산할 수 있는 아래 경계를 최대화 하는 것, 이것이 VAE 학습입니다.

ELBO 유도 ② 차이가 정확히 무엇인가

젠센 부등식은 “ELBO 가 $\log p_\theta(x)$ 보다 작다” 는 것만 알려 줍니다. 얼마나 작은지도 정확히 알 수 있습니다. 이번에는 부등식 없이 등식만으로 유도합니다. 출발점은 “근사 $q_\phi(z \mid x)$ 와 진짜 사후 분포 $p_\theta(z \mid x)$ 가 얼마나 다른가” 입니다.

$\log p_\theta(x) = \text{ELBO} + \KL(q_\phi(z\mid x)\,\|\,p_\theta(z\mid x))$
$$ \KL\!\big(q_\phi(z \mid x)\,\|\,p_\theta(z \mid x)\big) = \E_{q_\phi}\!\left[\log q_\phi(z \mid x) - \log p_\theta(z \mid x)\right] $$
KL 발산의 정의(3장)입니다. 계산할 수 없는 $p_\theta(z\mid x)$ 가 들어 있지만, 일단 기호로 계속 갑니다.
$$ \log p_\theta(z \mid x) = \log p_\theta(x, z) - \log p_\theta(x) $$
베이즈 정리 $p_\theta(z \mid x) = \frac{p_\theta(x, z)}{p_\theta(x)}$ 에 로그를 씌웠습니다. 나눗셈의 로그는 로그의 뺄셈입니다.
$$ \KL(\cdot) = \E_{q_\phi}\!\left[\log q_\phi(z \mid x) - \log p_\theta(x, z) + \log p_\theta(x)\right] $$
바로 위의 식을 첫 줄에 넣었습니다. $-(A - B) = -A + B$ 이므로 $\log p_\theta(x)$ 의 부호가 + 가 됩니다.
$$ = \E_{q_\phi}\!\left[\log q_\phi(z \mid x) - \log p_\theta(x, z)\right] + \log p_\theta(x) $$
$\log p_\theta(x)$ 는 $z$ 와 상관없는 상수입니다. 상수의 기댓값은 그 상수 자신이므로($\E[c] = c$) 기댓값 밖으로 꺼냅니다.
$$ = -\,\E_{q_\phi}\!\left[\log \frac{p_\theta(x, z)}{q_\phi(z \mid x)}\right] + \log p_\theta(x) = -\,\text{ELBO} + \log p_\theta(x) $$
앞의 기댓값은 유도 ①의 넷째 줄에서 본 ELBO 에 마이너스를 붙인 것과 정확히 같습니다($\log q - \log p = -\log\frac{p}{q}$).
$$ \log p_\theta(x) = \text{ELBO}(\theta, \phi; x) + \KL\!\big(q_\phi(z \mid x)\,\|\,p_\theta(z \mid x)\big) $$
양변에 ELBO 를 더해 정리했습니다. 로그 가능도는 ELBO 와 “근사의 오차(KL)” 의 합으로 정확히 나뉩니다.
ELBO (계산할 수 있다) KL(q ‖ p(z|x)) ≥ 0 log pθ(x) (계산할 수 없다) φ 를 바꿔 ELBO 를 올리면 → 오른쪽 간격(KL)이 줄어든다 = q 가 진짜 사후 분포에 가까워진다
그림 8-2. 로그 가능도 = ELBO + 간격. 간격은 근사 사후 분포와 진짜 사후 분포의 KL 이므로 늘 0 이상입니다.

이 등식에서 VAE 학습의 뜻이 모두 나옵니다.

핵심

VAE 는 하나의 목표, ELBO 를 인코더 $\phi$ 와 디코더 $\theta$ 에 대해 동시에 최대화합니다. 그러면 인코더는 “좋은 추측꾼” 이 되고 디코더는 “좋은 생성기” 가 됩니다. 손실 함수로는 부호를 바꾼 −ELBO 를 최소화합니다.

ELBO 의 두 항: 재구성과 KL

$$ \text{ELBO} = \underbrace{\E_{q_\phi(z \mid x)}\big[\log p_\theta(x \mid z)\big]}_{\text{(1) 재구성 항}} \;-\; \underbrace{\KL\big(q_\phi(z \mid x)\,\|\,p(z)\big)}_{\text{(2) KL 항 (정규화)}} $$
  1. 재구성 항: 인코더가 추측한 $z$ 를 뽑아 디코더에 넣었을 때, 원래 그림 $x$ 가 나올 로그 확률. 클수록 좋습니다. 오토인코더의 “재구성 오차를 줄여라” 와 같은 역할입니다.
  2. KL 항: 그림마다의 추측 $q_\phi(z \mid x)$ 가 사전 분포 $\Normal(0, I)$ 에서 너무 멀어지지 않도록 붙잡는 줄. 작을수록 좋습니다.
도서관 사서(인코더)가 책(그림)마다 서가 위치(z)를 정한다고 합시다. 재구성 항은 “위치만 보고 그 책을 다시 찾을 수 있어야 한다”, KL 항은 “위치는 도서관 안, 입구 근처의 정해진 구역(N(0, I))에 몰아서 정하고, 한 점이 아니라 대략적인 범위로 정하라” 는 규칙입니다. 그러면 구역 안 아무 데나 가 보아도 무슨 책이든 놓여 있습니다.

KL 항이 오토인코더의 두 문제를 어떻게 푸는지 보겠습니다.

두 항은 서로 줄다리기를 합니다. 재구성만 생각하면 구름을 아주 작게, 서로 멀리 떨어뜨리는 게 유리하고(오토인코더처럼), KL 만 생각하면 모든 그림을 똑같이 $\Normal(0, I)$ 로 보내는 게 유리합니다(그러면 $z$ 에 정보가 없어 재구성이 불가능). VAE 는 그 사이의 균형점을 찾습니다.

KL 항의 닫힌 꼴

KL 항은 두 가우시안 사이의 KL 이므로 적분 없이 공식으로 계산됩니다. 3장에서 일반적인 두 가우시안의 KL 을 유도했지만, 여기서 쓰는 특별한 경우를 처음부터 다시 풀어 둡니다.

한 차원

$\KL\big(\Normal(\mu, \sigma^2)\,\|\,\Normal(0, 1)\big) = \tfrac{1}{2}\big(\mu^2 + \sigma^2 - 1 - \log\sigma^2\big)$
$$ \KL(q\,\|\,p) = \E_{z \sim q}\big[\log q(z) - \log p(z)\big],\quad q = \Normal(\mu, \sigma^2),\ p = \Normal(0, 1) $$
KL 의 정의입니다.
$$ \log q(z) = -\tfrac{1}{2}\log(2\pi) - \tfrac{1}{2}\log\sigma^2 - \frac{(z - \mu)^2}{2\sigma^2} $$
가우시안 밀도 $q(z) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\big(-\frac{(z-\mu)^2}{2\sigma^2}\big)$ 에 로그를 씌웠습니다. $\log\frac{1}{\sqrt{2\pi\sigma^2}} = -\tfrac{1}{2}\log(2\pi\sigma^2) = -\tfrac{1}{2}\log 2\pi - \tfrac{1}{2}\log\sigma^2$, $\log e^{u} = u$ 입니다.
$$ \log p(z) = -\tfrac{1}{2}\log(2\pi) - \frac{z^2}{2} $$
같은 식에 $\mu = 0$, $\sigma^2 = 1$ 을 넣었습니다($\log 1 = 0$).
$$ \log q(z) - \log p(z) = -\tfrac{1}{2}\log\sigma^2 - \frac{(z - \mu)^2}{2\sigma^2} + \frac{z^2}{2} $$
두 식을 뺐습니다. 공통인 $-\tfrac{1}{2}\log 2\pi$ 가 지워집니다.
$$ \E_q\big[(z-\mu)^2\big] = \sigma^2,\qquad \E_q\big[z^2\big] = \Var(z) + (\E[z])^2 = \sigma^2 + \mu^2 $$
첫째는 분산의 정의 그 자체입니다. 둘째는 2장의 $\Var(z) = \E[z^2] - (\E[z])^2$ 을 $\E[z^2]$ 에 대해 정리한 것입니다.
$$ \KL = -\tfrac{1}{2}\log\sigma^2 - \frac{\sigma^2}{2\sigma^2} + \frac{\sigma^2 + \mu^2}{2} = -\tfrac{1}{2}\log\sigma^2 - \tfrac{1}{2} + \tfrac{1}{2}\sigma^2 + \tfrac{1}{2}\mu^2 $$
넷째 줄에 기댓값을 씌우고(선형성), 다섯째 줄의 두 기댓값을 넣었습니다. 첫 항 $-\tfrac{1}{2}\log\sigma^2$ 은 $z$ 와 상관없는 상수라 그대로입니다.
$$ \KL\big(\Normal(\mu,\sigma^2)\,\|\,\Normal(0,1)\big) = \tfrac{1}{2}\big(\mu^2 + \sigma^2 - 1 - \log\sigma^2\big) $$
$\tfrac{1}{2}$ 로 묶었습니다. 확인: $\mu = 0,\ \sigma = 1$ 이면 $\tfrac{1}{2}(0 + 1 - 1 - 0) = 0$. 같은 분포끼리의 KL 은 0 이어야 하므로 맞습니다.

결과의 각 항을 읽어 봅니다. $\mu^2$ 은 “평균이 0 에서 멀수록 벌점”, $\sigma^2 - 1 - \log\sigma^2$ 은 “$\sigma$ 가 1 에서 멀수록 벌점” 입니다. $g(s) = s - 1 - \log s$ ($s = \sigma^2$)를 미분하면 $g'(s) = 1 - \frac{1}{s}$ 이고, 이것이 0 이 되는 곳은 $s = 1$ 입니다. $s \lt 1$ 에서는 $g' \lt 0$(감소), $s \gt 1$ 에서는 $g' \gt 0$(증가)이므로 $s = 1$ 에서 최솟값 $g(1) = 0$ 을 가집니다. 즉 이 항은 늘 0 이상이고 $\sigma = 1$ 일 때만 0 입니다.

32차원으로 넓히기

대각 가우시안의 KL = 차원별 KL 의 합
$$ q(z) = \prod_{j=1}^{32} q_j(z_j),\qquad p(z) = \prod_{j=1}^{32} p_j(z_j) $$
대각 공분산 가우시안은 성분끼리 독립이므로 밀도가 성분별 밀도의 곱입니다(2장의 독립). $q_j = \Normal(\mu_j, \sigma_j^2)$, $p_j = \Normal(0, 1)$.
$$ \log q(z) - \log p(z) = \sum_{j=1}^{32}\big(\log q_j(z_j) - \log p_j(z_j)\big) $$
곱의 로그는 로그의 합입니다.
$$ \KL(q\,\|\,p) = \sum_{j=1}^{32} \E_{z \sim q}\big[\log q_j(z_j) - \log p_j(z_j)\big] = \sum_{j=1}^{32} \E_{z_j \sim q_j}\big[\log q_j(z_j) - \log p_j(z_j)\big] $$
기댓값의 선형성으로 합을 밖으로 뺐습니다. $j$ 번째 항은 $z_j$ 에만 의존하므로, 나머지 성분에 대한 적분은 확률을 모두 더한 것(=1)이 되어 사라집니다.
$$ \KL\big(q_\phi(z \mid x)\,\|\,\Normal(0, I)\big) = \frac{1}{2}\sum_{j=1}^{32}\big(\mu_j^2 + \sigma_j^2 - 1 - \log\sigma_j^2\big) $$
각 항에 한 차원 결과를 넣었습니다. 코드에서는 0.5 * sum(mu**2 + logvar.exp() - 1 - logvar) 한 줄입니다.

숫자 예: 2차원에서 $\mu = (0.5,\ 0)$, $\sigma = (1,\ 0.5)$ 이면 $\tfrac{1}{2}(0.25 + 1 - 1 - 0) + \tfrac{1}{2}(0 + 0.25 - 1 - \log 0.25) = 0.125 + \tfrac{1}{2}(-0.75 + 1.386) = 0.125 + 0.318 = 0.443$ 입니다. 몬테카를로로 확인해 봅니다.

import torch

mu = torch.tensor([0.5, 0.0])
sigma = torch.tensor([1.0, 0.5])

# 닫힌 꼴: ½ Σ (μ² + σ² − 1 − log σ²)
closed = 0.5 * torch.sum(mu**2 + sigma**2 - 1 - torch.log(sigma**2))

# 몬테카를로: z ~ q 를 많이 뽑아 log q(z) − log p(z) 를 평균
q = torch.distributions.Normal(mu, sigma)
p = torch.distributions.Normal(torch.zeros(2), torch.ones(2))
z = q.sample((1_000_000,))
mc = (q.log_prob(z) - p.log_prob(z)).sum(-1).mean()

print(f"닫힌 꼴 {closed.item():.4f} | 몬테카를로 {mc.item():.4f}")
닫힌 꼴 0.4431 | 몬테카를로 0.4432
KL 항 느껴 보기

KL(q ‖ N(0,1)) = 내트  ·  파란 선: 인코더의 추측 q, 회색 선: 사전 분포 N(0, 1)

재구성 항: 디코더 가능도 고르기

재구성 항 $\E_{q_\phi}[\log p_\theta(x \mid z)]$ 를 계산하려면 두 가지를 정해야 합니다. 기댓값을 어떻게 계산할지, 그리고 $p_\theta(x \mid z)$ 가 어떤 분포인지입니다.

기댓값은 표본 하나로

$q_\phi(z \mid x)$ 에서 $z$ 를 딱 하나 뽑아 $\log p_\theta(x \mid z^{(1)})$ 로 기댓값을 대신합니다. 2장의 몬테카를로 추정을 $S = 1$ 로 한 것입니다. 표본 하나는 흔들리지만 평균적으로는 정답과 같고(불편 추정), 어차피 미니배치 128장에 대해 평균을 내며 수천 번 갱신하므로 흔들림은 평균되어 사라집니다. 앞에서 사전 분포에서 뽑을 때는 쓸모없던 몬테카를로가 여기서는 잘 되는 까닭은, 이제 $z$ 를 $x$ 를 보고 추측한 $q_\phi(z \mid x)$ 에서 뽑기 때문입니다. 대부분의 표본이 $x$ 를 잘 만드는 구역에 떨어집니다.

베르누이 디코더 → 이진 교차 엔트로피

진자 그림은 대부분 검정(0)이고 막대는 밝은 회색(0.85), 끝의 추는 흰색(1)입니다. 그래서 픽셀 $i$ 의 밝기 $x_i \in [0, 1]$ 을 “흰색일 확률 $p_i$ 인 동전 던지기(베르누이)” 로 봅니다. 디코더는 픽셀마다 로짓 $\ell_i$ 를 내고 $p_i = \text{sigmoid}(\ell_i) = \frac{1}{1 + e^{-\ell_i}}$ 로 확률을 만듭니다. 픽셀들이 $z$ 가 주어지면 서로 독립이라고 가정합니다.

베르누이 가능도의 로그 = −(이진 교차 엔트로피)
$$ p_\theta(x \mid z) = \prod_{i=1}^{4096} p_i^{\,x_i}\,(1 - p_i)^{\,1 - x_i} $$
베르누이 분포(2장): $x_i = 1$ 이면 $p_i$, $x_i = 0$ 이면 $1 - p_i$ 를 고르는 식입니다. 지수가 0 인 쪽은 1 이 되어 사라집니다. 픽셀끼리 독립이라 모두 곱합니다.
$$ \log p_\theta(x \mid z) = \sum_{i=1}^{4096}\Big(x_i \log p_i + (1 - x_i)\log(1 - p_i)\Big) $$
곱의 로그 = 로그의 합, 그리고 $\log a^{b} = b\log a$.
$$ -\log p_\theta(x \mid z) = \sum_{i=1}^{4096} \text{BCE}(x_i, p_i),\qquad \text{BCE}(x, p) = -\big(x\log p + (1-x)\log(1-p)\big) $$
부호를 바꾸면 픽셀별 이진 교차 엔트로피(2장)의 합입니다. 그래서 코드의 재구성 손실은 binary_cross_entropy_with_logits(..., reduction="sum") 입니다.
주의 · 회색 픽셀과 BCE 의 바닥값

막대 몸통은 밝기 0.85 로 칠했고 가장자리도 부드럽게 칠해서, 0 과 1 사이의 회색 픽셀이 많습니다. 엄밀히는 베르누이가 아니지만 실무에서 흔히 이렇게 씁니다. 대신 BCE 가 0 이 될 수 없다는 점을 알아 두세요. 목표 $x \in (0, 1)$ 에 대해 $\text{BCE}(x, p)$ 를 $p$ 로 미분하면 $-\frac{x}{p} + \frac{1 - x}{1 - p}$ 이고, 이것이 0 인 곳은 $x(1-p) = (1-x)p$, 즉 $p = x$ 입니다. 그때의 값은 $-\big(x\log x + (1-x)\log(1-x)\big)$, 곧 픽셀의 엔트로피 입니다. 그래서 완벽한 디코더도 그림당 “회색 픽셀들의 엔트로피 합” 만큼의 BCE 가 남습니다. 코드가 계산한 이 바닥값은 그림당 약 80 내트였습니다(그 절반쯤은 밝기 0.85 인 막대 몸통에서, 나머지는 가장자리의 회색 픽셀에서 나옵니다).

가우시안 디코더 → 제곱 오차(MSE)

색이 다양한 자연 그림에서는 픽셀 값을 “디코더가 낸 $\hat{x}_i$ 를 평균으로 하는 가우시안” 으로 보기도 합니다. Ha & Schmidhuber 는 이 방식(MSE)을 썼습니다.

고정 분산 가우시안 가능도 = 제곱 오차 + 상수
$$ \log p_\theta(x \mid z) = \sum_{i=1}^{D}\log \Normal(x_i;\ \hat{x}_i,\ s^2) = \sum_{i=1}^{D}\left(-\tfrac{1}{2}\log(2\pi s^2) - \frac{(x_i - \hat{x}_i)^2}{2s^2}\right) $$
픽셀마다 평균 $\hat{x}_i$, 고정된 분산 $s^2$ 인 가우시안의 로그 밀도를 더했습니다($D = 4096$).
$$ -\log p_\theta(x \mid z) = \frac{1}{2s^2}\,\lVert x - \hat{x}\rVert^2 + \frac{D}{2}\log(2\pi s^2) $$
부호를 바꾸고 합을 정리했습니다. 둘째 항은 $\theta$ 와 상관없는 상수라 학습에 영향이 없습니다. 남는 것은 제곱 오차의 합에 $\frac{1}{2s^2}$ 을 곱한 것입니다(2장의 “MSE = 가우시안 음의 로그 가능도” 와 같은 결론).

여기서 $s$ 는 단순한 상수처럼 보이지만, KL 항과의 가중치 비율 을 정합니다. 이 점은 뒤의 β-VAE 에서 다시 봅니다.

재매개변수화 트릭

무엇이 문제인가

ELBO 를 경사 하강법(4장)으로 최대화하려면 인코더 매개변수 $\phi$ 에 대한 기울기가 필요합니다. 그런데 재구성 항 $\E_{z \sim q_\phi}[\log p_\theta(x \mid z)]$ 에서 $\phi$ 는 “$z$ 를 어느 분포에서 뽑는가” 에 숨어 있습니다. 코드로 쓰면 z = torch.normal(mu, sigma) 같은 줄인데, 이런 “무작위로 뽑기” 는 미분할 수 있는 함수가 아닙니다. $\mu$ 를 조금 바꿨을 때 뽑힌 $z$ 가 어떻게 변하는지 정의되지 않기 때문입니다. 역전파는 이 줄에서 끊깁니다.

해법: 무작위성을 바깥으로 빼기

가우시안에는 좋은 성질이 있습니다. 표준 정규 분포에서 뽑은 $\epsilon$ 을 늘리고($\times\sigma$) 옮기면($+\mu$) 원하는 가우시안의 표본이 됩니다.

$$ z \sim \Normal(\mu, \sigma^2) \quad\Longleftrightarrow\quad z = \mu + \sigma\,\epsilon,\quad \epsilon \sim \Normal(0, 1) $$

확인: $\E[\mu + \sigma\epsilon] = \mu + \sigma\E[\epsilon] = \mu$, $\Var(\mu + \sigma\epsilon) = \sigma^2\Var(\epsilon) = \sigma^2$ 이고, 가우시안을 늘리고 옮겨도 가우시안입니다. 이제 무작위성은 $\phi$ 와 상관없는 $\epsilon$ 에만 있고, $z$ 는 $\mu, \sigma$ 의 평범한 미분 가능 함수 가 됩니다. 이것이 재매개변수화 트릭reparameterization trick 입니다(Kingma & Welling, 2014).

재매개변수화 전 μ, σ 뽑기 z ~ N f(z) 기울기가 '뽑기' 에서 끊긴다 ✗ 재매개변수화 후 μ, σ μ + σ·ε ε f(z) ε ~ N(0,1) 은 옆에서 들어오고, 기울기는 μ, σ 로 흐른다 ✓
그림 8-3. 재매개변수화 트릭. 무작위성을 매개변수와 상관없는 잡음 $\epsilon$ 으로 옮기면, 나머지는 보통의 계산 그래프가 됩니다.
기댓값의 기울기를 표본으로 계산할 수 있게 되는 이유
$$ \E_{z \sim \Normal(\mu,\sigma^2)}\big[f(z)\big] = \E_{\epsilon \sim \Normal(0,1)}\big[f(\mu + \sigma\epsilon)\big] $$
$z$ 와 $\mu + \sigma\epsilon$ 은 같은 분포를 따르므로, 어떤 함수 $f$ 의 기댓값도 같습니다.
$$ \frac{\partial}{\partial \mu}\E_{\epsilon}\big[f(\mu + \sigma\epsilon)\big] = \E_{\epsilon}\!\left[\frac{\partial}{\partial \mu} f(\mu + \sigma\epsilon)\right] $$
이제 기댓값을 매기는 분포($\Normal(0,1)$)가 $\mu$ 와 상관이 없으므로, 미분과 기댓값(적분)의 순서를 바꿀 수 있습니다. 바꾸기 전에는 분포 자체가 $\mu$ 에 의존해서 이렇게 할 수 없었습니다.
$$ = \E_{\epsilon}\big[f'(\mu + \sigma\epsilon)\cdot 1\big],\qquad \frac{\partial}{\partial \sigma}\E_\epsilon\big[f(\mu+\sigma\epsilon)\big] = \E_{\epsilon}\big[f'(\mu + \sigma\epsilon)\cdot \epsilon\big] $$
연쇄 법칙(4장): $\frac{\partial f(z)}{\partial \mu} = f'(z)\frac{\partial z}{\partial \mu}$ 이고 $z = \mu + \sigma\epsilon$ 이므로 $\frac{\partial z}{\partial \mu} = 1$, $\frac{\partial z}{\partial \sigma} = \epsilon$ 입니다.
$$ \nabla_{\mu,\sigma}\,\E\big[f(z)\big] \approx \frac{1}{S}\sum_{s=1}^{S} \nabla_{\mu,\sigma} f\big(\mu + \sigma\epsilon^{(s)}\big),\qquad \epsilon^{(s)} \sim \Normal(0,1) $$
기울기도 기댓값이므로 몬테카를로로 추정합니다. 각 표본의 기울기는 PyTorch 의 자동 미분이 그냥 계산해 줍니다.

손으로 확인해 봅니다. $f(z) = z^2$ 이면 $\E[z^2] = \mu^2 + \sigma^2$ 이므로 정답 기울기는 $\frac{\partial}{\partial\mu} = 2\mu$, $\frac{\partial}{\partial\sigma} = 2\sigma$ 입니다. 위 공식으로는 $\E_\epsilon[2(\mu + \sigma\epsilon)] = 2\mu + 2\sigma\E[\epsilon] = 2\mu$ ✓, $\E_\epsilon[2(\mu+\sigma\epsilon)\epsilon] = 2\mu\E[\epsilon] + 2\sigma\E[\epsilon^2] = 0 + 2\sigma\cdot 1 = 2\sigma$ ✓ 로 똑같습니다. ($\E[\epsilon] = 0$, $\E[\epsilon^2] = \Var(\epsilon) + 0^2 = 1$.) 코드로도 확인합니다. 코드에서는 VAE 처럼 $\log\sigma$ 로 매개변수화했으므로 $\frac{\partial}{\partial \log\sigma}(\mu^2 + \sigma^2) = 2\sigma\cdot\frac{\partial\sigma}{\partial\log\sigma} = 2\sigma\cdot\sigma = 2\sigma^2$ 이 정답입니다.

import torch

torch.manual_seed(0)
mu = torch.tensor(1.5, requires_grad=True)
log_sigma = torch.tensor(0.0, requires_grad=True)   # σ = e^0 = 1

eps = torch.randn(100_000)                  # ε ~ N(0, 1): μ, σ 와 상관없는 잡음
z = mu + log_sigma.exp() * eps              # z = μ + σ ε  ← 미분이 지나가는 길
loss = (z ** 2).mean()                      # E[z²] 의 몬테카를로 추정
loss.backward()

print(f"E[z^2] 추정  {loss.item():.3f}   (정답 μ²+σ² = {1.5**2 + 1:.3f})")
print(f"dE/dμ 추정   {mu.grad.item():.3f}   (정답 2μ = {2*1.5:.3f})")
print(f"dE/dlogσ 추정 {log_sigma.grad.item():.3f}   (정답 2σ² = {2*1.0:.3f})")
E[z^2] 추정  3.245   (정답 μ²+σ² = 3.250)
dE/dμ 추정   2.995   (정답 2μ = 3.000)
dE/dlogσ 추정 1.998   (정답 2σ² = 2.000)
참고 · 다른 길: 점수 함수 추정량

분포를 재매개변수화할 수 없을 때(예: 이산적인 선택)는 $\nabla_\phi\E_{q_\phi}[f(z)] = \E_{q_\phi}[f(z)\,\nabla_\phi\log q_\phi(z)]$ 라는 점수 함수(REINFORCE) 추정량을 씁니다. 5장의 정책 경사와 같은 식입니다. 어떤 분포에도 쓸 수 있지만 표본마다의 흔들림(분산)이 훨씬 커서, 가능하면 재매개변수화를 씁니다. 12장의 Dreamer 는 두 방법을 모두 씁니다.

구현: 합성곱 VAE

데이터 모으기

무작위 토크로 진자를 200 에피소드 움직여 그림 40,200장을 모읍니다. 시작 각도가 고르게 무작위이므로 모든 각도의 그림이 골고루 들어 있습니다. 정답 상태(각도)도 함께 저장하지만, 이것은 나중에 “VAE 가 무엇을 배웠는지” 확인하는 데만 쓰고 학습에는 쓰지 않습니다.



  

합성곱 층의 출력 크기 계산

그림에는 4장에서 배운 합성곱(convolution) 이 잘 맞습니다. 인코더는 크기 4, 보폭(stride) 2 인 합성곱을 네 번 거치며 그림을 줄이고, 디코더는 전치 합성곱transposed convolution 으로 다시 키웁니다. Ha & Schmidhuber 의 구조를 흑백 1채널로 바꾼 것입니다. 층마다 크기가 어떻게 변하는지 직접 계산해 봅니다.

합성곱 · 전치 합성곱의 출력 크기
$$ \text{합성곱: } W_{\text{out}} = \left\lfloor \frac{W_{\text{in}} + 2P - K}{S} \right\rfloor + 1 $$
크기 $K$ 인 창을 가장자리(여백 $P$ 포함)에서 출발해 $S$ 칸씩 옮길 때, 창이 그림 밖으로 나가지 않고 놓일 수 있는 자리의 수입니다. 첫 자리 1개 + 남은 길이 $W_{\text{in}}+2P-K$ 안에서 $S$ 칸씩 몇 번 더 옮길 수 있는지($\lfloor\cdot\rfloor$ 는 내림).
$$ 64 \to \left\lfloor\tfrac{64-4}{2}\right\rfloor+1 = 31 \to \left\lfloor\tfrac{31-4}{2}\right\rfloor+1 = 14 \to \left\lfloor\tfrac{14-4}{2}\right\rfloor+1 = 6 \to \left\lfloor\tfrac{6-4}{2}\right\rfloor+1 = 2 $$
인코더: $K = 4,\ S = 2,\ P = 0$ 을 네 번. $\tfrac{27}{2} = 13.5$ 는 내려서 13 이 됩니다. 마지막에 256채널 × 2 × 2 = 1024개의 숫자가 남습니다.
$$ \text{전치 합성곱: } W_{\text{out}} = (W_{\text{in}} - 1)\,S - 2P + K $$
입력 칸 하나하나가 출력에 크기 $K$ 짜리 무늬를 찍는데, 이웃한 입력 칸은 출력에서 $S$ 칸씩 떨어진 자리에 찍습니다. 첫 무늬의 시작부터 마지막 무늬의 끝까지 길이를 세면 $(W_{\text{in}}-1)S + K$ 이고, 여백 $P$ 만큼 양쪽을 잘라 냅니다. 합성곱 공식을 $W_{\text{in}}$ 에 대해 거꾸로 푼 것과 같습니다.
$$ 1 \to (1-1)\cdot 2 + 5 = 5 \to 4\cdot 2 + 5 = 13 \to 12\cdot 2 + 6 = 30 \to 29\cdot 2 + 6 = 64 $$
디코더: $z$ 를 1024개로 늘려 1×1 크기의 1024채널 그림으로 보고, 크기 5, 5, 6, 6 · 보폭 2 의 전치 합성곱으로 정확히 64×64 를 만듭니다.
층설정출력 모양 (채널, 높이, 폭)매개변수 수
입력흑백 그림(1, 64, 64)—
합성곱 132채널, 4×4, 보폭 2, ReLU(32, 31, 31)1·32·16 + 32 = 544
합성곱 264채널, 4×4, 보폭 2, ReLU(64, 14, 14)32·64·16 + 64 = 32,832
합성곱 3128채널, 4×4, 보폭 2, ReLU(128, 6, 6)64·128·16 + 128 = 131,200
합성곱 4256채널, 4×4, 보폭 2, ReLU(256, 2, 2) → 펼침 1024128·256·16 + 256 = 524,544
μ, log σ²완전 연결 1024 → 32 (두 개)(32), (32)2 × (1024·32 + 32) = 65,600
디코더 입력완전 연결 32 → 1024(1024, 1, 1)32·1024 + 1024 = 33,792
전치 합성곱 1128채널, 5×5, 보폭 2, ReLU(128, 5, 5)1024·128·25 + 128 = 3,276,928
전치 합성곱 264채널, 5×5, 보폭 2, ReLU(64, 13, 13)128·64·25 + 64 = 204,864
전치 합성곱 332채널, 6×6, 보폭 2, ReLU(32, 30, 30)64·32·36 + 32 = 73,760
전치 합성곱 41채널, 6×6, 보폭 2 (로짓)(1, 64, 64)32·1·36 + 1 = 1,153

합성곱 층의 매개변수 수는 “입력 채널 × 출력 채널 × 창 크기 + 출력 채널(편향)” 입니다. 모두 더하면 약 435만 개이고, 그중 75% 가 디코더의 첫 전치 합성곱에 몰려 있습니다.

모델 코드


  

  

손실 함수


  
수식코드
$-\log p_\theta(x \mid z) = \sum_i \text{BCE}(x_i, \text{sigmoid}(\ell_i))$binary_cross_entropy_with_logits(logits, x, reduction="sum")
$\tfrac{1}{2}\sum_j(\mu_j^2 + \sigma_j^2 - 1 - \log\sigma_j^2)$0.5 * torch.sum(mu.pow(2) + logvar.exp() - 1.0 - logvar)
배치 평균 (그림 한 장당)/ batch
$-\text{ELBO} = \text{재구성} + \beta\cdot\text{KL}$recon + beta * kl (기본 $\beta = 1$)
팁 · 왜 “with_logits” 인가

시그모이드를 먼저 계산한 뒤 로그를 취하면, 로짓이 +20 처럼 클 때 $p$ 가 컴퓨터(float32)에서 정확히 1 이 되어 $\log(1-p) = \log 0 = -\infty$ 가 납니다(반대쪽도 로짓이 −100 안팎 아래로 내려가면 $p$ 가 정확히 0 이 되어 $\log p$ 가 터집니다). binary_cross_entropy_with_logits 는 $\log\text{sigmoid}(\ell) = -\log(1 + e^{-\ell})$ 을 직접, 안정한 방법으로 계산하므로 이런 일이 없습니다. “픽셀마다 합(sum)” 을 쓰는 점도 중요합니다. 픽셀에 대해 평균(mean)을 내면 재구성 항이 4096분의 1 로 작아져 KL 항이 상대적으로 4096배 강해지고, 그림이 흐려집니다.

학습 루프


  

4장의 학습 루프와 같은 모양입니다. 에폭마다 데이터 순서를 섞고(permutation), 128장씩 잘라 손실을 계산하고, backward() 로 기울기를 구하고, Adam 으로 한 스텝 갑니다. uint8 그림을 255 로 나눠 [0, 1] 로 바꾸는 일은 to_float 가 합니다.

$ python ch08_vae.py
장치: cuda
에피소드 200개, 그림 40200장 모음 (10.3초)
epoch  1 | -ELBO  282.76 = 재구성  255.74 + KL 27.03
epoch  2 | -ELBO  112.65 = 재구성   94.57 + KL 18.08
epoch  3 | -ELBO  105.07 = 재구성   90.51 + KL 14.56
…
epoch  9 | -ELBO   95.57 = 재구성   85.34 + KL 10.23
epoch 10 | -ELBO   95.95 = 재구성   85.72 + KL 10.23
VAE 학습 97.1초
차원별 평균 KL (큰 순서 5개): z[26]=2.55, z[2]=2.35, z[6]=2.23, z[14]=1.23, z[28]=0.76
KL > 0.05 인 '살아 있는' 차원: 7개 / 32개
재구성 항(BCE)의 이론적 바닥값: 그림당 79.9 내트
그림 저장: figures

이 튜토리얼을 쓴 환경(노트북 GPU)에서 VAE 학습 10 에폭은 다른 작업 없이 돌리면 약 30초, 다른 학습과 GPU 를 나눠 쓴 위 실행에서는 약 97초 걸렸고, 비교용 오토인코더까지 포함한 전체 실행은 2 – 4분이었습니다. CPU(4스레드)만 쓰면 한 스텝에 약 0.5초가 걸려 VAE 와 오토인코더를 합쳐 약 50분이 걸립니다. 기다리기 길면 --epochs 3 으로 줄여도 그림 모양은 거의 같습니다.

결과 읽기

학습 곡선

에폭에 따른 재구성 항과 KL 항의 변화
그림 8-4. 재구성 항(파랑, 왼쪽 축)과 KL 항(주황, 오른쪽 축). 처음에는 재구성이 급히 좋아지며 KL 이 크게 쓰이고, 그 뒤로는 재구성을 거의 유지한 채 KL 을 줄여 갑니다.

첫 에폭에 KL 이 27 내트까지 올랐다가 점점 10 근처로 내려갑니다. 처음에는 “일단 그림을 되살리자” 며 잠재 공간을 넉넉히 쓰고, 그 뒤 같은 재구성을 더 적은 정보로 하는 법을 찾는 것입니다. 재구성 항은 약 85 내트로, 앞에서 계산한 바닥값 약 80 내트에 가깝습니다. 남은 약 6 내트가 실제로 “덜 맞힌” 부분입니다.

참고 · KL 10 내트의 뜻

KL 항은 “그림 한 장이 $z$ 에 담는 정보량” 의 위쪽 경계로 볼 수 있습니다. 10 내트는 $10/\ln 2 \approx 14.4$ 비트입니다. 각도를 $2^{14} \approx 16{,}000$ 단계로 구분할 만큼의 정보로, 막대 각도 하나를 표현하기에 충분하고도 남습니다. 4096개 픽셀이 실은 14비트 남짓의 정보만 담고 있었던 셈입니다.

재구성

입력 그림 10장과 VAE, 오토인코더의 재구성
그림 8-5. 첫 줄: 입력 그림. 둘째 줄: VAE 가 평균 $\mu$ 로 되살린 그림. 셋째 줄: 같은 구조의 오토인코더. 둘 다 각도를 정확히 되살립니다.

몇 개의 차원을 쓰는가

잠재 차원 32개 각각의 평균 KL 막대그래프
그림 8-6. 잠재 차원별 평균 KL. 32개 중 몇 개만 정보를 담고, 나머지는 KL ≈ 0 입니다.

차원별 KL 이 0 이라는 것은 그 차원에 대해 모든 그림의 $q_\phi(z_j \mid x)$ 가 사전 분포 $\Normal(0, 1)$ 과 똑같다는 뜻입니다. 즉 그 차원은 그림에 대해 아무 정보도 담지 않습니다. VAE 는 KL 벌점 때문에 “꼭 필요한 차원만 쓰고 나머지는 꺼 두는” 쪽을 택합니다. 32개 중 7개만 쓰였습니다(실행마다 6 – 8개 정도로 조금씩 다릅니다).

진자 그림의 자유도는 각도 하나인데 왜 1개가 아닐까요? 각도는 한 바퀴 돌면 제자리로 오는 원 위의 값이라, 끊김 없이 표현하려면 최소 2차원(원)이 필요합니다. 또 인코더 · 디코더가 유한한 신경망이라 원을 깔끔한 원 모양으로 펴지 못하고 몇 차원에 걸쳐 구부러진 고리로 표현합니다. VAE 가 찾는 표현은 “깔끔한” 표현이 아니라 ELBO 를 높이는 표현입니다.

잠재 공간의 모양: VAE vs 오토인코더

VAE 와 오토인코더의 잠재 벡터를 주성분 2개로 비춰 정답 각도로 칠한 산점도
그림 8-7. 그림 4,000장의 잠재 벡터를 주성분 분석(PCA)으로 2차원에 비춰 보고 정답 각도 로 칠했습니다. 왼쪽 VAE, 오른쪽 오토인코더. 제목의 숫자는 32개 성분 가운데 절댓값이 가장 큰 값(VAE 약 3, 오토인코더 약 36)입니다. 축의 눈금은 여러 성분을 합친 주성분 방향으로 잰 값이라 그보다 클 수 있습니다(오토인코더는 ±60 안팎).

두 모델 모두 각도를 따라 색이 연속으로 바뀌는 닫힌 고리 를 만들었습니다. 아무도 각도를 알려 주지 않았는데, 그림만 보고 “이 데이터는 원 위에 있다” 는 것을 찾아낸 것입니다. 차이는 크기 입니다. VAE 의 좌표는 ±3 안쪽, 곧 $\Normal(0, I)$ 가 주로 놓이는 범위에 있고, 오토인코더의 좌표는 주성분 축으로 ±60 까지(성분 하나로는 최대 36) 아무렇게나 퍼져 있습니다. (VAE 쪽 고리가 꼬여 보이는 것은 7차원 남짓한 공간의 고리를 2차원에 비춘 그림자이기 때문입니다.)

잠재 공간 순회

정보가 많은 잠재 차원 세 개를 -3 부터 3 까지 바꾸며 디코딩한 그림
그림 8-8. 잠재 공간 순회(latent traversal). 정보가 가장 많은 세 차원을 한 줄에 하나씩 골라, 다른 차원은 0 에 두고 그 차원 하나만 −3 에서 3 까지 바꾸며 디코딩했습니다.

한 차원을 움직이면 막대가 돌아갑니다. 다만 한 차원이 “각도” 하나에 깔끔하게 대응하지는 않습니다. 중간에서 막대가 흐려지거나 두 각도가 겹쳐 보이기도 합니다. 고리 모양의 데이터를 여러 축에 나눠 담았으므로, 축 하나만 움직이면 고리에서 벗어난 곳을 지나기 때문입니다. 각 차원이 사람이 이해할 수 있는 한 가지 성질만 맡도록 하는 것을 분리 표현disentanglement 이라고 하는데, 보통의 VAE 는 이것을 보장하지 않습니다.

새 그림 만들기: 사전 분포에서 뽑기

정규 분포에서 뽑은 잠재 벡터를 VAE 와 오토인코더로 디코딩한 그림
그림 8-9. $z \sim \Normal(0, I)$ 를 뽑아 디코딩. VAE(첫 줄)는 대부분 그럴듯한 진자를 만들고, 오토인코더(둘째 줄)는 의미 없는 얼룩을 만듭니다. 셋째 줄(AE*)은 오토인코더의 $z$ 를 차원마다 실제 평균 · 표준편차에 맞춰 뽑은 것입니다.

이 그림이 VAE 를 쓰는 이유를 가장 잘 보여 줍니다. VAE 의 디코더는 $\Normal(0, I)$ 에서 뽑은 거의 모든 $z$ 에서 진자 그림을 만듭니다(가끔 흐리거나 두 막대가 겹친 그림도 나옵니다). 오토인코더는 크기가 맞지 않는 $z$ 를 받아 엉뚱한 얼룩을 만들고, 크기를 맞춰 줘도(AE*) 여전히 이상한 그림이 많습니다. 오토인코더의 데이터는 넓은 공간 속 가느다란 고리 위에만 있는데, 차원마다 따로 뽑은 점은 대부분 그 고리에서 벗어나기 때문입니다. 9장의 M 모델은 잠재 공간에서 계속 새 $z$ 를 뽑으며 미래를 상상하므로, 이 차이가 곧 “상상이 되는 눈” 과 “안 되는 눈” 의 차이입니다.

β-VAE 와 KL 가중치

손실에 KL 항의 가중치 $\beta$ 를 붙인 것을 β-VAEbeta-VAE 라고 합니다(Higgins 외, 2017).

$$ \mathcal{L}_\beta = \E_{q_\phi}\big[-\log p_\theta(x \mid z)\big] + \beta\,\KL\big(q_\phi(z \mid x)\,\|\,p(z)\big) $$

$\beta$ 가 임의로 붙인 숫자처럼 보이지만, 가우시안 디코더의 분산 $s^2$ 과 정확히 같은 역할을 합니다.

가우시안 디코더의 분산 $s^2$ 은 β 와 같다
$$ -\text{ELBO} = \frac{1}{2s^2}\,\E_{q_\phi}\big\lVert x - \hat{x}\big\rVert^2 + \KL + \text{상수} $$
앞에서 유도한 가우시안 디코더의 음의 로그 가능도를 −ELBO 에 넣었습니다. 상수는 $\frac{D}{2}\log(2\pi s^2)$ 입니다.
$$ 2s^2 \cdot (-\text{ELBO}) = \E_{q_\phi}\big\lVert x - \hat{x}\big\rVert^2 + 2s^2\,\KL + \text{상수}' $$
양변에 양수 $2s^2$ 을 곱했습니다. 양수를 곱해도 최솟값이 되는 위치($\theta, \phi$)는 바뀌지 않습니다.
$$ \beta = 2s^2 $$
제곱 오차를 쓰는 β-VAE 와 정확히 같은 꼴입니다. 디코더가 “픽셀 오차는 원래 $s$ 정도 있다” 고 크게 가정할수록 재구성을 덜 중요하게 보고 KL 을 더 중요하게 봅니다.

그래서 MSE 를 “픽셀 평균” 으로 쓰느냐 “픽셀 합” 으로 쓰느냐만 바꿔도 사실상 $\beta$ 가 4096배 바뀝니다. 손실을 고칠 때는 이 점을 늘 의식해야 합니다.

사후 붕괴와 대처법

KL 항이 너무 강하거나 디코더가 너무 강하면, 인코더가 모든 그림에 대해 $q_\phi(z \mid x) = \Normal(0, I)$ 를 내고(KL = 0) 디코더는 $z$ 를 무시한 채 “평균적인 그림” 만 내는 상태에 빠질 수 있습니다. 이것을 사후 붕괴posterior collapse 라고 합니다. 그림 8-6 에서 꺼진 25개 차원은 “차원 단위의 부분적인 붕괴” 이고, 정보가 필요 없어서 꺼진 것이므로 괜찮습니다. 문제는 모든 차원이 꺼질 때입니다.

9장을 위한 준비물

코드는 실행이 끝나면 두 파일을 남깁니다. 9 · 10장은 이 두 파일에서 출발합니다.

파일내용쓰는 곳
ch08_vae.pt학습한 VAE (load_vae() 로 불러온다)9장: 에피소드를 $z$ 시퀀스로 바꾸기, 꿈 그림 그리기. 10장: 진짜 환경의 그림을 $z$ 로
ch08_episodes.npz200 에피소드의 그림 · 행동 · 보상 · (확인용) 정답 상태9장: MDN-RNN 학습 데이터
이 장의 정리

확인 문제

문제 1 · KL 계산

$q = \Normal(1, 0.25)$ (즉 $\mu = 1$, $\sigma = 0.5$)일 때 $\KL(q\,\|\,\Normal(0,1))$ 을 계산하세요. ($\log 0.25 \approx -1.386$)

답 보기

$\tfrac{1}{2}(\mu^2 + \sigma^2 - 1 - \log\sigma^2) = \tfrac{1}{2}(1 + 0.25 - 1 + 1.386) = \tfrac{1}{2}(1.636) \approx 0.818$ 내트.

문제 2 · ELBO 와 간격

어떤 그림에 대해 $\log p_\theta(x) = -90$ 이고 ELBO 가 $-95$ 라면, $\KL(q_\phi(z\mid x)\,\|\,p_\theta(z\mid x))$ 는 얼마입니까? 인코더만 학습해서 ELBO 를 $-92$ 로 올리면 무엇이 바뀝니까?

답 보기

$\log p = \text{ELBO} + \KL$ 이므로 KL = $-90 - (-95) = 5$. 인코더($\phi$)만 바꾸면 $\log p_\theta(x)$ 는 그대로 $-90$ 이므로 KL 이 $5 \to 2$ 로 줄어듭니다. 근사 사후 분포가 진짜 사후 분포에 가까워진 것입니다.

문제 3 · 재매개변수화

$z = \mu + \sigma\epsilon$ 일 때 $f(z) = 3z + 1$ 의 기댓값을 $\mu$, $\sigma$ 로 미분하세요. 재매개변수화 공식 $\E_\epsilon[f'(z)]$, $\E_\epsilon[f'(z)\,\epsilon]$ 로도 같은 답이 나오는지 확인하세요.

답 보기

$\E[f(z)] = 3\mu + 1$ 이므로 $\partial/\partial\mu = 3$, $\partial/\partial\sigma = 0$. 공식으로는 $f'(z) = 3$ 이므로 $\E[3] = 3$, $\E[3\epsilon] = 3\E[\epsilon] = 0$. 같습니다. (선형 함수의 기댓값은 분산과 상관없습니다.)

문제 4 · 출력 크기

입력이 96×96 이면 이 장의 인코더(크기 4, 보폭 2, 여백 0 합성곱 네 번)를 거친 뒤의 크기는 얼마입니까? 펼친 벡터의 길이는?

답 보기

$96 \to \lfloor 92/2\rfloor + 1 = 47 \to \lfloor 43/2\rfloor + 1 = 22 \to \lfloor 18/2\rfloor + 1 = 10 \to \lfloor 6/2\rfloor + 1 = 4$. 256채널 × 4 × 4 = 4096. 그래서 fc_mu 와 fc_logvar 의 입력 크기를 1024 에서 4096 으로 바꿔야 합니다. (디코더는 그대로 두면 여전히 64×64 를 내므로, 96×96 을 되살리려면 디코더의 전치 합성곱도 고쳐야 합니다.)

문제 5 · 손실 크기의 함정

재구성 손실을 픽셀에 대한 합(reduction="sum") 대신 픽셀에 대한 평균으로 바꾸면(그림 한 장당 4096 으로 나눔, KL 은 그대로) 결과가 어떻게 달라질까요? 이것은 어떤 β 를 쓴 것과 같습니까?

답 보기

재구성 항이 픽셀 수 4096 으로 나눠지므로, 손실 전체에 4096 을 곱해 보면 “재구성(합) + 4096 × KL” 과 같습니다. 즉 $\beta = 4096$ 인 β-VAE 가 되어, 대부분의 차원이 꺼지고 그림이 크게 흐려집니다. (이 장의 vae_loss 에서 글자 그대로 reduction="mean" 으로만 바꾸면 배치 크기로도 한 번 더 나뉩니다. 뒤의 / batch 를 함께 지워야 위 계산과 같아집니다.)

직접 바꿔 보기

python ch08_vae.py --beta 4 와 --beta 0.25 로 돌려 그림 8-6(차원별 KL)과 그림 8-9(표본)이 어떻게 바뀌는지 보세요. $\beta$ 가 클수록 살아 있는 차원 수가 줄고 표본이 흐려지며, 작을수록 차원이 늘고 표본 중 이상한 그림이 많아질 것입니다.

이제 에이전트에게 눈 이 생겼습니다. 그림 한 장을 32개의 숫자로 요약할 수 있습니다. 하지만 그림 한 장으로는 진자가 얼마나 빨리 도는지 알 수 없습니다. 다음 장에서는 지나간 장면들을 기억하며 다음 $z$ 를 예측하는 기억(MDN-RNN) 을 만듭니다.