CHAPTER 03

수학 ② 정보 이론과 KL 발산

VAE(8장), RSSM(11장), Dreamer(12장)의 손실 함수에는 빠짐없이 KL 발산 이 들어 있습니다. 두 확률 분포가 얼마나 다른지를 재는 값이죠. 이 장에서는 “놀람의 양” 이라는 직관에서 출발해 엔트로피, 교차 엔트로피, KL 발산을 차례로 유도하고, KL 이 왜 항상 0 이상인지, 두 가우시안 사이의 KL 이 왜 그런 식인지를 한 줄도 건너뛰지 않고 풀어 봅니다.

읽는 시간 약 80분난이도 ★★★☆☆코드: code/ch03_information.py
이 장에서 배우는 것

왜 정보 이론인가

2장에서 모델을 데이터에 맞추는 원리(최대우도)를 배웠습니다. World Model 을 만들다 보면 이것 말고도 “두 분포를 가깝게 만들고 싶다” 는 상황이 계속 나옵니다.

이때 “두 분포가 얼마나 다른가” 를 재는 표준 도구가 KL 발산이고, 그 뿌리가 1948년 클로드 섀넌(Claude Shannon)이 세운 정보 이론 입니다.

놀람의 양: 정보량

“내일 해가 동쪽에서 뜬다” 는 소식은 아무 정보가 없습니다. 당연하니까요. “내일 서울에 눈이 1미터 온다” 는 엄청난 정보입니다. 거의 일어나지 않는 일이니까요. 직관적으로 드문 사건일수록 그 사건이 일어났다는 소식은 더 놀랍고, 더 많은 정보를 담고 있습니다. 확률 $p$ 인 사건이 일어났을 때의 놀람, 곧 정보량information content, surprisal 을 $I(p)$ 라고 할 때, 다음 세 가지를 바랍니다.

  1. 확실한 사건($p = 1$)은 놀랍지 않다: $I(1) = 0$.
  2. 드물수록 더 놀랍다: $p$ 가 작아지면 $I(p)$ 가 커진다.
  3. 독립인 두 사건이 함께 일어나면 놀람은 더해진다: $I(p_1 p_2) = I(p_1) + I(p_2)$. 동전 앞면과 주사위 6 이 함께 나왔다는 소식의 놀람은 각각의 놀람의 합이어야 자연스럽습니다(독립이면 함께 일어날 확률은 곱 $p_1 p_2$).

놀랍게도 이 세 조건만으로 $I$ 의 꼴이 정해집니다.

I(xy) = I(x) + I(y) 를 만족하는 함수 찾기
$$ I(xy) = I(x) + I(y) \qquad (0 \lt x, y \le 1) $$
조건 3 을 $x = p_1$, $y = p_2$ 로 씁니다. $I$ 는 매끄럽게 변하는(미분 가능한) 함수라고 가정합니다.
$$ x\, I'(xy) = I'(y) $$
양변을 $y$ 로 미분합니다. 왼쪽은 연쇄 법칙으로 $I'(xy) \times \frac{\partial (xy)}{\partial y} = I'(xy)\,x$, 오른쪽에서 $I(x)$ 는 $y$ 와 무관해 0.
$$ x\, I'(x) = I'(1) =: -c $$
$y = 1$ 을 넣습니다. $I'(1)$ 은 그냥 하나의 숫자이므로 $-c$ 라고 이름 붙입니다. 조건 2(감소 함수)에서 기울기가 음수이므로 $c \gt 0$.
$$ I'(x) = -\frac{c}{x} \;\Rightarrow\; I(x) = -c\log x + C $$
양변을 $x$ 로 나누고 적분합니다. $\frac{1}{x}$ 의 원시함수는 $\log x$ 입니다($\frac{d}{dx}\log x = \frac1x$). $C$ 는 적분 상수.
$$ I(p) = -c\,\log p \qquad (C = 0) $$
조건 1: $I(1) = -c\log 1 + C = C = 0$. 그래서 정보량은 음의 로그 확률 입니다. $c$ 는 단위를 정할 뿐입니다.

$c = 1$ 이고 자연로그를 쓰면 단위는 내트(nat), 밑이 2 인 로그를 쓰면 bit(비트)입니다($\log_2 p = \log p / \log 2$ 이므로 $c = 1/\log 2$). 이 튜토리얼은 자연로그(내트)를 씁니다.

사건의 확률 $p$정보량 (내트) $-\log p$정보량 (bit) $-\log_2 p$
1 (확실)00
1/2 (동전 앞면)0.6931
1/82.0793
0.014.6056.644

“공정한 동전 한 번의 결과 = 1 비트” 라는 익숙한 말이 여기서 나옵니다. 그리고 2장의 NLL $-\log p_\theta(x)$ 는 “모델이 데이터를 보고 느끼는 놀람” 이었던 것입니다. 최대우도 학습은 모델이 실제 데이터에 덜 놀라도록 만드는 일입니다.

엔트로피: 평균 놀람

분포 $p$ 에서 결과가 나올 때마다 놀람 $-\log p(x)$ 를 느낀다면, 평균적으로 얼마나 놀랄까요? 이 기댓값이 엔트로피entropy 입니다.

$$ H(p) = \E_{x \sim p}[-\log p(x)] = -\sum_x p(x)\log p(x) $$

엔트로피는 “결과가 얼마나 예측하기 어려운가”, 곧 분포의 불확실성 을 잽니다. 확률이 0 인 결과는 $0 \cdot \log 0$ 이 되는데, 이것은 0 으로 칩니다. $p$ 가 0 에 가까워질 때 $p\log p$ 가 0 으로 가기 때문입니다: $0.1\log 0.1 = -0.230$, $0.01\log 0.01 = -0.046$, $0.001\log 0.001 = -0.0069$, … → 0. (로그는 $-\infty$ 로 가지만 앞의 $p$ 가 그보다 빨리 0 이 됩니다.)

동전의 엔트로피

앞면 확률이 $p$ 인 동전의 엔트로피는

$$ H(p) = -p\log p - (1 - p)\log(1 - p) $$

$p = 0.5$ 에서 정말 가장 큰지 미분으로 확인합니다.

동전의 엔트로피는 p = 1/2 에서 최대
$$ \frac{d}{dp}\big(p\log p\big) = \log p + p\cdot\frac{1}{p} = \log p + 1 $$
곱의 미분: $(uv)' = u'v + uv'$ 에서 $u = p$, $v = \log p$.
$$ \frac{d}{dp}\big((1-p)\log(1-p)\big) = -\log(1 - p) - 1 $$
위 결과에 $p$ 대신 $1 - p$ 를 넣고, 연쇄 법칙으로 $\frac{d(1-p)}{dp} = -1$ 을 곱합니다.
$$ H'(p) = -(\log p + 1) + (\log(1-p) + 1) = \log\frac{1 - p}{p} $$
$H = -p\log p - (1-p)\log(1-p)$ 이므로 두 미분에 각각 $-$ 를 붙여 더합니다. $+1$ 과 $-1$ 이 지워집니다.
$$ H'(p) = 0 \;\Leftrightarrow\; \frac{1-p}{p} = 1 \;\Leftrightarrow\; p = \frac12 $$
$\log t = 0$ 은 $t = 1$ 일 때입니다.
$$ H''(p) = -\frac{1}{p} - \frac{1}{1-p} \lt 0 \;\Rightarrow\; H\!\left(\tfrac12\right) = \log 2 \text{ 가 최대} $$
$H' = \log(1-p) - \log p$ 를 한 번 더 미분하면 늘 음수이므로 위로 볼록한 산 모양이고, 기울기 0 인 점이 꼭대기입니다.
앞면 확률 p 에 따른 동전의 엔트로피 곡선. p=0.5 에서 최대 log 2
그림 3-1. 동전의 엔트로피. 반반일 때 가장 불확실하고(log 2 = 0.693), 한쪽으로 치우칠수록 0 으로 떨어집니다.

일반적으로 결과가 $K$ 가지인 분포의 엔트로피는 균등 분포일 때 최대 이고 그 값은 $\log K$ 입니다. 이것은 뒤에서 KL 의 성질로 아주 짧게 증명합니다.

연속 분포의 엔트로피: 가우시안

연속 분포에서는 합 대신 적분으로 $H(p) = -\int p(x)\log p(x)\,dx$ 를 씁니다(미분 엔트로피라고 부릅니다). 가우시안의 엔트로피를 구해 봅시다. 12장 Dreamer 의 행동 분포 엔트로피 계산이 이 식에서 출발합니다(거기서는 행동을 $\tanh$ 로 누르는 데 따른 보정 항이 하나 더 붙습니다).

가우시안 N(μ, σ²) 의 엔트로피
$$ H = \E_{x \sim \Normal(\mu,\sigma^2)}\Big[-\log\Normal(x;\mu,\sigma^2)\Big] = \E\left[\frac12\log(2\pi) + \log\sigma + \frac{(x-\mu)^2}{2\sigma^2}\right] $$
2장의 로그 밀도 공식에 $-$ 를 붙여 넣었습니다.
$$ = \frac12\log(2\pi) + \log\sigma + \frac{\E[(x - \mu)^2]}{2\sigma^2} $$
기댓값의 선형성. 앞의 두 항은 상수입니다.
$$ = \frac12\log(2\pi) + \log\sigma + \frac{\sigma^2}{2\sigma^2} = \frac12\log(2\pi) + \log\sigma + \frac12 $$
$\E[(x-\mu)^2]$ 은 분산의 정의 그 자체이므로 $\sigma^2$.
$$ H\big(\Normal(\mu, \sigma^2)\big) = \frac12\log(2\pi e\,\sigma^2) $$
$\log\sigma = \frac12\log\sigma^2$, $\frac12 = \frac12\log e$ 를 써서 세 로그를 하나로 합쳤습니다. 평균 $\mu$ 와는 무관하고 퍼짐 $\sigma$ 가 클수록 커집니다.

$\sigma = 1$ 이면 $\frac12\log(2\pi e) = 1.419$ 내트, $\sigma = 0.1$ 이면 $1.419 + \log 0.1 = -0.884$ 내트입니다. 미분 엔트로피는 음수일 수 있습니다(밀도가 1 을 넘을 수 있으니 $-\log p$ 가 음수일 수 있음).

교차 엔트로피

실제 결과는 분포 $p$ 에서 나오는데, 우리는 그것이 분포 $q$ 라고 믿고 있다고 합시다. 그러면 결과 $x$ 를 볼 때마다 우리가 느끼는 놀람은 $-\log q(x)$ 이고, 그 평균은 실제 분포 $p$ 로 냅니다. 이것이 교차 엔트로피cross-entropy 입니다.

$$ H(p, q) = \E_{x \sim p}[-\log q(x)] = -\sum_x p(x)\log q(x) $$

숫자 예로 진짜 분포 $p = (0.5, 0.3, 0.2)$, 모델 $q = (0.4, 0.4, 0.2)$ 를 씁니다.

H(p) 와 H(p, q) 계산
$$ H(p) = -(0.5\log 0.5 + 0.3\log 0.3 + 0.2\log 0.2) = 0.3466 + 0.3612 + 0.3219 = 1.0297 $$
$\log 0.5 = -0.6931$, $\log 0.3 = -1.2040$, $\log 0.2 = -1.6094$ 를 각각 확률과 곱합니다.
$$ H(p, q) = -(0.5\log 0.4 + 0.3\log 0.4 + 0.2\log 0.2) = 0.4581 + 0.2749 + 0.3219 = 1.0549 $$
로그 안에는 모델 $q$ 의 확률, 가중치에는 진짜 $p$ 의 확률. $\log 0.4 = -0.9163$. 틀린 믿음 때문에 평균 놀람이 $1.0297$ 에서 $1.0549$ 로 커졌습니다.

2장의 분류 손실 “교차 엔트로피” 가 바로 이것입니다. 정답이 범주 $y$ 라는 것은 진짜 분포 $p$ 가 $y$ 에만 1 을 준 분포(원-핫)라는 뜻이고, 그러면 $H(p, q) = -1 \cdot \log q(y) = -\log q(y)$, 곧 범주형 NLL 이 됩니다.

KL 발산: 두 분포의 차이

틀린 믿음 $q$ 때문에 더 놀란 양, 곧 교차 엔트로피에서 엔트로피를 뺀 것을 KL 발산Kullback–Leibler divergence 이라고 합니다. 1951년 쿨백(Kullback)과 라이블러(Leibler)가 정의했습니다.

KL(p ‖ q) = H(p, q) − H(p)
$$ H(p, q) - H(p) = -\sum_x p(x)\log q(x) + \sum_x p(x)\log p(x) $$
두 정의를 그대로 씁니다. $-H(p)$ 이므로 부호가 바뀝니다.
$$ = \sum_x p(x)\big(\log p(x) - \log q(x)\big) $$
같은 $\sum_x p(x)(\cdot)$ 로 묶습니다.
$$ \KL(p \,\|\, q) = \sum_x p(x)\log\frac{p(x)}{q(x)} = \E_{x \sim p}\!\left[\log\frac{p(x)}{q(x)}\right] $$
$\log a - \log b = \log(a/b)$. 연속 분포라면 합 대신 적분입니다. 읽는 법: “$p$ 에서 $q$ 로의 KL” 또는 “$p$ 와 $q$ 의 KL”.

앞의 예에서 $\KL(p \,\|\, q) = 1.05492 - 1.02965 = 0.0253$ 입니다. 정의대로 직접 계산해도 같습니다: $0.5\log\frac{0.5}{0.4} + 0.3\log\frac{0.3}{0.4} + 0.2\log\frac{0.2}{0.2} = 0.1116 - 0.0863 + 0 = 0.0253$. 순서를 바꾸면 $\KL(q \,\|\, p) = 0.4\log\frac{0.4}{0.5} + 0.4\log\frac{0.4}{0.3} + 0 = -0.0893 + 0.1151 = 0.0258$ 로 값이 다릅니다. KL 은 대칭이 아닙니다.


  
[엔트로피] 앞면 확률  0.5: H = 0.6931 내트 = 1.0000 bit
[엔트로피] 앞면 확률  0.9: H = 0.3251 내트 = 0.4690 bit
[엔트로피] 앞면 확률 0.99: H = 0.0560 내트 = 0.0808 bit
[이산] H(p) = 1.0297,  H(p,q) = 1.0549
[이산] KL(p‖q) = 0.0253,  H(p,q) - H(p) = 0.0253
[이산] KL(q‖p) = 0.0258   ← 순서를 바꾸면 값이 다르다 (비대칭)
[이산] 균등 분포 3칸의 엔트로피 = 1.0986 = log 3 = 1.0986

코드의 mask = p > 0 은 $p(x) = 0$ 인 항을 빼는 줄입니다. $0 \cdot \log(0/q) = 0$ 으로 치는 약속을 구현한 것입니다.

KL 의 성질 (먼저 결과만)

  1. 늘 0 이상: $\KL(p \,\|\, q) \ge 0$. 같은 분포일 때만 0. (곧 증명합니다.)
  2. 비대칭: 일반적으로 $\KL(p \,\|\, q) \ne \KL(q \,\|\, p)$. 그래서 “거리(distance)” 가 아니라 “발산(divergence)” 이라고 부릅니다.
  3. $q$ 가 0 인 곳에 $p$ 가 있으면 무한대: $p(x) \gt 0$, $q(x) = 0$ 이면 $\log(p/0) = \infty$. “일어날 수 있는 일을 불가능하다고 믿은” 대가입니다.

최대우도는 KL 최소화다

2장의 최대우도와 KL 을 연결하는 아주 중요한 사실이 있습니다. 데이터를 만든 진짜 분포를 $p_{\text{data}}$, 모델을 $p_\theta$ 라고 합시다.

KL(p_data ‖ p_θ) 최소화 = 로그 가능도 최대화
$$ \KL(p_{\text{data}} \,\|\, p_\theta) = \E_{x \sim p_{\text{data}}}[\log p_{\text{data}}(x)] - \E_{x \sim p_{\text{data}}}[\log p_\theta(x)] $$
KL 의 정의에서 $\log\frac{a}{b} = \log a - \log b$ 로 나누고 선형성으로 기댓값을 둘로 나눕니다.
$$ = -H(p_{\text{data}}) - \E_{x \sim p_{\text{data}}}[\log p_\theta(x)] $$
첫 항은 데이터 분포의 엔트로피에 $-$ 를 붙인 것으로, 모델 $\theta$ 와 무관한 상수 입니다.
$$ \argmin_\theta \KL(p_{\text{data}} \,\|\, p_\theta) = \argmax_\theta \E_{x \sim p_{\text{data}}}[\log p_\theta(x)] $$
상수는 최적 위치에 영향이 없고, $-(\cdot)$ 의 최소화는 $(\cdot)$ 의 최대화입니다.
$$ \approx \argmax_\theta \frac{1}{N}\sum_{i=1}^N \log p_\theta(x_i) $$
진짜 분포에 대한 기댓값은 알 수 없으니 데이터 $N$ 개의 평균으로 몬테카를로 추정합니다(2장). 이것이 정확히 평균 로그 가능도, 곧 최대우도입니다.
핵심

최대우도 학습 = 모델 분포를 데이터 분포 쪽으로 KL 이 작아지게 끌어당기는 것 이고, 그 KL 의 방향은 $\KL(p_{\text{data}} \,\|\, p_\theta)$ (데이터가 앞) 입니다. 이 방향이 어떤 성격을 갖는지는 뒤의 “forward / reverse KL” 에서 봅니다.

볼록 함수와 젠센 부등식

KL 이 왜 늘 0 이상인지 증명하려면, 그리고 8장의 ELBO 를 유도하려면 젠센 부등식Jensen's inequality 이 필요합니다. 먼저 볼록 함수부터 정의합니다.

함수 $f$ 가 볼록convex 하다는 것은 그래프 위의 두 점을 이은 선분(현)이 늘 그래프 위 에 있다는 뜻입니다. 두 점 $a, b$ 와 섞는 비율 $w \in [0, 1]$ 에 대해

$$ f\big(w\,a + (1 - w)\,b\big) \;\le\; w\,f(a) + (1 - w)\,f(b) $$

왼쪽은 “두 점을 섞은 곳에서의 함숫값”(곡선 위의 점), 오른쪽은 “함숫값을 섞은 것”(현 위의 점)입니다. 그릇처럼 아래로 볼록한(밑이 둥근) 모양을 떠올리면 됩니다. 반대로 현이 늘 그래프 아래 에 있으면 오목concave 하다고 하고 부등호가 뒤집힙니다.

두 번 미분할 수 있는 함수는 $f''(x) \ge 0$ 이면 볼록, $f''(x) \le 0$ 이면 오목입니다(기울기가 줄지 않으면 곡선이 현 위로 올라갈 수 없어 그릇 모양이 됩니다. 엄밀한 증명은 평균값 정리를 쓰며 여기서는 생략합니다). 예를 들면

두 점에 대한 정의를 여러 점으로 넓히면 젠센 부등식이 됩니다.

두 점에서 세 점으로: f(Σ wᵢxᵢ) ≤ Σ wᵢ f(xᵢ)
$$ w_1 x_1 + w_2 x_2 + w_3 x_3 = w_1 x_1 + (1 - w_1)\,m, \qquad m := \frac{w_2 x_2 + w_3 x_3}{1 - w_1} $$
가중치 $w_i \ge 0$, $w_1 + w_2 + w_3 = 1$ 이라 합시다. ($w_1 = 1$ 이면 나머지 가중치가 0 이라 양변이 똑같이 $f(x_1)$ 이므로, $w_1 \lt 1$ 인 경우만 보면 됩니다.) 뒤의 두 항을 $1 - w_1 = w_2 + w_3$ 으로 묶어 “두 점 $x_1$ 과 $m$ 을 섞은 것” 으로 봅니다.
$$ f(w_1 x_1 + (1-w_1)\,m) \le w_1 f(x_1) + (1 - w_1)\,f(m) $$
두 점($x_1$, $m$)에 대한 볼록성의 정의를 씁니다.
$$ f(m) = f\!\left(\frac{w_2}{1 - w_1}x_2 + \frac{w_3}{1 - w_1}x_3\right) \le \frac{w_2}{1 - w_1}f(x_2) + \frac{w_3}{1 - w_1}f(x_3) $$
$\frac{w_2}{1-w_1} + \frac{w_3}{1-w_1} = \frac{w_2 + w_3}{1 - w_1} = 1$ 이므로 $m$ 도 두 점을 섞은 것입니다. 다시 두 점 정의를 씁니다.
$$ f(w_1 x_1 + w_2 x_2 + w_3 x_3) \le w_1 f(x_1) + w_2 f(x_2) + w_3 f(x_3) $$
셋째 줄을 둘째 줄에 넣으면 $(1 - w_1)$ 이 분모와 지워집니다. 같은 방법을 되풀이하면 점이 몇 개든 성립합니다(수학적 귀납법).

가중치 $w_i$ 를 확률 $p(x_i)$ 로 보면 $\sum_i w_i x_i = \E[X]$, $\sum_i w_i f(x_i) = \E[f(X)]$ 이므로, 젠센 부등식은 다음과 같이 쓸 수 있습니다(연속 분포도 같습니다).

$$ \text{볼록 } f: \quad f(\E[X]) \le \E[f(X)], \qquad\qquad \text{오목 } f: \quad f(\E[X]) \ge \E[f(X)] $$

특히 $\log$ 는 오목하므로

$$ \log \E[X] \;\ge\; \E[\log X] $$

이 한 줄이 이 장과 8장에서 가장 많이 쓰는 부등식입니다.

볼록 함수 -log x 위의 두 점을 이은 현과, 평균에서의 함숫값이 현보다 아래에 있는 모습
그림 3-2. 볼록 함수 $f(x) = -\log x$ 에서 두 점 $a = 0.5$, $b = 2.5$ 를 4:6 으로 섞은 경우. 평균에서의 함숫값 $f(\E[x])$(초록)가 함숫값의 평균 $\E[f(x)]$(빨강, 현 위)보다 늘 아래에 있습니다.

  
[젠센] log E[X] = 0.2233  ≥  E[log X] = 0.1554
[젠센] (E[X])² = 0.0000  ≤  E[X²] = 0.9981   (x² 는 볼록)

$X$ 가 0.5 와 2 사이의 균등 분포면 손으로도 확인할 수 있습니다: $\E[X] = 1.25$ 이므로 $\log 1.25 = 0.2231$. $\E[\log X] = \frac{1}{1.5}\int_{0.5}^{2}\log x\,dx = \frac{1}{1.5}\big[x\log x - x\big]_{0.5}^{2} = \frac{(1.3863 - 2) - (-0.3466 - 0.5)}{1.5} = 0.1553$. 둘째 줄은 2장의 “분산 ≥ 0, 곧 $\E[X^2] \ge (\E[X])^2$” 와 같은 이야기입니다($x^2$ 이 볼록).

KL 은 왜 항상 0 이상인가

두 가지 방법으로 증명합니다. 둘 다 짧지만, 각각 다른 도구를 보여 줍니다.

증명 1: 젠센 부등식으로
$$ -\KL(p \,\|\, q) = \sum_{x:\,p(x) \gt 0} p(x)\log\frac{q(x)}{p(x)} = \E_{x \sim p}\!\left[\log\frac{q(x)}{p(x)}\right] $$
$-\log\frac{p}{q} = \log\frac{q}{p}$. 합은 $p(x) \gt 0$ 인 곳만 돕니다($p = 0$ 인 항은 0).
$$ \le \log \E_{x \sim p}\!\left[\frac{q(x)}{p(x)}\right] $$
$\log$ 는 오목하므로 젠센 부등식 $\E[\log Y] \le \log\E[Y]$, 여기서 $Y = q(x)/p(x)$.
$$ = \log \sum_{x:\,p(x) \gt 0} p(x)\,\frac{q(x)}{p(x)} = \log\sum_{x:\,p(x) \gt 0} q(x) $$
기댓값을 합으로 풀면 $p(x)$ 가 분모와 지워집니다.
$$ \le \log 1 = 0 \quad\Longrightarrow\quad \KL(p \,\|\, q) \ge 0 $$
$q$ 의 일부 칸만 더했으니 1 이하이고, $\log$ 는 증가 함수라 $\log(\text{1 이하}) \le 0$. 양변에 $-1$ 을 곱하면 부등호가 뒤집혀 KL ≥ 0.
증명 2: log t ≤ t − 1 로
$$ g(t) = t - 1 - \log t, \qquad g'(t) = 1 - \frac{1}{t}, \qquad g''(t) = \frac{1}{t^2} \gt 0 $$
먼저 보조 부등식을 증명합니다. $t \gt 0$ 에서 정의된 $g$ 를 미분합니다.
$$ g'(1) = 0, \quad g(1) = 1 - 1 - 0 = 0 \;\Rightarrow\; g(t) \ge 0 \;\Rightarrow\; \log t \le t - 1 $$
$g$ 는 볼록하고 $t = 1$ 에서 기울기가 0 이므로 그 점이 최솟값 0. 등호는 $t = 1$ 일 때만.
$$ -\KL(p \,\|\, q) = \sum_{p \gt 0} p(x)\log\frac{q(x)}{p(x)} \le \sum_{p \gt 0} p(x)\left(\frac{q(x)}{p(x)} - 1\right) $$
각 항에 $t = q(x)/p(x)$ 로 $\log t \le t - 1$ 을 쓰고, 양수 $p(x)$ 를 곱해도 부등호는 그대로입니다.
$$ = \sum_{p \gt 0} q(x) - \sum_{p \gt 0} p(x) \le 1 - 1 = 0 $$
괄호를 풀면 $q$ 의 합(1 이하)에서 $p$ 의 합(정확히 1)을 뺀 것. 등호는 모든 곳에서 $q(x)/p(x) = 1$, 곧 $p = q$ 일 때만입니다.

KL ≥ 0 에서 바로 두 가지 결과가 따라 나옵니다.

KL 의 방향: forward 와 reverse

KL 이 비대칭이라는 것은 실제로 큰 차이를 만듭니다. 맞추고 싶은 분포가 $p$, 우리가 조절할 수 있는 모델이 $q$ 일 때 두 가지 방향이 있습니다.

봉우리가 두 개인 분포 $p(x) = \frac12\Normal(x; -2, 0.6^2) + \frac12\Normal(x; 2, 0.6^2)$ 에 가우시안 $q = \Normal(\mu, \sigma^2)$ 하나를 맞추는 실험으로 확인합니다. 먼저 forward KL 의 답을 손으로 구해 봅시다.

forward KL 을 최소로 하는 가우시안은 평균 · 분산을 맞춘다
$$ \KL(p \,\|\, q) = \underbrace{\E_p[\log p(x)]}_{q \text{ 와 무관}} + \E_p\!\left[\frac12\log(2\pi) + \log\sigma + \frac{(x - \mu)^2}{2\sigma^2}\right] $$
KL 을 $\E_p[\log p] - \E_p[\log q]$ 로 나누고, $-\log q$ 자리에 가우시안의 음의 로그 밀도를 넣었습니다.
$$ \frac{\partial}{\partial\mu}: \; -\frac{\E_p[x - \mu]}{\sigma^2} = 0 \;\Rightarrow\; \mu^\ast = \E_p[x] $$
2장 가우시안 MLE 와 똑같은 미분. 표본 평균 대신 $p$ 의 평균이 나옵니다.
$$ \frac{\partial}{\partial\sigma}: \; \frac{1}{\sigma} - \frac{\E_p[(x - \mu)^2]}{\sigma^3} = 0 \;\Rightarrow\; \sigma^{\ast 2} = \Var_p[x] $$
역시 MLE 와 같은 계산. 이렇게 평균 · 분산을 그대로 맞추는 것을 모멘트 매칭(moment matching)이라고 합니다.
$$ \E_p[x] = \tfrac12(-2) + \tfrac12(2) = 0, \qquad \E_p[x^2] = \tfrac12(0.6^2 + 2^2) + \tfrac12(0.6^2 + 2^2) = 4.36 $$
혼합 분포의 기댓값은 성분별 기댓값의 가중합(적분의 선형성). 각 성분에서 $\E[x^2] = \Var + (\text{평균})^2 = 0.36 + 4$.
$$ \mu^\ast = 0, \qquad \sigma^\ast = \sqrt{4.36 - 0^2} \approx 2.09 $$
두 봉우리 사이, 실제로는 거의 아무것도 없는 $x = 0$ 에 중심을 두고 넓게 퍼진 가우시안. 두 봉우리를 모두 “덮는” 답입니다.

reverse KL 은 닫힌 꼴로 풀리지 않아 격자 탐색으로 구합니다. 그러나 답의 크기는 짐작할 수 있습니다.

q 가 왼쪽 봉우리에 딱 붙으면 reverse KL ≈ log 2
$$ q = \Normal(-2, 0.6^2) =: g_1, \qquad p = \tfrac12 g_1 + \tfrac12 g_2 $$
$q$ 가 왼쪽 성분 $g_1$ 과 똑같다고 해 봅니다. $g_2$ 는 오른쪽 성분 $\Normal(2, 0.6^2)$.
$$ q \text{ 가 큰 곳 } (x \approx -2) \text{ 에서 } g_2(x) \approx 0 \;\Rightarrow\; p(x) \approx \tfrac12 q(x) $$
$x = -2$ 는 오른쪽 봉우리 중심에서 표준편차의 약 6.7배 떨어져 있어 $g_2$ 가 사실상 0 입니다.
$$ \KL(q \,\|\, p) = \E_q\!\left[\log\frac{q(x)}{p(x)}\right] \approx \E_q\!\left[\log\frac{q(x)}{\frac12 q(x)}\right] = \log 2 \approx 0.693 $$
로그 안이 늘 2 이므로 평균도 $\log 2$. 오른쪽 봉우리를 통째로 무시해도 대가는 고작 $\log 2$ 입니다. 반면 둘 사이로 넓게 퍼지면 $p \approx 0$ 인 골짜기에 질량을 두게 되어 더 큰 벌을 받습니다.

  
[forward KL(p‖q) 최소] μ = +0.00, σ = 2.08  (KL = 0.555)
[reverse KL(q‖p) 최소] μ = -2.00, σ = 0.60  (KL = 0.692)
[참고] p 의 평균 = 0, 분산 = 0.6² + 2² = 4.36 → 표준편차 2.09
봉우리 두 개인 분포에 forward KL 로 맞춘 넓은 가우시안과 reverse KL 로 맞춘 한쪽 봉우리 가우시안
그림 3-3. 왼쪽: forward KL 은 두 봉우리를 모두 덮으려고 넓고 가운데에 놓인 가우시안을 고릅니다(평균 · 분산 맞추기). 오른쪽: reverse KL 은 봉우리 하나만 정확히 잡습니다. 격자 탐색 결과(forward 의 σ = 2.08, reverse 의 KL = 0.692)가 손 계산(각각 2.09, log 2 = 0.693)과 맞습니다. $p$ 가 좌우 대칭이라 reverse KL 에서는 오른쪽 봉우리($\mu = +2$)도 똑같이 좋은 답입니다.
참고 · World Model 에서의 의미

MSE(가우시안 최대우도)로 학습한 World Model 이 갈림길에서 흐릿한 평균을 예측하는 것(1장의 다봉성 문제)은 forward KL 의 “덮기” 성질 때문입니다. 한편 VAE 의 인코더는 reverse KL 로 학습되어 실제 사후 분포보다 좁은(자신만만한) 분포를 내는 경향이 있습니다. 어느 쪽이 좋고 나쁜 것이 아니라, 성격이 다르다는 것을 기억해 두세요.

두 가우시안의 KL 을 양방향으로 재 보기

데모에서 $q$ 를 좁게 만들어 $p$ 의 한가운데에 두면 $\KL(q \,\|\, p)$ 는 작지만 $\KL(p \,\|\, q)$ 는 큽니다($p$ 의 꼬리를 $q$ 가 못 덮음). 반대로 $q$ 를 넓게 하면 반대가 됩니다. 두 값이 같아지는 것은 두 분포가 같을 때(둘 다 0)나 두 표준편차가 같을 때($\sigma_p = \sigma_q = \sigma$ 이면 둘 다 $(\mu_p - \mu_q)^2/(2\sigma^2)$) 같은 특별한 경우뿐입니다. 아래 절에서 이 데모가 쓰는 공식을 유도합니다.

가우시안 사이의 KL: 닫힌 꼴 유도

VAE · RSSM · Dreamer 는 매 학습 스텝마다 두 가우시안 사이의 KL 을 계산합니다. 다행히 이것은 적분 없이 평균 · 표준편차만으로 바로 계산되는 식(닫힌 꼴, closed form)이 있습니다. $q = \Normal(\mu_1, \sigma_1^2)$, $p = \Normal(\mu_2, \sigma_2^2)$ 라고 하고 $\KL(q \,\|\, p)$ 를 구합니다.

KL(N(μ₁, σ₁²) ‖ N(μ₂, σ₂²)) 의 닫힌 꼴
$$ \KL(q \,\|\, p) = \E_{x \sim q}\big[\log q(x) - \log p(x)\big] $$
KL 의 정의. 평균은 $q$ 로 냅니다.
$$ \log q(x) = -\tfrac12\log(2\pi) - \log\sigma_1 - \frac{(x - \mu_1)^2}{2\sigma_1^2}, \qquad \log p(x) = -\tfrac12\log(2\pi) - \log\sigma_2 - \frac{(x - \mu_2)^2}{2\sigma_2^2} $$
2장의 가우시안 로그 밀도를 두 분포에 각각 씁니다.
$$ \log q(x) - \log p(x) = \log\frac{\sigma_2}{\sigma_1} - \frac{(x - \mu_1)^2}{2\sigma_1^2} + \frac{(x - \mu_2)^2}{2\sigma_2^2} $$
$-\tfrac12\log(2\pi)$ 는 서로 지워지고, $-\log\sigma_1 + \log\sigma_2 = \log(\sigma_2/\sigma_1)$.
$$ \KL = \log\frac{\sigma_2}{\sigma_1} - \frac{\E_q[(x - \mu_1)^2]}{2\sigma_1^2} + \frac{\E_q[(x - \mu_2)^2]}{2\sigma_2^2} $$
기댓값의 선형성. 첫 항은 상수라 그대로입니다. 이제 두 기댓값만 구하면 됩니다.
$$ \E_q[(x - \mu_1)^2] = \sigma_1^2 $$
$x \sim q$ 의 평균이 $\mu_1$ 이므로 이것은 $q$ 의 분산의 정의 그 자체입니다.
$$ (x - \mu_2)^2 = \big((x - \mu_1) + (\mu_1 - \mu_2)\big)^2 = (x-\mu_1)^2 + 2(x - \mu_1)(\mu_1 - \mu_2) + (\mu_1 - \mu_2)^2 $$
둘째 기댓값을 위해 $\mu_1$ 을 뺐다 더하는 요령: $x - \mu_2 = (x - \mu_1) + (\mu_1 - \mu_2)$. 그리고 $(u+v)^2$ 전개.
$$ \E_q[(x - \mu_2)^2] = \sigma_1^2 + 2(\mu_1 - \mu_2)\underbrace{\E_q[x - \mu_1]}_{=\,0} + (\mu_1 - \mu_2)^2 = \sigma_1^2 + (\mu_1 - \mu_2)^2 $$
선형성으로 세 항의 기댓값을 따로 구합니다. 첫 항은 바로 위의 $\sigma_1^2$, 가운데는 $\E_q[x] - \mu_1 = 0$, 마지막은 상수.
$$ \KL = \log\frac{\sigma_2}{\sigma_1} - \frac{\sigma_1^2}{2\sigma_1^2} + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2\sigma_2^2} $$
두 기댓값을 대입합니다.
$$ \KL\big(\Normal(\mu_1, \sigma_1^2) \,\|\, \Normal(\mu_2, \sigma_2^2)\big) = \log\frac{\sigma_2}{\sigma_1} + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2\sigma_2^2} - \frac12 $$
가운데 항 $\sigma_1^2/(2\sigma_1^2) = 1/2$. 이것이 닫힌 꼴입니다.

식이 맞는지 간단히 점검합니다.

VAE 가 쓰는 특수형: 표준 정규와의 KL

8장에서는 기준 분포가 표준 정규 $p = \Normal(0, 1)$ 인 경우만 씁니다. $\mu_2 = 0$, $\sigma_2 = 1$ 을 넣고 $\mu_1 = \mu$, $\sigma_1 = \sigma$ 로 쓰면

KL(N(μ, σ²) ‖ N(0, 1)) = ½(μ² + σ² − 1 − log σ²)
$$ \KL = \log\frac{1}{\sigma} + \frac{\sigma^2 + \mu^2}{2} - \frac12 $$
닫힌 꼴에 $\mu_2 = 0$, $\sigma_2 = 1$ 대입.
$$ = -\frac12\log\sigma^2 + \frac{\mu^2 + \sigma^2}{2} - \frac12 $$
$\log\frac{1}{\sigma} = -\log\sigma = -\frac12\log\sigma^2$.
$$ \KL\big(\Normal(\mu, \sigma^2) \,\|\, \Normal(0, 1)\big) = \frac12\big(\mu^2 + \sigma^2 - 1 - \log\sigma^2\big) $$
$\frac12$ 로 묶었습니다. $\mu = 0$, $\sigma = 1$ 일 때만 0 이고, 평균이 0 에서 멀어지거나 표준편차가 1 에서 멀어질수록 커집니다.

$\mu = 1$, $\sigma = 0.5$ 이면 $\frac12(1 + 0.25 - 1 - \log 0.25) = \frac12(0.25 + 1.3863) = 0.8181$ — 앞의 일반식과 같은 값입니다.

여러 차원: 대각 가우시안의 KL 은 차원별 KL 의 합

잠재 변수는 보통 수십 차원이고, 각 차원이 독립인 대각 가우시안(2장)입니다. 이때 KL 은 차원별 KL 을 더하기만 하면 됩니다.

독립인 차원의 KL 은 더해진다
$$ \log q(x) - \log p(x) = \sum_{d=1}^D \big(\log q_d(x_d) - \log p_d(x_d)\big) $$
대각 가우시안의 밀도는 차원별 밀도의 곱이므로, 로그는 차원별 로그의 합입니다.
$$ \KL(q \,\|\, p) = \sum_{d=1}^D \E_{x \sim q}\big[\log q_d(x_d) - \log p_d(x_d)\big] $$
기댓값의 선형성으로 합 밖으로 꺼냅니다.
$$ = \sum_{d=1}^D \E_{x_d \sim q_d}\big[\log q_d(x_d) - \log p_d(x_d)\big] = \sum_{d=1}^D \KL(q_d \,\|\, p_d) $$
각 항은 $x_d$ 에만 의존하므로 나머지 차원에 대한 평균은 아무것도 바꾸지 않습니다(주변화). 그래서 1차원 KL 의 합.

예: $\mu = (1, -0.5, 0)$, $\sigma = (0.5, 1, 2)$ 이면 차원별로 $0.8181$, $\frac12(0.25 + 1 - 1 - 0) = 0.125$, $\frac12(0 + 4 - 1 - \log 4) = 0.8069$, 합 $1.75$. 이제 닫힌 꼴, 몬테카를로 추정, PyTorch 의 torch.distributions.kl_divergence 를 모두 비교해 봅니다.


  
[가우시안 KL] 닫힌 꼴 0.8181  /  몬테카를로(1000000개) 0.8176  /  torch 0.8181
[가우시안 KL] 특수형 ½(μ²+σ²-1-log σ²) = 0.8181
[가우시안 KL] 순서를 바꾼 KL(p‖q) = 2.8069
[대각 다변량] 차원별 [0.8181, 0.125, 0.8069] → 합 1.7500 (torch 1.7500)
표본 수가 늘수록 KL 의 몬테카를로 추정이 닫힌 꼴 값 0.8181 에 수렴하는 그래프
그림 3-4. KL 의 몬테카를로 추정(표본 $x \sim q$ 에서 $\log q(x) - \log p(x)$ 의 평균)이 표본이 늘수록 닫힌 꼴 값 0.8181 로 수렴합니다. 2장의 큰 수의 법칙 그대로입니다.

닫힌 꼴이 있으면 몬테카를로 추정보다 정확하고(흔들림이 없음) 빠르므로, 가우시안끼리의 KL 은 늘 닫힌 꼴로 계산합니다. 8장 VAE 코드에서는 이 식이 다음 한 줄이 됩니다.

# 인코더는 σ 대신 logvar = log σ² 를 출력한다 (σ² = exp(logvar) > 0 이 저절로 보장됨)
kl = 0.5 * torch.sum(mu.pow(2) + logvar.exp() - 1.0 - logvar) / batch   # 차원별 KL 을 모두 더해 그림 한 장당 평균

logvar.exp() 가 $\sigma^2$, logvar 가 $\log\sigma^2$, torch.sum(...) 이 차원별 KL 의 합, / batch 가 그림 한 장당 평균입니다. 위에서 유도한 식과 한 글자씩 대응합니다.

범주형 분포 사이의 KL

DreamerV2 · V3(12장)는 잠재 변수를 가우시안 대신 범주형 분포 여러 개로 씁니다. 범주형 KL 은 정의 그대로 계산합니다. $q = (0.7, 0.2, 0.1)$ 과 균등 분포 $p = (\frac13, \frac13, \frac13)$ 의 예:

KL(q ‖ 균등 분포)
$$ \KL(q \,\|\, p) = 0.7\log\frac{0.7}{1/3} + 0.2\log\frac{0.2}{1/3} + 0.1\log\frac{0.1}{1/3} $$
정의 $\sum_k q_k\log(q_k/p_k)$.
$$ = 0.7 \times 0.7419 + 0.2 \times (-0.5108) + 0.1 \times (-1.2040) = 0.5194 - 0.1022 - 0.1204 $$
$\log 2.1 = 0.7419$, $\log 0.6 = -0.5108$, $\log 0.3 = -1.2040$. 일부 항은 음수일 수 있지만 합은 늘 0 이상입니다.
$$ \KL(q \,\|\, p) \approx 0.2968 = \log 3 - H(q) $$
점검: $H(q) = 0.2497 + 0.3219 + 0.2303 = 0.8018$, $\log 3 - 0.8018 = 0.2968$. 앞에서 유도한 $\KL(q \,\|\, u) = \log K - H(q)$ 와 일치합니다.

DreamerV2 의 잠재 상태는 “32개 범주를 가진 범주형 변수 32개” 이므로, KL 은 32개 범주형 KL 의 합입니다(독립인 차원의 KL 은 더해진다는 성질 그대로).

상호정보량

두 확률변수가 서로에 대해 얼마나 알려 주는지를 재는 값이 상호정보량mutual information 입니다. “실제 결합 분포” 가 “독립이라고 가정한 분포(주변 분포의 곱)” 와 얼마나 다른지를 KL 로 잽니다.

$$ I(X; Y) = \KL\big(p(x, y) \,\|\, p(x)\,p(y)\big) = \sum_{x, y} p(x, y)\log\frac{p(x, y)}{p(x)\,p(y)} $$

독립이면 두 분포가 같으므로 $I = 0$ 이고, 그 밖에는 KL 이라서 늘 양수입니다. 다른 모습으로도 쓸 수 있습니다.

I(X; Y) = H(X) − H(X | Y)
$$ I(X;Y) = \sum_{x,y} p(x,y)\log\frac{p(x \mid y)}{p(x)} $$
조건부 확률의 정의 $p(x, y)/p(y) = p(x \mid y)$.
$$ = -\sum_{x,y} p(x,y)\log p(x) + \sum_{x,y} p(x,y)\log p(x \mid y) $$
로그를 둘로 나누고 합도 둘로 나눕니다.
$$ = -\sum_x p(x)\log p(x) - \Big(-\sum_{x,y} p(x,y)\log p(x \mid y)\Big) $$
첫 합은 $\log p(x)$ 가 $y$ 와 무관하므로 $\sum_y p(x,y) = p(x)$ 로 주변화합니다.
$$ I(X; Y) = H(X) - H(X \mid Y) $$
$H(X \mid Y) = -\sum_{x,y}p(x,y)\log p(x \mid y)$ 는 조건부 엔트로피: $Y$ 를 안 뒤에도 남는 $X$ 의 불확실성. 상호정보량 = $Y$ 를 알아서 줄어든 불확실성. $p(x,y) = p(y)\,p(x \mid y)$ 를 넣으면 $H(X \mid Y) = \sum_y p(y)\big[-\sum_x p(x \mid y)\log p(x \mid y)\big]$, 곧 “$Y = y$ 인 경우별 엔트로피를 $p(y)$ 로 가중 평균한 것” 입니다(아래 손계산에서 이 꼴을 씁니다).

2장의 날씨 · 우산 표로 계산해 봅니다.


  
[상호정보량] p(x) = [0.5, 0.5], p(y) = [0.55, 0.45]
[상호정보량] I(X;Y) = 0.2754 내트   (독립이면 0)
[상호정보량] 독립인 결합 분포로 계산하면 I = 0.0000

손으로 점검: $H(X) = \log 2 = 0.6931$. 우산을 안 쓴 날의 날씨 분포는 $(0.45, 0.10)/0.55 = (0.818, 0.182)$ 로 엔트로피 $0.4741$, 쓴 날은 $(0.05, 0.40)/0.45 = (0.111, 0.889)$ 로 엔트로피 $0.3488$. 평균 $H(X \mid Y) = 0.55 \times 0.4741 + 0.45 \times 0.3488 = 0.4177$. $I = 0.6931 - 0.4177 = 0.2754$. 우산을 보면 날씨에 대한 불확실성이 약 40% 줄어듭니다. 상호정보량은 이 튜토리얼에서 손실로 직접 쓰지는 않지만, 표현 학습 논문을 읽다 보면 자주 만나는 개념이라 14장 용어집에도 정리해 두었습니다.

ELBO 미리 보기: 젠센 부등식의 쓰임

마지막으로 이 장의 도구들이 8장에서 어떻게 합쳐지는지 미리 봅니다. 잠재 변수 모델은 관측 $x$ 의 확률을 숨은 $z$ 에 대해 주변화한 적분으로 씁니다. (00장 표기 규칙의 관측 $o$ 와 같은 것입니다. 8장이 VAE 논문의 관례대로 $x$ 를 쓰므로 여기서도 $x$ 로 씁니다.)

$$ p(x) = \int p(x \mid z)\,p(z)\,dz $$

이 적분은 보통 계산할 수 없습니다. 그래서 아무 분포 $q(z)$ 를 하나 들여와, 젠센 부등식으로 $\log p(x)$ 의 아래쪽 한계 를 만듭니다.

log p(x) ≥ E_q[log p(x | z)] − KL(q(z) ‖ p(z))
$$ \log p(x) = \log\int q(z)\,\frac{p(x \mid z)\,p(z)}{q(z)}\,dz $$
적분 안에 $q(z)/q(z) = 1$ 을 곱했습니다. 값은 그대로입니다($q(z) \gt 0$ 이라고 가정).
$$ = \log \E_{z \sim q}\!\left[\frac{p(x \mid z)\,p(z)}{q(z)}\right] $$
$\int q(z)\,(\cdot)\,dz$ 는 $q$ 에 대한 기댓값입니다.
$$ \ge \E_{z \sim q}\!\left[\log\frac{p(x \mid z)\,p(z)}{q(z)}\right] $$
$\log$ 는 오목하므로 젠센 부등식 $\log\E[Y] \ge \E[\log Y]$.
$$ = \E_{z \sim q}[\log p(x \mid z)] + \E_{z \sim q}\!\left[\log\frac{p(z)}{q(z)}\right] $$
로그 안의 곱 · 나눗셈을 $\log p(x \mid z) + \log p(z) - \log q(z)$ 로 나누고 선형성으로 기댓값을 나눕니다.
$$ \log p(x) \;\ge\; \underbrace{\E_{z \sim q}[\log p(x \mid z)]}_{\text{복원 항}} \;-\; \underbrace{\KL\big(q(z) \,\|\, p(z)\big)}_{\text{규제 항}} \;=:\; \text{ELBO} $$
$\E_q[\log(p/q)] = -\E_q[\log(q/p)] = -\KL(q \,\|\, p)$. 오른쪽을 증거 하한(Evidence Lower BOund), ELBO 라고 부릅니다.

이 장에서 배운 모든 것이 들어 있습니다. 첫째 항은 2장의 로그 가능도(NLL 의 반대), 둘째 항은 방금 유도한 가우시안 KL 닫힌 꼴로 계산되고, 둘을 잇는 것은 젠센 부등식입니다. 8장에서는 이 부등식이 언제 등식이 되는지, $q$ 를 어떻게 고르는지($q_\phi(z \mid x)$), 그리고 $\E_q$ 를 거쳐 어떻게 미분하는지(재매개변수화)를 다룹니다.

이 장의 정리

확인 문제

문제 1

공정한 주사위 한 번의 엔트로피를 내트와 bit 로 구하세요. ($\log 6 \approx 1.792$)

답 보기

균등 분포이므로 $H = \log 6 \approx 1.792$ 내트 $= \log_2 6 \approx 2.585$ bit. 결과가 6가지인 분포가 가질 수 있는 최대 엔트로피입니다.

문제 2

$p = (0.5, 0.5)$, $q = (0.9, 0.1)$ 일 때 $\KL(p \,\|\, q)$ 와 $\KL(q \,\|\, p)$ 를 계산하세요.

답 보기

$\KL(p \,\|\, q) = 0.5\log\frac{0.5}{0.9} + 0.5\log\frac{0.5}{0.1} = 0.5(-0.5878) + 0.5(1.6094) = 0.5108$.

$\KL(q \,\|\, p) = 0.9\log\frac{0.9}{0.5} + 0.1\log\frac{0.1}{0.5} = 0.9(0.5878) + 0.1(-1.6094) = 0.3681$. 비대칭입니다.

문제 3

$\KL(\Normal(2, 1) \,\|\, \Normal(0, 1))$ 과 $\KL(\Normal(0, 4) \,\|\, \Normal(0, 1))$ 을 닫힌 꼴로 구하세요. ($\log 2 \approx 0.693$, $\log 4 \approx 1.386$)

답 보기

첫째: 특수형 $\frac12(\mu^2 + \sigma^2 - 1 - \log\sigma^2) = \frac12(4 + 1 - 1 - 0) = 2$. 분산이 같으면 KL 은 $(\mu_1 - \mu_2)^2/(2\sigma^2)$ 입니다.

둘째: $\sigma^2 = 4$ 이므로 $\frac12(0 + 4 - 1 - \log 4) = \frac12(3 - 1.386) = 0.807$.

문제 4

젠센 부등식을 써서, 양수 $a, b$ 에 대해 산술평균 ≥ 기하평균 $\frac{a + b}{2} \ge \sqrt{ab}$ 를 증명하세요.

답 보기

$\log$ 는 오목하므로 $\log\frac{a + b}{2} \ge \frac12\log a + \frac12\log b = \log\sqrt{ab}$ (가중치 1/2, 1/2 인 젠센). $\log$ 는 증가 함수이므로 $\frac{a+b}{2} \ge \sqrt{ab}$.

문제 5

데이터 분포가 봉우리 두 개인데 모델이 가우시안 하나뿐이라면, 최대우도로 학습한 모델은 어떤 모양이 될까요? 그 이유를 KL 의 방향으로 설명하세요.

답 보기

최대우도는 forward KL $\KL(p_{\text{data}} \,\|\, p_\theta)$ 최소화입니다. 데이터가 있는 곳에서 모델 확률이 작으면 큰 벌을 받으므로, 모델은 두 봉우리를 모두 덮는 넓은 가우시안(평균은 두 봉우리 사이)이 됩니다. 그림 3-3 왼쪽과 같습니다.

문제 6

ELBO 유도에서 젠센 부등식이 등식이 되려면 $\frac{p(x \mid z)p(z)}{q(z)}$ 가 $z$ 에 따라 바뀌지 않는 상수여야 합니다. 이 조건은 $q(z)$ 가 무엇일 때 성립할까요? (힌트: 베이즈 정리)

답 보기

$\frac{p(x \mid z)p(z)}{q(z)} = c$ 이면 $q(z) \propto p(x \mid z)p(z) = p(x, z)$. 합이 1 이 되게 정규화하면 $q(z) = \frac{p(x, z)}{p(x)} = p(z \mid x)$, 곧 진짜 사후 분포 입니다. 이때 상수는 $c = p(x)$ 이고 ELBO $= \log p(x)$. 8장에서 이 사실을 “$\log p(x) = \text{ELBO} + \KL(q \,\|\, p(z \mid x))$” 라는 등식으로 다시 유도합니다.

확률과 정보 이론이라는 수학 도구가 갖춰졌습니다. 다음 장에서는 이 손실 함수들을 실제로 최소화하는 기계, 곧 신경망과 경사 하강법, 역전파를 PyTorch 와 함께 배웁니다.