"""13장 본문의 숫자 예제를 직접 계산해 확인하는 스크립트 (numpy 만 사용, 1초 안에 끝난다).

실행:
    python ch13_numbers.py

본문의 풀이 상자에 나오는 숫자(n-스텝 목표값, pUCT 점수, MPPI 가중치, VQ 최근접 코드,
어텐션 점수의 분산, 확산 모델의 닫힌 꼴, EMA 목표)가 손계산과 같은지 확인한다.
"""

import numpy as np

np.set_printoptions(precision=4, suppress=True)
rng = np.random.default_rng(0)

# --8<-- [start:nstep]
# MuZero 의 n-스텝 가치 목표: z_t = r_t + γ r_{t+1} + … + γ^{n-1} r_{t+n-1} + γ^n v(s_{t+n})
gamma, rewards, v_boot = 0.9, [1.0, 0.0, 2.0], 5.0
n = len(rewards)
z = sum(gamma**i * r for i, r in enumerate(rewards)) + gamma**n * v_boot
print(f"[n-스텝 목표] n={n}, γ={gamma}: z = {z:.4f}")
# --8<-- [end:nstep]

# --8<-- [start:puct]
# MCTS 의 pUCT 점수: Q + P · sqrt(ΣN) / (1 + N) · (c1 + log((ΣN + c2 + 1) / c2))
def puct(q, p, n, n_total, c1=1.25, c2=19652):
    return q + p * np.sqrt(n_total) / (1 + n) * (c1 + np.log((n_total + c2 + 1) / c2))

n_total = 10
score_a = puct(q=0.5, p=0.3, n=6, n_total=n_total)
score_b = puct(q=0.3, p=0.7, n=4, n_total=n_total)
print(f"[pUCT] 행동 A = {score_a:.4f}, 행동 B = {score_b:.4f} → 고르는 행동: {'A' if score_a > score_b else 'B'}")
# --8<-- [end:puct]

# --8<-- [start:mppi]
# MPPI 가중치: w_i = exp(J_i / τ) / Σ_j exp(J_j / τ). 큰 값의 exp 가 넘치지 않도록 최댓값을 빼고 계산한다.
returns = np.array([10.0, 8.0, 2.0])
for tau in [1.0, 5.0, 0.1, 100.0]:
    w = np.exp((returns - returns.max()) / tau)
    w = w / w.sum()
    print(f"[MPPI] τ = {tau:6.1f}: 가중치 = {w}")
# CEM(상위 2개, 같은 가중치)과 비교
print("[CEM ] 상위 2개   : 가중치 =", np.array([0.5, 0.5, 0.0]))
# --8<-- [end:mppi]

# --8<-- [start:vq]
# VQ: 인코더 출력 z_e 에 가장 가까운 코드북 벡터를 고른다.
codebook = np.array([[0.0, 0.0], [1.0, 1.0], [2.0, 0.0]])  # e_1, e_2, e_3
z_e = np.array([1.2, 0.7])
dist2 = ((codebook - z_e) ** 2).sum(axis=1)  # 거리의 제곱
k = int(dist2.argmin())
beta = 0.25
print(f"[VQ] 거리² = {dist2}, 고른 코드 = e_{k + 1} = {codebook[k]}")
print(f"[VQ] 코드북 손실 = {dist2[k]:.4f}, 커밋 손실(β={beta}) = {beta * dist2[k]:.4f}")
# --8<-- [end:vq]

# --8<-- [start:attention]
# 어텐션 점수 q·k 의 분산: 성분이 평균 0, 분산 1 이고 서로 독립이면 Var(q·k) = d
for d in [4, 64, 512]:
    q = rng.standard_normal((200_000, d))
    k_ = rng.standard_normal((200_000, d))
    dots = (q * k_).sum(axis=1)
    print(f"[어텐션] d = {d:3d}: Var(q·k) = {dots.var():8.2f}, Var(q·k / sqrt(d)) = {(dots / np.sqrt(d)).var():.3f}")

def softmax(x):
    e = np.exp(x - x.max())
    return e / e.sum()

for scores in [np.array([8.0, 0.0]), np.array([1.0, 0.0])]:
    p = softmax(scores)
    print(f"[softmax] 점수 {scores} → 확률 {p}, 기울기 p(1-p) = {p[0] * (1 - p[0]):.5f}")
# --8<-- [end:attention]

# --8<-- [start:diffusion]
# 확산의 정방향: 한 스텝씩 q(x_t | x_{t-1}) = N(sqrt(α_t) x_{t-1}, β_t) 를 3번 되풀이한 것과
# 닫힌 꼴 q(x_3 | x_0) = N(sqrt(ᾱ_3) x_0, 1 - ᾱ_3) 를 비교한다.
x0, betas = 2.0, np.array([0.1, 0.1, 0.1])
alphas = 1.0 - betas
alpha_bar = np.cumprod(alphas)
x = np.full(1_000_000, x0)
for b in betas:
    x = np.sqrt(1 - b) * x + np.sqrt(b) * rng.standard_normal(x.shape)
print(f"[확산] 되풀이:  평균 {x.mean():.4f}, 분산 {x.var():.4f}")
print(f"[확산] 닫힌 꼴: 평균 {np.sqrt(alpha_bar[-1]) * x0:.4f}, 분산 {1 - alpha_bar[-1]:.4f}")
# --8<-- [end:diffusion]

# --8<-- [start:ema]
# EMA 목표 인코더: θ̄ ← τ θ̄ + (1 - τ) θ.  온라인 매개변수가 갑자기 1 → 0 으로 바뀌어도 목표는 천천히 따라온다.
theta_bar, tau_ema = 1.0, 0.9
for step in range(1, 6):
    theta = 0.0
    theta_bar = tau_ema * theta_bar + (1 - tau_ema) * theta
    print(f"[EMA] {step} 스텝 뒤 θ̄ = {theta_bar:.4f}")
# --8<-- [end:ema]
