CHAPTER 05

어텐션과 Transformer

RF-DETR 은 그림을 읽는 백본(DINOv2 ViT)도, 박스를 내놓는 디코더도 모두 어텐션 으로 되어 있습니다. 어텐션을 모르면 6장부터의 모든 그림이 “상자와 화살표” 로만 보입니다. 이 장에서는 어텐션 한 번을 손으로 계산하고, 식 한 줄 $\softmax(QK^\top/\sqrt{d_k})\,V$ 의 모든 글자가 왜 거기 있는지 따져 본 다음, 다중 머리 어텐션과 Transformer 층을 직접 구현합니다. 마지막에는 학습되는 질의가 도형 세상 그림에서 “빨간 도형” 을 찾아 그 위치를 가져오는 작은 실험을 합니다.

읽는 시간 약 90분난이도 ★★★☆☆코드: code/ch05_attention.py
이 장에서 배우는 것
이 장의 표기

왜 어텐션인가

합성곱은 이웃만 본다

4장에서 본 합성곱은 작은 창(보통 3×3)을 그림 위에서 밀고 다니며, 창 안의 값만 섞습니다. 한 층을 지나면 각 위치는 바로 옆 한 칸 까지의 정보를 갖게 되고, 두 층을 지나면 두 칸, $L$ 층을 지나면 $L$ 칸 떨어진 곳까지의 정보를 갖습니다.

도형 세상의 96×96 그림을 8×8 조각 144개(12×12 격자)로 나누었다고 합시다. 맨 왼쪽 조각과 맨 오른쪽 조각은 11칸 떨어져 있습니다. 3×3 합성곱만으로 이 둘의 정보를 한자리에 모으려면 11층 이 필요합니다. 그런데 탐지에서는 멀리 떨어진 곳끼리 정보를 주고받아야 할 일이 많습니다.

어텐션의 답은 단순합니다. 모든 조각이 모든 조각을 한 번에 본다. 거리와 상관없이, 한 층 만에 그림 반대편의 정보를 가져올 수 있습니다. 다만 144개를 똑같이 섞으면 그냥 평균이 되어 버리므로, 어느 조각을 얼마나 볼지 를 조각의 내용에 따라 그때그때 정합니다. 그 “얼마나” 를 정하는 방법이 이 장의 전부입니다.

합성곱 3×3 한 층 가운데 칸은 둘레 8칸만 본다 멀리 보려면 층을 여러 번 쌓아야 한다 어텐션 한 층 한 칸이 모든 칸을 한 번에 본다 얼마나 볼지는 내용에 따라 정한다
그림 5-1. 주황 칸이 한 층 만에 정보를 가져올 수 있는 범위(파랑). 합성곱은 이웃 3×3 칸, 어텐션은 격자 전체입니다.

토큰: 어텐션이 다루는 단위

어텐션이 다루는 “조각” 하나를 토큰token 이라고 부릅니다. 토큰은 그저 길이 $D$ 의 벡터 하나 입니다. 언어 모델에서는 낱말(의 조각) 하나가 토큰이지만, 이 튜토리얼에서 만날 토큰은 두 가지입니다.

토큰 $N$ 개는 행렬 $X \in \R^{N \times D}$ 한 장으로 적습니다. $i$ 번째 행 $x_i$ 가 $i$ 번째 토큰입니다. 그림 여러 장을 한꺼번에 다루면 맨 앞에 배치 축이 붙어 모양이 (B, N, D) 가 됩니다. 어텐션 층은 이 토큰들을 받아 같은 수의, 서로의 정보가 섞인 새 토큰들 을 내놓습니다.

어텐션 한 번을 손으로 계산하기

내적으로 비슷함 재기

“어느 토큰을 얼마나 볼까” 를 정하려면 두 벡터가 얼마나 잘 맞는지 숫자 하나로 재야 합니다. 어텐션은 내적dot product 을 씁니다. 길이가 같은 두 벡터 $a = (a_1, \dots, a_d)$, $c = (c_1, \dots, c_d)$ 의 내적은 같은 자리끼리 곱해서 모두 더한 값입니다.

$$ a \cdot c = \sum_{m=1}^{d} a_m c_m = \lVert a \rVert\, \lVert c \rVert \cos\varphi $$

$\lVert a \rVert$ 는 벡터의 길이, $\varphi$ (파이)는 두 벡터 사이의 각도입니다. 오른쪽 꼴에서 내적의 성질이 보입니다.

내적은 방향뿐 아니라 길이 에도 비례한다는 점을 기억해 두세요. 벡터가 길면(그리고 차원이 크면) 내적도 커집니다. 이것이 뒤에서 $\sqrt{d_k}$ 로 나누는 이유가 됩니다.

질의 · 열쇠 · 값

어텐션attention 은 벡터 세 종류로 이루어집니다.

도서관에서 책을 찾는다고 해 봅시다. 내가 찾는 주제(질의)를 책마다 붙은 분류표(열쇠)와 비교해, 잘 맞는 책일수록 그 내용(값)을 많이 참고합니다. “잘 맞는 정도” 가 내적이고, 참고하는 비율이 소프트맥스 가중치입니다. 한 권만 고르는 것이 아니라 모든 책을 비율대로 섞어 읽는다 는 점이 보통의 검색과 다릅니다.

열쇠와 값을 따로 두는 까닭은 “찾을 때 쓰는 정보” 와 “찾은 뒤 가져올 정보” 가 다를 수 있기 때문입니다. 이 장 끝의 실험에서는 열쇠가 “나는 빨갛다” 를 알리고, 값이 “나는 그림의 오른쪽 아래에 있다” 를 건네주는 모습을 보게 됩니다.

점수에서 가중 평균까지

질의 하나 $q$ 와, 열쇠 · 값의 짝 $N_k$ 개 $(k_1, v_1), \dots, (k_{N_k}, v_{N_k})$ 가 있을 때 어텐션은 세 단계입니다.

  1. 점수: 질의와 열쇠마다의 내적을 구하고 $\sqrt{d_k}$ 로 나눕니다. $$ s_j = \frac{q \cdot k_j}{\sqrt{d_k}} \qquad (j = 1, \dots, N_k) $$
  2. 가중치: 점수에 소프트맥스(4장)를 씌워, 모두 양수이고 합이 1 인 숫자 $N_k$ 개로 바꿉니다. 이것이 어텐션 가중치attention weight 입니다. $$ \alpha_j = \frac{\exp(s_j)}{\sum_{l=1}^{N_k} \exp(s_l)}, \qquad \alpha_j \gt 0, \qquad \sum_{j=1}^{N_k} \alpha_j = 1 $$
  3. 출력: 값 벡터들을 그 가중치로 평균 냅니다. $$ o = \sum_{j=1}^{N_k} \alpha_j\, v_j $$

$s_j$ 는 점수(score), $\alpha_j$ (알파)는 가중치, $o$ 는 출력(output)입니다. 출력은 값들의 가중 평균 이므로 두 가지가 따라옵니다.

파이썬 사전과 견주기

파이썬의 d[key] 는 열쇠가 정확히 같은 항목 하나의 값을 돌려줍니다. 어텐션은 “부드러운 사전” 입니다. 질의와 비슷한 열쇠일수록 큰 가중치를 주고, 모든 값을 그 가중치로 섞어 돌려줍니다. 정확히 하나만 고르는 연산은 미분할 수 없지만, 부드럽게 섞는 연산은 미분할 수 있어서 경사 하강법으로 “무엇을 찾을지” 를 학습할 수 있습니다.

질의 q [2, 0] 열쇠 k1 [2, 0] 열쇠 k2 [0, 2] 열쇠 k3 [1, 1] 점수 s 2.83 0.00 1.41 소프트 맥스 가중치 α 0.77 × 0.05 × 0.19 × 값 v1 [2, 0] 값 v2 [0, 2] 값 v3 [1, 1] 출력 o (합) [1.72, 0.28]
그림 5-2. 어텐션 한 번. 질의를 열쇠마다와 견주어 점수를 내고, 소프트맥스로 가중치를 만들고, 값을 그 가중치로 평균 냅니다. 숫자는 바로 아래 손계산의 것입니다.

손계산: 토큰 3개, 차원 2

토큰 세 개를 2차원 벡터로 둡니다. 가장 단순한 경우로, 토큰 자신을 그대로 질의 · 열쇠 · 값으로 씁니다($q_i = k_i = v_i = x_i$, $d_k = d_v = 2$).

$$ x_1 = (2, 0), \qquad x_2 = (0, 2), \qquad x_3 = (1, 1) $$

첫째 토큰이 질의일 때($q = x_1$)의 출력을 끝까지 계산해 봅시다.

첫째 토큰의 어텐션 출력
$$ q \cdot k_1 = 2\cdot 2 + 0\cdot 0 = 4, \qquad q \cdot k_2 = 2\cdot 0 + 0\cdot 2 = 0, \qquad q \cdot k_3 = 2\cdot 1 + 0\cdot 1 = 2 $$
질의 $q = (2, 0)$ 과 세 열쇠의 내적입니다. 자기 자신과 가장 잘 맞고(4), 직각인 둘째 토큰과는 전혀 맞지 않습니다(0).
$$ s_1 = \frac{4}{\sqrt{2}} = 2.8284, \qquad s_2 = \frac{0}{\sqrt{2}} = 0, \qquad s_3 = \frac{2}{\sqrt{2}} = 1.4142 $$
$d_k = 2$ 이므로 $\sqrt{d_k} = \sqrt{2} = 1.4142$ 로 나눕니다.
$$ e^{2.8284} = 16.919, \qquad e^{0} = 1, \qquad e^{1.4142} = 4.113, \qquad \text{합} = 16.919 + 1 + 4.113 = 22.032 $$
소프트맥스의 첫 단계: 점수마다 지수 함수를 씌우고 모두 더합니다.
$$ \alpha_1 = \frac{16.919}{22.032} = 0.7679, \qquad \alpha_2 = \frac{1}{22.032} = 0.0454, \qquad \alpha_3 = \frac{4.113}{22.032} = 0.1867 $$
합으로 나누면 가중치입니다. 검산: $0.7679 + 0.0454 + 0.1867 = 1.0000$.
$$ o = 0.7679\,(2, 0) + 0.0454\,(0, 2) + 0.1867\,(1, 1) = (1.5358 + 0.1867,\; 0.0908 + 0.1867) = (1.7225,\; 0.2775) $$
값 벡터의 가중 평균입니다. 원래 $(2, 0)$ 이던 첫째 토큰이, 셋째 토큰 $(1, 1)$ 의 정보를 19% 쯤 섞어 받아 $(1.72, 0.28)$ 로 조금 움직였습니다.

둘째 토큰은 첫째와 대칭이므로 가중치가 $(0.0454, 0.7679, 0.1867)$, 출력이 $(0.2775, 1.7225)$ 입니다. 셋째 토큰 $q = (1, 1)$ 은 세 열쇠와의 내적이 모두 2 여서 점수가 모두 같고, 가중치는 $(\tfrac13, \tfrac13, \tfrac13)$ 입니다. 출력은 세 값의 단순 평균 $(1, 1)$ 입니다. 같은 계산을 코드로 해 봅니다.


  
$ python ch05_attention.py
[손계산] 내적 Q Kᵀ =
 tensor([[4., 0., 2.],
        [0., 4., 2.],
        [2., 2., 2.]])
[손계산] √d_k 로 나눈 점수 =
 tensor([[2.8284, 0.0000, 1.4142],
        [0.0000, 2.8284, 1.4142],
        [1.4142, 1.4142, 1.4142]])
[손계산] 가중치 A =
 tensor([[0.7679, 0.0454, 0.1867],
        [0.0454, 0.7679, 0.1867],
        [0.3333, 0.3333, 0.3333]])
[손계산] 출력 A V =
 tensor([[1.7225, 0.2775],
        [0.2775, 1.7225],
        [1.0000, 1.0000]])

가중치 행렬의 $i$ 번째 행이 “$i$ 번째 토큰이 질의일 때 세 토큰을 본 비율” 입니다. 첫 행이 손계산의 $(0.7679, 0.0454, 0.1867)$ 과 같고, 행마다 합이 1 입니다.

자기 자신을 가장 많이 보는 것은 이 예의 사정

이 예에서는 질의와 열쇠가 같은 벡터라서 자기 자신과의 내적이 가장 큽니다. 실제 어텐션은 토큰에 학습되는 행렬 을 곱해 질의와 열쇠를 따로 만들기 때문에(뒤의 다중 머리 어텐션), “나와 같은 색인 토큰을 본다”, “내 왼쪽 토큰을 본다” 처럼 자기 자신이 아닌 곳을 보도록 얼마든지 배울 수 있습니다.

행렬로 한꺼번에: 스케일드 내적 어텐션

행렬 꼴과 모양 추적

질의가 여러 개면 같은 계산을 질의마다 되풀이하면 됩니다. 이것을 행렬 곱 한 번으로 적은 것이 “Attention Is All You Need”(Vaswani 외, 2017)의 식 (1), 스케일드 내적 어텐션scaled dot-product attention 입니다.

$$ \operatorname{Attention}(Q, K, V) = \softmax\!\left( \frac{Q K^{\top}}{\sqrt{d_k}} \right) V $$

$Q \in \R^{N_q \times d_k}$ 는 질의 $N_q$ 개를 행으로 쌓은 행렬, $K \in \R^{N_k \times d_k}$ 와 $V \in \R^{N_k \times d_v}$ 는 열쇠와 값 $N_k$ 개를 행으로 쌓은 행렬입니다. $K^\top$ 의 $\top$ 는 전치(행과 열을 바꿈)이고, 소프트맥스는 행마다(질의마다) 따로 씌웁니다. 한 줄씩 풀어 보면 앞 절의 세 단계 그대로입니다.

행렬 꼴을 세 단계로 풀기
$$ S = \frac{Q K^{\top}}{\sqrt{d_k}} \in \R^{N_q \times N_k}, \qquad S_{ij} = \frac{q_i \cdot k_j}{\sqrt{d_k}} $$
행렬 곱 $QK^\top$ 의 $(i, j)$ 성분은 $Q$ 의 $i$ 행과 $K^\top$ 의 $j$ 열(= $K$ 의 $j$ 행)의 내적입니다. 곧 “$i$ 번째 질의와 $j$ 번째 열쇠의 점수” 를 모든 쌍에 대해 표로 만든 것입니다.
$$ A = \softmax(S) \in \R^{N_q \times N_k}, \qquad A_{ij} = \frac{\exp(S_{ij})}{\sum_{l=1}^{N_k} \exp(S_{il})} $$
행마다 소프트맥스. $A$ 의 $i$ 행은 $i$ 번째 질의의 가중치 $N_k$ 개이고 합이 1 입니다. $A$ 를 그림으로 그린 것이 “어텐션 지도” 입니다.
$$ O = A V \in \R^{N_q \times d_v}, \qquad o_i = \sum_{j=1}^{N_k} A_{ij}\, v_j $$
행렬 곱 $AV$ 의 $i$ 행은 $V$ 의 행(값 벡터)들을 $A$ 의 $i$ 행으로 가중해 더한 것입니다. 출력은 질의마다 하나씩, $N_q$ 개가 나옵니다.
단계식모양손계산 예에서
질의$Q$$(N_q, d_k)$(3, 2)
열쇠 · 값$K$, $V$$(N_k, d_k)$, $(N_k, d_v)$(3, 2), (3, 2)
점수$S = QK^\top/\sqrt{d_k}$$(N_q, N_k)$(3, 3)
가중치$A = \softmax(S)$$(N_q, N_k)$(3, 3), 행의 합 1
출력$O = AV$$(N_q, d_v)$(3, 2)

기억할 것은 두 가지입니다. 점수 · 가중치 행렬의 크기는 질의 수 × 열쇠 수 이고, 출력의 행 수는 질의의 수 를 따릅니다. 질의가 300개, 그림 토큰이 576개면 가중치는 (300, 576), 출력은 300개입니다.

코드로 옮기기

식이 그대로 네 줄이 됩니다. 앞쪽 축(...)은 배치나 머리 축이 몇 개 붙어도 되게 한 것입니다. mask 는 조금 뒤에 설명합니다.



  

왜 √d 로 나누는가

식에서 가장 수상한 글자는 $\sqrt{d_k}$ 입니다. 내적을 그대로 쓰면 안 될까요? 원 논문은 “차원이 크면 내적이 커져서 소프트맥스가 기울기가 아주 작은 영역으로 밀려난다고 짐작한다” 고 적고, 각주에서 그 까닭을 한 줄로 설명합니다. 그 한 줄을 풀어서 유도하고, 숫자로 확인해 봅시다.

내적의 분산은 차원에 비례한다

질의와 열쇠의 성분을 $q = (a_1, \dots, a_{d_k})$, $k = (c_1, \dots, c_{d_k})$ 라고 적겠습니다. 성분 $2 d_k$ 개가 모두 서로 독립이고 평균 0, 분산 1 인 확률 변수라고 가정합니다. 가중치를 무작위로 초기화한 직후의 신경망에서 대략 맞는 가정입니다. 쓰는 도구는 기댓값 $\E[\cdot]$(여러 번 뽑았을 때의 평균)과 분산 $\Var(X) = \E[X^2] - (\E[X])^2$(평균 둘레로 퍼진 정도)의 성질 세 가지입니다.

세 성질의 증명은 World Model 튜토리얼의 확률 장에 있습니다.

Var(q·k) = d_k 이므로 √d_k 로 나누면 분산이 1 이 된다
$$ q \cdot k = \sum_{m=1}^{d_k} a_m c_m, \qquad \E[a_m] = \E[c_m] = 0, \quad \Var(a_m) = \Var(c_m) = 1 $$
내적의 정의와 가정입니다. 내적은 “두 성분의 곱” $d_k$ 개의 합입니다.
$$ \E[a_m c_m] = \E[a_m]\, \E[c_m] = 0 \times 0 = 0 $$
$a_m$ 과 $c_m$ 이 독립이므로 곱의 기댓값이 기댓값의 곱으로 나뉩니다. 따라서 내적의 평균도 0 입니다.
$$ \E[a_m^2] = \Var(a_m) + \big(\E[a_m]\big)^2 = 1 + 0 = 1 $$
분산의 정의 $\Var(X) = \E[X^2] - (\E[X])^2$ 를 $\E[X^2]$ 에 대해 정리했습니다. $\E[c_m^2] = 1$ 도 같습니다.
$$ \Var(a_m c_m) = \E\big[a_m^2 c_m^2\big] - \big(\E[a_m c_m]\big)^2 = \E[a_m^2]\,\E[c_m^2] - 0^2 = 1 \times 1 = 1 $$
분산의 정의를 곱 $a_m c_m$ 에 썼습니다. $a_m$ 과 $c_m$ 이 독립이면 $a_m^2$ 과 $c_m^2$ 도 독립이므로 기댓값이 다시 곱으로 나뉩니다.
$$ \Var(q \cdot k) = \sum_{m=1}^{d_k} \Var(a_m c_m) = \underbrace{1 + 1 + \dots + 1}_{d_k\text{ 개}} = d_k $$
항 $a_1 c_1, \dots, a_{d_k} c_{d_k}$ 은 서로 독립이므로 합의 분산이 분산의 합입니다. 내적의 표준편차는 $\sqrt{d_k}$ 로, 차원이 커질수록 점수가 커집니다.
$$ \Var\!\left( \frac{q \cdot k}{\sqrt{d_k}} \right) = \frac{1}{(\sqrt{d_k})^2}\, \Var(q \cdot k) = \frac{d_k}{d_k} = 1 $$
$\Var(tX) = t^2\Var(X)$ 에 $t = 1/\sqrt{d_k}$ 를 넣었습니다. $\sqrt{d_k}$ 로 나누면 차원이 4 든 1024 든 점수의 분산이 1 로 같아집니다.

숫자로 보면, $d_k = 64$ 일 때 나누지 않은 내적은 표준편차가 $\sqrt{64} = 8$ 입니다. 점수가 $-8$ 에서 $+8$ 사이를 예사로 오간다는 뜻입니다. $\sqrt{d_k} = 8$ 로 나누면 표준편차 1 로 줄어듭니다.

점수가 크면 소프트맥스가 굳는다

점수가 크면 왜 곤란할까요? 소프트맥스는 점수 차이 를 지수 함수로 키우기 때문에, 차이가 크면 가중치가 한 곳에 거의 1 로 쏠리고 나머지는 0 에 붙습니다. 이렇게 쏠린 상태에서는 점수를 조금 바꿔도 가중치가 거의 움직이지 않습니다. 곧 기울기가 0 에 가까워 학습이 더뎌집니다. 점수가 둘뿐인 가장 단순한 경우 $\alpha_1 = e^{s_1}/(e^{s_1} + e^{s_2})$ 로 확인해 봅시다.

소프트맥스의 기울기는 α(1 − α)
$$ \frac{\partial \alpha_1}{\partial s_1} = \frac{e^{s_1}\,(e^{s_1} + e^{s_2}) - e^{s_1} \cdot e^{s_1}}{(e^{s_1} + e^{s_2})^2} $$
몫의 미분법 $\big(\tfrac{f}{g}\big)' = \tfrac{f'g - fg'}{g^2}$ 에서 $f = e^{s_1}$, $g = e^{s_1} + e^{s_2}$ 이고, $s_1$ 로 미분하면 $f' = g' = e^{s_1}$ 입니다($e^x$ 의 미분은 $e^x$).
$$ = \frac{e^{s_1}}{e^{s_1} + e^{s_2}} \cdot \frac{(e^{s_1} + e^{s_2}) - e^{s_1}}{e^{s_1} + e^{s_2}} = \alpha_1 \cdot \frac{e^{s_2}}{e^{s_1} + e^{s_2}} $$
분자에서 $e^{s_1}$ 을 묶어 내고, 분모 $(\cdot)^2$ 을 둘로 나눠 가졌습니다.
$$ \frac{\partial \alpha_1}{\partial s_1} = \alpha_1\,(1 - \alpha_1) $$
둘째 인수는 $\alpha_2 = 1 - \alpha_1$ 입니다. $\alpha_1 = 0.5$ 일 때 기울기가 가장 크고(0.25), $\alpha_1$ 이 0 이나 1 에 가까우면 0 에 가까워집니다.

$d_k = 64$ 에서 나누지 않으면 점수 $(8, 0)$ 같은 차이가 흔합니다. 이때 $\alpha_1 = e^8/(e^8 + 1) = 0.99966$ 이고 기울기는 $0.99966 \times 0.00034 = 0.00034$ 입니다. $\sqrt{d_k} = 8$ 로 나눈 점수 $(1, 0)$ 이면 $\alpha_1 = e/(e + 1) = 0.73106$, 기울기는 $0.73106 \times 0.26894 = 0.19661$ 입니다. 기울기가 약 590배 큽니다($0.19661 / 0.000335 \approx 587$).

실험: 차원을 키우면서 재 보기

유도가 맞는지 실험합니다. 표준 정규 분포에서 질의 하나와 열쇠 16개를 뽑아 내적을 구하는 일을 2만 번 되풀이하고, 차원 $d$ 를 4 에서 1024 까지 바꿉니다. 소프트맥스가 얼마나 쏠렸는지는 두 숫자로 잽니다.


  
[√d] 열쇠 16개. 고른 가중치라면 최대 가중치 0.0625, 엔트로피 log 16 = 2.773
[√d] d =    4: Var(q·k) =     4.00, Var(q·k/√d) = 1.001 | 최대 가중치: 안 나눔 0.425, 나눔 0.234 | 엔트로피: 안 나눔 1.768, 나눔 2.382
[√d] d =   16: Var(q·k) =    15.99, Var(q·k/√d) = 1.000 | 최대 가중치: 안 나눔 0.684, 나눔 0.242 | 엔트로피: 안 나눔 0.906, 나눔 2.366
[√d] d =   64: Var(q·k) =    64.05, Var(q·k/√d) = 1.001 | 최대 가중치: 안 나눔 0.842, 나눔 0.245 | 엔트로피: 안 나눔 0.416, 나눔 2.360
[√d] d =  256: Var(q·k) =   256.19, Var(q·k/√d) = 1.001 | 최대 가중치: 안 나눔 0.924, 나눔 0.247 | 엔트로피: 안 나눔 0.190, 나눔 2.356
[√d] d = 1024: Var(q·k) =  1024.57, Var(q·k/√d) = 1.001 | 최대 가중치: 안 나눔 0.962, 나눔 0.247 | 엔트로피: 안 나눔 0.093, 나눔 2.356
[소프트맥스] 점수 [8.0, 0.0] → 가중치 [0.99966, 0.00034], 기울기 p(1−p) = 0.00034
[소프트맥스] 점수 [1.0, 0.0] → 가중치 [0.73106, 0.26894], 기울기 p(1−p) = 0.19661
왼쪽: 차원에 따른 내적 점수의 분산. 나누지 않으면 d 에 비례하고 나누면 1. 가운데: 가장 큰 가중치의 평균. 오른쪽: 가중치 엔트로피의 평균
그림 5-3. $\sqrt{d}$ 로 나누는 효과. 주황 실선은 나누지 않은 점수, 파랑 점선은 나눈 점수입니다. 왼쪽은 점수의 분산(세로축 로그), 가운데는 열쇠 16개 가운데 가장 큰 가중치, 오른쪽은 가중치의 엔트로피입니다.

출력의 마지막 두 줄은 앞에서 손으로 구한 기울기 0.00034 와 0.19661 입니다. 그림과 나머지 출력에서 읽을 것은 세 가지입니다.

가정의 범위

“성분이 독립이고 분산 1” 이라는 가정은 학습을 시작할 때의 이야기입니다. 학습이 진행되면 모델은 가중치를 키워 필요한 만큼 뾰족한 어텐션을 스스로 만들 수 있습니다(이 장 끝의 실험에서 가중치가 한 도형에 거의 다 몰리는 것을 봅니다). $\sqrt{d_k}$ 로 나누는 것은 뾰족한 어텐션을 막는 장치가 아니라, 출발점 을 기울기가 잘 흐르는 곳에 놓는 장치입니다. 그리고 원 논문도 이 설명을 실험으로 증명했다기보다 “그럴 것이라고 짐작한다” 고 적었습니다.

자기 어텐션과 교차 어텐션

지금까지는 질의 · 열쇠 · 값이 “주어졌다” 고 했습니다. 실제로는 토큰에서 만듭니다. 어느 토큰 묶음에서 만드느냐 에 따라 어텐션의 이름이 둘로 갈립니다.

“토큰에서 만든다” 는 것은 학습되는 행렬을 곱한다는 뜻입니다. 행렬 $W_Q, W_K \in \R^{D \times d_k}$, $W_V \in \R^{D \times d_v}$ 로 다음과 같이 적습니다.

$$ \begin{aligned} \text{자기 어텐션:}\quad & Q = X W_Q, \quad K = X W_K, \quad V = X W_V \\ \text{교차 어텐션:}\quad & Q = Z W_Q, \quad K = M W_K, \quad V = M W_V \end{aligned} $$

연산 자체는 똑같이 $\softmax(QK^\top/\sqrt{d_k})\,V$ 입니다. 달라지는 것은 재료의 출처뿐입니다. 이 튜토리얼에서 두 어텐션이 쓰이는 자리는 다음과 같습니다.

어디서종류질의의 출처열쇠 · 값의 출처자세히
백본(ViT)자기 어텐션그림 토큰같은 그림 토큰6장
디코더자기 어텐션객체 질의같은 객체 질의7장
디코더교차 어텐션객체 질의그림 토큰7장, 8장

DETR 계열 탐지기의 심장은 셋째 줄입니다. 객체 질의 하나하나가 그림 토큰 전체를 훑어보고, 자기가 맡을 물체가 있는 곳의 정보를 끌어옵니다. “객체 질의” 라는 이름도 여기서 나왔습니다. 교차 어텐션에서 질의 자리에 들어가는 토큰 이기 때문입니다.

질의 Q 의 재료: 객체 질의 3개 객체 질의 1 객체 질의 2 객체 질의 3 교차 어텐션 가중치 모양 (3, 24) 새 객체 질의 3개: 모양 (3, D) 열쇠 K · 값 V 의 재료: 그림 토큰 24개 색칠한 칸: 객체 질의 1 이 큰 가중치를 준 그림 토큰
그림 5-4. DETR 디코더의 교차 어텐션. 객체 질의(왼쪽)가 질의가 되고, 그림 토큰(오른쪽)이 열쇠와 값이 됩니다. 질의마다 그림 토큰 전체에 대한 가중치 한 벌을 가지며, 출력의 개수는 질의의 개수와 같습니다.

계산량: 토큰 수의 제곱

“모든 토큰이 모든 토큰을 본다” 에는 값이 따릅니다. 자기 어텐션의 점수 행렬 $S$ 는 $N \times N$ 이고, 성분 하나가 길이 $d_k$ 의 내적입니다. 따라서 곱셈 횟수가 대략 $N^2 \cdot d_k$ 이고, 가중치 행렬을 담을 메모리도 $N^2$ 에 비례합니다. 원 논문의 표 1 은 이것을 “층마다의 복잡도 $O(N^2 \cdot D)$” 라고 적습니다. $O(\cdot)$ 는 “상수배를 무시하고 이만큼의 비율로 는다” 는 뜻의 표기입니다.

그림에서 토큰 수는 (한 변의 픽셀 수 ÷ 패치 크기)² 입니다. 패치를 절반으로 줄이거나 해상도를 두 배로 올리면 토큰은 4배, 토큰 쌍은 16배 가 됩니다.

그림 한 변패치 크기격자토큰 수 $N$토큰 쌍 $N^2$패치 16 대비
96166×6361,2961배
96812×1214420,73616배
96424×24576331,776256배
96248×482,3045,308,4164,096배

도형 세상은 장난감이지만 실제 모델도 같은 산수를 따릅니다. RF-DETR 논문의 표 7 에 실린 구성으로 패치 토큰 수를 세어 보면 다음과 같습니다(백본이 덧붙이는 몇 개의 특수 토큰은 뺀 값입니다. 6장).

모델(논문 표 7)해상도패치 크기격자토큰 수 $N$토큰 쌍 $N^2$
RF-DETR N3841624×24576331,776
RF-DETR M5761636×361,2961,679,616
RF-DETR 2XL8802044×441,9363,748,096

N 에서 2XL 로 가면 토큰은 3.4배지만 토큰 쌍은 11.3배입니다. 실시간 탐지기에게 이 제곱 비용은 큰 짐이고, 뒤의 두 장이 바로 이 짐을 덜어 내는 이야기입니다.

이 장 끝에서 토큰 수를 늘려 가며 실제 시간을 재 봅니다.

마스크: 보면 안 되는 곳 가리기

때로는 어떤 질의가 어떤 열쇠를 아예 보지 못하게 막아야 합니다. 방법은 소프트맥스 앞에서 그 자리의 점수에 $-\infty$ 를 더하는 것입니다. 막을 자리가 $-\infty$, 나머지가 0 인 행렬 $M^{\text{mask}} \in \R^{N_q \times N_k}$ 를 만들어 점수에 더합니다.

$$ A = \softmax\!\left( \frac{QK^\top}{\sqrt{d_k}} + M^{\text{mask}} \right), \qquad M^{\text{mask}}_{ij} = \begin{cases} -\infty & (i, j)\text{ 를 막을 때} \\ 0 & \text{그 밖} \end{cases} $$
−∞ 를 더하면 가중치가 정확히 0 이 된다
$$ \exp(s_j + (-\infty)) = \exp(-\infty) = 0 $$
지수 함수 $e^x$ 는 $x$ 가 작아질수록 0 에 다가가고, $x \to -\infty$ 의 극한이 0 입니다. 막힌 자리는 소프트맥스의 분자가 0 이 됩니다.
$$ \alpha_j = \frac{0}{\sum_{l \,\notin\, \text{막힘}} \exp(s_l) + 0} = 0 \qquad (j \text{ 가 막힌 자리}) $$
분자가 0 이므로 가중치가 0 입니다. 아주 작은 값이 아니라 정확히 0 이어서, 그 값 벡터는 출력에 조금도 섞이지 않습니다.
$$ \alpha_j = \frac{\exp(s_j)}{\sum_{l \,\notin\, \text{막힘}} \exp(s_l)} \qquad (j \text{ 가 막히지 않은 자리}) $$
분모에서 막힌 항이 빠졌습니다. 남은 열쇠끼리만 소프트맥스를 한 것과 같아서, 가중치의 합은 여전히 1 입니다.

손계산 예에서 셋째 열쇠를 가려 봅시다. 첫째 질의의 점수는 $(2.8284, 0, 1.4142)$ 였습니다. 셋째를 빼면 $e^{2.8284} + e^{0} = 16.919 + 1 = 17.919$ 이고, 가중치는 $(16.919/17.919,\; 1/17.919,\; 0) = (0.9442,\; 0.0558,\; 0)$ 입니다. 원래 셋째 토큰에 주던 0.1867 이 나머지 둘에게 비율대로 돌아갔습니다.

마스크는 쓰임새에 따라 두 가지로 부릅니다. PyTorch 의 인자 이름도 이것을 따릅니다.

어텐션 마스크는 뒤에서 한 번 더 만납니다. LW-DETR 과 RF-DETR 은 학습 때 객체 질의를 여러 묶음으로 나눠 쓰는 Group DETR 이라는 기법을 쓰는데(9장, 11장), 이때 디코더의 자기 어텐션에서 다른 묶음의 질의끼리는 서로 보지 못해야 합니다. “묶음이 다르면 막는다” 는 어텐션 마스크 한 장이면 이것을 구현할 수 있습니다. (RF-DETR 의 공개 코드는 마스크 대신 질의를 묶음별로 잘라 따로따로 자기 어텐션을 하는 방식으로 같은 효과를 냅니다.) 아래 코드의 둘째 예가 그 축소판입니다. 질의 4개를 두 묶음으로 나눴습니다.


  
[마스크] 세 번째 열쇠를 가린 가중치 =
 tensor([[0.9442, 0.0558, 0.0000],
        [0.0558, 0.9442, 0.0000],
        [0.5000, 0.5000, 0.0000]])
[마스크] 묶음 마스크 =
 tensor([[0, 0, 1, 1],
        [0, 0, 1, 1],
        [1, 1, 0, 0],
        [1, 1, 0, 0]], dtype=torch.int32)
[마스크] 묶음끼리만 보는 가중치 =
 tensor([[0.9122, 0.0878, 0.0000, 0.0000],
        [0.2729, 0.7271, 0.0000, 0.0000],
        [0.0000, 0.0000, 0.9958, 0.0042],
        [0.0000, 0.0000, 0.0237, 0.9763]])

첫 출력의 첫 행이 방금 손으로 구한 $(0.9442, 0.0558, 0)$ 입니다. 둘째 출력에서는 가중치가 왼쪽 위 2×2 와 오른쪽 아래 2×2 에만 남았습니다. 묶음 $\{0, 1\}$ 과 $\{2, 3\}$ 이 서로 완전히 끊긴 것입니다.

한 행을 통째로 막으면 NaN

어떤 질의가 볼 수 있는 열쇠가 하나도 없으면 소프트맥스가 $0/0$ 이 되어 NaN(숫자 아님)이 나오고, 그것이 손실까지 번집니다. 마스크를 만들 때는 모든 질의가 적어도 열쇠 하나는 볼 수 있는지 확인하세요. 학습 도중 손실이 갑자기 NaN 이 되면 의심해 볼 곳 가운데 하나입니다.

다중 머리 어텐션

왜 머리를 여럿 두나

어텐션 한 번은 질의마다 가중치를 한 벌 만 만듭니다. 그런데 토큰 하나가 알고 싶은 것은 여러 가지일 수 있습니다. 도형의 가장자리에 놓인 그림 토큰이라면 “나와 같은 색인 토큰은 어디까지 이어지나” 와 “내 바로 옆에는 무엇이 있나” 를 둘 다 알고 싶을 것입니다. 가중치 한 벌로 두 가지를 다 보려 하면 둘이 평균되어 흐려집니다. 원 논문의 말로는 “머리가 하나면 평균 내기가 이것을 막는다” 입니다.

다중 머리 어텐션multi-head attention 은 작은 어텐션을 $h$ 개 나란히 돌립니다. 하나하나를 머리(head)라고 부릅니다. 머리마다 자기만의 투영 행렬로 질의 · 열쇠 · 값을 따로 만들기 때문에, 머리마다 다른 기준으로 다른 곳을 볼 수 있습니다. 마지막에 머리들의 출력을 이어 붙입니다.

투영 행렬 넷과 모양 추적

머리 $i$ ($i = 1, \dots, h$)는 투영 행렬 $W_i^Q, W_i^K \in \R^{D \times d_k}$, $W_i^V \in \R^{D \times d_v}$ 를 갖습니다. 질의의 재료를 $X_q \in \R^{N_q \times D}$, 열쇠 · 값의 재료를 $X_k \in \R^{N_k \times D}$ 라고 하면(자기 어텐션이면 둘이 같습니다) 다음과 같습니다.

$$ \begin{aligned} \text{head}_i &= \operatorname{Attention}\big(X_q W_i^Q,\; X_k W_i^K,\; X_k W_i^V\big) \in \R^{N_q \times d_v} \\ \operatorname{MultiHead}(X_q, X_k) &= \operatorname{Concat}(\text{head}_1, \dots, \text{head}_h)\, W^O \in \R^{N_q \times D} \end{aligned} $$

$\operatorname{Concat}$ 은 머리 $h$ 개의 출력을 옆으로 이어 붙여 $(N_q, h\, d_v)$ 로 만드는 것이고, $W^O \in \R^{h d_v \times D}$ 는 이어 붙인 것을 다시 섞어 $D$ 차원으로 되돌리는 출력 투영입니다. 머리의 차원은 보통 $D$ 를 머리 수로 나눈 값 으로 정합니다.

$$ d_k = d_v = \frac{D}{h} $$

원 논문은 $D = 512$, $h = 8$ 이라 $d_k = 64$ 입니다. RF-DETR 기본 구성의 디코더는 $D = 256$ 이고 자기 어텐션의 머리가 8개라 $d_k = 256/8 = 32$ 입니다. 이렇게 나누면 머리가 여럿이어도 전체 계산량이 “$D$ 차원 머리 하나” 와 비슷합니다. 머리 하나가 $N_q N_k\, d_k$ 번의 곱셈을 하므로 $h$ 개면 $h \cdot N_q N_k \cdot (D/h) = N_q N_k D$ 입니다.

구현에서는 머리마다 작은 행렬을 따로 두지 않습니다. $W_1^Q, \dots, W_h^Q$ 를 옆으로 이어 붙이면 $D \times (h\,d_k) = D \times D$ 행렬 하나 $W_Q$ 가 되므로, $X W_Q$ 를 한 번 계산한 다음 결과의 $D$ 개 열을 $d_k$ 개씩 $h$ 묶음으로 쪼개면 머리별 질의가 됩니다. $W_K$, $W_V$ 도 같습니다. 그래서 매개변수는 $D \times D$ 행렬 넷 $W_Q, W_K, W_V, W_O$ (와 편향)뿐입니다.

토큰 (N, D) 선형 투영 WQ, WK, WV 머리 1: 어텐션 (N, D/h) 머리 2: 어텐션 (N, D/h) 머리 h: 어텐션 (N, D/h) 이어 붙이기 (N, D) WO 출력 (N, D)
그림 5-5. 다중 머리 자기 어텐션. 투영한 벡터를 머리 $h$ 개로 쪼개 머리마다 따로 어텐션하고, 다시 이어 붙여 $W_O$ 로 섞습니다. 들어간 모양 $(N, D)$ 그대로 나옵니다.

배치까지 넣어 텐서 모양을 따라가면 다음과 같습니다. 코드의 줄과 하나씩 맞춰 보세요.

단계연산모양$B = 2$, $N_q = 5$, $N_k = 12$, $D = 256$, $h = 8$
입력질의 재료 / 열쇠 · 값 재료$(B, N_q, D)$ / $(B, N_k, D)$(2, 5, 256) / (2, 12, 256)
투영$W_Q$, $W_K$, $W_V$ 곱하기그대로(2, 5, 256) / (2, 12, 256)
머리로 쪼개기마지막 축을 $(h, d_k)$ 로, 머리 축을 앞으로$(B, h, N_q, d_k)$ / $(B, h, N_k, d_k)$(2, 8, 5, 32) / (2, 8, 12, 32)
점수 · 가중치$QK^\top/\sqrt{d_k}$, 소프트맥스$(B, h, N_q, N_k)$(2, 8, 5, 12)
머리별 출력$AV$$(B, h, N_q, d_k)$(2, 8, 5, 32)
이어 붙이기머리 축을 뒤로 보내 합치기$(B, N_q, h\,d_k) = (B, N_q, D)$(2, 5, 256)
출력 투영$W_O$ 곱하기$(B, N_q, D)$(2, 5, 256)

매개변수 수 세기

$D = 256$, $h = 8$ 인 다중 머리 어텐션의 매개변수를 손으로 세어 봅시다. PyTorch 의 선형 층은 가중치 행렬에 편향 벡터를 더합니다.

D = 256 일 때 매개변수 263,168개
$$ W_Q:\quad D \times D + D = 256 \times 256 + 256 = 65{,}536 + 256 = 65{,}792 $$
가중치 $D \times D$ 개와 편향 $D$ 개입니다. 머리 8개의 $256 \times 32$ 행렬을 이어 붙인 것이 $256 \times 256$ 행렬입니다.
$$ W_K,\; W_V,\; W_O:\quad \text{저마다 } 65{,}792 $$
네 투영 모두 $D \to D$ 선형 층이라 크기가 같습니다.
$$ 4 \times (D^2 + D) = 4 \times 65{,}792 = 263{,}168 $$
식에 머리 수 $h$ 가 없습니다. 머리를 1개로 하든 8개로 하든 매개변수 수는 같고, 달라지는 것은 그 매개변수를 “몇 묶음으로 쪼개 쓰느냐” 뿐입니다.

구현과 내장 모듈 대조

이제 직접 구현합니다. 앞에서 만든 scaled_dot_product_attention 에 투영 넷과 “머리로 쪼개기 · 이어 붙이기” 만 더하면 됩니다. 두 마스크는 (B, 1, N_q, N_k) 로 넓혀질 수 있는 꼴로 합쳐서 넘깁니다(가운데 1 은 머리 축: 모든 머리에 같은 마스크).


  

제대로 만들었는지는 PyTorch 내장 nn.MultiheadAttention 과 견주어 확인합니다. 내장 모듈은 $W_Q, W_K, W_V$ 를 세로로 쌓은 in_proj_weight 한 덩어리로 갖고 있으므로, 우리 가중치를 그 순서대로 이어 붙여 넣어 주면 됩니다. 같은 입력에 같은 출력이 나와야 합니다.


  
[다중 머리] 매개변수 수: 직접 구현 263,168, 내장 263,168 (손계산 4 × (256·256 + 256) = 263,168)
[다중 머리] 교차 어텐션 모양: 출력 (2, 5, 256), 가중치 (2, 8, 5, 12)
[check] nn.MultiheadAttention 과의 최대 차이: 출력 1.19e-07, 가중치 4.47e-08
[check] 패딩된 열쇠의 가중치 합: 0.0, 가중치 행의 합(모두 1 이어야): 최소 1.000000 최대 1.000000
[check] 어텐션 마스크를 준 자기 어텐션의 최대 차이: 1.79e-07
[check] F.scaled_dot_product_attention 과의 최대 차이: 4.77e-07

RF-DETR 의 공개 코드도 디코더의 자기 어텐션에 내장 nn.MultiheadAttention 을 씁니다. 둘이 같은 계산이라는 것을 여기서 확인했으므로, 뒤의 장에서 내장 모듈을 만나면 이 절의 코드를 떠올리면 됩니다.

어텐션은 순서를 모른다

순열 등변성

어텐션 식을 다시 보면 “토큰이 몇 번째인가” 가 어디에도 없습니다. 점수는 내용끼리의 내적일 뿐입니다. 그래서 토큰의 순서를 섞어 넣으면, 출력도 똑같이 섞여서 나올 뿐 값 자체는 달라지지 않습니다. 이 성질을 순열 등변성permutation equivariance 이라고 합니다. 식으로 보이겠습니다.

토큰의 순서를 바꾸는 일은 순열 행렬 $P$ 를 곱하는 것으로 적습니다. $P$ 는 행마다 · 열마다 1 이 딱 하나씩 있고 나머지는 0 인 $N \times N$ 행렬입니다. $PX$ 는 $X$ 의 행(토큰)을 다시 늘어놓은 것이고, 오른쪽에 $P^\top$ 를 곱하면 열을 같은 순서로 다시 늘어놓습니다. 섞었다가 되돌리면 원래대로이므로 $P^\top P = I$ (단위 행렬)입니다.

자기 어텐션에 섞은 토큰 PX 를 넣으면 출력은 P·(원래 출력)
$$ Q' = (PX) W_Q = P (X W_Q) = P Q, \qquad K' = P K, \qquad V' = P V $$
행렬 곱은 묶는 순서를 바꿔도 됩니다(결합 법칙). 투영은 토큰마다 따로 하는 계산이므로, 섞고 투영하나 투영하고 섞으나 같습니다.
$$ S' = \frac{Q' K'^{\top}}{\sqrt{d_k}} = \frac{(PQ)(PK)^\top}{\sqrt{d_k}} = P\, \frac{Q K^\top}{\sqrt{d_k}}\, P^\top = P S P^\top $$
$(PK)^\top = K^\top P^\top$ 입니다. 점수 표는 행(질의)과 열(열쇠)이 같은 순서로 다시 늘어놓였을 뿐, 안의 숫자는 그대로입니다.
$$ A' = \softmax(P S P^\top) = P\, \softmax(S)\, P^\top = P A P^\top $$
소프트맥스는 행마다 따로 계산하고, 한 행 안에서는 숫자들이 어떤 순서로 놓여 있든 저마다의 결과가 같습니다. 그래서 행과 열을 늘어놓는 일과 순서를 바꿔도 됩니다.
$$ O' = A' V' = (P A P^\top)(P V) = P A\, (P^\top P)\, V = P A V = P\, O $$
$P^\top P = I$ 가 가운데서 사라집니다. 섞어 넣은 출력 $O'$ 은 원래 출력 $O$ 를 같은 순서로 섞은 것입니다.

손계산 예로 확인하면, 토큰을 $(x_2, x_1, x_3)$ 순서로 넣어도 $x_1 = (2, 0)$ 의 출력은 여전히 $(1.7225, 0.2775)$ 입니다. 그 출력이 첫째 자리가 아니라 둘째 자리에 나올 뿐입니다. 여러 층을 쌓아도, 뒤에서 볼 FFN 과 층 정규화를 끼워 넣어도(모두 토큰마다 따로 하는 계산입니다) 이 성질은 그대로입니다.

그림에는 치명적입니다. 그림 토큰 144개를 마구 섞어 넣어도 각 토큰의 출력이 같다면, 모델은 빨간 조각이 그림의 어디에 있는지 알 길이 없습니다. 박스의 좌표를 맞혀야 하는 탐지기에게 위치는 전부입니다. DETR 논문도 “Transformer 구조는 순열에 불변이므로 고정된 위치 인코딩으로 보충한다” 고 적습니다.

등변과 불변

입력을 섞으면 출력도 따라 섞이는 것이 등변($f(PX) = P f(X)$), 입력을 섞어도 출력이 아예 같은 것이 불변($f(PX) = f(X)$)입니다. 자기 어텐션 층 자체는 등변이고, 그 출력을 토큰 방향으로 평균 내면(순서와 상관없는 연산) 불변이 됩니다. 논문들은 둘을 뭉뚱그려 “순열 불변” 이라고 부르기도 합니다.


  
[순열] 섞는 순서 [6, 9, 0, 2, 4, 8, 1, 5, 3, 7]
[순열] 위치 인코딩 없음: |f(PX) − P f(X)| 의 최댓값 = 1.19e-07  (0 → 순서를 모른다)
[순열] 위치 인코딩 더함: 같은 차이 = 0.150  (0 이 아님 → 순서가 출력을 바꾼다)

토큰 10개를 섞어 넣은 출력과, 원래 출력을 같은 순서로 섞은 것의 차이가 $1.19 \times 10^{-7}$ 입니다(반올림 오차). 유도한 대로 어텐션은 순서를 모릅니다. 둘째 줄은 토큰에 곧 설명할 위치 인코딩을 더했을 때입니다. 같은 차이가 0.150 으로, 이제는 “어느 자리에 놓였는가” 가 출력을 바꿉니다.

사인 위치 인코딩

해결책은 토큰에 “나는 몇 번째다” 라는 정보를 직접 더해 주는 것입니다. 위치마다 다른 벡터를 만들어 토큰 벡터에 더합니다. 이 벡터를 위치 인코딩positional encoding 이라고 합니다. 토큰과 더해야 하므로 차원이 토큰과 같은 $D$ 입니다. 원 논문은 사인 · 코사인 함수로 만든, 학습하지 않는 고정된 벡터를 씁니다. 위치 $pos$ ($0, 1, 2, \dots$)의 인코딩에서 성분은 둘씩 짝을 이룹니다.

$$ \begin{aligned} PE(pos,\, 2i) &= \sin\!\big(pos \cdot \omega_i\big), \\ PE(pos,\, 2i+1) &= \cos\!\big(pos \cdot \omega_i\big), \end{aligned} \qquad \omega_i = \frac{1}{10000^{\,2i/D}}, \qquad i = 0, 1, \dots, \tfrac{D}{2} - 1 $$

$PE(pos, c)$ 는 위치 $pos$ 의 인코딩 벡터에서 $c$ 번째 성분입니다. $\omega_i$ (오메가)는 $i$ 번째 짝의 각진동수 로, 위치가 1 늘 때 사인의 각도가 얼마나 도는지를 정합니다. 원 논문은 $\sin(pos / 10000^{2i/D})$ 라고 적는데 같은 식입니다. $i = 0$ 이면 $\omega_0 = 1$ 로 가장 빨리 돌고, $i$ 가 커질수록 느려집니다. 한 바퀴 도는 데 필요한 위치의 수(파장)는 $2\pi/\omega_i = 2\pi \cdot 10000^{2i/D}$ 여서, 가장 빠른 짝이 $2\pi \approx 6.28$ 이고 가장 느린 짝은 $10000 \cdot 2\pi$ 에 다가갑니다.

가장 작은 예 $D = 4$ 로 손계산해 봅시다. 짝이 둘이고 $\omega_0 = 1/10000^{0} = 1$, $\omega_1 = 1/10000^{2/4} = 1/100 = 0.01$ 입니다.

$pos$$\sin(pos \cdot 1)$$\cos(pos \cdot 1)$$\sin(pos \cdot 0.01)$$\cos(pos \cdot 0.01)$
00.00001.00000.00001.0000
10.84150.54030.01000.9999
20.9093−0.41610.02000.9998
30.1411−0.99000.03000.9996

각도의 단위는 라디안입니다($\sin 1 = 0.8415$). 앞의 두 성분은 위치마다 크게 달라지고, 뒤의 두 성분은 아주 천천히 변합니다. 코드는 실수 위치를 받는 sine_embed 하나로 만들어 두고, 1차원 · 2차원 인코딩이 이것을 불러 씁니다.


  
[위치] sine_position_1d(4, 4) =
 tensor([[ 0.0000,  1.0000,  0.0000,  1.0000],
        [ 0.8415,  0.5403,  0.0100,  0.9999],
        [ 0.9093, -0.4161,  0.0200,  0.9998],
        [ 0.1411, -0.9900,  0.0300,  0.9996]])
[위치] d = 64: PE(32)·PE(32) = 32.00, PE(32)·PE(33) = 30.92, PE(32)·PE(36) = 23.93, PE(32)·PE(48) = 19.37
[위치] 위치가 달라도 간격이 같으면 내적이 같다: PE(10)·PE(14) = 23.93, PE(50)·PE(54) = 23.93
[위치] sine_position_2d(12, 12, 64) 모양 (144, 64), 같은 행의 두 토큰은 앞 절반(y)이 같다: True, 같은 열의 두 토큰은 뒤 절반(x)이 같다: True

첫 표가 위의 손계산과 같습니다. 나머지 줄은 조금 뒤에 읽습니다.

왜 여러 주파수인가

시계를 떠올려 보세요. 초침은 빨리 돌아서 1초의 차이도 구별하지만 1분마다 같은 자리로 돌아옵니다. 시침은 12시간 동안 한 번도 같은 자리에 오지 않지만 1초 사이에는 거의 움직이지 않습니다. 둘을 함께 읽어야 “정확하면서도 헷갈리지 않는” 시각이 됩니다.

위치 인코딩도 같습니다. 빠른 성분(작은 $i$)은 바로 옆 위치를 또렷이 구별하지만 6칸쯤마다 같은 값으로 돌아옵니다. 느린 성분(큰 $i$)은 먼 위치끼리 구별해 주지만 이웃끼리는 거의 같습니다. 빠른 것부터 느린 것까지 여러 개를 나란히 두면, 위치마다 다른 벡터가 되면서 가까운 위치끼리는 비슷한 벡터가 됩니다.

“가까우면 비슷하다” 는 것은 내적으로 정확히 말할 수 있습니다. 사인과 코사인을 짝으로 둔 까닭이 여기서 드러납니다.

두 위치 인코딩의 내적은 간격에만 달려 있다
$$ PE(p) \cdot PE(p + \Delta) = \sum_{i=0}^{D/2 - 1} \Big[ \sin(\omega_i p)\,\sin\!\big(\omega_i (p + \Delta)\big) + \cos(\omega_i p)\,\cos\!\big(\omega_i (p + \Delta)\big) \Big] $$
$PE(p)$ 는 위치 $p$ 의 인코딩 벡터 전체, $\Delta$ (델타)는 두 위치의 간격입니다. 내적을 짝($i$)마다 사인 성분끼리 · 코사인 성분끼리 곱해 적었습니다.
$$ = \sum_{i=0}^{D/2 - 1} \cos\!\big( \omega_i (p + \Delta) - \omega_i p \big) $$
삼각함수의 덧셈 정리 $\cos(\beta - \gamma) = \cos\beta\cos\gamma + \sin\beta\sin\gamma$ 를 $\beta = \omega_i(p + \Delta)$, $\gamma = \omega_i p$ 로 썼습니다.
$$ PE(p) \cdot PE(p + \Delta) = \sum_{i=0}^{D/2 - 1} \cos(\omega_i\, \Delta) $$
$p$ 가 사라졌습니다. 내적은 두 위치가 어디에 있는지와 상관없이 간격 $\Delta$ 에만 달려 있습니다. $\Delta = 0$ 이면 $\cos 0 = 1$ 이 $D/2$ 개라 최댓값 $D/2$ 이고, 간격이 벌어지면 빠른 성분부터 코사인이 1 에서 멀어져 내적이 줄어듭니다.

위 출력에서 [위치] d = 64 로 시작하는 줄과 그 다음 줄이 이것입니다. $D = 64$ 에서 자기 자신과의 내적은 $D/2 = 32.00$, 한 칸 옆은 30.92, 네 칸 옆은 23.93, 열여섯 칸 옆은 19.37 로 줄어듭니다. 그리고 위치 10 과 14 의 내적(23.93)이 위치 50 과 54 의 내적(23.93)과 같습니다. 간격이 4 로 같기 때문입니다.

왼쪽: 위치 64개, 64차원의 사인 위치 인코딩 히트맵. 가운데: 성분 0, 8, 16, 32 의 값을 위치에 따라 그린 곡선. 오른쪽: 기준 위치 10, 32, 50 과 모든 위치의 내적
그림 5-6. 1차원 사인 위치 인코딩($D = 64$, 위치 0 – 63). 왼쪽: 행이 위치, 열이 성분인 히트맵(빨강 +1, 파랑 −1). 가운데: 성분 넷의 파형. 오른쪽: 기준 위치와 다른 모든 위치의 내적.
원 논문이 사인을 고른 이유

원 논문은 사인 꼴을 고른 까닭을 “간격 $\Delta$ 만큼 떨어진 위치의 인코딩이 원래 인코딩의 선형 변환 으로 적히므로, 모델이 상대 위치를 보는 법을 쉽게 배울 것이라고 가정했다” 고 적습니다. 실제로 덧셈 정리를 쓰면 짝 하나에 대해 $$ \begin{pmatrix} \sin\omega_i(p + \Delta) \\ \cos\omega_i(p + \Delta) \end{pmatrix} = \begin{pmatrix} \cos\omega_i\Delta & \sin\omega_i\Delta \\ -\sin\omega_i\Delta & \cos\omega_i\Delta \end{pmatrix} \begin{pmatrix} \sin\omega_i p \\ \cos\omega_i p \end{pmatrix} $$ 이고, 가운데 행렬은 $p$ 와 상관없이 $\Delta$ 만으로 정해집니다. 같은 논문은 위치마다 벡터를 학습 하는 방식도 시험했고 결과가 거의 같았다고 보고합니다(논문 표 3 의 (E) 행). 학습하는 쪽은 이 튜토리얼에서 “위치 임베딩” 이라고 부르며, ViT 와 DINOv2 가 쓰는 방식이라 6장에서 다룹니다.

그림을 위한 2차원 위치 인코딩

그림 토큰의 위치는 숫자 하나가 아니라 (행, 열) 둘입니다. DETR 은 1차원 인코딩을 다음과 같이 넓혀 씁니다. $D$ 차원의 절반은 세로 좌표 $y$ 의 사인 인코딩에, 나머지 절반은 가로 좌표 $x$ 의 사인 인코딩에 씁니다.

$$ PE_{2D}(x, y) = \big[\; \underbrace{PE_{D/2}(\tilde{y})}_{D/2\text{ 개}} \;,\; \underbrace{PE_{D/2}(\tilde{x})}_{D/2\text{ 개}} \;\big], \qquad \tilde{y} = 2\pi\,\frac{y}{H}, \quad \tilde{x} = 2\pi\,\frac{x}{W} $$

$H$, $W$ 는 토큰 격자의 높이와 너비(도형 세상에서는 12, 12)이고, $y = 1, \dots, H$ 와 $x = 1, \dots, W$ 는 1부터 센 행 · 열 번호입니다. $PE_{D/2}$ 는 앞의 1차원 식에서 $D$ 자리에 $D/2$ 를 넣은 것입니다($D = 64$ 면 축마다 32개 성분, 짝 16개, $\omega_i = 10000^{-i/16}$). $\tilde{y}, \tilde{x}$ (물결표)는 좌표를 $(0, 2\pi]$ 범위로 바꾼 것입니다. DETR 의 공개 코드가 이렇게 하는데, 격자가 12×12 든 40×40 든 좌표가 같은 범위에 놓이게 하려는 것입니다.

숫자로 확인해 봅시다. 12×12 격자의 맨 윗줄($y = 1$)은 $\tilde{y} = 2\pi/12 = 0.5236$ 이고, 가장 빠른 성분은 $\sin(0.5236 \cdot 1) = 0.5$ 입니다. 셋째 줄($y = 3$)은 $\tilde{y} = \pi/2$ 여서 $\sin(\pi/2) = 1$, 맨 아랫줄($y = 12$)은 $\tilde{y} = 2\pi$ 여서 $\sin(2\pi) = 0$ 입니다. 가장 빠른 성분이 그림의 위에서 아래까지 딱 한 바퀴 도는 셈입니다.


  

위 출력의 마지막 줄이 이 함수의 성질을 확인합니다. 모양은 (144, 64) 이고, 같은 행의 두 토큰은 앞 절반($y$)이 같고, 같은 열의 두 토큰은 뒤 절반($x$)이 같습니다. 이 구현은 RF-DETR 공개 코드의 PositionEmbeddingSine(normalize=True) 와 견주어 차이가 $10^{-6}$ 아래인 것을 따로 확인했습니다.

위 줄: 12×12 격자의 2차원 사인 위치 인코딩 가운데 성분 넷의 지도. 아래 줄: 기준 위치 넷과 모든 위치의 내적 지도
그림 5-7. 12×12 격자의 2차원 사인 위치 인코딩($D = 64$). 위 줄: 성분 넷을 격자 위에 그린 것. 아래 줄: 빨간 × 로 표시한 기준 위치의 인코딩과 다른 모든 위치의 인코딩의 내적.

위치 인코딩을 어디에 더할지는 모델마다 다릅니다. 원 논문은 맨 처음 입력 토큰에 한 번 더합니다. DETR 은 어텐션 층마다 질의와 열쇠에 더합니다(논문은 이렇게 할 때 가장 좋았다고 보고합니다). 자세한 것은 7장에서 봅니다.

Transformer 층 조립하기

TransformerTransformer 는 “Attention Is All You Need” 가 내놓은 신경망 구조로, 다중 머리 어텐션을 중심으로 한 층 을 여러 번 쌓은 것입니다. 원 논문은 번역 모델이라 문장을 읽는 인코더 6층과 문장을 쓰는 디코더 6층으로 되어 있었습니다. 탐지기에서는 그림을 읽는 쪽이 인코더(RF-DETR 에서는 백본 ViT), 박스를 내놓는 쪽이 디코더입니다. 어텐션 말고 필요한 부품은 셋인데, 둘은 이미 4장에서 보았습니다.

토큰마다 따로 생각하기: FFN

어텐션은 토큰끼리 정보를 모으는 일만 합니다. 값들의 가중 평균이라, 모은 정보를 가지고 새로운 것을 계산해 내는 힘은 약합니다. 그래서 어텐션 뒤에 작은 2층 신경망을 둡니다. 이것을 FFNfeed-forward network(순방향 신경망)이라고 부릅니다. MLP 라고 부르는 논문도 많습니다.

$$ \operatorname{FFN}(x) = \max(0,\; x W_1 + b_1)\, W_2 + b_2, \qquad W_1 \in \R^{D \times rD}, \quad W_2 \in \R^{rD \times D} $$

$x$ 는 토큰 하나(길이 $D$ 의 행벡터), $\max(0, \cdot)$ 는 ReLU, $b_1, b_2$ 는 편향입니다. 가운데 은닉 층은 토큰보다 $r$ 배 넓습니다. $r$ 을 확장 비율 이라고 합니다. 원 논문은 $D = 512$ 에 은닉 2048 이라 $r = 4$ 이고, RF-DETR 디코더의 기본 구성은 $D = 256$ 에 은닉 2048 이라 $r = 8$ 입니다. 중요한 점은 FFN 이 토큰마다 따로, 같은 가중치로 적용된다는 것입니다. 토큰 사이의 정보 교환은 어텐션만 맡고, FFN 은 한 토큰 안에서 일합니다.

매개변수 수는 $W_1$ 과 $b_1$ 이 $D \cdot rD + rD$, $W_2$ 와 $b_2$ 가 $rD \cdot D + D$ 입니다. $D = 256$, $r = 8$ 이면 $(256 \times 2048 + 2048) + (2048 \times 256 + 256) = 526{,}336 + 524{,}544 = 1{,}050{,}880$ 으로, 어텐션(263,168)의 네 배쯤입니다. Transformer 층의 매개변수 대부분은 FFN 에 있습니다.

인코더 층: post-norm 과 pre-norm

인코더 층 하나는 “자기 어텐션” 과 “FFN” 두 부분으로 되어 있고, 두 부분 모두 잔차 연결과 층 정규화로 감쌉니다. 감싸는 순서에 두 가지 유파가 있습니다. 토큰 묶음을 $x$, 자기 어텐션을 $\operatorname{SA}$ 라고 적으면 다음과 같습니다.

$$ \begin{aligned} \textbf{post-norm:}\quad & x' = \operatorname{LN}\big(x + \operatorname{SA}(x)\big), & y &= \operatorname{LN}\big(x' + \operatorname{FFN}(x')\big) \\ \textbf{pre-norm:}\quad & x' = x + \operatorname{SA}\big(\operatorname{LN}(x)\big), & y &= x' + \operatorname{FFN}\big(\operatorname{LN}(x')\big) \end{aligned} $$

두 방식 모두 입력과 출력의 모양이 (B, N, D) 로 같습니다. 그래서 같은 층을 몇 번이고 쌓을 수 있습니다. 구현은 스위치 하나로 둘 다 지원합니다. pos 를 주면 DETR 처럼 질의와 열쇠에만 위치 인코딩을 더합니다.


  
[check] 인코더 층(post-norm) nn.TransformerEncoderLayer 와의 최대 차이: 7.15e-07
[check] 인코더 층(pre-norm ) nn.TransformerEncoderLayer 와의 최대 차이: 4.77e-07
[인코더 층] 매개변수 수 (D = 256, h = 8, FFN 2048): 어텐션 263,168, FFN 1,050,880, 층 정규화 2개 1,024 → 합 1,315,072
[인코더 층] 모양: 입력 (2, 20, 256) → 출력 (2, 20, 256)

같은 가중치를 넣은 PyTorch 내장 nn.TransformerEncoderLayer 와 두 방식 모두 $10^{-7}$ 수준으로 일치합니다. $D = 256$, 머리 8개, FFN 은닉 2048 인 층 하나의 매개변수는 어텐션 263,168 + FFN 1,050,880 + 층 정규화 둘 $2 \times (256 + 256) = 1{,}024$ 로 모두 1,315,072개입니다.

디코더 층

디코더 층은 인코더 층에 교차 어텐션을 하나 끼운 것입니다. 객체 질의 묶음을 $z$, 인코더가 만든 그림 토큰 묶음을 $M$, 교차 어텐션을 $\operatorname{CA}$ 라고 적으면 post-norm 디코더 층은 세 줄입니다.

$$ \begin{aligned} z' &= \operatorname{LN}\big(z + \operatorname{SA}(z)\big) && \text{질의끼리 서로 본다} \\ z'' &= \operatorname{LN}\big(z' + \operatorname{CA}(z', M)\big) && \text{질의가 그림 토큰을 본다} \\ y &= \operatorname{LN}\big(z'' + \operatorname{FFN}(z'')\big) && \text{질의마다 따로 생각한다} \end{aligned} $$
  1. 자기 어텐션: 질의들이 서로의 상태를 봅니다. “그 물체는 내가 맡았다” 를 서로 알려 같은 물체를 두 번 내놓지 않게 하는 통로입니다.
  2. 교차 어텐션: 질의마다 그림 토큰에서 자기 물체의 정보를 가져옵니다. 그림 토큰 $M$ 은 읽기만 하고 바꾸지 않습니다.
  3. FFN: 가져온 정보를 질의마다 따로 가공합니다.

RF-DETR 의 디코더 층도 이 세 단계(자기 어텐션 → 교차 어텐션 → FFN, 모두 post-norm)입니다. 다만 둘째 단계의 교차 어텐션이 8장의 변형 어텐션으로 바뀌어 있습니다.

post-norm 인코더 층 토큰 x 자기 어텐션 더하기 → 층 정규화 FFN 더하기 → 층 정규화 출력 pre-norm 인코더 층 토큰 x 층 정규화 자기 어텐션 더하기 층 정규화 FFN 더하기 출력 post-norm 디코더 층 객체 질의 z 자기 어텐션(질의끼리) 더하기 → 층 정규화 교차 어텐션 더하기 → 층 정규화 FFN 더하기 → 층 정규화 출력 그림 토큰 M
그림 5-8. Transformer 층 세 가지. 파란 점선이 잔차 연결(입력을 그대로 “더하기” 로 보내는 지름길)입니다. post-norm 은 더한 뒤에, pre-norm 은 부품에 넣기 전에 층 정규화를 합니다. 디코더 층은 가운데에 교차 어텐션이 끼어 있고 그림 토큰 $M$ 을 옆에서 받습니다.
언어 모델의 인과 마스크

원 논문의 디코더는 낱말을 하나씩 차례로 만들어 냅니다. 학습할 때 정답 문장을 통째로 넣되, 각 위치가 자기보다 뒤의 낱말을 미리 보지 못하게 디코더의 자기 어텐션에 어텐션 마스크를 겁니다. 질의 $i$ 가 열쇠 $j \gt i$ 를 못 보게 하는 삼각형 모양의 마스크로, 인과 마스크causal mask 라고 부릅니다. 탐지 디코더는 이것을 쓰지 않습니다. DETR 논문의 말대로 객체 $N$ 개를 차례로가 아니라 한꺼번에(병렬로) 내놓기 때문에, 질의들이 서로를 자유롭게 봅니다.

실험: 질의가 그림에서 도형을 찾는다

부품을 다 만들었으니 어텐션이 실제로 “찾아서 가져오는” 모습을 봅시다. DETR 디코더의 축소판으로, 학습되는 질의 3개 와 교차 어텐션 한 층 만 씁니다.

과제와 모델

도형 세상 그림에 빨강 · 초록 · 파랑 도형을 하나씩 놓습니다(도형의 종류 · 크기 · 위치는 무작위). 질의도 셋입니다. 첫째 질의는 빨간 도형의 중심을, 둘째는 초록, 셋째는 파란 도형의 중심 $(c_x, c_y)$ 를 맞혀야 합니다. 모델의 흐름과 텐서 모양은 다음과 같습니다.

  1. 그림 (B, 3, 96, 96) 을 8×8 패치 144개로 자르고, 패치마다 픽셀 $3 \times 8 \times 8 = 192$ 개를 한 줄로 폅니다 → (B, 144, 192).
  2. 선형 층 하나로 토큰 벡터로 바꿉니다 → (B, 144, 64). 여기에 2차원 사인 위치 인코딩 (144, 64) 를 더합니다(원 논문처럼 입력에 한 번).
  3. 학습되는 질의 (3, 64) 가 질의, 그림 토큰이 열쇠와 값인 교차 어텐션(머리 1개) → (B, 3, 64). 가중치는 (B, 3, 144).
  4. 작은 2층 신경망과 시그모이드로 중심을 냅니다 → (B, 3, 2). 손실은 정답 중심과의 L1 거리입니다.

머리를 하나만 쓴 것은 가중치 (3, 144) 를 12×12 로 접어 질의마다의 어텐션 지도 로 바로 읽기 위해서입니다. 매개변수는 모두 33,474개인 아주 작은 모델입니다. 학습용 그림 4,000장, 검증용 1,000장을 쓰고 30 에폭 학습합니다.


  

  

  

재는 것은 둘입니다.

초기값에 따라 결과가 달라지는지 보려고, 같은 모델을 시드만 바꿔 다섯 번 학습했습니다. 견줄 대상으로 위치 인코딩을 더하지 않은 모델도 하나 학습합니다.

[찾기] 학습 4000장, 검증 1000장 (6.9초). 그림 (3, 96, 96) → 토큰 (144, 192)
[찾기] 기준선(늘 학습 데이터의 평균 중심을 답함): 검증 중심 오차 17.06 픽셀. 고른 어텐션이라면 맡은 도형 위의 가중치 합 0.103
[찾기 · 위치 인코딩 있음] 시드 0: 검증 중심 오차(픽셀) 에폭 1 · 5 · 10 · 30 = 16.99, 13.96, 11.71,  2.90 | 맡은 도형 위의 어텐션 0.019 → 도형만 빼고 본다
[찾기 · 위치 인코딩 있음] 시드 1: 검증 중심 오차(픽셀) 에폭 1 · 5 · 10 · 30 = 16.97,  2.07,  1.30,  1.06 | 맡은 도형 위의 어텐션 0.935 → 도형을 본다
[찾기 · 위치 인코딩 있음] 시드 2: 검증 중심 오차(픽셀) 에폭 1 · 5 · 10 · 30 = 16.91,  2.09,  1.31,  1.06 | 맡은 도형 위의 어텐션 0.971 → 도형을 본다
[찾기 · 위치 인코딩 있음] 시드 3: 검증 중심 오차(픽셀) 에폭 1 · 5 · 10 · 30 = 16.09,  2.83,  1.59,  1.10 | 맡은 도형 위의 어텐션 0.960 → 도형을 본다
[찾기 · 위치 인코딩 있음] 시드 4: 검증 중심 오차(픽셀) 에폭 1 · 5 · 10 · 30 = 17.00, 15.06, 12.34,  6.76 | 맡은 도형 위의 어텐션 0.014 → 도형만 빼고 본다
[찾기 · 위치 인코딩 없음] 시드 0: 검증 중심 오차(픽셀) 에폭 1 · 5 · 10 · 30 = 17.07, 17.06, 17.06, 17.07 | 맡은 도형 위의 어텐션 0.012
[찾기] '도형을 본다' 풀이: 시드 3개, 마지막 검증 중심 오차 평균 1.07 픽셀 (최소 1.06, 최대 1.10)
[찾기] '도형만 빼고 본다' 풀이: 시드 2개, 마지막 검증 중심 오차 평균 4.83 픽셀 (최소 2.90, 최대 6.76)
[찾기] 모델 6개 학습 40.3초, 모델 매개변수 33,474개

결과: 풀이가 둘이다

왼쪽: 에폭에 따른 검증 중심 오차. 오른쪽: 맡은 도형 위에 떨어진 어텐션 가중치의 합. 위치 인코딩이 있는 다섯 시드와 위치 인코딩이 없는 모델
그림 5-9. 색으로 찾기 과제의 학습 곡선. 왼쪽: 검증 중심 오차(픽셀, 낮을수록 좋음). 오른쪽: 질의가 맡은 도형 위에 준 가중치의 합. 파랑 실선과 주황 점선은 위치 인코딩이 있는 모델의 다섯 시드, 검정 쇄선은 위치 인코딩이 없는 모델, 회색 점선은 기준선입니다.

위치 인코딩이 있는 다섯 모델은 모두 기준선(17.06 픽셀)보다 훨씬 잘 맞힙니다. 그런데 오른쪽 그림에서 다섯 시드가 두 무리 로 뚜렷이 갈립니다. 기대하지 않았던 결과이지만 그대로 싣고 따져 봅니다.

세 모델(도형을 보는 모델, 도형만 빼고 보는 모델, 위치 인코딩이 없는 모델)의 검증 그림 두 장에 대한 예측 중심과 빨강, 초록, 파랑 질의의 어텐션 지도
그림 5-10. 검증 그림 두 장(왼쪽 네 칸, 오른쪽 네 칸)에 대한 세 모델의 어텐션 지도. 줄마다 모델이 다릅니다: 첫 줄은 도형을 보는 풀이(시드 1), 둘째 줄은 도형만 빼고 보는 풀이(시드 0), 셋째 줄은 위치 인코딩이 없는 모델. 그림 위의 흰 + 는 정답 중심, 동그라미는 예측 중심(테두리 색 = 맡은 색)입니다. 지도는 12×12 패치마다의 가중치로, 밝을수록 큽니다(지도마다 색의 범위는 0 에서 그 지도의 최댓값까지).

그림 5-10 을 줄마다 읽어 봅시다.

둘째 풀이가 어떻게 위치를 맞히는지는 “출력은 값의 가중 평균” 이라는 사실로 풀이할 수 있습니다. 맡은 도형이 걸친 토큰의 집합을 $T$ (토큰 $n$ 개)라 하고, 나머지 $N - n$ 개 토큰을 고르게 본다면 출력은

$$ o = \frac{1}{N - n} \sum_{j \notin T} v_j = \frac{1}{N - n} \Big( \sum_{j=1}^{N} v_j - \sum_{j \in T} v_j \Big) $$

입니다. 값에 실린 위치 정보를 모든 토큰에 걸쳐 더한 것은 그림이 달라져도 같습니다(격자는 늘 같으니까요). 그러니 출력에는 “전체에서 무엇이 빠졌는가” 곧 맡은 도형의 위치가 남습니다. 빈자리를 보고 위치를 아는 셈입니다. 다만 다른 두 도형의 내용까지 함께 평균에 섞여 들어오므로 신호가 흐리고, 이 실험에서 더 느리게 배우고 오차도 더 컸던 것은 그 때문으로 보입니다.

이 실험에서 배울 것

이것은 층 하나 · 머리 하나짜리 장난감 모델에서 본 것입니다. 큰 탐지기에서는 어떨까요? DETR 논문은 학습된 디코더의 어텐션을 그려 보이고(논문 그림 6), 질의가 물체의 머리나 다리 같은 끝부분 을 주로 본다고 적습니다. 첫째 풀이 쪽의 모습입니다.

위치 인코딩을 빼면

위치 인코딩을 더하지 않은 모델(검정 쇄선, 그림 5-10 의 셋째 줄)은 전혀 배우지 못합니다. 검증 오차가 30 에폭 내내 17.06 – 17.07 픽셀로, 그림을 보지 않고 평균 중심을 답하는 기준선(17.06)과 같습니다. 그림 5-10 의 셋째 줄에서 세 질의의 예측 동그라미는 그림 한가운데쯤의 한 점에 겹쳐 있습니다.

까닭은 앞 절에서 유도한 그대로입니다. 위치 인코딩이 없으면 토큰에는 패치의 픽셀 내용만 들어 있습니다. 질의가 빨간 토큰을 찾아낼 수는 있어도, 그 토큰의 값 어디에도 “나는 어디에 있다” 가 없습니다. 가져올 위치 정보가 없으니 가장 나은 답은 평균입니다. 세 질의의 지도는 서로 거의 같고, 어느 색이든 도형이 있는 자리를 모두 피합니다. 평균을 답하는 데는 그림마다 달라지는 도형 토큰이 방해만 되므로 배경만 보게 된 것으로 풀이할 수 있습니다.

6장의 ViT 가 패치 토큰에 위치 임베딩을 더하는 것도, 7장의 DETR 이 어텐션 층마다 위치 인코딩을 더하는 것도 이 때문입니다.

실험: 토큰 수와 시간

마지막으로 “토큰 수의 제곱” 을 시계로 확인합니다. $D = 256$, 머리 8개의 자기 어텐션 한 번에 걸리는 시간을 토큰 수 $N$ 을 144 에서 4,096 까지 바꿔 가며 잽니다(배치 1, CPU 스레드 하나). 직접 구현한 MultiHeadAttention 과, 가중치를 돌려받지 않게 한 내장 nn.MultiheadAttention 을 함께 잽니다.


  
[시간] N =   144 (쌍     20,736개): 직접 구현    0.906 ms, 내장(가중치 안 돌려줌)    0.903 ms
[시간] N =   576 (쌍    331,776개): 직접 구현    8.026 ms, 내장(가중치 안 돌려줌)    6.989 ms
[시간] N =  1024 (쌍  1,048,576개): 직접 구현   50.701 ms, 내장(가중치 안 돌려줌)   29.119 ms
[시간] N =  1600 (쌍  2,560,000개): 직접 구현  125.457 ms, 내장(가중치 안 돌려줌)   70.994 ms
[시간] N =  2304 (쌍  5,308,416개): 직접 구현  289.069 ms, 내장(가중치 안 돌려줌)  138.507 ms
[시간] N =  4096 (쌍 16,777,216개): 직접 구현  969.299 ms, 내장(가중치 안 돌려줌)  452.642 ms
[시간] N 이 144 → 4096 (28.4배, N² 은 809배)일 때 시간: 직접 구현 1069배, 내장 501배
[시간] 로그-로그 직선 맞춤의 기울기(시간 ∝ N^기울기): 직접 구현 2.14, 내장 1.88
토큰 수에 따른 자기 어텐션 한 번의 시간. 직접 구현과 내장 모듈, 기울기 2 의 기준선을 로그-로그 축에 그린 것
그림 5-11. 토큰 수 $N$ 에 따른 자기 어텐션 한 번의 시간(가로 · 세로 모두 로그 축). 파랑 실선은 직접 구현, 주황 점선은 내장 모듈, 회색 점선은 $N^2$ 에 비례할 때의 기울기(2)입니다.

출력과 그림 5-11 에서 읽을 것은 다음과 같습니다.

잰 방법도 적어 둡니다. 계산량의 추세만 보려고 CPU 의 스레드 하나로, 이 프로그램이 CPU 를 실제로 쓴 시간을 쟀습니다. 이 튜토리얼을 쓴 컴퓨터에서는 다른 작업이 함께 돌고 있어서 같은 측정을 되풀이하면 점 하나하나가 두 배 가까이 달라지기도 했습니다. 그러니 밀리초 값 자체보다 추세 를 읽으세요. 여러분의 컴퓨터에서는 숫자가 다르게 나오겠지만 기울기는 2 근처일 것입니다.

앞의 표로 돌아가면, RF-DETR N(토큰 576개)과 2XL(1,936개)의 백본은 층마다 이 제곱 비용을 치릅니다. 모든 층에서 모든 토큰이 서로를 보게 두면 해상도를 올릴 때마다 비용이 가파르게 뜁니다. 9장의 윈도 어텐션이 필요한 까닭입니다.

F.scaled_dot_product_attention 과 Flash Attention

PyTorch 2.0 부터는 이 장의 첫 함수와 같은 일을 하는 torch.nn.functional.scaled_dot_product_attention 이 들어 있습니다. 다중 머리 어텐션 절의 마지막 [check] 줄에서 우리 구현과 결과가 같다는 것을 확인했습니다. 내장 함수는 같은 식을 계산하되, 쓸 수 있으면 더 빠른 구현을 골라 씁니다. 그 가운데 널리 알려진 것이 Flash AttentionFlashAttention(Dao 외, 2022)입니다. $N \times N$ 가중치 행렬을 통째로 메모리에 만들어 두지 않고 작은 덩어리로 나눠 계산해서, 결과는 그대로이면서 메모리를 읽고 쓰는 양을 줄이는 방법입니다. 근사가 아니라 같은 값을 냅니다. 그 대신 가중치 행렬을 돌려주지 않으므로, 어텐션 지도를 그리려면 이 장에서처럼 직접 계산해야 합니다.

RF-DETR 논문도 4절에서 백본을 견주며 이 최적화를 언급합니다. SAM2 의 Hiera 백본이 기대만큼 빠르지 않았던 까닭으로, Hiera 가 “TensorRT 같은 컴파일러에서 고도로 최적화되어 있는 Flash Attention 커널” 을 고려하지 않았다는 점을 듭니다. 어텐션이 얼마나 빠른가는 식만이 아니라 배포 도구가 그 연산을 얼마나 잘 다듬어 놓았는가에도 달려 있다는 점을 짚은 것입니다. 지연 시간을 재는 이야기는 12장과 14장에서 합니다.

이 장의 정리

확인 문제

문제 1 · 어텐션 손계산

질의 $q = (2, 2)$, 열쇠 $k_1 = (1, 0)$, $k_2 = (0, 1)$, $k_3 = (1, 1)$, 값은 숫자 하나씩 $v_1 = 10$, $v_2 = 20$, $v_3 = 30$ 입니다($d_k = 2$, $d_v = 1$). 점수, 가중치, 출력을 구하세요. ($e^{1.4142} = 4.113$, $e^{2.8284} = 16.919$)

답 보기

내적은 $(2, 2, 4)$, $\sqrt{2}$ 로 나눈 점수는 $(1.4142, 1.4142, 2.8284)$ 입니다. 지수는 $(4.113, 4.113, 16.919)$, 합은 $25.145$.

가중치는 $(4.113/25.145,\; 4.113/25.145,\; 16.919/25.145) = (0.1636, 0.1636, 0.6728)$.

출력은 $0.1636 \times 10 + 0.1636 \times 20 + 0.6728 \times 30 = 1.636 + 3.272 + 20.184 = 25.09$. 세 값 10, 20, 30 의 범위 안에 있고, 가장 잘 맞는 셋째 쪽으로 치우쳐 있습니다.

문제 2 · 모양 추적

객체 질의 300개가 그림 토큰 576개를 보는 교차 어텐션입니다($D = 256$, 머리 8개, 배치 1). 머리 하나의 $d_k$, 가중치 텐서의 모양과 성분의 수, 출력의 모양을 적으세요.

답 보기

$d_k = 256/8 = 32$. 가중치는 (1, 8, 300, 576) 으로 $8 \times 300 \times 576 = 1{,}382{,}400$ 개. 출력은 질의의 수를 따라 (1, 300, 256) 입니다. 그림 토큰 576개는 바뀌지 않습니다.

문제 3 · 분산이 1 이 아닐 때

질의 · 열쇠의 성분이 모두 독립이고 평균 0, 분산 $\sigma^2$ 이라면 $\Var(q \cdot k)$ 는 얼마입니까? 점수의 분산을 1 로 만들려면 무엇으로 나눠야 합니까?

답 보기

본문의 유도에서 $\E[a_m^2] = \E[c_m^2] = \sigma^2$ 으로 바뀌므로 $\Var(a_m c_m) = \sigma^2 \cdot \sigma^2 = \sigma^4$, 따라서 $\Var(q \cdot k) = d_k\, \sigma^4$ 입니다. 표준편차 $\sigma^2\sqrt{d_k}$ 로 나누면 분산이 1 이 됩니다. $\sigma = 1$ 이면 본문의 $\sqrt{d_k}$ 와 같습니다.

문제 4 · 매개변수 수

$D = 384$, 머리 6개, FFN 확장 비율 $r = 4$ 인 Transformer 인코더 층 하나(6장에서 볼 ViT-S 의 크기)의 매개변수를 세세요. 편향을 포함하고, 층 정규화 둘도 넣습니다(층 정규화 하나는 배율 $D$ 개 + 이동 $D$ 개).

답 보기

어텐션: $4(D^2 + D) = 4 \times (147{,}456 + 384) = 591{,}360$. 머리 수 6 은 쓰이지 않습니다.

FFN: 은닉 $4 \times 384 = 1536$. $(384 \times 1536 + 1536) + (1536 \times 384 + 384) = 591{,}360 + 590{,}208 = 1{,}181{,}568$.

층 정규화: $2 \times (384 + 384) = 1{,}536$. 합 $591{,}360 + 1{,}181{,}568 + 1{,}536 = 1{,}774{,}464$.

문제 5 · 제곱 비용

패치 크기 16 인 백본에 한 변 384 의 그림을 넣다가 768 로 바꾸었습니다. 토큰 수와, 자기 어텐션의 토큰 쌍 수는 몇 배가 됩니까? 해상도는 384 그대로 두고 패치 크기를 8 로 줄이면 어떻습니까?

답 보기

384/16 = 24 이므로 토큰 $24^2 = 576$ 개, 쌍 331,776개. 768/16 = 48 이므로 토큰 $48^2 = 2{,}304$ 개(4배), 쌍 5,308,416개(16배).

해상도 384 에 패치 8 이면 384/8 = 48 로 격자가 같습니다. 토큰 수가 (한 변 ÷ 패치 크기)² 로 정해지므로, 해상도를 두 배로 하는 것과 패치를 절반으로 하는 것은 비용이 똑같이 늡니다.

문제 6 · 마스크

어떤 질의의 가중치가 $(0.5, 0.3, 0.2)$ 였습니다. 둘째 열쇠를 마스크로 가리면 가중치는 어떻게 됩니까? 점수를 몰라도 구할 수 있는 까닭도 설명하세요.

답 보기

$(0.5/0.7,\; 0,\; 0.2/0.7) = (0.714,\; 0,\; 0.286)$ 입니다. 가중치는 $\alpha_j = e^{s_j}/C$ ($C$ 는 지수들의 합) 꼴이라, 가리지 않은 열쇠들의 $e^{s_j}$ 끼리의 비율은 가중치끼리의 비율 $0.5 : 0.2$ 와 같습니다. 마스크는 분모에서 둘째 항만 빼므로, 남은 가중치를 그 합 $0.5 + 0.2 = 0.7$ 로 다시 나눈 것과 같습니다.

문제 7 · 위치 인코딩

$D = 4$ 인 1차원 사인 위치 인코딩에서 $PE(0) \cdot PE(2)$ 를 두 가지 방법으로 구하세요. (가) 본문 표의 벡터를 직접 내적하기, (나) 공식 $\sum_i \cos(\omega_i \Delta)$ 쓰기. ($\cos 2 = -0.4161$, $\cos 0.02 = 0.9998$)

답 보기

(가) $PE(0) = (0, 1, 0, 1)$, $PE(2) = (0.9093, -0.4161, 0.0200, 0.9998)$ 이므로 내적은 $0 - 0.4161 + 0 + 0.9998 = 0.5837$.

(나) 간격 $\Delta = 2$, $\omega_0 = 1$, $\omega_1 = 0.01$ 이므로 $\cos(2) + \cos(0.02) = -0.4161 + 0.9998 = 0.5837$. 같습니다. 자기 자신과의 내적 $D/2 = 2$ 보다 작습니다.

문제 8 · 순서와 위치

위치 인코딩 없이 자기 어텐션 층을 여러 번 거친 뒤, 모든 토큰의 출력을 평균 내어 그림 전체의 벡터 하나를 만들었습니다. 그림의 패치를 마구 섞어 넣으면 이 벡터는 어떻게 됩니까? 이 모델로 “그림에 빨간 도형이 있는가” 와 “빨간 도형이 왼쪽에 있는가” 가운데 무엇을 맞힐 수 있습니까?

답 보기

자기 어텐션 층은 순열 등변이므로 섞어 넣으면 토큰별 출력이 같은 순서로 섞일 뿐이고, 평균은 순서와 상관없으므로 벡터는 전혀 변하지 않습니다(순열 불변). 따라서 “빨간 도형이 있는가” 처럼 패치의 내용만으로 정해지는 것은 맞힐 수 있지만, “왼쪽에 있는가” 는 맞힐 수 없습니다. 섞기 전과 후의 그림에 같은 답을 내야 하기 때문입니다. 본문 실험에서 위치 인코딩이 없는 모델이 기준선에서 한 발짝도 나아가지 못한 것과 같은 이유입니다.

이제 어텐션과 Transformer 층이라는 부품이 손에 있습니다. 6장에서는 이 부품으로 그림을 읽는 백본을 만듭니다. 그림을 패치로 잘라 토큰으로 바꾸고, 학습되는 위치 임베딩을 더하고, pre-norm 인코더 층을 쌓으면 Vision Transformer 입니다. 그리고 RF-DETR 이 왜 하필 DINOv2 라는 이름의 ViT 를 백본으로 골랐는지, 그 사전 학습이 무엇인지 알아봅니다.