CHAPTER 06

Vision Transformer 와 DINOv2

5장에서 토큰 열을 받아 토큰 열을 내는 Transformer 인코더를 만들었습니다. 그런데 그림은 토큰 열이 아니라 픽셀의 격자입니다. 이 장에서는 그림을 작은 조각(패치)의 열 로 바꿔 Transformer 에 넣는 Vision Transformer(ViT) 를 만들고, 그 ViT 를 라벨 한 장 없이 학습시키는 방법인 DINO 와 그 후속작 DINOv2 를 배웁니다. DINOv2 로 사전 학습한 ViT 가 바로 RF-DETR 의 백본입니다.

읽는 시간 약 90분난이도 ★★★☆☆코드: code/ch06_vit.py
이 장에서 배우는 것

탐지기의 눈: 백본

1장에서 본 RF-DETR 의 큰 그림을 다시 떠올려 봅시다. 그림이 들어오면 맨 먼저 백본 이 그림을 특징 맵으로 바꾸고, 프로젝터가 그것을 다듬고, 디코더가 특징 맵을 들여다보며 박스와 클래스를 냅니다. 디코더가 아무리 똑똑해도 백본이 만든 특징에 “여기에 무언가가 있다” 는 정보가 없으면 찾을 수 없습니다. 탐지기의 정확도는 백본이 얼마나 좋은 특징을 만드느냐에 크게 달려 있습니다.

그림 (B, 3, H, W) 백본 DINOv2 로 사전 학습한 ViT 이 장 프로젝터 9 · 10장 디코더 7 – 10장 박스 클래스 백본은 그림을 “패치마다의 특징 벡터” 로 바꾼다. 뒤의 모든 부품은 이 특징만 본다.
그림 6-1. RF-DETR 에서 백본의 자리. 이 장은 굵게 칠한 상자 하나만 다룹니다.

RF-DETR 의 백본을 한 줄로 쓰면 “DINOv2 로 사전 학습한 ViT” 입니다. 이 말에는 세 가지 물음이 들어 있고, 이 장은 그 순서대로 갑니다.

  1. ViT 가 무엇인가. 그림을 어떻게 토큰 열로 바꿔 Transformer 에 넣는가. 얼마나 크고, 얼마나 느린가.
  2. 사전 학습이 왜 필요한가, 라벨 없이 어떻게 하는가. DINO 의 자기 증류와 DINOv2.
  3. RF-DETR 은 왜 이것을 골랐고, 어떻게 고쳐 쓰는가.

그림을 토큰 열로 바꾸기

5장의 Transformer 인코더는 모양이 (B, T, D) 인 텐서, 곧 “길이 $D$ 인 벡터(토큰)가 $T$ 개 늘어선 열” 을 받습니다. 문장은 낱말이 곧 토큰이라 자연스럽습니다. 그림은 어떻게 할까요? 픽셀 하나를 토큰 하나로 삼으면 96×96 그림만 해도 토큰이 9,216개입니다. 자기 어텐션은 모든 토큰 쌍을 계산하므로 쌍이 $9216^2 \approx 8{,}500$만 개가 됩니다. 너무 많습니다.

Dosovitskiy 등(2020)의 Vision TransformerViT 는 가장 단순한 답을 냈습니다. 그림을 바둑판처럼 잘라, 한 칸을 토큰 하나로 삼는다. 논문 제목 “An Image is Worth 16x16 Words” 가 그 뜻입니다. 16×16 픽셀 한 조각이 낱말 하나입니다. 그 뒤는 표준 Transformer 인코더를 거의 그대로 씁니다.

패치로 자르기

그림을 한 변이 $p$ 픽셀인 정사각형 조각으로 겹치지 않게 자릅니다. 이 조각을 패치patch 라 하고, $p$ 를 패치 크기라 합니다. 그림의 높이를 $H$, 너비를 $W$ 라 하면(이 장에서 $H$, $W$ 는 늘 그림의 픽셀 크기입니다) 세로로 $H/p$ 줄, 가로로 $W/p$ 칸이 나오므로 패치의 수 $N$ 은 다음과 같습니다.

$$ N = \frac{H}{p}\cdot\frac{W}{p} = \frac{HW}{p^2} $$

$N$ 이 곧 Transformer 가 처리할 토큰 수 입니다(곧 붙일 CLS 토큰 1개는 따로 셉니다). $H$ 와 $W$ 는 $p$ 로 나누어떨어져야 합니다. 모델 이름의 “/16”, “/14” 가 패치 크기입니다. ViT-S/14 는 “작은(Small) ViT, 패치 크기 14” 라는 뜻입니다.

토큰 수 손계산
$$ \text{도형 세상: } H = W = 96,\ p = 8 \;\Rightarrow\; \frac{96}{8} = 12,\quad N = 12 \times 12 = 144 $$
이 장의 실습이 쓰는 설정입니다. 한 변에 패치 12개, 모두 144개입니다.
$$ \text{DINOv2 사전 학습: } 224 / 14 = 16,\quad N = 16 \times 16 = 256 $$
DINOv2 는 패치 크기 14 를 쓰고 대부분의 사전 학습을 224×224 에서 합니다.
$$ \text{DINOv2 고해상도: } 518 / 14 = 37,\quad N = 37 \times 37 = 1369 $$
DINOv2 는 사전 학습의 끝에 잠깐 518×518 로 해상도를 올립니다(뒤에서 다룹니다). 공개된 DINOv2 가중치의 위치 임베딩이 37×37 격자인 까닭입니다.
$$ \text{RF-DETR nano: } 384 / 16 = 24,\quad N = 24 \times 24 = 576 $$
RF-DETR nano 는 해상도 384, 패치 크기 16 입니다(논문 표 7). 토큰 576개가 백본을 지나갑니다.
도형 세상 그림 한 장과, 그것을 8×8 패치 144개로 자른 모습
그림 6-2. 왼쪽: 도형 세상의 96×96 그림에 패치 경계를 그은 것. 오른쪽: 잘라 낸 8×8 패치 144개. 토큰 번호는 글을 읽는 순서(왼쪽 위 → 오른쪽 → 다음 줄)로 매깁니다.

그림 6-2 에서 읽을 것은 두 가지입니다. 첫째, 대부분의 패치는 배경 이고, 도형은 몇 개의 패치에 걸쳐 있습니다. 패치 하나만 봐서는 그것이 원의 일부인지 삼각형의 빗변인지 알기 어렵습니다. 그래서 패치끼리 정보를 주고받는 자기 어텐션이 필요합니다. 둘째, 패치를 한 줄로 늘어놓는 순간 “어느 패치가 어느 패치의 옆 · 아래인지” 가 사라집니다. 12번 토큰과 13번 토큰은 열에서는 이웃이지만 그림에서는 오른쪽 끝과 다음 줄의 왼쪽 끝입니다. 이 정보는 뒤에서 위치 임베딩으로 되돌려 줍니다.

패치 임베딩: 펴서 선형 투영

패치 하나는 $p \times p$ 픽셀에 색 채널 $C = 3$ 개이므로 숫자 $C p^2$ 개입니다. 이것을 한 줄로 펴면 길이 $Cp^2$ 인 벡터가 됩니다. 도형 세상에서는 $3 \times 8 \times 8 = 192$ 입니다. Transformer 는 길이 $D$ 인 토큰을 받으므로, 이 벡터에 학습되는 선형 층 하나를 적용해 길이 $D$ 로 바꿉니다. $n$ 번째 패치를 편 벡터를 $x_n \in \R^{Cp^2}$, 선형 층의 가중치를 $E \in \R^{D \times Cp^2}$, 편향을 $b \in \R^{D}$ 라 하면

$$ e_n = E\,x_n + b \;\in \R^{D}, \qquad n = 1, \dots, N $$

입니다. 이 $e_n$ 을 패치 임베딩patch embedding 이라 합니다. 모든 패치가 같은 $E$, $b$ 를 씁니다. $E$ 의 한 줄(길이 $Cp^2$)은 “이런 무늬의 패치에 크게 반응하라” 는 틀 하나이고, 그런 틀이 $D$ 개 있습니다.

그런데 “같은 가중치를 그림의 여러 자리에 똑같이 적용한다” 는 것은 4장에서 본 합성곱의 정의입니다. 실제로 패치 임베딩은 커널 크기와 스트라이드가 모두 $p$ 인 합성곱 하나와 정확히 같은 계산입니다. 4장의 끝에서 숫자로만 확인하고 넘어간 사실인데, 여기서 식으로 따져 봅니다.

패치 임베딩 = 커널 · 스트라이드가 p 인 합성곱
$$ y[k, i, j] = \sum_{c=1}^{C}\sum_{u=0}^{p-1}\sum_{v=0}^{p-1} K[k, c, u, v]\; I[c,\; s\,i + u,\; s\,j + v] + b[k] $$
합성곱의 정의입니다. $I$ 는 입력 그림, $K$ 는 모양 $(D, C, p, p)$ 인 커널, $s$ 는 스트라이드(창을 옮기는 간격), $y[k, i, j]$ 는 출력의 $k$ 번째 채널, $i$ 번째 줄, $j$ 번째 칸입니다.
$$ s = p \;\Rightarrow\; y[k, i, j] = \sum_{c, u, v} K[k, c, u, v]\; I[c,\; p\,i + u,\; p\,j + v] + b[k] $$
스트라이드를 커널 크기와 같게 두었습니다. 창이 $p$ 칸씩 건너뛰므로 창끼리 겹치지 않고, $(i, j)$ 번째 창이 덮는 픽셀은 줄 $pi \dots pi + p - 1$, 칸 $pj \dots pj + p - 1$ 입니다. 이것은 $(i, j)$ 번째 패치 와 정확히 같은 영역입니다.
$$ x_n[(c, u, v)] = I[c,\; p\,i + u,\; p\,j + v], \qquad E[k, (c, u, v)] = K[k, c, u, v] $$
$n = i \cdot (W/p) + j$ 번째 패치를 (채널, 줄, 칸) 순서로 편 것이 $x_n$ 입니다. 커널 $K$ 도 채널 $k$ 마다 같은 순서로 펴서 행렬 $E$ 의 $k$ 번째 줄로 삼습니다. $(c, u, v)$ 는 편 벡터 안의 자리 번호 하나를 가리킵니다.
$$ y[k, i, j] = \sum_{(c, u, v)} E[k, (c, u, v)]\; x_n[(c, u, v)] + b[k] = \big(E\,x_n + b\big)[k] = e_n[k] $$
세 겹의 합은 벡터 $x_n$ 과 $E$ 의 $k$ 번째 줄의 내적입니다. 합성곱 출력의 $(i, j)$ 칸에 놓인 길이 $D$ 인 벡터가 곧 $n$ 번째 패치 임베딩입니다. 두 계산은 같은 덧셈과 곱셈을 순서만 다르게 한 것입니다.

그래서 구현은 합성곱 한 줄입니다. 출력 (B, D, H/p, W/p) 의 격자를 펴서 (B, N, D) 로 만들면 토큰 열입니다. 아래 patchify 는 “패치로 잘라 펴기” 를 글자 그대로 구현한 것이고, check_patch_embed 가 두 방식의 출력이 같은지 확인합니다.


  

  
[check] 패치 임베딩: 합성곱 (2, 144, 96) vs 펴서 선형 투영 (2, 144, 96), 최대 차이 1.19e-06

차이 $10^{-6}$ 은 32비트 실수의 반올림 오차입니다(덧셈 순서가 달라서 생깁니다). 두 방식은 같은 계산입니다.

참고 · 패치 임베딩은 “아주 거친 합성곱 한 층” 입니다

보통의 합성곱 신경망은 3×3 같은 작은 커널을 스트라이드 1 – 2 로 여러 층 쌓아 조금씩 해상도를 줄입니다. ViT 는 첫 층에서 한 번에 $p$ 배로 줄이고, 그 뒤로는 해상도를 바꾸지 않습니다. 백본을 나온 특징 맵의 한 칸이 원래 그림의 $p \times p$ 픽셀에 해당하므로, “스트라이드 $p$ 인 특징 맵” 또는 “1/$p$ 해상도” 라고 부릅니다. RF-DETR nano 의 백본 출력은 384×384 그림에 대해 24×24 격자입니다.

CLS 토큰과 위치 임베딩

패치 임베딩 $N$ 개를 Transformer 에 넣기 전에 두 가지를 더합니다.

① CLS 토큰. 그림 분류처럼 “그림 전체에 대한 답 하나” 가 필요할 때, $N$ 개의 패치 출력 중 무엇을 답으로 쓸지 정해야 합니다. ViT 는 언어 모델 BERT 를 따라, 어떤 패치에도 속하지 않는 학습되는 벡터 하나 $x_{\text{cls}} \in \R^D$ 를 열의 맨 앞에 끼워 넣습니다. 이것이 CLS 토큰class token, [CLS] 입니다. 이 토큰은 자기 어텐션을 거치며 모든 패치의 정보를 모으고, 마지막 층에서의 이 토큰의 출력을 그림 전체의 요약 으로 씁니다. 토큰 수는 $N + 1$ 이 됩니다.

② 위치 임베딩. 5장에서 보았듯 자기 어텐션은 토큰의 순서를 모릅니다. 토큰들을 뒤섞어 넣으면 출력도 똑같이 뒤섞여 나올 뿐입니다. 그러니 “이 토큰은 그림의 어디에서 왔다” 를 토큰에 직접 적어 주어야 합니다. 5장의 원래 Transformer 는 사인 · 코사인으로 만든 고정된 위치 인코딩을 더했습니다. ViT 는 대신 자리마다 학습되는 벡터를 하나씩 두고 그것을 더합니다. 이것이 위치 임베딩position embedding 이고, $N + 1$ 개 자리에 길이 $D$ 인 벡터가 하나씩이므로 모양이 $(N + 1) \times D$ 인 매개변수 $E_{\text{pos}}$ 입니다.

$$ X_0 = \big[\,x_{\text{cls}};\; e_1;\; e_2;\; \dots;\; e_N\,\big] + E_{\text{pos}}, \qquad X_0 \in \R^{(N+1) \times D} $$

$[\,\cdot\,;\,\cdot\,]$ 는 벡터들을 줄로 쌓는다는 뜻이고, $X_0$ 는 첫 블록에 들어가는 토큰 열입니다. 위치 임베딩은 처음에 무작위 값이고, “12번 자리와 13번 자리는 그림에서 멀다” 같은 2차원 구조를 전혀 모릅니다. 학습하면서 스스로 알아내야 합니다 (정말 알아내는지는 뒤의 그림 6-6 에서 확인합니다).

주의 · 위치 임베딩의 크기는 해상도에 묶여 있습니다

합성곱 커널은 그림이 커져도 그대로 쓸 수 있지만, 위치 임베딩은 자리 수 $N + 1$ 이 정해진 표입니다. 96×96(자리 145개)으로 학습한 모델에 128×128 그림(자리 257개)을 넣으면 더할 표가 모자랍니다. 이 문제와 해법(보간)은 뒤의 “해상도와 패치 크기를 바꿔 쓰기” 에서 다룹니다. RF-DETR 이 해상도를 손잡이로 쓰려면 반드시 넘어야 하는 문턱입니다.

인코더 블록을 쌓기

이제 $X_0$ 를 5장의 Transformer 인코더 블록 $L$ 개에 차례로 통과시킵니다. 블록 하나는 다중 머리 자기 어텐션(토큰끼리 정보를 주고받음)과 MLP(토큰마다 따로 가공함) 두 부분이고, 각 부분 앞에 층 정규화를, 각 부분을 건너뛰는 잔차 연결을 둡니다. ViT 논문의 식 (2) – (4) 를 이 장의 기호로 쓰면 다음과 같습니다($\ell = 1, \dots, L$).

$$ \begin{aligned} X'_\ell &= X_{\ell-1} + \mathrm{MSA}\big(\mathrm{LN}(X_{\ell-1})\big) \\ X_\ell &= X'_\ell + \mathrm{MLP}\big(\mathrm{LN}(X'_\ell)\big) \\ Y &= \mathrm{LN}(X_L) \end{aligned} $$

그림 분류에서는 CLS 출력에 선형 층 하나(분류 머리)를 달아 클래스 점수를 냅니다. 탐지에서는 반대로 패치 특징 $N$ 줄이 주인공입니다. 이것을 다시 $(H/p) \times (W/p)$ 격자로 접으면 채널 $D$ 개짜리 특징 맵이 되고, 디코더는 이 특징 맵에서 객체를 찾습니다.

텐서 모양을 따라가 보기

그림 (B, 3, 96, 96) 패치 임베딩 Conv 8×8, 스트라이드 8 CLS 토큰 붙이기 맨 앞에 1개 위치 임베딩 더하기 (1, 145, 96) 매개변수 → (B, 144, 96) → (B, 145, 96) → (B, 145, 96) pre-norm 블록 × 4 (머리 4개, MLP 은닉 384) x + 자기 어텐션(LN(x)) → x + MLP(LN(x)) · 모양은 계속 (B, 145, 96) 마지막 층 정규화 CLS 출력 [:, 0] (B, 96) · 그림 전체의 요약 패치 특징 [:, 1:] (B, 144, 96) → 12×12 특징 맵 분류는 왼쪽(CLS)에 머리를 달고, 탐지는 오른쪽(패치 특징)을 쓴다
그림 6-3. 이 장의 MiniViT(96×96, 패치 8, $D = 96$, 4층)에서 텐서 모양이 바뀌는 자리. 모양이 바뀌는 것은 처음 두 단계뿐이고, 블록들은 (B, 145, 96) 을 그대로 유지합니다.

코드도 이 그림 그대로입니다. SelfAttention 과 Block 은 5장에서 만든 것과 같은 계산이고(어텐션 지도를 꺼내 보려고 직접 구현했습니다. PyTorch 내장 nn.MultiheadAttention 과 값이 같은지는 실행할 때 확인합니다), MiniViT 가 전체를 잇습니다. embed 안의 위치 임베딩 보간은 잠시 뒤에 설명합니다.


  

  
[check] 자기 어텐션: 직접 구현 vs nn.MultiheadAttention 최대 차이 5.96e-08

ViT 의 크기 세기

“ViT-S 는 매개변수가 약 2,200만 개” 라는 말을 자주 봅니다. 이 숫자가 어디서 나오는지 부품별로 세어 봅시다. 모델의 크기 감각이 생기고, 어디가 무거운지도 보입니다. 셈의 규칙은 둘뿐입니다.

부품별 매개변수 수

ViT-S/16 을 224×224 그림(ImageNet 분류의 표준 설정)에 맞춘 것을 셉니다. $D = 384$, 블록 $L = 12$ 개, 머리 6개, MLP 비율 4(은닉 차원 $4D = 1536$), 패치 크기 $p = 16$, 토큰 수 $N = (224/16)^2 = 196$, 분류 클래스 1,000개입니다.

ViT-S/16 의 매개변수 수
$$ \text{패치 임베딩: } \underbrace{3 \cdot 16 \cdot 16}_{768} \cdot 384 + 384 = 294{,}912 + 384 = 295{,}296 $$
패치 하나를 편 길이 $Cp^2 = 768$ 을 $D = 384$ 로 보내는 선형 층(= 합성곱 커널 $(384, 3, 16, 16)$ 과 편향)입니다.
$$ \text{CLS 토큰: } 384, \qquad \text{위치 임베딩: } (196 + 1) \cdot 384 = 75{,}648 $$
CLS 토큰은 길이 $D$ 인 벡터 하나, 위치 임베딩은 $N + 1 = 197$ 자리마다 길이 $D$ 인 벡터 하나입니다.
$$ \text{블록의 어텐션: } \underbrace{384 \cdot 1152 + 1152}_{\text{qkv: } 443{,}520} + \underbrace{384 \cdot 384 + 384}_{\text{출력 투영: } 147{,}840} = 591{,}360 $$
질의 · 열쇠 · 값을 만드는 선형 층 셋을 하나로 합친 $\text{Linear}(384 \to 3 \cdot 384)$ 와, 머리들의 출력을 합친 뒤의 $\text{Linear}(384 \to 384)$ 입니다. 머리 수 6 은 어디에도 나오지 않습니다. 머리는 같은 행렬의 출력을 6등분해 쓰는 방식일 뿐이라 매개변수 수를 바꾸지 않습니다.
$$ \text{블록의 MLP: } \underbrace{384 \cdot 1536 + 1536}_{591{,}360} + \underbrace{1536 \cdot 384 + 384}_{590{,}208} = 1{,}181{,}568 $$
$\text{Linear}(384 \to 1536)$ 과 $\text{Linear}(1536 \to 384)$ 입니다. 어텐션의 두 배입니다. ViT 매개변수의 3분의 2 는 MLP 에 있습니다.
$$ \text{블록 하나: } \underbrace{2 \cdot (2 \cdot 384)}_{\text{LN 두 개: } 1{,}536} + 591{,}360 + 1{,}181{,}568 = 1{,}774{,}464 $$
블록마다 층 정규화가 둘(어텐션 앞, MLP 앞)입니다.
$$ \text{블록 12개: } 12 \cdot 1{,}774{,}464 = 21{,}293{,}568, \qquad \text{마지막 LN: } 768 $$
블록은 모두 같은 구조입니다.
$$ \text{백본 합계: } 295{,}296 + 384 + 75{,}648 + 21{,}293{,}568 + 768 = 21{,}665{,}664 $$
분류 머리를 뺀 백본만의 크기, 약 2,170만 개입니다. DINO 논문의 표 1 이 ViT-S/16 을 “21M” 이라고 적은 것이 이 값입니다(그 표는 머리를 빼고 셉니다).
$$ \text{분류 머리 } 384 \cdot 1000 + 1000 = 385{,}000 \;\Rightarrow\; \text{전체 } 21{,}665{,}664 + 385{,}000 = 22{,}050{,}664 $$
1,000 클래스 분류 머리까지 넣으면 약 2,205만 개. 흔히 말하는 “약 2,200만” 입니다. 블록 12개가 전체의 96.6% 를 차지합니다.

같은 셈을 함수로 옮기고, 같은 설정으로 실제 모델을 만들어 parameters() 를 센 값과 대조합니다.


  
[count] ViT-S/16: 패치 임베딩 295,296 + CLS 384 + 위치 임베딩 75,648 + 블록 12 × 1,774,464 + 마지막 LN 768 + 분류 머리 385,000 = 22,050,664
        블록 하나: LN 2개 1,536 + qkv 443,520 + proj 147,840 + MLP 591,360 + 590,208
        실제로 만든 모델 22,050,664개 → 일치 (분류 머리 빼면 21,665,664)
[count] ViT-B/16: 패치 임베딩 590,592 + CLS 768 + 위치 임베딩 151,296 + 블록 12 × 7,087,872 + 마지막 LN 1,536 + 분류 머리 769,000 = 86,567,656
        블록 하나: LN 2개 3,072 + qkv 1,771,776 + proj 590,592 + MLP 2,362,368 + 2,360,064
        실제로 만든 모델 86,567,656개 → 일치 (분류 머리 빼면 85,798,656)
모델층 $L$차원 $D$머리MLP 은닉블록 하나전체(분류 머리 포함)논문의 표기
ViT-S/1612384615361,774,46422,050,66421M (DINO 표 1, 머리 제외)
ViT-B/16127681230727,087,87286,567,65686M (ViT 표 1)

ViT-B 는 ViT-S 에서 차원만 두 배로 늘린 것인데 매개변수는 거의 정확히 4배 입니다. 블록의 무거운 부분이 모두 $D \times D$ 에 비례하는 행렬이기 때문입니다($1{,}774{,}464 \times 4 = 7{,}097{,}856 \approx 7{,}087{,}872$. 편향과 층 정규화처럼 $D$ 에 비례하는 항만 2배가 되어 살짝 모자랍니다). ViT 논문의 표 1 에는 Base(86M) · Large(24층, $D = 1024$, 307M) · Huge(32층, $D = 1280$, 632M) 만 있고, Small 은 뒤에 나온 변형입니다. DINO 논문은 DeiT 의 구현을 따른다며 ViT-S 를 12블록 · $D = 384$ · 머리 6 으로 적습니다.

DINOv2 가 쓰는 크기들

DINOv2 논문(부록 표 17)이 적은 네 가지 크기는 다음과 같습니다. 모두 패치 크기 14 입니다.

모델차원머리블록MLP 종류만든 방법
ViT-S/14384612MLPViT-g 에서 증류
ViT-B/147681218 (논문 표) / 12 (공개 설정)MLPViT-g 에서 증류
ViT-L/1410241624MLP (증류한 것)ViT-g 에서 증류
ViT-g/1415362440SwiGLU처음부터 학습

공개된 DINOv2 ViT-S/14 가중치의 매개변수는 정확히 22,056,576개 입니다(이 장의 선택 실습이 실제로 내려받아 센 값). 위에서 센 ViT-S/16 백본 21,665,664 와 조금 다른 까닭도 같은 셈으로 설명됩니다.

DINOv2 ViT-S/14 의 22,056,576 은 어디서 오나
$$ \text{패치 임베딩: } 3 \cdot 14 \cdot 14 \cdot 384 + 384 = 225{,}792 + 384 = 226{,}176 $$
패치가 16 에서 14 로 작아져 커널이 줄었습니다($768 \to 588$).
$$ \text{위치 임베딩: } (37 \cdot 37 + 1) \cdot 384 = 1370 \cdot 384 = 526{,}080 $$
518×518 해상도의 37×37 격자에 맞춘 표라서 197자리짜리보다 훨씬 큽니다.
$$ \text{블록 하나: } 1{,}774{,}464 + \underbrace{2 \cdot 384}_{\text{LayerScale}} = 1{,}775{,}232, \qquad 12 \text{개: } 21{,}302{,}784 $$
DINOv2 의 블록에는 어텐션 · MLP 의 출력에 채널별로 곱하는 학습되는 배율(LayerScale)이 하나씩 더 있습니다. 블록마다 $2D$ 개입니다.
$$ 226{,}176 + \underbrace{384}_{\text{CLS}} + \underbrace{384}_{\text{마스크 토큰}} + 526{,}080 + 21{,}302{,}784 + \underbrace{768}_{\text{마지막 LN}} = 22{,}056{,}576 $$
마스크 토큰은 사전 학습 때 가린 패치 자리에 넣는 벡터입니다(뒤의 iBOT 손실). 합이 실제 값과 한 자리도 틀리지 않습니다.

계산량: 토큰 수가 좌우한다

매개변수 수는 해상도와 거의 무관했습니다(위치 임베딩만 바뀝니다). 하지만 계산량 은 해상도에 크게 좌우됩니다. 같은 가중치를 토큰마다, 토큰 쌍마다 적용하기 때문입니다. 5장에서 자기 어텐션의 토큰 쌍이 $N^2$ 개라는 것을 보았습니다. 여기서는 한 발 더 들어가, ViT 블록 하나에서 $N$ 에 비례하는 부분과 $N^2$ 에 비례하는 부분이 각각 얼마나 되는지 셉니다. RF-DETR 은 실시간 탐지기이므로 이 셈이 설계의 중심에 있습니다.

블록 하나의 곱셈 횟수

토큰 $N$ 개(CLS 는 무시), 차원 $D$, 머리 $h$ 개인 블록 하나가 하는 곱셈을 셉니다. 편향 · 정규화 · 소프트맥스처럼 작은 항은 빼고 어림합니다.

토큰 수에 비례하는 부분과 제곱에 비례하는 부분
$$ \text{선형 층들: } \underbrace{N \cdot D \cdot 3D}_{\text{qkv}} + \underbrace{N \cdot D \cdot D}_{\text{출력 투영}} + \underbrace{N \cdot D \cdot 4D + N \cdot 4D \cdot D}_{\text{MLP 두 층}} = 12\,N D^2 $$
$\text{Linear}(a \to b)$ 를 벡터 하나에 적용하면 곱셈이 $ab$ 번입니다. 토큰 $N$ 개에 따로 적용하므로 $N$ 배. 토큰 수에 정비례 합니다.
$$ \text{어텐션 점수 } QK^\top: \quad h \cdot N \cdot N \cdot \frac{D}{h} = N^2 D $$
머리 하나에서 질의 $N$ 개와 열쇠 $N$ 개의 모든 쌍에 대해 길이 $D/h$ 인 내적을 합니다. 머리가 $h$ 개이므로 $h$ 가 약분됩니다.
$$ \text{가중 평균 } AV: \quad h \cdot N \cdot N \cdot \frac{D}{h} = N^2 D $$
토큰마다 어텐션 가중치 $N$ 개로 값 벡터(길이 $D/h$) $N$ 개를 가중 평균합니다.
$$ \text{블록 하나} \approx 12\,N D^2 + 2\,N^2 D, \qquad \frac{\text{제곱 항}}{\text{비례 항}} = \frac{2 N^2 D}{12 N D^2} = \frac{N}{6D} $$
앞 항은 $N$ 에, 뒤 항은 $N^2$ 에 비례합니다. 두 항의 비가 $N / 6D$ 이므로, 토큰 수가 $6D$ 를 넘으면 자기 어텐션의 제곱 항이 더 커집니다. ViT-S($D = 384$)에서는 $N = 2304$(48×48 격자)가 그 경계입니다.

“자기 어텐션의 비용은 $N^2$ 에 비례한다” 는 말은 뒤 항 $2N^2D$ 를 가리킵니다. $N = HW/p^2$ 를 넣으면

$$ \text{자기 어텐션의 쌍의 수} = N^2 = \left(\frac{HW}{p^2}\right)^{2} $$

입니다. 정사각형 그림($H = W$)이면 $N^2 = (H/p)^4$, 곧 한 변의 패치 수의 네제곱 입니다.

해상도를 올리면, 패치를 줄이면

두 배 바꾸기
$$ H, W \to 2H, 2W: \quad N \to \frac{(2H)(2W)}{p^2} = 4N, \qquad N^2 \to 16 N^2 $$
해상도를 가로세로 2배로 올리면 토큰은 4배, 어텐션 쌍은 16배가 됩니다.
$$ p \to p/2: \quad N \to \frac{HW}{(p/2)^2} = 4N, \qquad N^2 \to 16 N^2 $$
해상도는 그대로 두고 패치를 반으로 줄여도 똑같이 토큰 4배, 쌍 16배입니다. $N$ 은 $H/p$ 에만 달려 있기 때문입니다.
$$ \text{ViT-S, } N: 576 \to 2304 \;\Rightarrow\; 12ND^2: 1.02 \to 4.08, \quad 2N^2D: 0.25 \to 4.08 \quad (\times 10^9 \text{ 곱셈}) $$
$D = 384$ 를 넣은 블록 하나의 어림값입니다. 비례 항은 4배, 제곱 항은 16배가 되어 블록 전체는 $1.27 \to 8.15$, 약 6.4배입니다. “해상도 2배 = 계산 4배” 가 아니라 그보다 훨씬 비쌉니다.
설정해상도 / 패치격자토큰 $N$쌍 $N^2$$N/6D$
도형 세상 MiniViT ($D = 96$)96 / 812×1214420,7360.25
DINOv2 사전 학습 (ViT-S)224 / 1416×1625665,5360.11
RF-DETR nano (ViT-S)384 / 1624×24576331,7760.25
RF-DETR small (ViT-S)512 / 1632×321,0241,048,5760.44
RF-DETR medium (ViT-S)576 / 1636×361,2961,679,6160.56
옛 RF-DETR base (ViT-S)560 / 1440×401,6002,560,0000.69
같은 격자를 다른 방법으로640 / 1640×401,6002,560,0000.69

표에서 읽을 것은 세 가지입니다.

핵심 · 중요한 것은 “공간 위치 수” 입니다

ViT 에게 해상도와 패치 크기는 따로따로가 아니라 둘의 비 $H/p$(한 변의 토큰 수)로 묶여서 작용합니다. 패치 임베딩을 지나고 나면 블록들은 원래 그림이 몇 픽셀이었는지 모릅니다. RF-DETR 논문의 부록 L 은 NAS 가 찾은 모델들을 살펴 같은 관찰을 보고합니다. 성능은 해상도나 패치 크기 각각보다 공간 위치 수(해상도 ÷ 패치 크기) 와 더 관계가 깊었고, 해상도를 640 으로 고정한 채 패치 크기만 27 · 21 · 18 로 바꿔 만든 N · S · M 이 원래의 N · S · M 과 거의 같은 결과를 냈다고 합니다. 12장에서 이 두 손잡이를 직접 돌려 봅니다.

제곱 항을 줄이는 또 하나의 방법은 토큰들을 몇 개의 윈도 로 나눠 윈도 안에서만 어텐션을 하는 것입니다. 토큰을 2×2 = 4개 윈도로 나누면 윈도 하나의 쌍은 $(N/4)^2$, 넷을 합쳐 $N^2/4$ 입니다. RF-DETR 백본은 일부 블록을 이렇게 바꿉니다. 9장의 주제입니다.

해상도와 패치 크기를 바꿔 쓰기

사전 학습은 224×224 에서 했는데 탐지는 384, 512, 640 에서 하고 싶습니다. 패치 크기도 14 가 아니라 16 을 쓰고 싶습니다. 가중치를 버리지 않고 그렇게 할 수 있을까요? ViT 의 가중치 가운데 그림의 크기에 묶여 있는 것은 딱 두 군데, 위치 임베딩(해상도 ÷ 패치 크기에 묶임)과 패치 임베딩(패치 크기에 묶임)입니다. 블록들은 토큰이 몇 개든 그대로 동작합니다.

위치 임베딩 보간

위치 임베딩 보간position embedding interpolation 은 학습된 위치 임베딩을 다른 격자 크기에 맞게 늘이거나 줄이는 방법입니다. 위치 임베딩은 자리마다의 벡터를 모은 표입니다. 한 줄로 늘어서 있지만 원래는 $g \times g$ 격자($g = H/p$)의 각 칸에 붙은 벡터입니다. 그렇다면 이 표를 “채널이 $D$ 개인 $g \times g$ 짜리 작은 그림” 으로 보고, 그림의 크기를 바꾸듯 보간하면 됩니다. ViT 논문이 제안한 방법입니다(3.2절: 사전 학습된 위치 임베딩을 원래 그림에서의 위치에 따라 2차원 보간한다).

  1. CLS 자리의 위치 임베딩 1개는 떼어 둡니다(그림 위의 자리가 아니므로 보간하지 않습니다).
  2. 나머지 $g^2$ 개를 $(g, g, D)$ 격자로 되돌립니다.
  3. 격자를 새 크기 $(g', g')$ 로 보간합니다. 채널마다 따로, 보통의 그림 크기 바꾸기와 같습니다.
  4. 다시 한 줄 $g'^2$ 개로 펴고, 떼어 둔 CLS 자리를 앞에 붙입니다.

가장 작은 예로 손계산해 봅시다. 채널이 하나($D = 1$)인 2×2 격자를 3×3 으로 늘립니다. 보간은 가로 · 세로를 따로 해도 되므로 먼저 한 줄만 봅니다.

쌍선형 보간으로 2칸을 3칸으로
$$ u_i = (i + 0.5)\cdot\frac{g}{g'} - 0.5, \qquad i = 0, \dots, g' - 1 $$
새 격자의 $i$ 번째 칸의 중심이 옛 격자의 좌표로 어디인지 구하는 식입니다. 칸의 중심은 칸 번호 + 0.5 에 있고, 전체 길이가 같도록 $g/g'$ 배로 줄인 뒤 다시 0.5 를 빼 칸 번호로 되돌립니다(PyTorch 의 align_corners=False 규칙).
$$ g = 2,\ g' = 3: \quad u_0 = 0.5 \cdot \tfrac{2}{3} - 0.5 = -\tfrac{1}{6}, \quad u_1 = 1.5 \cdot \tfrac{2}{3} - 0.5 = \tfrac{1}{2}, \quad u_2 = 2.5 \cdot \tfrac{2}{3} - 0.5 = \tfrac{7}{6} $$
숫자를 넣었습니다. 가운데 칸은 옛 두 칸의 정확히 중간($0.5$)이고, 양 끝 칸은 옛 격자의 바깥($-1/6$, $7/6$)으로 조금 나갑니다.
$$ \text{옛 값 } [0,\ 3] \;\Rightarrow\; \text{새 값 } \big[\,0,\;\; 0.5 \cdot 0 + 0.5 \cdot 3,\;\; 3\,\big] = [\,0,\ 1.5,\ 3\,] $$
쌍선형 보간은 양옆 두 칸의 값을 거리에 반비례하는 가중치로 섞습니다. $u_1 = 0.5$ 는 두 칸에서 같은 거리이므로 반반. 바깥으로 나간 $u_0$, $u_2$ 는 가장 가까운 끝 칸의 값을 그대로 씁니다.
$$ \begin{bmatrix} 0 & 3 \\ 6 & 9 \end{bmatrix} \;\longrightarrow\; \begin{bmatrix} 0 & 1.5 & 3 \\ 3 & 4.5 & 6 \\ 6 & 7.5 & 9 \end{bmatrix} $$
먼저 줄마다 가로로 보간하면 $[0, 1.5, 3]$ 과 $[6, 7.5, 9]$, 그다음 세로로 같은 규칙을 적용하면 가운데 줄이 두 줄의 평균 $[3, 4.5, 6]$ 이 됩니다. 원래 있던 “오른쪽으로 갈수록 +3, 아래로 갈수록 +6” 이라는 경향이 새 격자에도 그대로 이어집니다.

  
[hand] 2×2 → 3×3 쌍선형: [[0.0, 1.5, 3.0], [3.0, 4.5, 6.0], [6.0, 7.5, 9.0]]
[hand] 2×2 → 3×3 쌍삼차: [[-0.781, 0.979, 2.74], [2.74, 4.5, 6.26], [6.26, 8.021, 9.781]]

손계산과 같습니다. 둘째 줄은 같은 일을 쌍삼차(bicubic) 보간으로 한 것입니다. 쌍삼차는 양옆 두 칸이 아니라 네 칸을 써서 더 매끄러운 곡선을 그리고, 그 때문에 원래 값의 범위(0 – 9)를 살짝 벗어나기도 합니다. DINO 와 DINOv2, 그리고 RF-DETR 의 백본 코드(interpolate_pos_encoding)는 쌍삼차를 씁니다. 이 장의 MiniViT 도 쌍삼차가 기본입니다.

보간이 통하는 까닭은, 잘 학습된 위치 임베딩이 격자 위에서 매끄럽게 변하기 때문입니다(이웃 자리끼리 비슷한 벡터). 매끄러운 것은 사이를 채워도 크게 틀리지 않습니다. 그래도 보간된 값은 모델이 학습 때 본 값과 조금 다르므로, 해상도를 바꾼 직후에는 정확도가 다소 떨어지고 그 해상도로 미세 조정하면 회복됩니다. 얼마나 유지되는지는 이 장의 실험에서 직접 잽니다.

참고 · RF-DETR 의 위치 임베딩

RF-DETR 의 설정에는 positional_encoding_size 라는 값이 있습니다. nano 는 24(= 384 ÷ 16), small 은 32(= 512 ÷ 16), 옛 base 는 37(= 518 ÷ 14, DINOv2 원본 그대로)입니다. 그 모델이 가진 위치 임베딩 격자의 한 변입니다. 입력 해상도가 이것과 다르면 순전파 때 위의 방법으로 보간합니다. 논문은 NAS 학습 때 “가장 큰 해상도 ÷ 가장 작은 패치 크기” 에 해당하는 개수의 위치 임베딩을 미리 두고, 더 작은 해상도나 더 큰 패치에는 보간해 쓴다고 설명합니다.

패치 크기를 바꾸려면

패치 크기를 14 에서 16 으로 바꾸면 패치 임베딩의 커널이 $(D, 3, 14, 14)$ 에서 $(D, 3, 16, 16)$ 으로 달라져야 합니다. 여기에도 같은 생각을 적용할 수 있습니다. 커널을 “$p \times p$ 짜리 작은 그림” 으로 보고 크기를 바꾸는 것입니다. 다만 위치 임베딩처럼 그냥 보간하면 문제가 하나 생깁니다.

패치 임베딩은 내적 $\langle x, w \rangle$ 입니다($x$ 는 패치, $w$ 는 커널의 한 채널). 같은 내용의 패치를 2배 크게 그리면 픽셀 수가 4배가 되므로, 커널도 2배로 보간해서 내적하면 더하는 항이 4배로 늘어 값이 약 4배 가 됩니다. 토큰의 크기가 갑자기 달라지면 뒤의 블록들은 학습 때 본 적 없는 입력을 받습니다.

Beyer 등(2023)의 FlexiViT 는 이것을 정면으로 풉니다. 목표를 “크기를 바꾼 패치와 새 커널의 내적이, 원래 패치와 원래 커널의 내적과 같아지게 하라” 로 잡습니다. 패치의 크기를 바꾸는 연산(쌍선형 보간)은 선형이므로 행렬 $R$ 로 쓸 수 있습니다($x' = Rx$). 새 커널 $\hat{w}$ 가 만족해야 할 조건은

$$ \langle R x,\ \hat{w} \rangle = \langle x,\ w \rangle \ \text{ (모든 } x \text{ 에 대해)} \quad\Longleftrightarrow\quad R^\top \hat{w} = w $$

이고, 패치를 키우는 경우 이 식의 해는 $R^\top$ 의 의사 역행렬(pseudo-inverse)로 $\hat{w} = (R^\top)^{+} w$ 입니다. 논문은 이것을 PI-resize 라고 부릅니다. FlexiViT 는 여기에 더해, 학습하는 동안 스텝마다 패치 크기를 무작위로 바꿔(240×240 그림에서 패치 8 – 48) 모든 패치 크기에서 잘 동작하는 하나의 ViT 를 만듭니다. 패치 임베딩 가중치와 위치 임베딩은 정해진 크기로 하나만 두고, 순전파 때 필요한 크기로 바꿔 씁니다.

RF-DETR 의 NAS 가 패치 크기를 손잡이로 쓸 수 있는 것은 이 덕분입니다. 논문은 FlexiViT 식 변환으로 패치 임베딩을 바꿔 쓴다고 밝힙니다. 의사 역행렬이 왜 답인지의 유도와 구현은 12장에서 합니다. 여기서는 “ViT 에서 그림 크기에 묶인 곳은 위치 임베딩과 패치 임베딩 둘뿐이고, 둘 다 크기를 바꿔 쓸 수 있다” 는 것만 가져갑니다.

ViT 는 왜 큰 데이터가 필요한가

귀납 편향이 약하다는 것

모델이 데이터를 보기도 전에 구조 자체에 품고 있는 가정을 귀납 편향inductive bias 이라고 합니다. 합성곱 신경망은 그림에 대한 강한 가정 두 가지를 구조에 새겨 두었습니다.

ViT 에는 이런 가정이 거의 없습니다. ViT 논문의 말로는, CNN 에서는 국소성 · 2차원 이웃 구조 · 이동 등변성이 모델 전체의 모든 층에 박혀 있지만 ViT 에서는 MLP 층만 국소적이고 이동 등변이며 자기 어텐션 층은 전역적입니다. 2차원 구조를 쓰는 곳은 맨 처음 그림을 패치로 자를 때와 해상도를 바꾸며 위치 임베딩을 보간할 때뿐이고, 위치 임베딩은 처음에 2차원 위치에 대해 아무것도 모르므로 패치 사이의 공간 관계는 처음부터 배워야 합니다.

합성곱 신경망은 “그림은 이렇게 보는 것” 이라는 요령을 미리 배운 견습생이고, ViT 는 아무 요령도 없이 온 견습생입니다. 일감(데이터)이 적으면 요령을 아는 쪽이 낫습니다. 일감이 아주 많으면 요령 없이 온 쪽이 스스로 더 좋은 요령을 찾아내 앞지릅니다.

ViT 논문의 실험이 바로 그것을 보였습니다. ImageNet(약 130만 장) 같은 중간 크기 데이터에서 강한 정규화 없이 학습하면 ViT 는 비슷한 크기의 ResNet 보다 몇 퍼센트포인트 낮습니다. 그러나 1,400만 – 3억 장으로 사전 학습하면 상황이 뒤집히고, 논문은 이것을 “큰 규모의 학습이 귀납 편향을 이긴다” 고 요약합니다. 가장 큰 모델의 이점은 3억 장(JFT-300M)에서야 온전히 드러났습니다.

사전 학습, 미세 조정, 파운데이션 모델

그런데 우리의 탐지 데이터는 3억 장이 아닙니다. COCO 가 약 12만 장이고, 현장의 데이터셋은 수백 – 수천 장인 경우가 흔합니다. 그래서 ViT 는 늘 두 단계로 씁니다.

  1. 사전 학습pre-training: 아주 큰 데이터로, 최종 과제와는 다른(더 일반적인) 과제를 풀며 가중치를 학습합니다. 이때 그림을 보는 일반적인 능력이 가중치에 담깁니다.
  2. 미세 조정fine-tuning: 사전 학습된 가중치에서 출발해, 우리의 작은 데이터와 과제(탐지)로 조금 더 학습합니다. 백본 위에 새 부품(프로젝터 · 디코더 · 머리)을 얹고 전체를 함께 학습합니다.

사전 학습된 백본을 아예 얼려 두고(가중치를 바꾸지 않고) 그 위의 작은 부품만 학습하는 쓰임도 있습니다. 백본이 내는 특징이 그만큼 좋다면 가능합니다. 이렇게 한 번 크게 사전 학습해 두고 여러 과제의 출발점으로 삼는 모델을 파운데이션 모델foundation model 이라고 부릅니다. DINOv2 논문은 스스로를 “미세 조정 없이도 여러 과제 · 여러 그림 분포에서 통하는 범용 시각 특징” 을 내는 시각 파운데이션 모델로 내세웁니다.

남은 물음은 사전 학습을 무슨 과제로 하느냐 입니다. 가장 쉬운 답은 ImageNet 분류처럼 사람이 라벨을 붙인 데이터로 하는 지도 학습입니다. 하지만 라벨을 3억 장에 붙이는 것은 엄청난 일이고, “이 그림은 고양이” 라는 라벨 하나는 그림 전체에 대한 것이라 고양이가 어디 있는지는 가르쳐 주지 않습니다. 탐지에는 패치 하나하나의 특징이 좋아야 합니다. 라벨 없이, 그림만으로 배울 수는 없을까요?

자기 지도 학습과 DINO

라벨 없이 배운다는 것

자기 지도 학습self-supervised learning, SSL 은 사람이 붙인 라벨 대신 데이터 자신에서 정답을 만들어 내는 학습입니다. 문제를 스스로 내고 스스로 채점합니다. 언어 모델이 문장의 낱말을 가리고 그 낱말을 맞히는 것이 대표적인 예입니다. 그림에서는 크게 두 갈래가 있습니다.

둘째 갈래에서 변형된 그림 한 장을 뷰view 라고 부르고, 변형을 증강(augmentation)이라 합니다. 뷰를 만드는 증강이 곧 “무엇이 달라도 같은 것으로 보라” 는 가르침입니다. 무작위 자르기는 “일부만 보여도”, 색 바꾸기는 “색이 달라도” 를 가르칩니다.

주의 · 가장 쉬운 정답: 붕괴

“두 뷰에 같은 답을 내라” 에는 함정이 있습니다. 어떤 그림이 들어와도 늘 같은 답을 내면 두 뷰의 답은 당연히 같습니다. 손실은 0 이 되지만 모델은 아무것도 배우지 않았습니다. 이것을 붕괴collapse 라고 합니다. 이 갈래의 방법들은 붕괴를 어떻게 막느냐로 서로 구별됩니다. DINO 의 답은 뒤에 나오는 centering 과 sharpening 입니다.

자기 증류의 뼈대: 학생과 교사

증류knowledge distillation 는 본래 큰 모델(교사)의 지식을 작은 모델(학생)에게 옮기는 기법입니다. 학생이 정답 라벨 대신 교사의 출력 분포 를 흉내 내도록 학습합니다. 교사가 “고양이 0.7, 호랑이 0.2, 개 0.1” 이라고 답하면, 그 분포 전체가 학생의 목표가 됩니다.

Caron 등(2021)의 DINOself-distillation with no labels 는 이 틀을 라벨 없는 학습에 가져옵니다. 미리 학습된 교사가 없으니, 교사를 학생 자신으로부터 만듭니다. 그래서 자기 증류self-distillation 입니다. 구성은 이렇습니다.

  1. 그림 $x$ 한 장에서 무작위 증강으로 뷰 두 장 $x_1$, $x_2$ 를 만듭니다.
  2. 학생 망 $g_{\theta_s}$ 와 교사 망 $g_{\theta_t}$ 는 구조가 똑같고 가중치만 다릅니다($\theta_s$, $\theta_t$). 각 망은 백본(ViT)과 그 CLS 출력에 붙인 투영 머리projection head(MLP)로 이루어지고, 뷰 하나를 받아 길이 $K$ 인 점수 벡터를 냅니다.
  3. 점수에 소프트맥스를 씌워 $K$ 개 항목에 대한 확률 분포로 만듭니다. 학생의 분포를 $P_s$, 교사의 분포를 $P_t$ 라 합니다.
  4. 학생이 뷰 $x_2$ 를 보고 낸 분포가, 교사가 뷰 $x_1$ 을 보고 낸 분포와 같아지도록 학생만 기울기로 학습합니다(뷰를 맞바꾼 것도 함께).
  5. 교사는 기울기로 배우지 않습니다. 스텝마다 학생의 가중치 쪽으로 조금씩 끌려갑니다(지수 이동 평균).
그림 x 라벨 없음 증강 증강 뷰 x2 뷰 x1 학생 gθs ViT + 투영 머리 교사 gθt 같은 구조, 다른 가중치 EMA θt ← mθt + (1−m)θs 소프트맥스 온도 τs = 0.1 중심 c 빼기 소프트맥스 온도 τt = 0.04 (더 낮게) Ps Pt 기울기 차단 손실 = 교차 엔트로피 −Σ Pt(k) log Ps(k) 기울기는 위쪽(학생)으로만 흐른다. 아래쪽(교사)은 학생을 천천히 따라간다. 뷰를 맞바꾼 쌍(학생이 x₁, 교사가 x₂)도 똑같이 계산해 평균한다
그림 6-4. DINO 의 구조(DINO 논문 그림 2 를 따라 그림). 학생과 교사는 같은 그림의 서로 다른 뷰를 봅니다. 값은 DINO 논문의 기본값입니다.

$K$ 개의 항목이 무엇인지는 아무도 정해 주지 않습니다. 이름 없는 $K$ 개의 “가상 분류 칸” 이고, 학습이 진행되며 망이 스스로 그림들을 이 칸들에 나눠 담게 됩니다(DINO 논문의 기본값은 $K = 65{,}536$). 비슷한 그림은 비슷한 칸에, 다른 그림은 다른 칸에 담기는 쪽으로 가야 두 뷰의 답이 일관되면서도 붕괴하지 않습니다. 이제 부품을 하나씩 식으로 봅니다.

주의 · 이름이 같은 다른 것들

탐지 분야에는 “DINO” 라는 이름의 탐지기(DETR 계열, Zhang 등 2022)와 그것을 열린 어휘로 넓힌 GroundingDINO 도 있습니다. 이 장의 DINO · DINOv2 는 그것들과 무관한 자기 지도 사전 학습 방법 입니다. 9장에서 LW-DETR 의 질의 선택을 설명할 때 탐지기 쪽의 DINO 가 잠깐 나옵니다.

교사는 학생의 지수 이동 평균

교사의 가중치 $\theta_t$ 는 학생의 가중치 $\theta_s$ 가 한 스텝 갱신될 때마다 다음 규칙으로 바뀝니다.

$$ \theta_t \leftarrow m\,\theta_t + (1 - m)\,\theta_s $$

$m$ 은 0 과 1 사이의 수(모멘텀)이고 1 에 아주 가깝게 둡니다. 화살표 $\leftarrow$ 는 “오른쪽 값을 계산해 왼쪽에 새로 넣는다” 는 뜻입니다. 교사의 새 값은 옛 교사 $m$ 만큼 + 지금의 학생 $(1 - m)$ 만큼 을 섞은 것입니다. 이런 갱신을 지수 이동 평균(EMA)이라 합니다(RF-DETR 도 학습에 EMA 를 씁니다. 11장).

EMA 를 풀어 쓰면: 과거 학생들의 가중 평균
$$ \theta_t^{(1)} = m\,\theta_t^{(0)} + (1 - m)\,\theta_s^{(1)} $$
첫 스텝 뒤의 교사입니다. 위첨자 $(n)$ 은 $n$ 번째 스텝 뒤의 값입니다.
$$ \theta_t^{(2)} = m\,\theta_t^{(1)} + (1 - m)\,\theta_s^{(2)} = m^2\,\theta_t^{(0)} + (1 - m)\,m\,\theta_s^{(1)} + (1 - m)\,\theta_s^{(2)} $$
둘째 스텝의 식에 첫 스텝의 결과를 넣고 펼쳤습니다. 한 스텝 전의 학생에는 $m$ 이 한 번 더 곱해집니다.
$$ \theta_t^{(n)} = m^n\,\theta_t^{(0)} + (1 - m)\sum_{k=1}^{n} m^{\,n-k}\,\theta_s^{(k)} $$
같은 일을 $n$ 번 되풀이한 꼴입니다. $j$ 스텝 전의 학생은 가중치 $(1 - m)\,m^{j}$ 를 받습니다. 오래될수록 $m$ 이 거듭 곱해져 지수적으로 잊힙니다. 그래서 “지수” 이동 평균입니다.
$$ m^n + (1 - m)\sum_{k=1}^{n} m^{\,n-k} = m^n + (1 - m)\cdot\frac{1 - m^n}{1 - m} = 1 $$
가중치를 모두 더하면 1 입니다(등비급수의 합 $\sum_{j=0}^{n-1} m^j = \frac{1 - m^n}{1 - m}$). 교사는 처음 값과 그동안의 학생들을 섞은 평균 입니다. 가중치가 $1/e$ 로 줄어드는 데 걸리는 스텝은 약 $1/(1 - m)$ 입니다.
손계산: 숫자 하나짜리 가중치
$$ \theta_t = 1,\ \theta_s = 2,\ m = 0.9: \quad \theta_t \leftarrow 0.9 \cdot 1 + 0.1 \cdot 2 = 1.1 $$
교사가 학생 쪽으로 차이(1)의 10% 만큼 움직였습니다. 학생이 2 에 머문다면 다음은 $0.9 \cdot 1.1 + 0.2 = 1.19$, 그다음은 $1.271$ 입니다. 남은 차이가 스텝마다 0.9 배($1 \to 0.9 \to 0.81 \to 0.729$)가 됩니다.
$$ m = 0.996: \quad \theta_t \leftarrow 0.996 \cdot 1 + 0.004 \cdot 2 = 1.004 $$
DINO 의 시작 값입니다. 한 스텝에 차이의 0.4% 만 움직입니다. 교사는 아주 굼뜹니다.
$$ m^n = \tfrac{1}{2} \;\Rightarrow\; n = \frac{\ln 0.5}{\ln m}: \qquad m = 0.9 \Rightarrow 6.6 \text{ 스텝}, \qquad m = 0.996 \Rightarrow 172.9 \text{ 스텝} $$
차이가 반으로 줄기까지의 스텝 수입니다. $m = 0.996$ 이면 교사는 대략 최근 250스텝($1/(1 - m)$)의 학생을 평균한 것과 같습니다.
[hand] EMA m = 0.9: θ_t = 1.1000, 차이가 반으로 줄기까지 6.6 스텝
[hand] EMA m = 0.996: θ_t = 1.0040, 차이가 반으로 줄기까지 172.9 스텝

왜 이렇게 굼뜬 교사가 좋을까요? 교사가 학생과 똑같다면($m = 0$) 학생은 자기 자신의 답을 목표로 삼는 셈이라, 목표가 스텝마다 흔들리고 쉽게 무너집니다. DINO 논문도 학생의 가중치를 그대로 복사한 교사로는 수렴하지 않는다고 보고합니다. 여러 스텝의 학생을 평균한 교사는 흔들림이 줄어든, 더 안정적인 목표 를 줍니다. 논문은 이 교사가 학습 내내 학생보다 성능이 좋았다고 보고하고(여러 모델을 평균하면 좋아지는 효과와 같다고 해석합니다), “조금 더 나은 교사를 따라가며 학생이 좋아지고, 그 학생으로 교사가 다시 좋아지는” 선순환이 생깁니다. DINO 는 $m$ 을 0.996 에서 시작해 코사인 곡선을 따라 1 까지 올립니다(DINOv2 는 0.994 에서 1).

주의 · 기호

DINO 논문은 교사의 EMA 비율을 $\lambda$, 중심의 EMA 비율을 $m$ 이라고 씁니다. 이 장에서는 교사의 것을 $m$, 중심의 것을 $m_c$ 로 씁니다. 또 이 장에서 아래 첨자 $s$, $t$ 는 늘 학생(student) · 교사(teacher)입니다. 시각(time)이 아닙니다.

온도가 있는 소프트맥스

망이 낸 점수 벡터를 $a \in \R^K$ 라 합시다(학생의 점수는 $a = g_{\theta_s}(x)$). 4장의 소프트맥스는 점수를 확률 분포로 바꿉니다. DINO 는 여기에 온도temperature $\tau$(타우, 0 보다 큰 수) 하나를 넣어, 점수를 $\tau$ 로 나눈 뒤 소프트맥스를 씌웁니다.

$$ P_s(k) = \frac{\exp(a_k / \tau_s)}{\sum_{j=1}^{K} \exp(a_j / \tau_s)}, \qquad k = 1, \dots, K $$

$P_s(k)$ 는 학생이 $k$ 번째 칸에 준 확률, $\tau_s$ 는 학생의 온도입니다. 온도가 낮을수록 점수 차이가 크게 부풀려져 분포가 한 칸으로 쏠리고(날카로워지고), 높을수록 고르게 퍼집니다. $\tau \to 0$ 이면 가장 큰 칸이 1 을 다 갖는 원-핫 분포, $\tau \to \infty$ 이면 모든 칸이 $1/K$ 인 균등 분포가 됩니다.

손계산: 같은 점수, 다른 온도 ($K = 3$)
$$ a = (0.2,\ 0.1,\ 0.0), \quad \tau = 0.1: \quad a / \tau = (2,\ 1,\ 0) $$
점수를 온도로 나눕니다. 0.1 로 나누면 10배가 됩니다.
$$ \big(e^{2},\ e^{1},\ e^{0}\big) = (7.389,\ 2.718,\ 1), \quad \text{합 } 11.107 \;\Rightarrow\; (0.665,\ 0.245,\ 0.090) $$
지수를 취하고 합으로 나눕니다. 첫 칸이 가장 크지만 다른 칸에도 확률이 꽤 남아 있습니다.
$$ \tau = 0.04: \quad a / \tau = (5,\ 2.5,\ 0), \quad \big(e^{5},\ e^{2.5},\ e^{0}\big) = (148.41,\ 12.18,\ 1), \quad \text{합 } 161.60 $$
같은 점수를 더 낮은 온도 0.04 로 나누면 25배가 되어 차이가 더 벌어집니다.
$$ \tau = 0.1 \Rightarrow (0.665,\ 0.245,\ 0.090), \qquad \tau = 0.04 \Rightarrow (0.918,\ 0.075,\ 0.006) $$
온도를 낮추자 첫 칸의 확률이 0.665 에서 0.918 로 올랐습니다. 분포가 날카로워졌습니다.
[hand] 온도 0.1: [0.6652, 0.2447, 0.09], 온도 0.04: [0.9184, 0.0754, 0.0062]

DINO 는 학생에게 $\tau_s = 0.1$, 교사에게 그보다 낮은 $\tau_t$ 를 씁니다(0.04 에서 시작해 처음 30 에폭 동안 0.07 까지 올립니다). 교사의 분포가 학생의 분포보다 늘 더 날카롭다는 뜻입니다. 위의 숫자가 바로 그 상황입니다. 학생과 교사가 똑같은 점수를 냈더라도, 교사의 분포 $(0.918, 0.075, 0.006)$ 가 학생의 분포 $(0.665, 0.245, 0.090)$ 보다 더 확신에 차 있습니다. 학생은 그 확신에 찬 분포를 따라가야 하므로 점수 차이를 더 벌리는 쪽으로 밀립니다. 이것이 sharpening 이고, 붕괴와 어떤 관계인지는 곧 봅니다.

손실: 두 분포의 교차 엔트로피

학생의 분포 $P_s$ 를 교사의 분포 $P_t$ 에 가깝게 만드는 손실로 교차 엔트로피 를 씁니다. 4장의 분류 손실과 같은 꼴이고, 정답 자리에 원-핫 라벨 대신 교사의 분포가 들어갑니다.

$$ \mathrm{CE}(P_t, P_s) = -\sum_{k=1}^{K} P_t(k)\,\log P_s(k) $$

뷰가 둘일 때 DINO 의 손실은 “교사가 $x_1$, 학생이 $x_2$” 와 “교사가 $x_2$, 학생이 $x_1$” 두 쌍의 평균입니다(DINO 논문의 알고리즘 1). 같은 뷰끼리는 비교하지 않습니다. $P_t(x_1)$ 은 뷰 $x_1$ 을 본 교사의 분포라는 뜻입니다.

$$ \mathcal{L}_{\text{DINO}} = \tfrac{1}{2}\,\mathrm{CE}\big(P_t(x_1),\, P_s(x_2)\big) + \tfrac{1}{2}\,\mathrm{CE}\big(P_t(x_2),\, P_s(x_1)\big) $$

이 손실을 학생의 가중치 $\theta_s$ 로만 미분합니다. 교사 쪽 $P_t$ 는 기울기 차단(stop-gradient)을 걸어 상수로 취급합니다. 교사는 EMA 로만 바뀌어야 하기 때문입니다. 학생의 점수 $a$ 에 대한 기울기를 구해 보면 손실이 학생을 어디로 미는지 보입니다.

교차 엔트로피를 학생 점수로 미분하기
$$ \log P_s(k) = \frac{a_k}{\tau_s} - \log\sum_{j=1}^{K}\exp\!\left(\frac{a_j}{\tau_s}\right) $$
소프트맥스의 정의에 로그를 씌웠습니다. 분자의 로그에서 분모의 로그를 뺀 것입니다.
$$ \frac{\partial \log P_s(k)}{\partial a_i} = \frac{[k = i]}{\tau_s} - \frac{1}{\tau_s}\cdot\frac{\exp(a_i/\tau_s)}{\sum_j \exp(a_j/\tau_s)} = \frac{[k = i] - P_s(i)}{\tau_s} $$
$[k = i]$ 는 $k$ 와 $i$ 가 같으면 1, 다르면 0 입니다. 첫 항 $a_k/\tau_s$ 는 $i = k$ 일 때만 $a_i$ 를 품고, 둘째 항의 미분은 로그의 미분(안쪽의 미분 ÷ 안쪽)이라 소프트맥스 $P_s(i)$ 가 그대로 나옵니다.
$$ \frac{\partial\,\mathrm{CE}}{\partial a_i} = -\sum_{k=1}^{K} P_t(k)\,\frac{[k = i] - P_s(i)}{\tau_s} = -\frac{1}{\tau_s}\Big(P_t(i) - P_s(i)\sum_{k=1}^{K} P_t(k)\Big) $$
$P_t$ 는 상수(기울기 차단)이므로 합 밖으로 미분이 들어갑니다. $[k = i]$ 가 있는 항은 $k = i$ 하나만 남아 $P_t(i)$ 가 됩니다.
$$ \frac{\partial\,\mathrm{CE}}{\partial a_i} = \frac{P_s(i) - P_t(i)}{\tau_s} $$
$\sum_k P_t(k) = 1$ 을 썼습니다. 기울기는 학생의 확률 − 교사의 확률 입니다. 학생이 교사보다 확률을 많이 준 칸의 점수는 내리고, 적게 준 칸의 점수는 올립니다. $P_s = P_t$ 이면 기울기가 0 입니다.

위의 숫자 예로 값을 넣어 봅시다. $P_t = (0.918, 0.075, 0.006)$, $P_s = (0.665, 0.245, 0.090)$ 일 때 $\mathrm{CE} = -(0.918 \ln 0.665 + 0.075 \ln 0.245 + 0.006 \ln 0.090) = 0.374 + 0.106 + 0.015 = 0.495$ 이고, 기울기는 $(0.665 - 0.918,\ 0.245 - 0.075,\ 0.090 - 0.006)/0.1 = (-2.53,\ 1.69,\ 0.84)$ 입니다. 경사 하강법은 기울기의 반대 방향으로 가므로 첫 칸의 점수는 오르고 나머지는 내립니다. 학생이 더 날카로워집니다.

교차 엔트로피는 두 조각으로 나눌 수 있고, 이 분해가 붕괴를 재는 자가 됩니다.

교차 엔트로피 = 교사의 엔트로피 + KL 발산
$$ \mathrm{CE}(P_t, P_s) = -\sum_k P_t(k)\log P_s(k) = -\sum_k P_t(k)\log P_t(k) + \sum_k P_t(k)\log\frac{P_t(k)}{P_s(k)} $$
$\log P_s = \log P_t - \log(P_t / P_s)$ 를 넣어 둘로 갈랐습니다. 더하고 뺀 것뿐입니다.
$$ \mathrm{CE}(P_t, P_s) = \mathrm{Ent}(P_t) + \KL(P_t\,\|\,P_s) $$
첫 항 $\mathrm{Ent}(P_t) = -\sum_k P_t(k)\log P_t(k)$ 는 교사 분포의 엔트로피(얼마나 퍼져 있는가: 원-핫이면 0, 균등이면 $\log K$), 둘째 항은 교사와 학생의 KL 발산(두 분포가 얼마나 다른가: 같으면 0)입니다. 숫자 예에서는 $0.495 = 0.305 + 0.191$ 입니다.
[hand] 교차 엔트로피 H(P_t, P_s) = 0.4954, 교사 엔트로피 h(P_t) = 0.3045

(출력의 H, h 는 DINO 논문의 표기입니다. 이 장의 본문은 그림의 높이 $H$ 와 헷갈리지 않게 $\mathrm{CE}$, $\mathrm{Ent}$ 로 씁니다.) 엔트로피와 KL 에 대해 더 자세히는 World Model 튜토리얼 3장에 있습니다.

붕괴의 두 형태

붕괴는 “어떤 그림이 들어와도 출력이 같다” 는 것이었습니다. 분포로 보면 두 가지 극단이 있습니다.

붕괴의 형태모든 그림에 대한 출력교사 엔트로피 $\mathrm{Ent}(P_t)$KL손실
한 칸으로 쏠림늘 같은 칸에 확률 1000
균등모든 칸에 $1/K$$\log K$0$\log K$
(건강한 상태)그림마다 다른 칸그 사이0 보다 큼—

두 경우 모두 교사의 분포가 그림과 무관하므로 학생이 그것을 완벽히 베낄 수 있고, KL 이 0 으로 갑니다. DINO 논문은 이것을 붕괴의 신호로 씁니다(5.3절: KL 이 0 이면 출력이 상수, 곧 붕괴). 두 붕괴는 엔트로피로 구별됩니다. 한 칸 쏠림은 0, 균등은 $\log K$ 입니다($K = 65{,}536$ 이면 $\ln 65536 = 16 \ln 2 \approx 11.09$).

왜 그리로 끌려갈까요? 한 칸 쏠림은 손실의 가장 깊은 바닥(0)입니다. 교사와 학생이 서로를 따라가는 구조에서 어느 한 칸이 우연히 조금 앞서면, 교사의 낮은 온도가 그 칸을 더 부풀리고, 학생이 따라가고, EMA 로 교사가 다시 그쪽으로 갑니다. 스스로 커지는 되먹임입니다. 반대로 균등은 “아무 칸도 고르지 않는” 안전한 답입니다.

centering 과 sharpening

DINO 는 교사 쪽에만 두 가지 조작을 해서 두 붕괴를 서로 상쇄시킵니다. 교사의 점수를 $b = g_{\theta_t}(x) \in \R^K$ 라 하면

$$ P_t(k) = \frac{\exp\big((b_k - c_k)/\tau_t\big)}{\sum_{j=1}^{K}\exp\big((b_j - c_j)/\tau_t\big)} $$

둘은 정반대 방향으로 밀기 때문에 함께 쓰면 균형이 잡힙니다. “배치 전체로는 칸을 고르게 쓰되(centering), 그림 하나하나는 분명하게 한 칸을 고른다(sharpening)” 는 상태입니다. 그러려면 그림마다 서로 다른 칸을 골라야 하고, 그것이 바로 그림을 구별하는 특징을 배운다는 뜻입니다.

손계산: 한 칸으로 쏠리기 시작한 교사에 centering 을 걸면 ($K = 3$, 그림 2장, $\tau_t = 0.04$)
$$ b^{(1)} = (0.30,\ 0.10,\ 0.00), \qquad b^{(2)} = (0.28,\ 0.12,\ 0.02) $$
두 그림에 대한 교사 점수입니다. 둘 다 첫 칸이 가장 높습니다. 쏠림이 시작된 상황입니다. 하지만 두 그림의 점수가 완전히 같지는 않습니다.
$$ \text{centering 없이: } \softmax\!\big(b^{(1)}/0.04\big) = \softmax(7.5,\ 2.5,\ 0) = (0.993,\ 0.007,\ 0.001) $$
$e^{7.5} = 1808.0$, $e^{2.5} = 12.2$, $e^0 = 1$ 이라 첫 칸이 거의 다 가져갑니다. 둘째 그림도 $\softmax(7,\ 3,\ 0.5) = (0.981,\ 0.018,\ 0.001)$ 로 같은 칸입니다. 두 그림이 구별되지 않습니다. 붕괴 직전입니다.
$$ c = \tfrac{1}{2}\big(b^{(1)} + b^{(2)}\big) = (0.29,\ 0.11,\ 0.01) $$
중심은 두 점수의 평균입니다(이동 평균이 이 값에 수렴했다고 칩니다). 공통으로 높은 첫 칸이 $c$ 에서도 높습니다.
$$ b^{(1)} - c = (0.01,\ -0.01,\ -0.01), \qquad b^{(2)} - c = (-0.01,\ 0.01,\ 0.01) $$
중심을 빼자 공통 부분이 사라지고 두 그림의 차이 만 남았습니다. 첫 그림은 평균보다 첫 칸이 조금 높고, 둘째 그림은 조금 낮습니다.
$$ P_t^{(1)} = \softmax(0.25,\ -0.25,\ -0.25) = (0.452,\ 0.274,\ 0.274), \qquad P_t^{(2)} = \softmax(-0.25,\ 0.25,\ 0.25) = (0.233,\ 0.384,\ 0.384) $$
온도 0.04 로 나누어 소프트맥스를 씌웠습니다. 이제 두 그림의 목표 분포가 서로 다릅니다. 첫 그림은 첫 칸으로, 둘째 그림은 나머지 칸으로 기울었습니다. 차이가 0.01 뿐이었는데도 낮은 온도가 그것을 눈에 보이는 차이로 키웠습니다. centering 이 공통 부분을 지우고, sharpening 이 남은 차이를 키웁니다.
[hand] 중심 c = [0.29, 0.11, 0.01]
[hand] centering 없이: [[0.9928, 0.0067, 0.0005], [0.9806, 0.018, 0.0015]]
[hand] centering 하고: [[0.4519, 0.2741, 0.2741], [0.2327, 0.3837, 0.3837]]

DINO 논문은 centering 을 “교사에 편향 항 $c$ 를 더하는 것” 으로도 설명하고, 배치의 1차 통계(평균)에만 의존하므로 배치 크기가 달라도 잘 동작한다고 말합니다. 논문 그림 7 의 실험에서, 둘 중 하나라도 빼면 KL 이 0 으로 수렴(붕괴)했고 엔트로피는 centering 을 빼면 0 으로, sharpening 을 빼면 $\log K$ 로 갔습니다. 이 장의 실험에서 같은 것을 직접 봅니다.

멀티 크롭

DINO 는 뷰를 둘만 쓰지 않습니다. 멀티 크롭multi-crop 은 한 그림에서 크기가 다른 뷰를 여러 장 만드는 방법입니다.

학생은 모든 뷰를 보고, 교사는 전역 뷰만 봅니다. 학생은 그림의 작은 조각만 보고도, 교사가 넓은 뷰를 보고 낸 답을 맞혀야 합니다. 논문은 이것이 “부분에서 전체로(local-to-global)” 의 대응을 배우게 한다고 말합니다. 지역 뷰는 작아서(96×96 이면 패치 16 기준 6×6 = 36 토큰) 계산이 싸므로, 적은 비용으로 뷰를 많이 늘릴 수 있습니다. 해상도가 다른 뷰를 같은 ViT 에 넣어야 하니 위치 임베딩 보간 이 여기서도 쓰입니다(DINO 는 쌍삼차 보간을 씁니다).

DINO 의 설정 (논문에서 확인한 값)값
학생 온도 $\tau_s$0.1
교사 온도 $\tau_t$0.04 → 0.07 (처음 30 에폭 동안 선형으로 올림). 부록 D: 0.06 보다 높게 시작하면 붕괴
교사 EMA 비율 (이 장의 $m$)0.996 → 1 (코사인)
중심 EMA 비율 (이 장의 $m_c$)부록 D 의 표: 0 – 0.99 에서 고르게 동작, 0.999 에서는 붕괴
출력 차원 $K$65,536
투영 머리3층 MLP(은닉 2048) → 길이 1 로 정규화 → 가중치를 정규화한 선형 층($K$ 차원)
뷰전역 224×224 2장 + 지역 96×96 여러 장
옵티마이저 · 배치AdamW, 배치 1024 (ViT-S/16)

DINOv2: 더 크게, 더 촘촘하게

Oquab 등(2023)의 DINOv2DINOv2 는 새로운 원리를 내놓은 논문이 아닙니다. DINO 계열의 자기 증류를 훨씬 큰 데이터와 모델로 안정적으로 키우기 위한 개선의 묶음 입니다. 논문 스스로 자기 방법을 “DINO 와 iBOT 의 손실을 SwAV 의 centering 과 함께 쓴 것” 이라고 요약합니다.

그림 수준과 패치 수준 손실을 함께

DINOv2 의 학습 목표는 다음 부품들의 합입니다. 앞의 둘이 핵심이고, 나머지는 이름과 역할만 알아 두면 됩니다.

논문의 절제 실험(표 3)은 두 항의 역할을 따로 보여 줍니다. iBOT 의 패치 수준 항은 밀집 예측 과제(ADE-20k 분할)에 결정적이어서 빼면 약 3% 가 떨어졌고, KoLeo 항은 이웃 찾기 과제(그림 검색)를 8% 넘게 올렸습니다. 탐지기의 백본으로서 우리가 관심 있는 것은 앞쪽, 패치 특징 입니다.

데이터와 모델

레지스터 토큰

DINOv2 가 나온 뒤, 같은 연구진의 Darcet 등(2023)은 “Vision Transformers Need Registers” 에서 이상한 현상을 보고했습니다. DINOv2 를 비롯한 여러 ViT 의 어텐션 지도와 특징 맵에, 그림의 내용과 무관한 튀는 점(artifact) 이 군데군데 나타난다는 것입니다. 논문이 밝힌 사실은 이렇습니다.

논문의 가설은, 모델이 쓸모없는 배경 패치 자리를 전역 정보를 적어 두는 메모장 으로 재활용한다는 것입니다. 그 자체는 나쁘지 않지만, 그 자리의 패치 특징이 망가지므로 밀집 예측(패치 특징을 쓰는 과제)에는 해롭습니다.

해법은 단순합니다. 메모장이 필요하다면 따로 주면 됩니다. 레지스터 토큰register tokens 은 CLS 토큰처럼 어떤 패치에도 속하지 않는 학습되는 여분의 토큰 몇 개를 토큰 열에 끼워 넣은 것입니다. 블록들을 다 지난 뒤 레지스터의 출력은 버립니다. 쓰는 것은 여전히 CLS 와 패치 토큰뿐입니다. 논문은 레지스터 하나만 넣어도 튀는 점이 사라지고, 더 넣으면 성능이 더 좋아진다고 보고하며 모든 실험에서 4개를 썼습니다. 토큰 열은 [CLS, 레지스터 4개, 패치 N개] 가 됩니다.

참고 · RF-DETR 은 레지스터를 쓰나

RF-DETR 의 백본 클래스 이름은 WindowedDinov2WithRegistersBackbone 이라서 레지스터를 쓰는 것처럼 보입니다. 공개 코드를 확인하면 사실은 이렇습니다.

곧, 이 튜토리얼이 확인한 공개 설정(rfdetr 1.12.1 과 1.13.0.dev)의 RF-DETR 백본은 레지스터 없는 DINOv2 이고, 토큰 열은 [CLS, 패치 N개] 입니다. RF-DETR 논문에도 레지스터에 대한 언급은 없습니다.

탐지 백본으로서의 DINOv2

패치 특징이 좋다는 것

그림 분류에는 CLS 출력 하나면 되지만, 탐지에는 패치마다의 특징, 곧 밀집 특징dense features 이 좋아야 합니다. “이 패치는 어떤 객체의 일부다”, “이 패치와 저 패치는 같은 객체에 속한다” 가 특징에서 읽혀야 디코더가 박스를 그릴 수 있습니다. DINOv2 논문이 패치 특징에 대해 주장하는 것은 다음과 같습니다(모두 논문이 직접 보인 범위입니다).

이 논문은 DINOv2 를 탐지기의 백본으로 미세 조정하는 실험은 하지 않았습니다. 그 근거는 RF-DETR 논문에서 옵니다.

RF-DETR 논문의 근거

RF-DETR 은 LW-DETR(9장)에서 출발해 백본을 CAEv2 에서 DINOv2 로 바꿨습니다. 논문의 절제 실험에서 백본에 관한 줄만 뽑으면 다음과 같습니다(COCO, M 크기).

출처설정AP지연 시간
표 5LW-DETR (M)52.64.4 ms
+ 순한 하이퍼파라미터(낮은 학습률, 층 정규화 등)51.64.4 ms
+ DINOv2 백본53.64.7 ms
+ Objects-365 추가 사전 학습54.34.7 ms
표 6CAEv2 ViT-S/16 (10층) 백본52.34.4 ms
DINOv2 ViT-S/14 백본54.34.7 ms
SigLIPv2 ViT-B/32 백본50.44.8 ms
SAM2 Hiera-S 백본53.611.2 ms

논문이 이 표들에서 끌어내는 것은 네 가지입니다.

표 6 의 다른 두 백본에 대해 논문은, SAM2 의 Hiera-S 가 매개변수는 적은데도 훨씬 느렸다는 점(11.2 ms)과, 파운데이션 모델들이 보통 ViT-S 같은 가벼운 크기를 공개하지 않아 실시간 용도로 쓰기 어렵다는 점을 짚습니다. DINOv2 는 가벼운 ViT-S 가 공개되어 있고, 패치 특징이 좋으며, 순수한 ViT 구조라 최적화가 잘 된다 는 세 조건을 함께 갖춘 선택이었습니다.

RF-DETR 이 고쳐 쓰는 세 가지

RF-DETR 은 DINOv2 ViT 를 그대로 쓰지 않고 세 군데를 고칩니다. 이 장에서 배운 것이 각각의 바탕이 됩니다.

  1. 일부 블록을 윈도 어텐션으로. 앞에서 센 제곱 항 $2N^2D$ 를 줄이려고, 12개 블록 가운데 일부는 토큰을 윈도로 나눠 윈도 안에서만 어텐션을 합니다. 나머지 블록은 전역 어텐션으로 남겨 윈도 사이의 정보를 잇습니다. DINOv2 는 CLS 토큰이 있어야 하므로 윈도마다 CLS 토큰을 복제해 붙이는 처리가 들어갑니다. → 9장 · 10장
  2. 패치 크기와 해상도를 바꿔 쓰기. 14 로 사전 학습된 패치 임베딩을 16(탐지 N – L) · 20(XL · 2XL) · 12(분할)로 바꿔 쓰고, 위치 임베딩은 보간합니다. 어떤 조합이 좋은지는 NAS 가 고릅니다. → 12장
  3. 여러 층의 패치 특징을 꺼내 프로젝터로. 마지막 층의 출력만 쓰지 않고, 중간 블록 몇 개(nano 는 3 · 6 · 9 · 12번째)의 패치 특징을 함께 꺼내 프로젝터가 하나로 합칩니다. CLS 출력은 탐지에 쓰지 않습니다. → 10장

구현과 실험

이제 직접 만들어 돌려 봅니다. 실습 파일 code/ch06_vit.py 하나가 앞에서 본 검산(check · count · hand)과 다음 실험을 차례로 합니다.

  1. MiniViT 를 라벨로 지도 학습하고, 다른 해상도의 그림에 적용해 봅니다.
  2. 학습된 위치 임베딩을 들여다봅니다.
  3. 라벨 없이 미니 DINO 를 돌리고, centering · sharpening 을 하나씩 꺼서 붕괴를 봅니다.
  4. 얼린 백본 위의 선형 분류기로 “무작위 초기화 · 미니 DINO · 지도 학습” 백본의 특징을 비교합니다.

실행

$ python ch06_vit.py            # 전체 실험. 8GB 노트북 GPU 로 10분 30초
$ python ch06_vit.py --quick    # 아주 작게 줄여 오류만 확인 (수치는 의미 없음)

데이터는 0장의 약속대로 학습 세트(시드 0) 8,000장, 검증 세트(시드 1) 1,000장, 시험 세트(시드 2) 1,000장입니다. 아래의 표와 그림에 적은 최종 수치는 모두 시험 세트의 것입니다. 도형 세상의 장면은 정규화 좌표로 적혀 있으므로 같은 시험 장면을 64×64 · 96×96 · 128×128 로 따로 그려 둡니다. GPU 에서는 실행할 때마다 셋째 자리 숫자가 조금 달라질 수 있습니다. 아래 수치는 이 글을 쓰며 돌린 마지막 실행의 출력 그대로입니다.

장치: cuda
데이터: 학습 8000장, 검증 1000장, 시험 1000장 × 해상도 64 · 96 · 128 (9.7초)
라벨이 1 인 비율 (원, 사각형, 삼각형): [0.599, 0.597, 0.6] → 늘 많은 쪽으로 찍으면 라벨 정확도 0.599
가장 큰 객체의 중심: 늘 평균 위치 [0.497, 0.497] 라고 답하면 중심 오차 0.2527
MiniViT 매개변수 480,581개 (공식 480,581), 토큰 수 1 + 144

MiniViT 를 지도 학습으로

먼저 라벨을 써서 ViT 가 제대로 학습되는지 봅니다. 과제는 탐지의 아주 작은 축소판입니다. CLS 출력 위의 선형 머리가 숫자 5개를 냅니다.

둘째 과제를 넣은 까닭이 있습니다. “무엇이 있는가” 는 도형이 어디에 있든 답이 같아서 위치 정보가 거의 필요 없습니다. “어디에 있는가” 는 위치 임베딩 없이는 풀 수 없습니다. 위치 임베딩이 하는 일을 보려면 위치를 묻는 과제가 있어야 합니다.


  

  
  에폭   1 | 학습 손실 1.4886 | 검증 라벨 정확도 0.653 | 세 라벨 모두 0.157 | 중심 오차 0.2640
  에폭   4 | 학습 손실 0.9990 | 검증 라벨 정확도 0.804 | 세 라벨 모두 0.536 | 중심 오차 0.1632
  에폭   8 | 학습 손실 0.6663 | 검증 라벨 정확도 0.903 | 세 라벨 모두 0.739 | 중심 오차 0.1450
  에폭  12 | 학습 손실 0.5377 | 검증 라벨 정확도 0.952 | 세 라벨 모두 0.862 | 중심 오차 0.1352
  에폭  16 | 학습 손실 0.4643 | 검증 라벨 정확도 0.958 | 세 라벨 모두 0.885 | 중심 오차 0.1185
  에폭  20 | 학습 손실 0.4072 | 검증 라벨 정확도 0.963 | 세 라벨 모두 0.893 | 중심 오차 0.1118
  에폭  24 | 학습 손실 0.3714 | 검증 라벨 정확도 0.975 | 세 라벨 모두 0.925 | 중심 오차 0.1072
  에폭  28 | 학습 손실 0.3281 | 검증 라벨 정확도 0.972 | 세 라벨 모두 0.917 | 중심 오차 0.1032
  에폭  32 | 학습 손실 0.2982 | 검증 라벨 정확도 0.974 | 세 라벨 모두 0.925 | 중심 오차 0.1016
  에폭  36 | 학습 손실 0.2761 | 검증 라벨 정확도 0.973 | 세 라벨 모두 0.923 | 중심 오차 0.0991
  에폭  40 | 학습 손실 0.2672 | 검증 라벨 정확도 0.973 | 세 라벨 모두 0.922 | 중심 오차 0.0994
지도 학습 121.7초
MiniViT 지도 학습의 검증 정확도와 중심 오차 곡선, 그리고 64 · 96 · 128 해상도에서의 시험 정확도와 중심 오차 막대
그림 6-5. 왼쪽: 에폭에 따른 검증 정확도(파선: 라벨 하나하나, 점선: 세 라벨 모두 맞힘)와 중심 오차(실선, 오른쪽 축). 가운데 · 오른쪽: 96×96 으로 학습한 모델을 세 해상도의 시험 그림에 적용한 결과(다음 소절).

매개변수 480,581개짜리 작은 ViT 가 40 에폭 만에 라벨 정확도 0.973, 세 라벨을 모두 맞힌 비율 0.922 에 이릅니다(검증 세트). 늘 많은 쪽으로 찍는 기준은 0.599 입니다. 가장 큰 객체의 중심은 평균 0.0994(그림 한 변을 1 로 본 거리, 96픽셀 그림에서 약 9.5픽셀) 틀립니다. 늘 그림 한가운데라고 답할 때의 오차 0.2527 의 39% 수준입니다. 그림 6-5 의 왼쪽에서 정확도는 10 에폭쯤에 대부분 오르지만 중심 오차는 끝까지 천천히 줄어듭니다. CLS 토큰 하나에 “어디” 를 담는 것이 “무엇” 을 담는 것보다 어렵다는 뜻이고, 탐지기가 CLS 가 아니라 패치 특징과 객체 질의를 쓰는 까닭이기도 합니다.

해상도를 바꿔 넣어 보기

96×96(격자 12×12)으로 학습한 이 모델에 같은 장면의 64×64(격자 8×8) · 128×128(격자 16×16) 그림을 넣습니다. 세 가지 방법을 비교합니다.

해상도 실험 (시험 세트, 같은 장면을 각 해상도로 그린 것)
   64×64  격자  8×8  토큰  64 | 보간 없이: 오류: The size of tensor a (65) must match the size of tensor b (145) at non
            위치 임베딩 보간:        라벨 정확도 0.921 | 세 라벨 모두 0.790 | 중심 오차 0.1136
            그림을 96 으로 바꿔 넣기: 라벨 정확도 0.966 | 세 라벨 모두 0.901 | 중심 오차 0.0957
   96×96  격자 12×12 토큰 144 | 보간 없이: 동작
            위치 임베딩 보간:        라벨 정확도 0.973 | 세 라벨 모두 0.920 | 중심 오차 0.0960
            그림을 96 으로 바꿔 넣기: 라벨 정확도 0.973 | 세 라벨 모두 0.920 | 중심 오차 0.0960
  128×128 격자 16×16 토큰 256 | 보간 없이: 오류: The size of tensor a (257) must match the size of tensor b (145) at no
            위치 임베딩 보간:        라벨 정확도 0.984 | 세 라벨 모두 0.953 | 중심 오차 0.0946
            그림을 96 으로 바꿔 넣기: 라벨 정확도 0.971 | 세 라벨 모두 0.918 | 중심 오차 0.0959
  위치 임베딩을 0 으로 지우면 (96×96): 라벨 정확도 0.905 | 세 라벨 모두 0.736 | 중심 오차 0.3249
시험 해상도토큰보간 없이위치 임베딩 보간
세 라벨 모두 · 중심 오차
그림을 96 으로
세 라벨 모두 · 중심 오차
64×6464오류0.790 · 0.11360.901 · 0.0957
96×96 (학습한 해상도)144동작0.920 · 0.09600.920 · 0.0960
128×128256오류0.953 · 0.09460.918 · 0.0959

결과에서 읽을 것은 네 가지입니다.

미세 조정 없이 해상도만 바꿨을 때의 결과라는 점을 기억해 둡시다. RF-DETR 은 여기서 한 발 더 나아가, 학습하는 동안 해상도를 계속 바꿔 가며(다중 스케일 학습, 그리고 NAS 의 해상도 손잡이) 하나의 가중치가 여러 해상도에서 모두 잘 동작하게 만듭니다. 11장과 12장에서 다룹니다.

학습된 위치 임베딩 들여다보기

위치 임베딩은 무작위 값에서 출발했고, 어느 자리가 어느 자리의 이웃인지 아무도 알려 주지 않았습니다. 학습이 끝난 뒤 자리끼리의 닮음을 재 봅니다. 한 자리의 위치 임베딩과 다른 143개 자리의 위치 임베딩 사이의 코사인 유사도(두 벡터가 같은 방향이면 1, 직각이면 0, 반대면 −1)를 12×12 격자에 그렸습니다.

학습된 위치 임베딩의 코사인 유사도 지도 네 개. 별표로 표시한 자리와 가까운 자리일수록 유사도가 높다
그림 6-6. 지도 학습한 MiniViT 의 위치 임베딩. 별표가 기준 자리이고, 색은 그 자리와 다른 자리의 위치 임베딩이 얼마나 닮았는지입니다(밝을수록 닮음).

네 지도 모두 별표 둘레가 가장 밝고 멀어질수록 어두워집니다. 왼쪽 위 자리는 왼쪽 위 자리들과, 가운데 자리는 가운데 자리들과 닮았습니다. 모델이 “가까운 자리는 비슷한 벡터” 라는 2차원 구조를 데이터에서 스스로 찾아낸 것입니다. ViT 논문(그림 7)이 큰 모델에서 보고한 것과 같은 모습입니다. 그리고 이것이 위치 임베딩 보간이 통하는 까닭입니다. 격자 위에서 매끄럽게 변하는 것은 사이를 채워 넣어도 크게 어긋나지 않습니다.

참고 · 위치를 묻지 않으면 위치를 배우지 않습니다

이 장을 쓰면서 처음에는 “무엇이 있는가” 만으로 학습했습니다. 그때의 위치 임베딩은 그림 6-6 과 달리 아무 구조가 없는 잡음이었습니다. 과제가 위치를 요구하지 않으니 배울 까닭이 없었던 것입니다. 중심 좌표를 함께 맞히게 하자 비로소 이 구조가 나타났습니다. 모델은 손실이 요구하는 만큼만 배웁니다.

미니 DINO

이제 라벨을 치우고 같은 MiniViT 를 DINO 로 학습합니다. 앞 절의 부품을 그대로 옮기되 크기만 줄였습니다.

항목DINO 논문이 장의 미니 DINO
백본ViT-S/16 (2,100만)MiniViT, 96×96 / 패치 8 (48만)
출력 차원 $K$65,536256 ($\log K = 5.545$)
뷰전역 224 2장 + 지역 96 여러 장전역 96 2장 + 지역 48 2장
학생 온도 $\tau_s$0.10.1
교사 온도 $\tau_t$0.04 → 0.070.02 (아래 설명)
교사 EMA 비율 $m$0.996 → 10.99 → 1
중심 EMA 비율 $m_c$0.9 (부록 D 의 표에서 가장 좋았던 값)0.9
학습량ImageNet(약 130만 장)을 수백 에폭8,000장, 3,000스텝 × 배치 64 (24 에폭 분량)

뷰를 만드는 증강은 무작위 자르기 · 좌우 뒤집기 · 색 바꾸기입니다. 색은 채널 순서를 섞고 밝기를 바꿉니다. 도형 세상에서 색은 도형의 종류와 무관하므로 “색이 달라도 같은 그림” 이라고 알려 주는 것입니다. 지역 뷰는 48×48 이라 격자가 6×6 이고, 위치 임베딩 보간 을 거쳐 같은 ViT 에 들어갑니다. 앞에서 만든 것이 여기서 쓰입니다.


  

  

손실 함수는 앞의 식 그대로입니다. 교사 쪽은 (t - center) / tau_t 로 centering 과 sharpening 을 걸고 .detach() 로 기울기를 끊습니다. 학생 쪽은 log_softmax 를 써서 $\log P_s$ 를 수치적으로 안전하게 구합니다. 교차 엔트로피에서 교사의 엔트로피를 빼면 KL 이므로(앞의 분해), 둘을 함께 기록해 붕괴를 감시합니다.


  

  

학습 고리에서 볼 곳은 세 군데입니다.

라벨 없는 그림은 두 종류를 따로 써서 두 번 사전 학습합니다. (가) 장면: 도형이 1 – 4개 있는 보통의 도형 세상 그림 8,000장. (나) 도형 하나: 도형이 하나만 있는 그림 8,000장. 어느 쪽도 라벨은 쓰지 않습니다. 왜 둘로 나눴는지는 결과에서 드러납니다.

참고 · 교사 온도를 0.02 로 낮춘 까닭

DINO 논문의 0.04 로 먼저 돌렸습니다. 붕괴하지는 않았지만 교사의 분포가 날카로워지는 속도가 느려, 3,000스텝이 끝난 뒤에도 (나)로 학습한 백본은 도형의 종류를 묻는 선형 분류기에서 무작위 초기화와 구별되지 않았습니다(객체 수를 묻는 쪽만 조금 올랐습니다). 0.02 로 낮추자 같은 스텝 수 안에 학습이 진행되었습니다. 논문의 부록 D 도 0.02 가 동작하는 값임을 보입니다(0.06 보다 높게 시작하면 붕괴). 이 장의 수치는 몇 가지 설정을 돌려 본 뒤 고른 하나의 설정에서 나온 것임을 밝혀 둡니다. --tau-t 0.04 로 직접 확인할 수 있습니다.

붕괴를 직접 보기

정상적인 미니 DINO 둘과 함께, 부품을 하나씩 뺀 실험 둘을 짧게(300스텝) 돌립니다. centering 끔 은 중심 $c$ 를 늘 0 으로 두고, sharpening 끔 은 교사 온도를 1.0 으로 올립니다. 스텝마다 세 값을 기록합니다. 교사 분포의 엔트로피 $\mathrm{Ent}(P_t)$(그림 하나의 분포가 얼마나 퍼졌나), KL(교사와 학생이 얼마나 다른가), 그리고 배치 전체에서 평균 낸 분포의 엔트로피(배치가 $K$ 개 칸을 얼마나 고르게 쓰나)입니다.

미니 DINO (라벨 없이): 스텝 3000, 배치 64, 교사 온도 0.02
  [DINO · 장면] 스텝     1 | 손실 3.186 | 교사 엔트로피 1.339 | KL 1.847 | 배치 평균 분포의 엔트로피 1.389
  [DINO · 장면] 스텝   600 | 손실 2.464 | 교사 엔트로피 1.773 | KL 0.691 | 배치 평균 분포의 엔트로피 2.974
  [DINO · 장면] 스텝  1200 | 손실 1.790 | 교사 엔트로피 0.939 | KL 0.851 | 배치 평균 분포의 엔트로피 2.401
  [DINO · 장면] 스텝  1800 | 손실 1.439 | 교사 엔트로피 0.299 | KL 1.140 | 배치 평균 분포의 엔트로피 2.444
  [DINO · 장면] 스텝  2400 | 손실 1.237 | 교사 엔트로피 0.145 | KL 1.092 | 배치 평균 분포의 엔트로피 2.265
  [DINO · 장면] 스텝  3000 | 손실 1.117 | 교사 엔트로피 0.235 | KL 0.883 | 배치 평균 분포의 엔트로피 2.348
  [DINO · 도형 하나] 스텝     1 | 손실 3.105 | 교사 엔트로피 1.273 | KL 1.832 | 배치 평균 분포의 엔트로피 1.291
  [DINO · 도형 하나] 스텝   600 | 손실 3.511 | 교사 엔트로피 2.790 | KL 0.721 | 배치 평균 분포의 엔트로피 3.879
  [DINO · 도형 하나] 스텝  1200 | 손실 2.288 | 교사 엔트로피 1.284 | KL 1.004 | 배치 평균 분포의 엔트로피 3.112
  [DINO · 도형 하나] 스텝  1800 | 손실 1.153 | 교사 엔트로피 0.245 | KL 0.908 | 배치 평균 분포의 엔트로피 2.617
  [DINO · 도형 하나] 스텝  2400 | 손실 1.095 | 교사 엔트로피 0.258 | KL 0.837 | 배치 평균 분포의 엔트로피 2.709
  [DINO · 도형 하나] 스텝  3000 | 손실 1.012 | 교사 엔트로피 0.235 | KL 0.777 | 배치 평균 분포의 엔트로피 2.579
미니 DINO 학습 둘 430.7초
  [centering 끔] 스텝     1 | 손실 3.105 | 교사 엔트로피 1.273 | KL 1.832 | 배치 평균 분포의 엔트로피 1.291
  [centering 끔] 스텝    60 | 손실 0.026 | 교사 엔트로피 0.017 | KL 0.009 | 배치 평균 분포의 엔트로피 0.017
  [centering 끔] 스텝   120 | 손실 0.005 | 교사 엔트로피 0.000 | KL 0.005 | 배치 평균 분포의 엔트로피 0.000
  [centering 끔] 스텝   180 | 손실 0.004 | 교사 엔트로피 0.000 | KL 0.004 | 배치 평균 분포의 엔트로피 0.000
  [centering 끔] 스텝   240 | 손실 0.003 | 교사 엔트로피 0.000 | KL 0.003 | 배치 평균 분포의 엔트로피 0.000
  [centering 끔] 스텝   300 | 손실 0.003 | 교사 엔트로피 0.000 | KL 0.003 | 배치 평균 분포의 엔트로피 0.000
  [sharpening 끔] 스텝     1 | 손실 6.163 | 교사 엔트로피 5.537 | KL 0.627 | 배치 평균 분포의 엔트로피 5.537
  [sharpening 끔] 스텝    60 | 손실 5.547 | 교사 엔트로피 5.545 | KL 0.002 | 배치 평균 분포의 엔트로피 5.545
  [sharpening 끔] 스텝   120 | 손실 5.545 | 교사 엔트로피 5.545 | KL 0.000 | 배치 평균 분포의 엔트로피 5.545
  [sharpening 끔] 스텝   180 | 손실 5.545 | 교사 엔트로피 5.545 | KL 0.000 | 배치 평균 분포의 엔트로피 5.545
  [sharpening 끔] 스텝   240 | 손실 5.545 | 교사 엔트로피 5.545 | KL 0.000 | 배치 평균 분포의 엔트로피 5.545
  [sharpening 끔] 스텝   300 | 손실 5.545 | 교사 엔트로피 5.545 | KL 0.000 | 배치 평균 분포의 엔트로피 5.545
끈 실험 둘 41.3초, log K = log 256 = 5.545
미니 DINO 네 가지 실행의 교사 엔트로피, KL, 배치 평균 분포의 엔트로피 곡선. 정상 실행은 KL 이 0 보다 크게 유지되고, centering 을 끈 실행은 엔트로피가 0 으로, sharpening 을 끈 실행은 log K 로 간다
그림 6-7. 왼쪽: 교사 엔트로피. 가운데: KL(= 손실 − 엔트로피). 오른쪽: 배치 평균 분포의 엔트로피. 회색 쇄선은 $\log K = 5.545$. 곡선은 25스텝 이동 평균입니다.

앞에서 표로 정리한 두 붕괴가 그대로 나타납니다.

손실 값만 보아서는 건강한 학습과 붕괴를 가릴 수 없다는 것이 이 실험의 교훈입니다. 자기 지도 학습에서는 손실이 내려가는지가 아니라 엔트로피와 KL 이 어디에 머무는지 를 봅니다.

선형 분류기로 특징 재기

붕괴하지 않았다고 해서 쓸모 있는 것을 배웠다는 보장은 없습니다. 자기 지도 학습으로 얻은 백본은 선형 분류기 평가linear probe 로 잽니다. 백본을 얼리고(가중치를 바꾸지 않고), 그 특징 위에 선형 층 하나만 라벨로 학습합니다. 선형 층 하나로 풀리는 만큼만 점수가 나오므로, 특징 안에 답이 얼마나 꺼내기 쉬운 꼴로 들어 있는지를 재는 시험입니다. 특징은 CLS 출력과 패치 출력의 평균을 이어 붙인 192차원입니다. 세 가지를 묻습니다.

  1. ① 장면에 어떤 도형이 있는가(지도 학습 때와 같은 다중 라벨 과제)
  2. ② 장면에 객체가 몇 개인가(1 – 4개 가운데 하나)
  3. ③ 도형 하나짜리 그림의 도형은 무엇인가(원 · 사각형 · 삼각형 가운데 하나)

  
선형 분류기 (얼린 특징 192차원, 라벨 달린 학습 그림 4000장, 시험 1000장)
  백본                         | ① 장면의 도형 종류: 라벨 정확도 · 세 라벨 모두 | ② 장면의 객체 수 | ③ 도형 하나의 종류
  무작위 초기화 (시드 1)             | 0.712 · 0.312 | 0.671 | 0.593
  무작위 초기화 (시드 2)             | 0.721 · 0.331 | 0.663 | 0.592
  미니 DINO · 장면               | 0.737 · 0.361 | 0.754 | 0.729
  미니 DINO · 도형 하나            | 0.810 · 0.521 | 0.713 | 0.934
  centering 끈 DINO           | 0.729 · 0.345 | 0.688 | 0.622
  sharpening 끈 DINO          | 0.721 · 0.327 | 0.696 | 0.646
  지도 학습 백본 (참고)              | 0.971 · 0.914 | 0.729 | 0.999
  픽셀 (8×8 평균, 432차원)         | 0.627 · 0.243 | 0.511 | 0.450
  늘 많은 쪽으로 찍기                | 0.599 ·   —   | 0.269 | 0.351
GPU 메모리 최대 사용량 1533 MiB
일곱 가지 백본의 선형 분류기 정확도를 세 과제에 대해 그린 가로 막대 그림
그림 6-8. 얼린 특징 위의 선형 분류기 정확도(시험 세트). 왼쪽부터 과제 ① · ② · ③. 검은 쇄선은 늘 많은 쪽으로 찍을 때의 정확도입니다.

표를 한 줄씩 읽어 봅시다.

같은 방법, 같은 모델, 같은 증강인데 라벨 없는 그림의 종류만으로 배운 것이 달라졌습니다. 까닭은 DINO 의 목표에 있습니다. DINO 는 두 뷰 사이에 변하지 않는 것 을 특징에 담습니다. 도형이 여럿인 장면을 자르고 색을 바꾸면, 두 뷰에 공통으로 남는 가장 뚜렷한 것은 도형이 몇 개쯤이고 얼마나 큰가입니다. 도형의 종류는 그보다 미세한 단서입니다. 도형이 하나뿐인 그림에서는 자르고 색을 바꾼 뒤에 남는 것이 사실상 도형의 모양뿐이므로, 그림들을 구별하려면 모양을 봐야 합니다. (이것은 이 실험의 결과에 대한 해석이고, 따로 검증한 것은 아닙니다.)

핵심 · 자기 지도 학습이 무엇을 배우는지는 데이터와 증강이 정합니다

DINO 논문은 ImageNet 으로 학습했습니다. 사진 한 장에 라벨 하나가 붙은 분류용 데이터라, 주된 객체가 하나인 사진이 많습니다. DINOv2 논문도 데이터를 중요하게 다룹니다. 인터넷 그림을 그대로 쓰지 않고 정제한 LVD-142M 을 만들었고, 정제하지 않은 그림으로 학습하면 대부분의 벤치마크에서 결과가 나빠진다고 보고합니다(표 2). 그리고 규모가 다릅니다. 이 장의 미니 DINO 는 그림 8,000장을 24번 본 것이고, DINOv2 는 1억 4,200만 장으로 10억 매개변수 모델을 학습해 증류했습니다. 작은 실험의 결과를 진짜 DINOv2 의 품질로 착각하면 안 됩니다. 그 차이는 이 장의 끝에서 직접 봅니다.

CLS 토큰은 어디를 보는가

마지막 블록의 자기 어텐션에서 CLS 토큰이 각 패치에 준 가중치(머리 4개의 평균)를 12×12 지도로 그렸습니다. CLS 가 그림 전체를 요약하려고 어느 패치의 정보를 가져오는지를 보여 줍니다.

시험 그림 여섯 장과, 지도 학습 ViT · 장면으로 학습한 미니 DINO · 도형 하나로 학습한 미니 DINO 의 CLS 어텐션 지도
그림 6-9. 첫 줄: 시험 그림. 둘째 줄: 지도 학습한 MiniViT. 셋째 줄: 장면으로 학습한 미니 DINO(교사). 넷째 줄: 도형 하나짜리 그림으로 학습한 미니 DINO(교사). 밝을수록 CLS 가 그 패치를 많이 봅니다.

지도 학습한 모델(둘째 줄)의 CLS 는 도형 위를 고르게 보지 않습니다. 몇 개의 흩어진 패치에 가중치가 몰려 있고, 그 가운데에는 도형의 가장자리도 있고 배경도 있습니다. 마지막 블록에 이르면 필요한 정보가 앞의 블록들을 거치며 이미 여러 토큰에 옮겨져 있을 수 있으므로, 마지막 층의 어텐션 지도 한 장으로 “모델이 여기를 보고 판단했다” 고 말하기는 어렵습니다. 미니 DINO(셋째 · 넷째 줄)는 다릅니다. 밝은 곳이 대체로 도형 위에 있습니다. 장면으로 학습한 쪽은 도형 한두 개와 그 둘레를 넓게 보고, 도형 하나짜리 그림으로 학습한 쪽은 한 도형의 좁은 부분에 모입니다(둘째 그림처럼 배경 구석으로 빠지는 경우도 있습니다). 라벨도, “도형을 보라” 는 지시도 없었는데 CLS 가 객체 쪽을 봅니다. DINO 논문은 자기 지도 학습한 ViT 의 자기 어텐션 지도에 장면의 배치와 객체의 경계가 드러난다고 보고했는데, 그 성질의 작은 판을 본 셈입니다. 다만 그림 여섯 장에서 눈으로 본 것이고 수치로 잰 것은 아닙니다.

진짜 DINOv2 의 패치 특징

마지막으로, 공개된 DINOv2 ViT-S/14 가중치를 내려받아 도형 세상 그림을 넣어 봅니다. DINOv2 는 사진으로 학습했고 도형 세상 같은 그림은 본 적이 없습니다. 그런데도 패치 특징이 도형을 구별할까요? 이 부분은 본문 실습과 분리된 선택 스크립트 code/ch06_dinov2_features.py 입니다. requirements.txt 에 없는 transformers 패키지와 인터넷 연결(가중치 약 88MB 내려받기)이 필요합니다.

$ pip install transformers
$ python ch06_dinov2_features.py

같은 장면을 224×224 로 그려 넣으면 $224 / 14 = 16$, 패치 특징이 그림마다 $16 \times 16 = 256$ 개 나옵니다(각각 384차원). 이 특징으로 두 가지를 합니다.


  

  

  
장치: cuda

facebook/dinov2-small: 매개변수 22,056,576개, 층 12, 차원 384, 머리 6, 패치 14, 위치 임베딩 (1, 1370, 384)
패치 라벨: 학습 153,600개, 시험 76,800개, 시험 패치 중 배경 0.863
  사전 학습된 DINOv2        패치 분류 정확도 0.968 | 배경이 아닌 패치만 0.907
  무작위 초기화 (같은 구조)      패치 분류 정확도 0.922 | 배경이 아닌 패치만 0.452
  늘 배경이라고 찍기           패치 분류 정확도 0.863 | 배경이 아닌 패치만 0.000
  사전 학습된 DINOv2        첫 주성분의 부호만으로 배경/도형 가르기: 정답과 일치 0.726
  무작위 초기화 (같은 구조)      첫 주성분의 부호만으로 배경/도형 가르기: 정답과 일치 0.952
도형 세상 그림 여덟 장과, 진짜 DINOv2 및 무작위 초기화 ViT 의 패치 특징을 주성분 분석해 세 색으로 칠한 그림
그림 6-10. 첫 줄: 입력(224×224). 둘째 줄: DINOv2 패치 특징의 PCA(모든 패치). 셋째 줄: DINOv2, 첫 주성분으로 가른 뒤 남은 패치만의 PCA(나머지는 검정). 넷째 · 다섯째 줄: 같은 구조를 무작위로 초기화한 ViT 에 같은 절차를 적용한 것. 색 자체에는 뜻이 없고, 같은 색 = 비슷한 특징 입니다.

먼저 숫자입니다.

그림 6-10 에서 읽을 것은 색이 무엇을 따라가는가 입니다.

미니 DINO 가 도형 하나짜리 그림 8,000장에서 겨우 얻은 것을, 진짜 DINOv2 는 처음 보는 그림의 패치 하나하나 에서 해냅니다. 탐지기가 바라는 것이 바로 이것입니다. 패치 특징만 보고 “여기는 삼각형의 일부” 라고 말할 수 있다면, 그 위에 얹는 디코더의 일은 훨씬 쉬워집니다. RF-DETR 이 무작위 가중치가 아니라 이 가중치에서 출발하는 까닭이고, 논문의 표 5 · 6 에서 백본을 바꾼 것만으로 2 AP 가 오른 배경입니다.

이 장의 정리

확인 문제

문제 1 · 토큰 수

RF-DETR L 은 해상도 704, 패치 크기 16 입니다(논문 표 7). 패치 토큰은 몇 개입니까? nano(384, 패치 16)에 비해 토큰 수와 자기 어텐션의 쌍의 수는 각각 몇 배입니까?

답 보기

$704 / 16 = 44$ 이므로 $N = 44^2 = 1936$ 개입니다. nano 는 $24^2 = 576$ 개이므로 토큰은 $1936 / 576 \approx 3.36$ 배, 쌍은 $3.36^2 \approx 11.3$ 배입니다. 해상도는 1.83배 올렸을 뿐입니다.

문제 2 · 매개변수 수

이 장의 MiniViT(96×96, 패치 8, $D = 96$, 4층, MLP 비율 4, 출력 5개)의 매개변수 수를 부품별로 세어 보세요. 실행 출력의 480,581 과 맞습니까?

답 보기
  • 패치 임베딩: $3 \cdot 8 \cdot 8 \cdot 96 + 96 = 18{,}528$
  • CLS 토큰 96, 위치 임베딩 $(144 + 1) \cdot 96 = 13{,}920$
  • 블록 하나: 층 정규화 둘 $2 \cdot 192 = 384$, qkv $96 \cdot 288 + 288 = 27{,}936$, 출력 투영 $96 \cdot 96 + 96 = 9{,}312$, MLP $96 \cdot 384 + 384 = 37{,}248$ 과 $384 \cdot 96 + 96 = 36{,}960$ → 합 $111{,}840$. 4개면 $447{,}360$
  • 마지막 층 정규화 192, 머리 $96 \cdot 5 + 5 = 485$

합: $18{,}528 + 96 + 13{,}920 + 447{,}360 + 192 + 485 = 480{,}581$. 맞습니다.

문제 3 · EMA 손계산

교사의 가중치 하나가 $\theta_t = 0.5$, 학생의 것이 $\theta_s = 1.5$ 입니다. $m = 0.99$ 로 한 번 갱신하면 $\theta_t$ 는 얼마입니까? 학생이 1.5 에 머문 채 100번 갱신하면? ($0.99^{100} \approx 0.366$)

답 보기

한 번: $0.99 \cdot 0.5 + 0.01 \cdot 1.5 = 0.51$. 남은 차이는 스텝마다 0.99 배가 되므로 100번 뒤의 차이는 $1 \cdot 0.99^{100} \approx 0.366$, 곧 $\theta_t \approx 1.5 - 0.366 = 1.134$ 입니다. 100스텝이 지나도 교사는 학생까지의 거리의 63% 만 따라왔습니다.

문제 4 · 온도

점수가 $a = (1, 0)$ 일 때 온도 $\tau = 1$, $0.5$, $0.1$ 에서의 소프트맥스를 계산하세요. ($e^1 \approx 2.718$, $e^2 \approx 7.389$, $e^{10} \approx 22026$)

답 보기

$\tau = 1$: $(2.718, 1)/3.718 = (0.731, 0.269)$. $\tau = 0.5$: 점수가 $(2, 0)$ 이 되어 $(7.389, 1)/8.389 = (0.881, 0.119)$. $\tau = 0.1$: 점수가 $(10, 0)$ 이 되어 $(22026, 1)/22027 \approx (0.99995, 0.00005)$. 온도를 낮출수록 원-핫에 가까워집니다.

문제 5 · 붕괴 알아보기

출력 차원이 $K = 256$ 인 미니 DINO 를 두 번 돌렸더니 학습 끝의 기록이 (가) 교사 엔트로피 5.545, KL 0.000 (나) 교사 엔트로피 0.000, KL 0.001 이었습니다. 각각 어떤 상태입니까? 무엇을 빠뜨렸을 가능성이 큽니까? ($\ln 256 \approx 5.545$)

답 보기

둘 다 KL 이 0 이므로 붕괴입니다. (가)는 엔트로피가 $\log K$ 이므로 모든 그림에 균등 분포를 내는 붕괴이고, 교사의 온도가 너무 높은 것(sharpening 이 없는 것)이 원인일 가능성이 큽니다. (나)는 엔트로피가 0 이므로 모든 그림이 한 칸으로 쏠린 붕괴이고, centering 이 빠졌을 가능성이 큽니다. 이 장의 실험에서 본 그대로입니다.

문제 6 · 위치 임베딩 보간

값 하나짜리 위치 임베딩이 한 줄에 $[2,\ 4,\ 8]$ 로 세 칸 있습니다($g = 3$). 이것을 쌍선형 보간으로 두 칸($g' = 2$)으로 줄이면 값은 얼마입니까? 본문의 식 $u_i = (i + 0.5)\cdot g/g' - 0.5$ 를 쓰세요.

답 보기

$u_0 = 0.5 \cdot 1.5 - 0.5 = 0.25$: 0번 칸(값 2)과 1번 칸(값 4) 사이의 1/4 지점이므로 $0.75 \cdot 2 + 0.25 \cdot 4 = 2.5$. $u_1 = 1.5 \cdot 1.5 - 0.5 = 1.75$: 1번 칸(값 4)과 2번 칸(값 8) 사이의 3/4 지점이므로 $0.25 \cdot 4 + 0.75 \cdot 8 = 7$. 답은 $[2.5,\ 7]$ 입니다.

문제 7 · 같은 토큰 수, 다른 방법

ViT-S 를 384×384, 패치 16 으로 쓰다가 그림을 768×768 로 키우려 합니다. (가) 패치 크기를 16 으로 두는 것과 (나) 패치 크기를 32 로 키우는 것은 토큰 수 · 블록의 계산량 · 바꿔야 하는 가중치의 면에서 어떻게 다릅니까?

답 보기

(가) 격자가 $768/16 = 48$ 이 되어 토큰이 $576 \to 2304$(4배), 어텐션 쌍이 16배가 됩니다. $N = 6D = 2304$ 이므로 블록에서 제곱 항과 비례 항이 같아지는 지점이고, 블록의 계산량은 약 6.4배가 됩니다. 위치 임베딩을 24×24 에서 48×48 로 보간해야 하고 패치 임베딩은 그대로 씁니다. (나) 격자가 $768/32 = 24$ 로 그대로라 토큰 수와 블록의 계산량이 변하지 않고 위치 임베딩도 그대로 씁니다. 대신 패치 임베딩의 커널을 16×16 에서 32×32 로 바꿔야 하고(FlexiViT 식 변환), 패치 하나가 원래 그림의 4배 넓이를 담습니다. RF-DETR 논문 부록 L 의 관찰대로라면 (나)의 정확도는 384/16 일 때와 비슷할 것이라고 예상할 수 있습니다.

문제 8 · 왜 교사에는 기울기를 흘리지 않나

DINO 의 손실 $\mathrm{CE}(P_t, P_s)$ 를 교사의 가중치로도 미분해 교사까지 함께 경사 하강법으로 학습하면 어떤 일이 생길지 설명해 보세요.

답 보기

교사와 학생이 둘 다 손실을 줄이는 쪽으로 움직이면, 손실을 0 으로 만드는 가장 쉬운 길은 둘이 함께 “모든 그림에 같은 한 칸” 을 내는 것입니다(엔트로피 0, KL 0). 교사가 목표 노릇을 하려면 손실에 끌려다니지 않아야 합니다. 그래서 교사 쪽에는 기울기 차단을 걸고 EMA 로만 천천히 바꿉니다. centering · sharpening 도 손실로 학습되는 것이 아니라 교사의 출력에 밖에서 걸어 주는 조작입니다.

직접 바꿔 보기

python ch06_vit.py --dino-steps 6000 으로 미니 DINO 를 두 배 길게 돌려 선형 분류기 표가 어떻게 달라지는지, --tau-t 0.04 로 교사 온도를 DINO 논문의 값으로 올리면 어떻게 되는지 보세요. random_view 에서 채널 섞기를 빼면(색을 바꾸지 않으면) 무엇이 달라질지도 예상해 보고 확인해 보세요. 증강이 곧 “무엇을 같은 것으로 볼지” 를 정한다는 것을 떠올리면 됩니다. train_dino 의 momentum 을 0.99 에서 0.9 로 낮춰 교사가 학생을 빨리 따라가게 하면 그림 6-7 의 곡선이 어떻게 되는지도 보세요.

이제 탐지기의 눈 이 준비되었습니다. 그림을 넣으면 패치마다 특징 벡터가 하나씩 나오고, 그 특징은 라벨 없이 배운 것인데도 객체와 배경, 객체의 종류를 구별합니다. 그런데 특징 맵은 아직 답이 아닙니다. 우리가 원하는 것은 “여기에 원이 하나, 저기에 삼각형이 하나” 라는 박스와 클래스의 목록 입니다. 몇 개가 나올지도 그림마다 다릅니다. 7장에서는 이 문제를 Transformer 로 정면에서 푼 첫 탐지기 DETR 을 만듭니다. 탐지를 “집합을 예측하는 문제” 로 보고, 객체 질의와 헝가리안 매칭으로 앵커도 NMS 도 없이 박스를 냅니다.