CHAPTER 09

실시간 DETR: RT-DETR 과 LW-DETR

8장까지의 DETR 계열은 정확하고 깔끔했지만 느렸습니다. 이 장은 그 계보를 실시간 으로 끌어온 두 모델을 봅니다. RT-DETR(Zhao 외, 2023)은 개념만 짚고, RF-DETR 의 직접적인 바탕인 LW-DETR(Chen 외, 2024)은 부품을 하나씩 뜯어 식 · 손계산 · 구현으로 익힙니다. 윈도 어텐션과 윈도 우선 배치, C2f 프로젝터, IoU 인지 BCE 손실, Group DETR, 박스 재매개변수화가 그 부품입니다. 10장에서 RF-DETR 을 조립할 때 쓰는 재료가 모두 여기서 나옵니다.

읽는 시간 약 110분난이도 ★★★★☆코드: code/ch09_lwdetr_parts.py
이 장에서 배우는 것
이 장의 표기

실시간이라는 목표

1장에서 실시간을 “쓰는 곳이 요구하는 시간 안에 답을 낸다” 로 정했습니다. 초당 30장짜리 카메라라면 한 장에 33밀리초입니다. 8장의 끝에서 본 대로 Deformable DETR 은 논문 기준으로 초당 19장이었습니다. 한 장에 약 53밀리초이니 이 기준에 닿지 못합니다. 그 사이 실시간 탐지의 자리는 합성곱으로 만든 YOLO 계열이 차지하고 있었습니다. 이 장의 두 논문은 제목부터 그 자리를 겨눕니다. RT-DETR 의 제목은 “DETRs Beat YOLOs on Real-time Object Detection” 이고, LW-DETR 의 제목은 “A Transformer Replacement to YOLO for Real-Time Detection” 입니다.

DETR 계열은 어디가 무거웠나

앞의 세 장에서 본 것을 속도의 눈으로 다시 모으면 무거운 곳이 셋입니다.

결과는 숫자로 남아 있습니다. RT-DETR 논문은 당시 정확도가 높던 DETR 계열 모델(DINO-Deformable-DETR-R50)의 속도를 초당 5장으로 적습니다(자기 모델의 초당 108장과 견주는 대목). 정확도는 YOLO 를 넘어섰지만 속도는 한참 모자랐습니다.

YOLO 와 NMS 의 시간

YOLO 계열은 신경망 자체가 가볍고 빠릅니다. 그런데 3장에서 본 것처럼 이 계열은 같은 객체에 박스를 여러 개 내므로 뒤에 NMS(비최대 억제)를 붙여야 합니다. 두 논문은 이 NMS 의 시간을 따집니다. 논문에 실린 속도가 대개 신경망의 시간만이고 NMS 의 시간은 빠져 있다는 것입니다.

DETR 계열은 7장의 일대일 매칭 덕분에 NMS 가 필요 없습니다. 신경망의 출력이 곧 최종 답이므로 “신경망 시간 = 전체 시간” 입니다. 그래서 물음은 이렇게 바뀝니다. 신경망 자체를 YOLO 만큼 가볍게 만들 수 있다면, NMS 가 없는 만큼 DETR 계열이 유리하지 않겠는가. 두 논문은 이 물음에 서로 다른 길로 답합니다.

속도 숫자를 읽을 때

이 장에 나오는 지연 시간은 논문마다 잰 장비와 방법이 다릅니다. RT-DETR 과 LW-DETR 은 둘 다 T4 GPU 와 TensorRT FP16 을 쓰지만 TensorRT 판과 재는 절차가 같지 않고, RF-DETR 논문은 다시 자기 기준으로 모든 모델을 새로 쟀습니다(1장). 예를 들어 LW-DETR 논문은 자기 모델 tiny 를 2.0 ms · 42.6 mAP 로 적고, RF-DETR 논문의 표 2 는 같은 모델을 1.9 ms · 42.9 AP 로 적습니다. 한 표 안의 숫자끼리만 견주는 것이 안전합니다.

RT-DETR: DETR 이 YOLO 를 이긴다는 주장

RT-DETRReal-Time DEtection TRansformer(Zhao 외, arXiv 2304.08069)은 논문 초록에서 스스로를 “저자들이 아는 한 첫 실시간 종단 간 객체 탐지기” 라고 부릅니다. COCO 에서 RT-DETR-R50 이 AP 53.1 에 T4 기준 초당 108장, R101 이 AP 54.3 에 초당 74장이라고 보고하고, 같은 크기의 YOLO 들을 속도와 정확도 양쪽에서 앞선다고 주장합니다. 이 튜토리얼은 RT-DETR 을 구현하지 않습니다. RF-DETR 의 바탕은 LW-DETR 이기 때문입니다. 다만 RT-DETR 이 내놓은 생각 가운데 뒤에서 다시 만나는 것이 있어, 논문이 밝힌 범위에서 세 가지만 짚습니다.

효율적인 하이브리드 인코더

RT-DETR 은 CNN 백본(ResNet 등)이 낸 세 해상도의 특징 맵을 받습니다. Deformable DETR 은 이 세 장의 칸을 모두 한 줄로 이어 Transformer 인코더에 넣었습니다. 앞에서 센 8,400칸짜리 토큰 열입니다. RT-DETR 은 인코더가 하던 일을 둘로 나눠 봅니다.

그리고 두 일을 한꺼번에 하지 않고 떼어 놓습니다. 자기 어텐션은 가장 거친 특징 맵(스트라이드 32, 논문의 $S_5$) 한 장에만 Transformer 인코더 층 하나로 적용하고, 해상도 사이의 융합은 어텐션이 아니라 합성곱으로 만든 블록에 맡깁니다. 어텐션(Transformer)과 합성곱(CNN)을 섞어 쓴다고 해서 논문은 이것을 “하이브리드 인코더” 라고 부릅니다. 가장 거친 맵에만 어텐션을 쓰는 이유로 논문은, 의미 정보가 풍부한 높은 수준의 특징에 자기 어텐션을 적용하는 것이 객체 사이의 관계를 잡는 데 도움이 되고, 낮은 수준의 특징끼리의 상호작용은 필요하지 않다고 설명합니다. 640×640 그림이라면 어텐션이 다루는 토큰이 8,400개에서 400개로 줄고, 쌍의 수는 $8400^2 / 400^2 = 441$ 분의 1 이 됩니다(이 나눗셈은 논문의 수치가 아니라 앞의 칸 수로 한 계산입니다).

질의 선택과 디코더 층 수 조절

둘째는 디코더에 넣을 처음 질의를 고르는 방법입니다. 8장의 2단계 방식은 인코더 출력의 칸마다 분류 점수를 내고 점수가 높은 칸을 골랐습니다. RT-DETR 논문은 여기에 문제가 있다고 봅니다. 분류 점수만으로 고르면, 클래스는 맞지만 위치가 부정확한 칸도 뽑힌다는 것입니다. 그래서 분류와 위치의 예측이 얼마나 어긋나는지를 “불확실성” 으로 정의해 손실에 넣는 방법(논문의 이름으로 uncertainty-minimal query selection)을 제안하고, 이것으로 AP 가 47.9 에서 48.7 로 올랐다고 보고합니다. 식의 세부는 이 튜토리얼의 범위 밖입니다. 기억해 둘 것은 문제의식입니다. 분류 점수가 박스의 품질을 말해 주지 않는다 는 것으로, 이 장 뒤쪽의 IoU 인지 BCE 손실이 겨누는 바로 그 문제입니다.

셋째는 디코더 층 수로 속도를 조절 할 수 있다는 관찰입니다. DETR 계열은 디코더의 모든 층에 보조 손실을 걸어 학습하므로(7장), 어느 층의 출력이든 그대로 예측으로 쓸 수 있습니다. RT-DETR 논문 표 5 에서 6층으로 학습한 RT-DETR-R50 은 마지막 층을 떼고 5층까지만 써도 AP 가 53.1 에서 53.0 으로 0.1 만 내려가고, 지연 시간은 9.3 ms 에서 8.8 ms 로 줄어듭니다. 재학습은 필요 없습니다. RF-DETR 은 이 생각을 훨씬 넓혀, 디코더 층 수를 포함한 다섯 손잡이를 재학습 없이 돌립니다(12장).

다른 길: 평범한 ViT

RT-DETR 의 답은 “CNN 백본을 그대로 두고, 그 뒤의 인코더를 가볍게 다시 설계한다” 입니다. LW-DETR 은 같은 때에 나온 연구로, 논문 스스로 RT-DETR 을 “CNN 백본에 초점을 둔” 동시대의 작업이라고 부르고 자기 쪽은 평범한 ViT(plain ViT) 백본으로 실시간 탐지가 되는지를 본다고 적습니다. 여기서 “평범한” 은 6장에서 만든 그 ViT 를 뜻합니다. 처음부터 끝까지 해상도가 하나이고, 블록마다 똑같은 구조를 쌓은 것입니다.

이 선택이 RF-DETR 로 이어지는 갈림길입니다. 인코더가 평범한 ViT 이면 사전 학습된 ViT 의 가중치를 그대로 실어 올 수 있습니다. LW-DETR 은 CAEv2 로 사전 학습한 ViT 를 썼고, RF-DETR 은 그 자리에 DINOv2 를 넣습니다(10장). 대신 ViT 의 전역 자기 어텐션이 가진 제곱 비용을 어떻게든 줄여야 하고, 한 해상도뿐인 특징 맵을 탐지에 맞게 다듬어야 합니다. 이 장의 나머지가 그 이야기입니다.

LW-DETR 의 전체 구조

LW-DETRLight-Weight DETR(Chen 외, arXiv 2406.03459, 2024)은 논문 초록의 말로 “ViT 인코더, 프로젝터, 얕은 DETR 디코더를 단순히 쌓은 것” 입니다. 새 연산을 발명하기보다 이미 나와 있던 기법을 골라 묶고, 속도를 위한 구현 하나(윈도 우선 배치)와 인코더의 개선 하나(다층 특징 집계)를 보탰습니다.

그림 ViT 인코더 (백본) 윈도 전역 윈도 전역 윈도 전역 여러 층의 특징 맵을 모은다 윈도 · 전역 어텐션을 번갈아 프로젝터 C2f 블록 디코더 × 3층 자기 어텐션 변형 교차 어텐션 FFN 층마다 머리 · 손실 클래스 박스 섞은 질의 선택 점수 상위 칸 → 기준 박스 · 내용 질의는 학습되는 임베딩
그림 9-1. LW-DETR 의 구조(개념도). 파란 테두리는 윈도 어텐션 블록, 주황 테두리는 전역 어텐션 블록입니다. 블록의 수와 어느 층에서 특징 맵을 꺼내는지는 모델 크기마다 다릅니다.

그림 9-1 을 왼쪽에서 오른쪽으로 읽습니다.

  1. ViT 인코더. 그림을 패치로 잘라 토큰으로 만들고 Transformer 블록을 통과시킵니다. 블록 가운데 일부는 윈도 어텐션, 나머지는 전역 어텐션입니다.
  2. 다층 특징 집계. 마지막 블록의 출력만 쓰지 않고, 중간 블록 몇 개의 출력도 함께 꺼내 모읍니다.
  3. 프로젝터. 모은 특징 맵을 합성곱 블록(C2f)으로 섞어 디코더가 읽을 특징 맵으로 만듭니다.
  4. 섞은 질의 선택. 프로젝터 출력의 칸마다 점수와 박스를 내고, 점수가 높은 칸의 박스를 디코더의 기준 박스로 삼습니다(8장의 2단계 방식).
  5. 디코더 3층. 층마다 자기 어텐션 → 변형 교차 어텐션(8장) → FFN. 층마다 분류 머리와 박스 머리가 예측을 냅니다.

세 덩어리: 인코더 · 프로젝터 · 디코더

이 구조를 부르는 이름을 정리해 둡니다. 앞 장들에서 이미 써 온 말이지만, 10장부터는 이 이름으로 부품을 가리키므로 여기서 한 번 못 박습니다.

다섯 가지 크기

LW-DETR 논문 표 1 은 같은 구조를 다섯 크기로 만듭니다. 뒤의 세 열은 논문 표 3 의 COCO 결과입니다(Objects365 사전 학습 포함, T4 · TensorRT FP16).

크기인코더 층차원전역 / 윈도 층프로젝터 차원 · 스케일디코더 층질의매개변수지연mAP
tiny61923 / 3256 · 1/16310012.1M2.0 ms42.6
small101924 / 6256 · 1/16330014.6M2.9 ms48.0
medium103844 / 6256 · 1/16330028.2M5.6 ms52.5
large103844 / 6384 · 1/8, 1/32330046.8M8.8 ms56.1
xlarge107684 / 6384 · 1/8, 1/323300118.0M19.1 ms58.3

표에서 읽을 것:

얕은 디코더

디코더를 6층에서 3층으로 줄인 것은 논문이 수치로 밝힌 결정입니다. 3.1절은 이렇게 적습니다. DETR 과 그 변형들은 보통 디코더 6층을 쓰지만 LW-DETR 은 3층을 쓰고, 이것으로 디코더의 시간이 1.4 ms 에서 0.7 ms 로 줄어든다. tiny 모델의 나머지 부분이 1.3 ms 이므로 이 0.7 ms 는 작지 않은 몫이다.

숫자를 한 번 맞춰 봅니다. 나머지 1.3 ms 에 디코더 0.7 ms 를 더하면 2.0 ms 로, 위 표의 tiny 지연 시간과 같습니다. 디코더가 6층이었다면 $1.3 + 1.4 = 2.7$ ms 였을 것입니다. 층 수가 절반이 되니 시간도 절반이 된 것은, 디코더 층이 모두 같은 구조이고 차례로 실행되기 때문입니다.

층을 줄이면 정확도는 어떻게 될까요? 논문은 이 대목에서 정확도의 변화를 따로 적지 않습니다. 대신 뒤에서 볼 학습 기법들(IA-BCE, Group DETR, 사전 학습)로 얕은 디코더의 정확도를 끌어올립니다. 층마다의 변형 교차 어텐션은 8장에서 만든 그대로이고, 질의가 프로젝터의 특징 맵에서 기준 박스 둘레의 표본점 몇 개만 읽습니다.

논문이 보고한 속도와 정확도

위 표의 마지막 세 열이 LW-DETR 의 성적입니다. 논문 표 3 은 같은 자리에서 잰 YOLO 계열과 나란히 놓습니다. small 크기에서 견주면 이렇습니다(모두 Objects365 사전 학습을 쓴 값, 전체 지연은 공식 설정의 NMS 포함).

모델매개변수신경망 지연전체 지연mAP
YOLOv8s11.2M2.6 ms7.0 ms45.2
RTMDet-s8.9M2.8 ms7.9 ms44.9
YOLO-NAS-s19.0M2.8 ms4.7 ms47.6
LW-DETR-small14.6M2.9 ms2.9 ms48.0

신경망만의 시간은 넷이 비슷합니다(2.6 – 2.9 ms). 차이는 NMS 에서 납니다. LW-DETR 은 NMS 가 없으므로 전체 지연이 그대로 2.9 ms 입니다. 논문은 YOLO 쪽의 점수 문턱값을 손봐 NMS 시간을 줄인 값도 함께 싣는데, 그렇게 해도 LW-DETR 이 앞선다고 보고합니다(예: YOLO-NAS-s 는 2.9 ms · 47.3 mAP). 같은 때의 RT-DETR 과도 견주어, LW-DETR-large(8.8 ms · 56.1)가 RT-DETR-R50(55.3)보다 0.8 mAP 높고 더 빠르다고 적습니다(RT-DETR-R50 의 지연은 논문 표 4 에 9.3 ms, 본문에 9.9 ms 로 적혀 있습니다. 표의 값은 RT-DETR 논문의 보고값과 LW-DETR 저자들이 잰 값 가운데 좋은 쪽입니다).

여기까지가 겉모습입니다. 이제 부품을 하나씩 엽니다. 순서는 데이터가 흐르는 순서 그대로입니다. 인코더 안의 윈도 어텐션과 윈도 우선 배치, 다층 특징 집계, 프로젝터를 먼저 보고, 이어서 학습을 돕는 세 가지(IA-BCE, Group DETR, 박스 재매개변수화)를 봅니다.

윈도 어텐션

평범한 ViT 를 탐지에 쓰려면 먼저 넘어야 할 것이 자기 어텐션의 제곱 비용입니다. LW-DETR 은 640×640 그림을 16×16 패치로 자릅니다. 한 변에 $640 / 16 = 40$ 개, 모두 $N = 1600$ 개의 토큰입니다. 전역 자기 어텐션 한 번이 계산하는 (질의, 열쇠) 쌍은 $1600^2 = 2{,}560{,}000$ 개이고, 이것을 층마다 되풀이합니다. 6장에서 예고한 대로, 해법은 토큰을 몇 구역으로 나눠 구역 안에서만 어텐션을 하는 것입니다.

윈도 안에서만 보기

토큰 격자를 겹치지 않는 네모 구역으로 나눕니다. 이 구역 하나가 윈도(window)입니다. 윈도 어텐션window attention 은 자기 어텐션을 윈도마다 따로 하는 것입니다. 토큰은 자기와 같은 윈도에 있는 토큰만 봅니다. 이와 구별해, 모든 토큰이 모든 토큰을 보는 보통의 자기 어텐션을 전역 어텐션global attention 이라고 부릅니다.

백 명이 한 강당에서 회의를 하면 누구나 누구의 말이든 들을 수 있지만, 한 사람이 챙겨 들어야 할 상대가 아흔아홉 명입니다. 스물다섯 명씩 네 방으로 나눠 조별 토론을 하면 챙길 상대가 스물네 명으로 줄어듭니다. 대신 옆방에서 무슨 말이 오갔는지는 모릅니다. 그래서 조별 토론 사이사이에 전체 회의를 한 번씩 끼워, 방마다의 이야기를 서로 전합니다. 조별 토론이 윈도 어텐션, 전체 회의가 전역 어텐션입니다.

이 방식은 LW-DETR 이 처음 만든 것이 아닙니다. 논문은 ViTDet(Li 외, 2022, “Exploring Plain Vision Transformer Backbones for Object Detection”)을 따랐다고 밝힙니다. ViTDet 은 사전 학습된 평범한 ViT 를 탐지 백본으로 쓰면서, 블록 대부분을 겹치지 않는 윈도 어텐션으로 돌리고 몇 개의 블록(기본 4개)만 윈도를 넘어 정보를 전하게 했습니다. 윈도를 층마다 반 칸씩 옮기는 방식(Swin 의 shifted window)을 쓰지 않고도, 정보가 윈도 사이로 잘 전해지기만 하면 충분하다는 것이 그 논문의 관찰입니다.

구현은 뜻밖에 간단합니다. 윈도 어텐션을 위한 특별한 어텐션 코드는 없습니다. 5장에서 본 대로 어텐션은 배치의 한 줄 안에서만 일어납니다. 그림 1번의 토큰이 그림 2번의 토큰을 보는 일은 없습니다. 그러니 윈도를 배치 축에 올리면 됩니다. 토큰 (B, N, D) 를 윈도별로 잘라 (B·W_n², N/W_n², D) 로 만들어 보통의 자기 어텐션에 넣으면, 어텐션은 저절로 윈도 안에서만 일어납니다. 미니 모델의 숫자로는 (2, 144, 96) 이 (8, 36, 96) 이 됩니다. 그림 2장 × 윈도 4개 = 8줄, 한 줄에 토큰 36개입니다.

쌍의 수 세기

얼마나 줄어드는지 셉니다. 토큰이 $N$ 개이고, 격자를 한 변 $W_n$ 등분해 윈도 $W_n^2$ 개를 만든다고 합시다.

어텐션 한 번의 (질의, 열쇠) 쌍의 수: 전역과 윈도
$$ \text{전역 어텐션의 쌍} = N \times N = N^2 $$
질의 $N$ 개가 저마다 열쇠 $N$ 개를 봅니다(자기 자신 포함).
$$ \text{윈도 하나의 토큰 수} = \frac{N}{W_n^2} $$
토큰 $N$ 개를 윈도 $W_n^2$ 개가 똑같이 나눠 갖습니다. 그러려면 격자의 한 변이 $W_n$ 의 배수여야 합니다.
$$ \text{윈도 하나의 쌍} = \left(\frac{N}{W_n^2}\right)^{2} = \frac{N^2}{W_n^4} $$
윈도 안에서는 전역 어텐션과 똑같이 모두가 모두를 봅니다. 토큰 수만 $N / W_n^2$ 로 줄었습니다.
$$ \text{윈도 어텐션의 쌍} = W_n^2 \times \frac{N^2}{W_n^4} $$
윈도가 $W_n^2$ 개 있으므로 윈도 하나의 쌍에 윈도 수를 곱합니다.
$$ = \frac{N^2}{W_n^2} $$
$W_n^2$ 하나가 약분됩니다. 쌍의 수가 윈도 수만큼 나뉩니다. 한 변을 2등분($W_n = 2$, 윈도 4개)하면 4분의 1, 4등분($W_n = 4$, 윈도 16개)하면 16분의 1 입니다.

미니 모델의 격자(12×12, $N = 144$)에 넣어 봅니다. 전역은 $144^2 = 20{,}736$ 쌍입니다. $W_n = 2$ 이면 윈도 하나에 $144 / 4 = 36$ 토큰, 윈도 하나의 쌍이 $36^2 = 1{,}296$, 윈도 4개를 합쳐 $4 \times 1{,}296 = 5{,}184$ 쌍입니다. $20{,}736 / 4 = 5{,}184$ 로 식과 맞습니다. 실습 코드가 세 격자 크기에 대해 찍은 표입니다.

  어텐션 한 번이 계산하는 (질의, 열쇠) 쌍의 수 — 전역 N² 과 윈도 W_n²·(N/W_n²)² = N²/W_n²
  토큰 격자 |    N |    전역 N² | 윈도 2×2 | 윈도 3×3 | 윈도 4×4
    12×12  |  144 |     20,736 |    5,184 |    2,304 |    1,296
    24×24  |  576 |    331,776 |   82,944 |   36,864 |   20,736
    48×48  | 2304 |  5,308,416 | 1,327,104 |  589,824 |  331,776

LW-DETR 의 설정도 계산해 봅니다. 논문은 640×640 입력에서 윈도 하나를 10×10 토큰으로 잡습니다. 40×40 격자를 한 변 4등분한 것이니 윈도는 16개입니다(논문 부록의 “window numbers 16”). 전역 어텐션의 $2{,}560{,}000$ 쌍이 윈도 어텐션에서는 $16 \times 100^2 = 160{,}000$ 쌍, 16분의 1 이 됩니다.

줄어드는 것은 제곱 항뿐입니다

6장에서 ViT 블록 하나의 곱셈 수를 $12ND^2 + 2N^2D$ 로 어림했습니다. 앞 항은 선형 층들(질의 · 열쇠 · 값 투영, 출력 투영, MLP)이고 토큰 수에 비례 합니다. 뒤 항이 어텐션의 쌍에서 나오는 제곱 항입니다. 윈도 어텐션이 줄이는 것은 뒤 항뿐입니다. 선형 층은 토큰마다 따로 계산되므로 토큰을 어떻게 나누든 그대로입니다. 그래서 윈도 어텐션의 이득은 제곱 항이 얼마나 큰 몫을 차지하느냐, 곧 두 항의 비 $2N^2D / 12ND^2 = N / 6D$ 에 달려 있습니다. 토큰이 많을수록 이득이 큽니다. 이 장 뒤쪽에서 잰 시간이 정확히 이 모양으로 나옵니다.

전역 층을 사이에 끼우기

모든 블록을 윈도 어텐션으로 바꾸면 가장 싸지만, 그러면 윈도 경계를 넘는 정보가 영영 전해지지 않습니다. 윈도 둘에 걸친 큰 객체가 있어도, 한쪽 윈도의 토큰은 다른 쪽 절반을 끝까지 보지 못합니다. 그래서 일부 블록은 전역 어텐션으로 남깁니다. LW-DETR 논문은 이것을 “윈도 어텐션과 전역 어텐션을 번갈아(interleaved)” 놓는다고 표현하고, 6층 ViT 라면 첫째 · 셋째 · 다섯째 층을 윈도 어텐션으로 한다고 예를 듭니다. 앞의 표에서 본 대로 tiny 는 윈도 3 · 전역 3, small 부터는 윈도 6 · 전역 4 입니다.

인코더 전체에서 어텐션의 쌍이 얼마나 줄어드는지도 어림할 수 있습니다. 전역 블록 하나의 쌍을 1 로 놓으면 윈도 블록 하나는 $1 / W_n^2$ 입니다.

인코더 전체의 어텐션 쌍: 모두 전역일 때와의 비
$$ \text{비} = \frac{(\text{전역 블록 수}) \times 1 + (\text{윈도 블록 수}) \times \dfrac{1}{W_n^2}}{\text{전체 블록 수}} $$
분모는 모든 블록이 전역일 때의 쌍(블록마다 1), 분자는 섞었을 때의 쌍입니다.
$$ \text{LW-DETR small:}\quad \frac{4 + 6 \times \frac{1}{16}}{10} = \frac{4.375}{10} = 0.4375 $$
전역 4층, 윈도 6층, 윈도 16개($W_n = 4$). 윈도 6층을 다 합쳐도 전역 한 층의 $6/16 = 0.375$ 배밖에 되지 않습니다. 남은 쌍의 대부분은 전역 4층의 것입니다.
$$ \text{이 장의 미니 모델:}\quad \frac{2 + 4 \times \frac{1}{4}}{6} = \frac{3}{6} = 0.5 $$
전역 2층, 윈도 4층, 윈도 4개($W_n = 2$). 어텐션의 쌍만 세면 절반입니다.

이 비는 어텐션의 쌍만 센 것입니다. 탐지기 전체의 연산량은 이만큼 줄지 않습니다. 논문 표 2 에서 윈도 어텐션을 넣었을 때 전체 연산량은 23.0 에서 16.6 GFLOPs 로, 약 0.72배가 됩니다. 선형 층과 MLP, 프로젝터, 디코더는 그대로이기 때문입니다.

윈도 사이로 정보가 흐르는지 확인하기

“전역 층이 없으면 윈도 사이로 정보가 흐르지 않는다” 는 말을 실험으로 확인합니다. 이 장의 윈도 ViT 인코더(WindowedViT, 구현은 뒤에서 읽습니다)에 그림을 넣고, 왼쪽 위 윈도에 해당하는 픽셀만 다른 값으로 바꿔 다시 넣습니다. 그리고 마지막 특징 맵에서 다른 세 윈도의 칸 이 얼마나 달라졌는지 봅니다. 모델은 학습하지 않은 초기 가중치 그대로입니다.

  왼쪽 위 윈도의 픽셀만 바꿨을 때, 마지막 특징 맵에서 **다른 윈도** 칸의 최대 변화
    check 윈도 블록만 6개: 0.00e+00 (0 이어야 한다),  바꾼 윈도 안: 5.236
    윈도 + 전역 (기본): 0.039  ← 전역 블록이 윈도 사이로 정보를 나른다
출력 특징 맵의 한 칸이 입력의 어느 패치에 영향을 받는지를 12×12 격자에 색으로 나타낸 세 그림. 왼쪽은 윈도 블록만, 가운데는 윈도와 전역을 섞은 미니 모델, 오른쪽은 전역 블록만
그림 9-2. 출력 특징 맵의 한 칸(빨간 별, 행 2 · 열 3)이 입력의 어느 패치에 영향을 받는가. 색은 그 칸의 출력을 입력으로 미분한 크기의 몫(로그 눈금)이고, 회색은 정확히 0 입니다. 흰 점선은 윈도 경계. 학습하지 않은 가중치입니다.

그림 9-2 는 같은 사실을 거꾸로 봅니다. 출력의 한 칸을 정하고, 그 칸이 입력의 어느 패치에 달려 있는지를 기울기로 잽니다.

이 그림을 읽는 한계

세 그림 모두 별이 있는 칸 하나만 노랗게 두드러집니다. 학습하지 않은 모델에서는 잔차 연결 때문에 출력 칸이 거의 자기 자신의 패치에만 달려 있기 때문입니다. 전역 블록만 쓴 오른쪽에서도 자기 윈도의 몫이 0.84 나 되는 까닭입니다. 이 그림은 학습된 모델이 실제로 어디를 보는지가 아니라, 구조가 어떤 정보 흐름을 허용하는지(회색 = 불가능)를 보여 줍니다. 0.91 · 0.84 같은 수치는 학습 뒤에 달라집니다.

그러면 윈도 어텐션으로 정확도는 얼마나 잃을까요? 논문 표 2 에서는 윈도 어텐션을 넣은 줄에서 mAP 가 36.0 에서 34.7 로 1.3 내려갑니다(12 에폭 학습 기준). 연산량을 0.72배로 줄인 값입니다. 이 튜토리얼의 도형 세상 실험(11장)에서는 윈도 2×2 모델과 모두 전역인 모델의 AP 차이가 시드 셋에서 −0.0014, +0.0041, −0.0009 로(전역 − 윈도), 부호가 섞이는 크기였습니다. 그림 한 장에 도형이 1 – 4개뿐인 작은 과제여서, 이것으로 COCO 에서의 손실을 말할 수는 없습니다.

윈도 우선 배치

윈도 어텐션으로 연산량은 줄었습니다. 그런데 LW-DETR 논문은 연산량이 줄었는데 지연 시간은 오히려 늘었다 고 보고합니다. 까닭은 토큰을 늘어놓는 순서에 있었고, 그 해법이 이 논문이 직접 내놓은 구현 기법인 윈도 우선 배치window-major feature map organization 입니다.

행 우선 배치의 문제

토큰 격자를 한 줄로 펼 때 보통은 한 행씩 읽습니다. 첫 행의 왼쪽부터 오른쪽으로, 다음 행의 왼쪽부터 오른쪽으로. 이것이 행 우선 배치(row-major)이고, 6장의 ViT 도 이렇게 폈습니다. 전역 어텐션에는 아무 문제가 없습니다. 그런데 윈도 어텐션을 하려면 한 윈도의 토큰들을 한데 모아야 하는데, 행 우선 배치에서는 한 윈도의 토큰이 수열 여기저기에 흩어져 있습니다. 그래서 ViTDet 방식의 구현은 윈도 블록을 만날 때마다 다음을 합니다.

  1. 토큰의 순서를 바꿔 윈도별로 모은다.
  2. 윈도 어텐션 블록을 계산한다.
  3. 토큰의 순서를 원래(행 우선)로 되돌린다.

1번과 3번은 계산이 아니라 메모리 안에서 값을 옮기는 일 입니다. PyTorch 로 말하면 permute 뒤의 reshape 로, 텐서 전체를 새 순서로 복사합니다. 윈도 블록이 6개면 이 복사가 12번 일어납니다.

윈도 단위로 늘어놓기

윈도 우선 배치는 순서를 처음에 한 번만 바꿉니다. 토큰을 윈도 단위로 늘어놓습니다. 첫 윈도의 토큰을 모두 적고, 다음 윈도의 토큰을 모두 적는 식입니다. 이렇게 해 두면 한 윈도의 토큰이 수열의 연속 구간 이 되므로, 윈도로 자르는 일이 값을 옮기지 않는 모양 바꾸기(view)만으로 됩니다.

4×4 격자의 행 우선 자리 번호, 같은 격자의 윈도 우선 자리 번호, 12×12 격자를 2×2 윈도로 나눈 윈도 우선 자리 번호. 칸의 색은 윈도를 나타낸다
그림 9-3. 칸 안의 숫자는 그 토큰이 수열에서 놓이는 자리, 색은 윈도입니다. 왼쪽: 4×4 격자의 행 우선 배치. 가운데: 같은 격자의 윈도 우선 배치. 오른쪽: 미니 모델의 12×12 격자를 2×2 윈도로 나눈 윈도 우선 배치.

그림 9-3 에서 읽을 것:

손으로 따라가는 4×4 예

LW-DETR 논문 3.4절은 4×4 특징 맵으로 이 배치를 설명합니다(논문 식 3 – 5). 칸의 이름을 $f_{\text{행}\,\text{열}}$ 로 붙입니다.

$$ \begin{bmatrix} f_{11} & f_{12} & f_{13} & f_{14} \\ f_{21} & f_{22} & f_{23} & f_{24} \\ f_{31} & f_{32} & f_{33} & f_{34} \\ f_{41} & f_{42} & f_{43} & f_{44} \end{bmatrix} $$

윈도의 크기가 2×2 이면(한 변의 윈도 수 $W_n = 2$) 두 배치는 다음과 같습니다. 세미콜론은 네 개씩 끊어 읽기 좋게 넣은 것입니다.

$$ \begin{aligned} \text{행 우선:}\quad & f_{11}, f_{12}, f_{13}, f_{14};\; f_{21}, f_{22}, f_{23}, f_{24};\; f_{31}, f_{32}, f_{33}, f_{34};\; f_{41}, f_{42}, f_{43}, f_{44} \\ \text{윈도 우선:}\quad & f_{11}, f_{12}, f_{21}, f_{22};\; f_{13}, f_{14}, f_{23}, f_{24};\; f_{31}, f_{32}, f_{41}, f_{42};\; f_{33}, f_{34}, f_{43}, f_{44} \end{aligned} $$

윈도 우선의 첫 토막 $f_{11}, f_{12}, f_{21}, f_{22}$ 가 왼쪽 위 2×2 윈도입니다. 이 순서를 만드는 함수가 to_window_major 입니다.


  

함수의 본체는 세 줄입니다. view 로 축을 넷으로 쪼개고, permute 로 가운데 두 축을 맞바꾸고, reshape 로 다시 폅니다. 이 세 줄이 어떻게 윈도 우선 순서를 만드는지 4×4 예로 따라갑니다. 행과 열을 0 부터 세어 $r, c \in \{0, 1, 2, 3\}$ 이라 하면 $f_{(r+1)(c+1)}$ 의 행 우선 번호는 $4r + c$ 입니다.

view → permute → reshape 가 만드는 순서 (4×4 격자, 윈도 2×2)
$$ r = 2a + i, \qquad c = 2b + j \qquad (a, b, i, j \in \{0, 1\}) $$
행 번호 $r$ 을 “몇 번째 윈도 행인가($a$)” 와 “그 윈도 안에서 몇 번째 행인가($i$)” 로 쪼갭니다. 열도 같은 식으로 윈도 열 $b$ 와 안쪽 열 $j$ 로 쪼갭니다. 예: $r = 3$ 은 아래쪽 윈도 행($a = 1$)의 둘째 행($i = 1$)입니다.
$$ \text{행 우선 번호} = 4r + c = 4(2a + i) + (2b + j) = 8a + 4i + 2b + j $$
위 식을 넣고 풀었습니다. 이것은 크기 $(2, 2, 2, 2)$ 인 4차원 배열에서 칸 $(a, i, b, j)$ 의 순번과 같습니다. 그래서 view(B, 2, 2, 2, 2, C) 는 값을 옮기지 않고 축의 이름만 (윈도 행, 안쪽 행, 윈도 열, 안쪽 열)로 붙입니다.
$$ (a,\ i,\ b,\ j) \;\xrightarrow{\ \text{permute}\ }\; (a,\ b,\ i,\ j) $$
permute(0, 1, 3, 2, 4, 5) 가 가운데 두 축(안쪽 행 $i$ 와 윈도 열 $b$)을 맞바꿉니다. 이제 앞의 두 축 $(a, b)$ 가 “어느 윈도인가”, 뒤의 두 축 $(i, j)$ 가 “윈도 안의 어느 칸인가” 입니다.
$$ \text{윈도 우선 자리}\ k = 8a + 4b + 2i + j $$
reshape 로 다시 한 줄로 펴면, 칸 $(a, b, i, j)$ 는 이 순번에 놓입니다. 윈도 번호 $2a + b$ 가 같은 네 칸이 연속한 자리 $4(2a + b),\ \dots,\ 4(2a + b) + 3$ 을 차지합니다.
$$ k = 4:\ (a, b, i, j) = (0, 1, 0, 0) \;\Rightarrow\; \text{행 우선 번호} = 8 \cdot 0 + 4 \cdot 0 + 2 \cdot 1 + 0 = 2 \;\Rightarrow\; f_{13} $$
윈도 우선의 다섯째 자리($k = 4$)를 풀어 보면 $4 = 8 \cdot 0 + 4 \cdot 1 + 2 \cdot 0 + 0$ 이므로 오른쪽 위 윈도($b = 1$)의 첫 칸입니다. 그 칸의 행 우선 번호는 2, 곧 $r = 0, c = 2$ 의 $f_{13}$ 입니다. 논문의 식 (4)에서 다섯째가 $f_{13}$ 인 것과 맞습니다. 같은 식으로 $k = 2$ 는 $(0, 0, 1, 0)$ 이라 행 우선 번호 4, 곧 $f_{21}$ 입니다.

실습 코드가 같은 예를 출력한 것입니다. 논문의 식 (4) · (5) 와 한 글자씩 대조해 보세요.

$ python ch09_lwdetr_parts.py
[윈도 우선 배치] LW-DETR 논문의 4×4 예, 윈도 크기 2×2 (한 변의 윈도 수 2)
  행 우선  : f11, f12, f13, f14; f21, f22, f23, f24; f31, f32, f33, f34; f41, f42, f43, f44
  윈도 우선: f11, f12, f21, f22; f13, f14, f23, f24; f31, f32, f41, f42; f33, f34, f43, f44
  윈도 우선 자리 → 행 우선 번호: [0, 1, 4, 5, 2, 3, 6, 7, 8, 9, 12, 13, 10, 11, 14, 15]
  to_window_major: (1, 16, 1) → (4, 4, 1)  (윈도 4개가 배치 축으로)
  check from_window_major(to_window_major(x)) = x: True

셋째 줄의 목록이 손계산과 같습니다. 자리 4 에 행 우선 번호 2, 자리 2 에 행 우선 번호 4 가 있습니다. 넷째 줄은 토큰 16개짜리 수열 하나 (1, 16, 1) 이 윈도 4개 × 토큰 4개 (4, 4, 1) 로 바뀌었음을 보입니다. 윈도가 배치 축에 올라간 것입니다.

전역 어텐션은 왜 그대로 되는가

윈도 블록은 이제 그대로 계산하면 됩니다. 남은 물음은 전역 블록입니다. 토큰이 윈도 우선으로 섞여 있는데 전역 어텐션을 해도 될까요? 됩니다. 이유는 둘입니다.

정리하면 윈도 우선 배치에서는 윈도 블록도 전역 블록도 순서 바꾸기 없이 돕니다. 순서를 바꾸는 일은 인코더에 들어갈 때 한 번, 특징 맵을 꺼낼 때 한 번뿐입니다. 논문의 말로 이 배치는 “특징을 다시 늘어놓지 않고도 윈도 어텐션과 전역 어텐션 양쪽에 쓸 수 있습니다”. 두 방식을 나란히 구현한 코드입니다.


  

(b) 에서 전역 블록은 merge=num_windows**2 를 받습니다. 블록 안에서 배치의 이웃한 $W_n^2$ 줄을 view 로 한 줄로 붙여 어텐션을 하고, 끝나면 다시 view 로 되돌립니다(블록의 코드는 “구현 따라 읽기” 에서 봅니다). 두 방식이 같은 값을 내는지 확인합니다.

[윈도 어텐션] 블록 6개 (윈도 0, 1, 3, 5 / 전역 2, 4), 12×12 토큰, 윈도 2×2
  check (a) 행 우선 + 매번 순서 바꾸기 vs (b) 윈도 우선: 최대 차이 7.15e-07 (출력 평균 절댓값 0.908)
  참고: 모든 블록을 전역으로 돌린 출력과의 차이 5.19e-01 (다른 계산이다)

(a) 와 (b) 의 차이는 $7 \times 10^{-7}$ 로, 32비트 실수의 반올림 수준입니다. 두 방식은 같은 함수를 계산합니다. 달라지는 것은 값이 아니라 그 값을 얻는 데 드는 메모리 이동의 횟수뿐입니다. 셋째 줄은 대조를 위한 것으로, 윈도 블록을 모두 전역으로 바꾸면 출력이 0.52 나 달라집니다. 윈도 어텐션은 전역 어텐션의 근사가 아니라 다른 계산 입니다.

논문의 수치와 이 튜토리얼의 측정

먼저 논문이 보고한 것입니다. LW-DETR 논문 표 2 의 해당 세 줄입니다(small 모델, T4 · TensorRT).

설정연산량지연mAP
전역 어텐션만 (+ 다층 특징 집계)23.0 GFLOPs3.7 ms36.0
+ 윈도 · 전역 번갈아 (ViTDet 방식 구현, 행 우선)16.6 GFLOPs3.9 ms34.7
+ 윈도 우선 배치16.6 GFLOPs2.9 ms34.7

연산량이 23.0 에서 16.6 GFLOPs 로 줄었는데 지연은 3.7 에서 3.9 ms 로 0.2 ms 늘었습니다. 논문은 그 까닭을 행 우선 배치에서 필요한 순서 바꾸기 연산의 비용으로 설명합니다. 윈도 우선 배치로 바꾸면 연산량과 mAP 는 그대로이고 지연만 2.9 ms 로 내려갑니다. 처음의 3.7 ms 와 견주어 0.8 ms 가 줄었습니다. 이 대목의 교훈은 윈도 어텐션보다 넓습니다. 연산량(FLOPs)이 줄었다고 시간이 줄어드는 것은 아닙니다. FLOPs 는 곱셈과 덧셈만 세고, 메모리에서 값을 옮기는 일은 세지 않습니다.

이제 이 튜토리얼이 잰 것입니다. 블록 6개(윈도 4 + 전역 2, 차원 96)에 배치 8 을 넣고 세 가지 방식의 시간을 쟀습니다. 모든 블록을 전역으로 돌린 것, (a) 행 우선 + 순서 바꾸기, (b) 윈도 우선입니다. GPU 의 상태가 흔들리는 것을 고르게 받도록 세 방식을 번갈아 40바퀴 재고, 앞의 8바퀴를 버린 뒤 가장 짧은 시간을 적었습니다.

  시간 (장치 cuda, 배치 8, 블록 6개, 차원 96, ms) — 세 방식을 번갈아 40바퀴 재고, 앞 8바퀴를 버린 최솟값
  토큰 격자 | 전부 전역 | (a) 행 우선 + 순서 바꾸기 | (b) 윈도 우선 | (a) − (b)
    12×12  |      1.01 |                     0.97 |          0.96 |    +0.01
    24×24  |      5.05 |                     4.10 |          4.06 |    +0.04
    48×48  |     48.88 |                    28.96 |         29.29 |    -0.33
왼쪽: 토큰 격자 크기에 따른 어텐션 쌍의 수를 전역과 윈도 2×2, 3×3, 4×4 로 그린 로그 축 그래프. 오른쪽: 세 격자 크기에서 블록 6개의 실제 시간을 세 방식으로 잰 막대 그래프
그림 9-4. 왼쪽: 어텐션 한 번의 (질의, 열쇠) 쌍의 수(세로축은 로그 눈금). 오른쪽: 블록 6개 · 배치 8 의 실제 시간. 파랑은 모든 블록이 전역, 주황 빗금은 (a) 행 우선 + 순서 바꾸기, 초록 점무늬는 (b) 윈도 우선. 막대 위의 숫자는 ms 입니다.

표와 그림 9-4 에서 읽을 것은 둘입니다. 둘 다 기대와 조금 다릅니다.

  1. 윈도 어텐션의 속도 이득은 격자가 클 때만 나타났습니다. 그림 9-4 왼쪽의 쌍의 수는 어느 격자에서나 이론대로 4분의 1(주황 파선)입니다. 그런데 오른쪽의 시간은 12×12 격자에서 1.01 → 0.97 ms 로 사실상 그대로이고, 24×24 에서 0.81배, 48×48 에서 0.59배입니다. 미니 모델의 12×12 격자에서는 윈도 어텐션이 속도 이득을 주지 않습니다.
  2. (a) 와 (b) 의 시간 차이는 재지지 않았습니다. 주황 막대와 초록 막대의 높이가 같습니다. (a) − (b) 는 +0.01, +0.04, −0.33 ms 로 부호마저 섞여 있고, 측정이 흔들리는 폭 안입니다. 논문 표 2 의 “순서 바꾸기 때문에 3.9 ms, 윈도 우선 배치로 2.9 ms” 는 이 측정에서 재현되지 않았습니다.

1번은 앞의 “줄어드는 것은 제곱 항뿐” 으로 설명됩니다. 손으로 어림해 봅니다.

곱셈 수로 어림한 시간의 비 (차원 96, 윈도 2×2, 윈도 4 + 전역 2)
$$ \text{전역 블록} \;\propto\; 12ND^2 + 2N^2D \;=\; 12ND^2\left(1 + \frac{N}{6D}\right) $$
6장의 어림식에서 $12ND^2$ 를 묶어 냈습니다. 괄호 안의 1 이 선형 층의 몫, $N/6D$ 가 어텐션 쌍의 몫입니다.
$$ \text{윈도 블록} \;\propto\; 12ND^2\left(1 + \frac{1}{W_n^2} \cdot \frac{N}{6D}\right) = 12ND^2\left(1 + \frac{N}{24D}\right) $$
쌍의 몫만 $1/W_n^2 = 1/4$ 로 줄어듭니다. 선형 층의 몫 1 은 그대로입니다.
$$ \text{비} = \frac{2\left(1 + \frac{N}{6D}\right) + 4\left(1 + \frac{N}{24D}\right)}{6\left(1 + \frac{N}{6D}\right)} $$
분자는 전역 2 + 윈도 4, 분모는 전역 6. 공통인 $12ND^2$ 는 약분됩니다.
$$ N = 144:\ \frac{N}{6D} = \frac{144}{576} = 0.25 \;\Rightarrow\; \frac{2(1.25) + 4(1.0625)}{6(1.25)} = \frac{6.75}{7.5} = 0.90 $$
12×12 격자. 어텐션 쌍의 몫이 선형 층의 4분의 1 뿐이라, 그것을 4분의 1 로 줄여도 전체는 10% 만 줄어듭니다.
$$ N = 576:\ \frac{N}{6D} = 1 \;\Rightarrow\; \frac{2(2) + 4(1.25)}{6(2)} = \frac{9}{12} = 0.75 $$
24×24 격자. 두 몫이 같아지는 크기입니다.
$$ N = 2304:\ \frac{N}{6D} = 4 \;\Rightarrow\; \frac{2(5) + 4(2)}{6(5)} = \frac{18}{30} = 0.60 $$
48×48 격자. 어텐션 쌍이 블록의 80% 를 차지하므로 이득이 큽니다. 잰 값은 차례로 $0.97/1.01 = 0.96$, $4.10/5.05 = 0.81$, $28.96/48.88 = 0.59$ 입니다. 어림 0.90 · 0.75 · 0.60 과 같은 흐름이고, 큰 격자에서는 거의 일치합니다.

작은 격자에서 잰 값(0.96, 0.81)이 어림(0.90, 0.75)보다 덜 줄어든 것은, 이만큼 작은 계산에서는 시간이 곱셈의 수보다 층과 함수 호출의 수에 좌우되기 때문으로 보입니다. 12×12 격자의 블록 6개는 1 ms 면 끝납니다. 실제 RF-DETR 의 격자는 24×24(Nano)에서 시작해 훨씬 커지므로(6장의 표), 윈도 어텐션의 이득이 나타나는 쪽에 있습니다.

2번, 두 배치 방식의 차이가 재지지 않은 데에는 그럴 만한 이유가 있습니다.

핵심 · 확인한 것과 확인하지 못한 것

다층 특징 집계

인코더를 나오기 전에 하나가 더 있습니다. 보통은 ViT 의 마지막 블록의 출력 만 다음 단계로 넘깁니다. LW-DETR 은 중간 블록 몇 개의 출력도 함께 꺼내 한데 모읍니다. 이것이 다층 특징 집계multi-level feature aggregation 이고, 논문이 초록에서 자기 기여로 꼽는 인코더의 개선입니다. 논문의 표현으로는 “중간 층과 마지막 층의 특징 맵을 모아 더 풍부한 특징 맵을 만든다” 입니다.

왜 도움이 될까요? 신경망의 얕은 층과 깊은 층은 담는 정보가 다릅니다. 얕은 층의 토큰은 패치의 모서리나 질감 같은 자잘한 정보를 아직 많이 지니고 있고, 깊은 층으로 갈수록 “이 근처에 무엇이 있다” 는 뜻 쪽으로 정리됩니다. 박스의 경계를 정확히 그으려면 앞쪽의 정보도 쓸모가 있습니다. CNN 백본에서는 해상도가 다른 여러 단계의 특징 맵을 모아 썼습니다(8장의 다중 스케일). ViT 는 모든 블록의 출력이 같은 해상도 이므로, 모으는 일이 더 간단합니다. 크기를 맞출 필요 없이 채널 방향으로 이어 붙이면 됩니다.

이 장의 미니 모델은 블록 6개 가운데 2개, 4개, 6개를 지난 뒤의 토큰을 꺼냅니다. 각각 격자 모양으로 되접으면 (B, 96, 12, 12) 의 특징 맵이고, 셋을 채널로 이으면 (B, 288, 12, 12) 입니다. 이것이 프로젝터의 입력입니다. 인코더 쪽에 새로 생기는 매개변수는 없고, 넓어진 입력을 받는 프로젝터의 첫 합성곱만 커집니다.

효과는 논문 표 2 의 둘째 줄에 있습니다. 마지막 층의 특징 맵만 쓰던 처음 탐지기에 다층 특징 집계를 더하면 mAP 가 35.3 에서 36.0 으로 0.7 오릅니다. 매개변수는 10.8M 에서 11.0M, 연산량은 22.8 에서 23.0 GFLOPs, 지연은 3.6 에서 3.7 ms 로 거의 늘지 않습니다. 어느 층에서 꺼내는지는 논문 부록의 설정 표에 크기별로 적혀 있습니다.

CLS 토큰은 어떻게 되나

6장의 ViT 에는 패치 토큰 앞에 CLS 토큰이 하나 있었습니다. 특징 맵을 만들 때는 CLS 토큰을 떼고 패치 토큰만 격자로 되접습니다. RF-DETR 논문(부록 L)에 따르면 LW-DETR 이 쓰는 CAEv2 백본은 CLS 토큰이 없고, RF-DETR 이 쓰는 DINOv2 는 CLS 토큰이 있습니다. 그래서 RF-DETR 은 윈도 어텐션을 할 때 CLS 토큰을 윈도마다 복제 해 붙입니다. 이 장의 실습 코드는 RF-DETR 의 공개 구현을 따라 그렇게 만들었습니다. 모양 추적은 “구현 따라 읽기” 에서 보고, 이 처리가 윈도 수의 선택에 미치는 영향은 10장에서 다룹니다.

프로젝터와 C2f

프로젝터가 하는 일

인코더가 낸 특징 맵을 디코더가 바로 읽지 못하는 이유가 셋 있습니다. 프로젝터는 이 셋을 한 번에 풉니다.

LW-DETR 은 이 일에 C2fC2f block 블록을 씁니다. 논문은 이것을 “YOLOv8 에 구현된, CSP(cross-stage partial) 구조의 확장” 이라고 소개합니다. YOLO 계열이 다듬어 온 합성곱 블록을 DETR 의 인코더와 디코더 사이에 그대로 가져다 놓은 것입니다.

C2f 블록의 구조

C2f 를 이루는 기본 단위는 “합성곱 → 정규화 → 활성 함수” 묶음입니다. 코드의 ConvX 가 이것으로, 합성곱에는 편향이 없고(바로 뒤의 정규화가 편향 노릇을 합니다), 활성 함수는 4장의 SiLU 입니다. 출력 채널 수를 $C_{\text{out}}$, 그 절반을 $c = C_{\text{out}} / 2$, 병목의 수를 $n$ 이라 하면 C2f 는 네 단계입니다.

  1. 1×1 합성곱(cv1)으로 입력을 $2c$ 채널로 만듭니다. 1×1 합성곱은 칸마다 같은 선형 층을 적용하는 것이었습니다(4장). 해상도는 그대로이고 채널 수만 바뀝니다.
  2. 그 결과를 채널 방향으로 반씩 둘로 나눕니다. 앞의 $c$ 채널을 $y_0$, 뒤의 $c$ 채널을 $y_1$ 이라고 합시다.
  3. 병목 $n$ 개를 차례로 통과시킵니다. $y_2 = m_1(y_1)$, $y_3 = m_2(y_2)$, …, $y_{n+1} = m_n(y_n)$. 병목 하나($m_k$)는 3×3 ConvX 두 번이고, 채널 수는 $c$ 로 유지됩니다. $y_0$ 은 병목을 거치지 않고 그대로 건너갑니다.
  4. $y_0, y_1, \dots, y_{n+1}$ 을 전부 이어 붙여 $(2 + n)c$ 채널을 만들고, 1×1 합성곱(cv2)으로 $C_{\text{out}}$ 채널로 줄입니다.
입력 288 채널 cv1 · 1×1 128 채널 y0 · 64 y1 · 64 병목 1 3×3 두 번 → y2 병목 2 3×3 두 번 → y3 병목 3 3×3 두 번 → y4 채널 방향으로 이어 붙이기: (2 + 3) × 64 = 320 채널 cv2 · 1×1 128 채널 해상도는 처음부터 끝까지 그대로 (미니 모델: 12×12). 숫자는 이 장의 설정(입력 288, 출력 128, 병목 3개)
그림 9-5. C2f 블록. cv1 의 출력을 둘로 나눠 한쪽($y_1$)만 병목을 차례로 지나게 하고, 중간 결과 $y_0 \dots y_4$ 를 모두 모아 cv2 로 합칩니다.

그림 9-5 에서 볼 것은 화살표가 모이는 방식입니다.

병목 안에는 잔차 연결이 없습니다

코드의 Bottleneck 은 “입력을 더하는” 잔차 연결을 켤 수 있게 되어 있지만, C2f 는 이것을 끈 채로(shortcut=False) 부릅니다. RF-DETR 의 공개 코드가 그렇습니다. 그래서 병목 하나는 정말로 3×3 합성곱 두 번일 뿐입니다. 지름길 노릇은 병목 안의 덧셈이 아니라 바깥의 이어 붙이기가 합니다.

채널 수와 매개변수 수 세기

이 장의 설정으로 채널 수를 따라갑니다. 입력은 인코더의 세 층을 이은 288 채널, 출력은 $C_{\text{out}} = 128$, 병목은 $n = 3$ 개입니다. 그러면 $c = 128 / 2 = 64$ 입니다.

[프로젝터] 입력: WindowedViT 의 특징 맵 3개, 각각 (2, 96, 12, 12)
  P4 한 단계의 모양 추적 (out_channels = 128, 병목 3개)
    세 층을 채널로 이어 붙임         (2, 288, 12, 12)
    cv1 (1×1) → 2c = 128 채널       (2, 128, 12, 12) → 둘로 나눔: 각각 (2, 64, 12, 12)
    병목 1 (3×3 두 번)              (2, 64, 12, 12)
    병목 2 (3×3 두 번)              (2, 64, 12, 12)
    병목 3 (3×3 두 번)              (2, 64, 12, 12)
    모두 이어 붙임 (2 + 3)·c         (2, 320, 12, 12)
    cv2 (1×1) → 층 정규화            (2, 128, 12, 12)
    check 단계별 계산 = projector(features): 최대 차이 0.00e+00
    매개변수 300,544개

채널이 $288 \to 128 \to (64, 64) \to 64 \to 64 \to 64$ 로 흐르고, 다섯 갈래를 모아 $5 \times 64 = 320$, 마지막에 128 이 됩니다. 해상도 12×12 는 한 번도 바뀌지 않습니다. 마지막 줄의 매개변수 300,544개를 손으로 세어 봅니다. 4장에서 본 대로 편향 없는 합성곱의 매개변수는 (입력 채널) × (출력 채널) × (커널 높이) × (커널 너비)이고, 층 정규화는 채널마다 배율과 편향을 하나씩, 곧 채널 수의 2배를 갖습니다.

프로젝터 한 단계의 매개변수 수 (입력 288, 출력 128, c = 64, 병목 3개)
$$ \text{cv1}:\quad \underbrace{288 \times 128 \times 1 \times 1}_{\text{1×1 합성곱}} + \underbrace{2 \times 128}_{\text{정규화}} = 36{,}864 + 256 = 37{,}120 $$
입력 288 채널을 $2c = 128$ 채널로. 1×1 커널이라 칸마다 $288 \to 128$ 선형 층 하나와 같습니다.
$$ \text{3×3 ConvX 하나}:\quad 64 \times 64 \times 3 \times 3 + 2 \times 64 = 36{,}864 + 128 = 36{,}992 $$
병목 안의 합성곱은 64 채널에서 64 채널로 갑니다. 3×3 커널이라 가중치가 9배입니다.
$$ \text{병목 3개}:\quad 3 \times 2 \times 36{,}992 = 221{,}952 $$
병목 하나에 3×3 ConvX 가 둘, 병목이 셋입니다.
$$ \text{cv2}:\quad 320 \times 128 \times 1 \times 1 + 2 \times 128 = 40{,}960 + 256 = 41{,}216 $$
이어 붙인 $(2 + 3) \times 64 = 320$ 채널을 128 채널로.
$$ \text{끝의 층 정규화}:\quad 2 \times 128 = 256 $$
C2f 뒤에 층 정규화가 하나 더 있습니다(프로젝터 단계의 마지막).
$$ 37{,}120 + 221{,}952 + 41{,}216 + 256 = 300{,}544 $$
코드가 센 값과 같습니다. 매개변수의 74% 가 병목의 3×3 합성곱에 있습니다($221{,}952 / 300{,}544 = 0.74$).

견주어 보면, 이 장의 윈도 ViT 인코더 전체가 705,024개입니다. 프로젝터 한 단계가 인코더의 43% 쯤 되는, 작지 않은 부품입니다.

단일 스케일과 2스케일

지금까지 본 것은 인코더의 해상도를 그대로 내보내는 단일 스케일 프로젝터입니다. LW-DETR 의 tiny · small · medium 이 이것으로, 그림의 1/16 해상도 특징 맵 한 장을 디코더에 줍니다. large 와 xlarge 는 프로젝터가 두 해상도(1/8 과 1/32)의 특징 맵을 내고, 디코더는 8장의 다중 스케일 변형 어텐션으로 두 장을 함께 읽습니다. 논문의 설명은 이렇습니다.

ViT 는 해상도가 하나뿐이므로, 다른 해상도가 필요하면 프로젝터가 만들어 냅니다. 키울 때는 4장의 전치 합성곱(커널 2, 스트라이드 2: 한 칸을 2×2 칸으로 펼칩니다), 줄일 때는 스트라이드 2 인 3×3 합성곱입니다. RF-DETR 의 공개 코드는 이것을 배율의 목록으로 일반화해 두었고, 이 장의 MultiScaleProjector 가 그 구조를 따릅니다. 배율마다 한 단계씩, 단계마다 C2f 가 하나씩입니다.

  P3 · P4: 출력 [(2, 128, 24, 24), (2, 128, 12, 12)], 매개변수 638,096개
  P3 · P4 · P5: 출력 [(2, 128, 24, 24), (2, 128, 12, 12), (2, 128, 6, 6)], 매개변수 1,188,048개

이름 P3 · P4 · P5 는 탐지기에서 스트라이드 8 · 16 · 32 의 특징 맵을 부르는 관습입니다. 코드에서는 “ViT 의 특징 맵을 P4 로 놓았을 때의 배율” 로 씁니다. P3 은 2배, P4 는 그대로, P5 는 절반입니다. 미니 모델은 패치가 8 이라 실제 스트라이드는 그 절반씩이지만(P4 가 12×12), 배율의 관계는 같습니다. 12×12 인 P4 에서 24×24 의 P3 과 6×6 의 P5 가 만들어졌습니다. 스케일이 하나 늘 때마다 C2f 가 하나씩 더 붙으므로 매개변수가 30만 – 55만 개씩 늘어납니다.

P3 단계가 P4 단계보다 조금 큰(638,096 − 300,544 = 337,552개) 까닭도 셀 수 있습니다. 전치 합성곱은 입력 96 채널을 절반인 48 채널로 줄이면서 키웁니다. 세 층 각각에 하나씩이라 $3 \times (96 \times 48 \times 2 \times 2 + 48) = 3 \times 18{,}480 = 55{,}440$ 개가 더해지고, 이어 붙인 채널이 $3 \times 48 = 144$ 로 줄어 cv1 이 $144 \times 128 + 256 = 18{,}688$ 개가 됩니다. 나머지(병목, cv2, 끝의 정규화)는 앞과 같은 $221{,}952 + 41{,}216 + 256 = 263{,}424$ 개이므로 합이 $55{,}440 + 18{,}688 + 263{,}424 = 337{,}552$ 입니다.

RF-DETR 의 기본은 P4 한 단계뿐인 단일 스케일 입니다(projector_scale=["P4"]). 이 장의 다중 스케일 경로는 순전파의 모양만 확인했고, 그것으로 학습해 보지는 않았습니다.

배치 정규화에서 층 정규화로

ConvX 의 가운데에 있는 정규화 층이 LW-DETR 과 RF-DETR 사이에서 바뀝니다. LW-DETR 의 프로젝터는 배치 정규화 를 씁니다(RF-DETR 논문 3절이 그렇게 적습니다). RF-DETR 은 이것을 층 정규화 로 바꿨습니다. 4장에서 실험으로 본 대로 배치 정규화는 배치가 작으면 통계가 흔들리고, 층 정규화는 다른 그림을 보지 않으므로 배치 크기와 무관합니다. RF-DETR 논문은 이 교체의 이유를 “기울기 누적으로 소비자용 GPU 에서도 학습할 수 있게 하려고” 라고 적습니다. 작은 배치의 기울기는 여러 번 모을 수 있지만 배치 정규화의 통계는 모을 수 없기 때문입니다(4장).

이 장의 코드는 RF-DETR 의 공개 구조(층 정규화)를 따릅니다. 다만 nn.LayerNorm 은 텐서의 마지막 축을 정규화하는데 특징 맵은 채널이 둘째 축((B, C, H, W))이므로, 채널 축을 맨 뒤로 보냈다가 되돌리는 작은 모듈 ChannelLayerNorm 을 씁니다. 칸 하나하나에서 채널 $C$ 개에 걸쳐 평균 0 · 분산 1 로 맞춥니다.

  check ChannelLayerNorm vs F.layer_norm: 최대 차이 0.00e+00, 칸마다 채널 평균 1.0e-07 · 표준편차 1.0000

내장 함수와 값이 같고, 정규화한 뒤 칸마다의 채널 평균이 0, 표준편차가 1 입니다. ConvX 에는 layer_norm=False 로 배치 정규화(LW-DETR 방식)를 고르는 길도 남겨 두었지만, 이 튜토리얼에서는 그 설정으로 실험하지 않았습니다. 코드에서 정규화 층의 이름이 bn 인 것은 공개 구현의 매개변수 이름을 그대로 따랐기 때문이고, RF-DETR 에서 그 자리에 있는 것은 층 정규화입니다.

IoU 인지 BCE 손실

여기부터는 구조가 아니라 학습 을 돕는 부품입니다. 디코더를 3층으로 줄였으니, 그 얕은 디코더에서 정확도를 짜내야 합니다. 첫째가 분류 손실입니다. LW-DETR 과 RF-DETR 은 8장의 포컬 손실 대신 IoU 인지 BCE 손실IoU-aware BCE loss, IA-BCE, 줄여서 IA-BCE 를 씁니다. 이름 그대로 분류 손실이 IoU 를 “알게” 만든 BCE 입니다. 이 장에서 수학이 가장 많은 절입니다.

분류와 위치가 따로 논다

3장의 실험 하나를 떠올립니다. 박스는 한 치도 바꾸지 않고 점수만 다르게 매겼더니 AP 가 0.369 에서 0.480 까지 달라졌습니다. AP75 는 0.153 과 0.393 이었습니다. 점수가 박스의 IoU 순서와 같을 때가 가장 높고, 거꾸로일 때가 가장 낮았습니다. 그때의 결론은 이것이었습니다. 박스가 정확한 예측일수록 점수가 높아야 한다.

그런데 지금까지의 손실은 그렇게 가르치지 않습니다. 7 · 8장의 집합 손실을 보면, 정답과 짝지어진 예측은 분류의 목표가 무조건 1 입니다. 그 예측의 박스가 정답과 IoU 0.95 로 겹치든 0.55 로 겹치든 같습니다. 박스 손실(L1, GIoU)은 박스 머리만 고치고, 분류 손실은 박스가 얼마나 맞았는지 보지 않습니다. 두 손실이 서로를 모르는 채 따로 학습됩니다. 그 결과 “클래스는 확신하는데 박스는 엉성한” 예측이 높은 점수를 받고, 정작 박스가 가장 잘 맞은 예측이 뒤로 밀릴 수 있습니다.

이 손실의 출처는 LW-DETR 논문의 참고문헌 [3], Align-DETR(Cai 외, 2023)입니다. 그 논문은 이 현상을 “분류 점수와 위치 정확도의 어긋남(misalignment)” 이라고 부르고, mAP 처럼 순위에 바탕을 둔 지표에서 이 어긋남이 성능을 깎는다고 짚습니다. 처방은 단순합니다. 분류의 목표를 1 이 아니라 IoU 로 만든 값으로 바꾼다. 앞에서 본 RT-DETR 의 질의 선택도 같은 문제의식에서 나왔습니다.

이름의 출처

LW-DETR 이 인용한 것은 Align-DETR 의 첫 판(arXiv 2304.07527v1, 2023년 4월)으로, 제목이 “Align-DETR: Improving DETR with Simple IoU-aware BCE loss” 이고 여기서 IA-BCE 라는 이름이 나옵니다. LW-DETR 논문의 식 (1) 은 이 첫 판의 식과 같습니다. Align-DETR 은 뒤에 고쳐 쓴 판에서 손실의 이름과 꼴을 바꿨는데(Align Loss), LW-DETR 과 RF-DETR 이 쓰는 것은 첫 판의 꼴입니다. 비슷한 문제를 겨눈 이웃 손실로 그 논문은 Quality Focal Loss 와 Varifocal Loss 를 들지만, 이 튜토리얼은 그 식들을 다루지 않습니다.

논문의 식

LW-DETR 논문의 식 (1) 을 이 튜토리얼의 표기로 옮기면 다음과 같습니다(논문의 점수 $s$ 를 $p$ 로 적었습니다).

$$ \ell_{\text{cls}} = \sum_{i=1}^{N_{\text{pos}}} \BCE(p_i,\ t_i) \;+\; \sum_{j=1}^{N_{\text{neg}}} p_j^{2}\, \BCE(p_j,\ 0), \qquad t = p^{\alpha}\, u^{1-\alpha} $$

기호를 하나씩 읽습니다.

8장의 손실과 달라진 곳은 둘입니다. 양성 칸의 목표가 1 에서 $t$ 로 바뀌었고, 음성 칸에는 $p^2$ 이 곱해졌습니다. 차례로 봅니다.

목표 t 읽기

$t = p^{\alpha} u^{1-\alpha}$ 는 $p$ 와 $u$ 의 가중 기하 평균 입니다. 산술 평균 $\alpha p + (1 - \alpha) u$ 가 더해서 섞는 것이라면, 기하 평균은 곱해서 섞습니다. 먼저 $t$ 가 어디쯤 놓이는지 확인합니다.

목표 $t$ 는 언제나 $p$ 와 $u$ 사이에 있다 ($0 \lt \alpha \lt 1$)
$$ p = p^{\alpha} \cdot p^{1-\alpha} $$
지수의 합이 $\alpha + (1 - \alpha) = 1$ 이므로 $p$ 자신을 이렇게 쪼갤 수 있습니다. $u = u^{\alpha} \cdot u^{1-\alpha}$ 도 마찬가지입니다.
$$ p \lt u \;\Rightarrow\; p^{1-\alpha} \lt u^{1-\alpha} \;\Rightarrow\; \underbrace{p^{\alpha} p^{1-\alpha}}_{=\,p} \;\lt\; \underbrace{p^{\alpha} u^{1-\alpha}}_{=\,t} $$
양수의 거듭제곱은 크기 순서를 지킵니다($1 - \alpha \gt 0$). 양변에 같은 양수 $p^{\alpha}$ 를 곱했습니다. 그래서 $p \lt t$ 입니다.
$$ p \lt u \;\Rightarrow\; p^{\alpha} \lt u^{\alpha} \;\Rightarrow\; \underbrace{p^{\alpha} u^{1-\alpha}}_{=\,t} \;\lt\; \underbrace{u^{\alpha} u^{1-\alpha}}_{=\,u} $$
같은 방법으로 이번에는 $u^{1-\alpha}$ 를 곱했습니다. 그래서 $t \lt u$ 입니다.
$$ p \lt u \;\Rightarrow\; p \lt t \lt u, \qquad p \gt u \;\Rightarrow\; u \lt t \lt p, \qquad p = u \;\Rightarrow\; t = p = u $$
$p \gt u$ 일 때는 부등호가 모두 뒤집힙니다. $p = u$ 이면 $t = p^{\alpha} p^{1-\alpha} = p$ 입니다. 목표는 늘 지금의 점수와 IoU 사이의 한 점이고, 둘이 같을 때만 그 둘과 일치합니다.

숫자를 몇 개 넣어 봅니다($\alpha = 0.25$).

점수 $p$IoU $u$$p^{0.25}$$u^{0.75}$목표 $t$읽기
0.600.800.88010.84590.7445점수가 IoU 보다 낮다 → 목표가 점수보다 높다(올려라)
0.900.500.97400.59460.5791점수가 IoU 보다 높다 → 목표가 점수보다 낮다(내려라)
0.200.900.66870.92400.6179박스는 아주 좋은데 점수가 낮다 → 크게 올려라
0.500.500.84090.59460.5000점수 = IoU → 목표 = 점수(그대로)

지수가 $u$ 쪽에 0.75, $p$ 쪽에 0.25 이므로 $t$ 는 $u$ 에 더 가깝게 끌려갑니다. 그래도 $p$ 가 섞여 있어서, 점수가 아주 낮을 때는 목표도 한 번에 IoU 까지 올라가지 않습니다(셋째 줄: IoU 0.90 인데 목표는 0.62). $\alpha$ 의 두 끝을 보면 뜻이 분명해집니다. Align-DETR 논문의 설명입니다.

한 가지 약속이 더 있습니다. $t$ 는 $p$ 로 만들지만, 손실을 미분할 때는 $t$ 를 상수로 봅니다(8장의 기울기 차단). $t$ 안의 $p$ 로는 기울기가 흐르지 않습니다. “목표” 는 맞혀야 할 과녁이지 스스로 움직여 손실을 줄이는 변수가 아니기 때문입니다. 논문의 식에는 이 표시가 없지만 구현은 그렇게 되어 있습니다.

고정점: 점수가 IoU 로 끌려간다

이제 이 손실이 점수를 어디로 데려가는지 유도합니다. 4장에서 두 가지를 보였습니다. 목표 $t$ 가 고정된 BCE 는 $p = t$ 에서 가장 작고, 로짓 $z$ 에 대한 기울기는 $p - t$ 입니다. IA-BCE 에서는 그 $t$ 가 $p$ 에 따라 움직입니다.

양성 칸의 기울기가 0 이 되는 곳은 $p = u$
$$ \frac{\partial\, \BCE(p, t)}{\partial z} = p - t $$
4장의 결과입니다($p = \sigma(z)$). $t$ 를 상수로 보고 미분했습니다. $p \lt t$ 이면 기울기가 음수이므로 경사 하강법이 $z$ 를 키워 $p$ 를 올리고, $p \gt t$ 이면 내립니다.
$$ = p - p^{\alpha}\, u^{1-\alpha} $$
미분을 마친 뒤에 $t$ 의 값 $p^{\alpha} u^{1-\alpha}$ 를 넣었습니다. 순서가 중요합니다. 먼저 넣고 미분하면 $t$ 안의 $p$ 까지 미분되어 다른 식이 됩니다.
$$ p - p^{\alpha}\, u^{1-\alpha} = 0 \;\Longleftrightarrow\; p = p^{\alpha}\, u^{1-\alpha} $$
기울기가 0 이 되어 점수가 더는 움직이지 않는 곳을 찾습니다. “점수 = 목표” 인 곳입니다.
$$ \Longleftrightarrow\; p^{1-\alpha} = u^{1-\alpha} $$
양변을 $p^{\alpha}$ 로 나눴습니다($p \gt 0$ 이므로 나눌 수 있습니다). 왼쪽은 $p / p^{\alpha} = p^{1-\alpha}$.
$$ \Longleftrightarrow\; p = u $$
양변을 $1/(1 - \alpha)$ 제곱했습니다($\alpha \lt 1$). 기울기가 0 인 곳은 점수가 IoU 와 같은 곳 하나뿐 입니다.
$$ p \lt u \;\Rightarrow\; p - t \lt 0 \ (\text{점수를 올린다}), \qquad p \gt u \;\Rightarrow\; p - t \gt 0 \ (\text{점수를 내린다}) $$
앞 절에서 $p \lt u$ 이면 $p \lt t$ 임을 보였습니다. 그러니 점수가 IoU 보다 낮으면 올라가고 높으면 내려갑니다. 어느 쪽에서 출발하든 $p = u$ 를 향합니다.

이런 점을 고정점 이라고 부릅니다. 한 번 그곳에 놓이면 더는 움직이지 않는 점입니다. 여기서는 양쪽에서 끌려 들어오는 고정점입니다. 4장의 “최솟점은 $p = t$” 와 견주면 차이가 보입니다. 그때는 과녁 $t$ 가 고정이었고, 지금은 과녁이 점수를 따라 움직입니다. 점수가 올라가면 목표도 조금 올라가고, 다시 점수가 따라갑니다. 이 쫓고 쫓기는 일이 멈추는 곳이 $p = t$, 곧 $p = u$ 입니다.

과녁이 움직이는 모습을 숫자로 봅니다. IoU 가 $u = 0.8$ 이고 점수가 $p = 0.2$ 에서 출발한다고 합시다. 갱신 한 번마다 점수가 그때의 목표까지 올라간다고 하면(실제 학습은 이보다 조금씩 움직입니다), 점수는 $0.2 \to 0.566 \to 0.734 \to 0.783 \to 0.796 \to 0.799 \to 0.800$ 으로 갑니다. 첫 목표는 $0.2^{0.25} \times 0.8^{0.75} = 0.6687 \times 0.8459 = 0.566$ 이고, 그다음 목표는 $0.566^{0.25} \times 0.8459 = 0.734$ 입니다. 목표가 IoU 를 넘어가는 일 없이 0.8 로 다가갑니다.

실습 코드가 autograd 로 구한 기울기입니다. 손실 함수에 양성 칸 하나만 넣고 로짓으로 미분했습니다.

  IoU = 0.5: p = 0.20: t = 0.3976, ∂손실/∂로짓 = -0.1976 | p = 0.50: t = 0.5000, ∂손실/∂로짓 = +0.0000 | p = 0.95: t = 0.5870, ∂손실/∂로짓 = +0.3630
  IoU = 0.9: p = 0.20: t = 0.6179, ∂손실/∂로짓 = -0.4179 | p = 0.90: t = 0.9000, ∂손실/∂로짓 = +0.0000 | p = 0.95: t = 0.9122, ∂손실/∂로짓 = +0.0378
  → 로짓에 대한 기울기는 p − t. p < IoU 면 음수(점수를 올린다), p > IoU 면 양수(내린다), p = IoU 에서 0.

첫 줄의 첫 칸을 손으로 확인합니다. $t = 0.2^{0.25} \times 0.5^{0.75} = 0.6687 \times 0.5946 = 0.3976$, 기울기는 $p - t = 0.2 - 0.3976 = -0.1976$. 출력과 같습니다. 두 줄을 견주면 같은 점수 0.95 라도 IoU 가 0.5 인 박스에는 $+0.3630$ 으로 세게 “내려라” 가 걸리고, IoU 가 0.9 인 박스에는 $+0.0378$ 로 거의 걸리지 않습니다. 보통의 BCE(목표 1)였다면 두 경우 모두 기울기가 $0.95 - 1 = -0.05$ 로 “더 올려라” 였을 것입니다.

핵심 · IA-BCE 가 가르치는 것

보통의 분류 손실은 짝지어진 예측의 점수를 1 로 밉니다. IA-BCE 는 그 점수를 그 예측의 IoU 로 끌어당깁니다. 박스가 잘 맞은 예측은 높은 점수에서, 엉성한 예측은 낮은 점수에서 멈춥니다. 그래서 점수의 순서가 박스 품질의 순서를 닮게 되고, 3장에서 본 대로 그것이 AP 에 유리합니다. 분류 머리가 “이 클래스가 맞는가” 에 더해 “내 박스가 얼마나 맞았는가” 까지 답하도록 배우는 셈입니다.

이 유도가 말하지 않는 것

음성 칸은 포컬 손실과 같은 꼴

식의 둘째 항 $p^2\, \BCE(p, 0) = -p^2 \log(1 - p)$ 는 낯익습니다. 4장의 포컬 손실에서 음성 칸($y = 0$)은 $p_t = 1 - p$, $\alpha_t = 1 - \alpha$ 이므로

$$ \mathrm{FL}_{\text{음성}} = -(1 - \alpha)\,\big(1 - (1 - p)\big)^{\gamma} \log(1 - p) = -(1 - \alpha)\, p^{\gamma} \log(1 - p) $$

였습니다($\gamma = 2$, 포컬 손실의 $\alpha = 0.25$ 이면 $-0.75\, p^2 \log(1 - p)$). IA-BCE 의 음성 항은 여기서 균형 가중치 $0.75$ 만 뺀 것 입니다. 조절 인자 $p^2$ 의 구실은 4장과 같습니다. 음성 칸은 압도적으로 많고 대부분 쉽습니다($p$ 가 0 근처). $p^2$ 이 그런 칸의 손실을 지워서, 드문 양성 칸이 음성의 합에 묻히지 않게 합니다.

양성 칸에는 왜 조절 인자를 쓰지 않을까요? Align-DETR 논문의 설명은 이렇습니다. DETR 에서는 양성이 워낙 드무니 “쉬운 양성” 이라고 깎지 말고 그 영향을 지키고, 음성에만 포컬 손실의 가중치 $p^2$ 을 남겨 어려운 음성에 집중하게 한다. 그래서 양성은 조절 인자 없는 BCE, 음성은 포컬 꼴인 비대칭 손실입니다.

음성 칸의 로짓 기울기
$$ L = -p^{2} \log(1 - p), \qquad \frac{\partial L}{\partial p} = -2p \log(1 - p) + \frac{p^{2}}{1 - p} $$
곱의 미분입니다. $p^2$ 을 미분하면 $2p$, $-\log(1 - p)$ 를 미분하면 $1/(1 - p)$ 입니다. 여기서는 $p^2$ 도 함께 미분합니다. 목표 $t$ 와 달리 조절 인자에는 기울기 차단이 없습니다(공개 구현이 그렇고, 4장의 포컬 손실도 그랬습니다).
$$ \frac{\partial L}{\partial z} = \frac{\partial L}{\partial p} \cdot p(1 - p) $$
연쇄 법칙. 시그모이드의 미분은 $\partial p / \partial z = p(1 - p)$ 입니다(4장).
$$ \frac{\partial L}{\partial z} = -2p^{2}(1 - p)\log(1 - p) + p^{3} $$
곱해서 정리했습니다. 둘째 항은 $\frac{p^2}{1-p} \cdot p(1-p) = p^3$. 두 항 모두 0 이상이므로 기울기는 늘 양수, 곧 언제나 “점수를 내려라” 입니다. 보통 BCE 의 기울기는 $p$ 입니다.

숫자를 넣어 보통 BCE 와 견줍니다.

$p$BCE 손실 $-\log(1-p)$IA-BCE 음성 손실BCE 기울기 $p$IA-BCE 음성 기울기
0.010.01010.0000010.010.000003
0.100.10540.00110.100.0029
0.400.51080.08170.400.1621
0.902.30261.86510.901.1020

$p = 0.4$ 의 줄을 손으로 확인하면 손실은 $0.16 \times 0.5108 = 0.0817$, 기울기는 $2 \times 0.16 \times 0.6 \times 0.5108 + 0.064 = 0.0981 + 0.064 = 0.1621$ 입니다. 이미 잘 맞힌 음성($p = 0.01$)은 손실이 보통 BCE 의 만분의 1, 기울기가 3천분의 1 쯤으로 줄어듭니다. 반대로 크게 틀린 음성($p = 0.9$)은 기울기가 $1.10$ 으로 보통 BCE 의 $0.90$ 보다 오히려 큽니다. 쉬운 칸을 지우고 어려운 칸에 힘을 싣는다는 4장의 관찰 그대로입니다.

공식 구현과 한 줄씩 맞추기

RF-DETR 의 공개 코드는 이 손실을 두 가지 “가중치” 로 적습니다. 칸마다 $\log p$ 에 곱할 양성 가중치 $w_{\text{pos}}$ 와 $\log(1 - p)$ 에 곱할 음성 가중치 $w_{\text{neg}}$ 를 정하고, 모든 칸에 같은 식을 씁니다.

$$ \text{칸의 손실} = -\,w_{\text{pos}} \log p \;-\; w_{\text{neg}} \log(1 - p) $$
칸$w_{\text{pos}}$$w_{\text{neg}}$칸의 손실논문 식 (1) 의 항
양성 칸(짝지어진 질의 · 정답의 클래스)$t$$1 - t$$-t \log p - (1 - t)\log(1 - p)$$\BCE(p, t)$
그 밖의 모든 칸$0$$p^{\gamma}$ ($\gamma = 2$)$-p^{2} \log(1 - p)$$p^{2}\, \BCE(p, 0)$

표의 넷째 열과 다섯째 열이 같으므로 구현은 논문의 식을 그대로 계산합니다. 논문에 적히지 않은 구현 세부가 넷 있습니다.


  

코드의 마지막 계산 neg_weights * logits - F.logsigmoid(logits) * (pos_weights + neg_weights) 는 위의 식을 4장의 수치 안정 형태로 바꾼 것입니다. $p$ 가 0 이나 1 에 아주 가까우면 $\log p$ 나 $\log(1 - p)$ 를 그대로 계산할 때 오차가 커지기 때문입니다.

로짓에서 바로 계산하는 꼴
$$ 1 - p = 1 - \frac{1}{1 + e^{-z}} = \frac{e^{-z}}{1 + e^{-z}} = e^{-z}\, p $$
$p = \sigma(z) = 1/(1 + e^{-z})$ 를 넣고 통분했습니다. 마지막 등호는 $\frac{1}{1 + e^{-z}} = p$ 를 다시 묶은 것입니다.
$$ \log(1 - p) = \log p - z $$
양변에 로그를 씌웠습니다. $\log(e^{-z} p) = -z + \log p$.
$$ -\,w_{\text{pos}} \log p - w_{\text{neg}} \log(1 - p) = -\,w_{\text{pos}} \log p - w_{\text{neg}}(\log p - z) $$
칸의 손실에 넣었습니다.
$$ = w_{\text{neg}}\, z \;-\; (w_{\text{pos}} + w_{\text{neg}}) \log \sigma(z) $$
$\log p$ 끼리 묶었습니다. 코드의 한 줄과 같습니다. $\log \sigma(z)$ 는 F.logsigmoid 가 큰 $|z|$ 에서도 안정되게 계산합니다.

손으로 계산하는 손실

작은 예를 끝까지 계산합니다. 질의 3개, 클래스 3개인 그림 한 장이고 정답이 2개입니다. 헝가리안 매칭이 질의 0 을 정답 A(클래스 1)와, 질의 1 을 정답 B(클래스 0)와 짝지었고, 질의 2 는 짝이 없습니다. 짝지어진 두 박스의 IoU 는 0.80 과 0.50 입니다. 칸마다의 확률 $p$ 는 다음과 같습니다(굵은 칸이 양성 칸).

클래스 0클래스 1클래스 2짝
질의 00.100.600.05정답 A(클래스 1), IoU 0.80
질의 10.900.200.02정답 B(클래스 0), IoU 0.50
질의 20.030.400.01없음
IA-BCE 손계산: 9칸, 양성 2칸
$$ t_{A} = 0.60^{0.25} \times 0.80^{0.75} = 0.8801 \times 0.8459 = 0.7445 $$
양성 칸 (질의 0, 클래스 1) 의 목표. $0.60^{0.25} = e^{0.25 \ln 0.6} = e^{-0.1277} = 0.8801$, $0.80^{0.75} = e^{0.75 \ln 0.8} = e^{-0.1674} = 0.8459$.
$$ L_{A} = -0.7445 \log 0.60 - 0.2555 \log 0.40 = 0.7445 \times 0.5108 + 0.2555 \times 0.9163 = 0.3803 + 0.2341 = 0.6144 $$
목표 $t_A$ 의 BCE. 점수 0.60 이 목표 0.74 보다 낮으니 “올려라” 는 손실입니다.
$$ t_{B} = 0.90^{0.25} \times 0.50^{0.75} = 0.9740 \times 0.5946 = 0.5791 $$
양성 칸 (질의 1, 클래스 0) 의 목표. 점수는 0.90 으로 높지만 IoU 가 0.50 이라 목표가 0.58 입니다.
$$ L_{B} = -0.5791 \log 0.90 - 0.4209 \log 0.10 = 0.5791 \times 0.1054 + 0.4209 \times 2.3026 = 0.0610 + 0.9691 = 1.0301 $$
둘째 항이 큽니다. 목표의 $1 - t_B = 0.42$ 만큼은 “음성” 인데 점수가 0.90 이라 $-\log(1 - p) = 2.30$ 의 벌을 받습니다. 점수를 내리라는 손실입니다.
$$ \text{음성 7칸}:\quad \sum -p^{2} \log(1 - p) = \underbrace{0.0817}_{p = 0.40} + \underbrace{0.0089}_{p = 0.20} + \underbrace{0.0011}_{p = 0.10} + \underbrace{0.0001}_{p = 0.05} + \cdots = 0.0919 $$
나머지 일곱 칸. $p = 0.40$ 인 칸이 $0.16 \times 0.5108 = 0.0817$ 로 거의 전부이고, $p = 0.20$ 이 $0.04 \times 0.2231 = 0.0089$, 나머지 다섯 칸($p \le 0.10$)은 다 합쳐 0.0012 입니다. 점으로 줄인 것은 $p = 0.03, 0.02, 0.01$ 의 세 칸으로 합이 0.00004 입니다.
$$ \ell_{\text{cls}} = \frac{L_A + L_B + 0.0919}{2} = \frac{0.6144 + 1.0301 + 0.0919}{2} = \frac{1.7364}{2} = 0.8682 $$
모두 더해 정답의 수 2 로 나눕니다.
[IA-BCE] 손계산 예: 질의 3개 × 클래스 3개. 질의 0 ↔ 정답(클래스 1, IoU 0.80), 질의 1 ↔ 정답(클래스 0, IoU 0.50)
  질의 0 의 p = 0.10, 0.60, 0.05
  질의 1 의 p = 0.90, 0.20, 0.02
  질의 2 의 p = 0.03, 0.40, 0.01
  매칭된 칸 (질의 0, 클래스 1): p = 0.60, IoU = 0.80 → t = 0.60^0.25 · 0.80^0.75 = 0.8801 · 0.8459 = 0.7445
      손실 = −t·log p − (1 − t)·log(1 − p) = 0.3803 + 0.2341 = 0.6144
  매칭된 칸 (질의 1, 클래스 0): p = 0.90, IoU = 0.50 → t = 0.90^0.25 · 0.50^0.75 = 0.9740 · 0.5946 = 0.5791
      손실 = −t·log p − (1 − t)·log(1 − p) = 0.0610 + 0.9691 = 1.0301
  그 밖의 칸 (질의 1, 클래스 1): p = 0.20 → −p²·log(1 − p) = 0.0400 · 0.2231 = 0.0089
  그 밖의 칸 (질의 2, 클래스 1): p = 0.40 → −p²·log(1 − p) = 0.1600 · 0.5108 = 0.0817
  그 밖의 칸 7개의 합 = 0.0919 (p 가 작은 칸은 거의 0)
  전체 = (1.6445 + 0.0919) / 정답 2개 = 0.8682
  check 손계산 0.868188 vs ia_bce_loss 0.868188
  check 무작위 (4, 12, 3) 로짓: ia_bce_loss 15.278476 vs F.binary_cross_entropy 로 다시 계산 15.278473 (차이 2.86e-06)

손계산과 함수의 값이 0.868188 로 같고, 무작위 입력에서 PyTorch 내장 BCE 로 다시 계산한 값과도 맞습니다. 이 예에서 읽을 것은 셋입니다.

곡선으로 보기

왼쪽: IoU 네 값에 대해 목표 t 를 점수 p 의 함수로 그린 곡선과 직선 t = p. 가운데: 양성 칸의 로짓 기울기 p − t 곡선과 보통 BCE 의 기울기 직선. 오른쪽: 음성 칸의 손실을 보통 BCE, IA-BCE, 포컬 손실로 그린 로그 축 그래프
그림 9-6. 왼쪽: 목표 $t = p^{0.25} u^{0.75}$ 를 점수 $p$ 의 함수로 그린 것(IoU 0.3 · 0.5 · 0.7 · 0.9). 가운데: 양성 칸의 로짓 기울기 $p - t$. 오른쪽: 음성 칸의 손실(세로축은 로그 눈금).

11장의 절제 결과 미리 보기

“점수가 IoU 를 따라간다” 가 실제 학습에서 일어나는지는 11장에서 확인합니다. 결과만 먼저 적습니다. 도형 세상에서 미니 RF-DETR 을 같은 구조 · 같은 설정으로 두고 분류 손실만 IA-BCE 와 포컬 손실로 바꿔 학습했습니다(학습 4,000장, 15 에폭, 시드 셋. 포컬 손실의 계수는 1).

잰 것 (시드 0 / 1 / 2)IA-BCE포컬 손실
검증 AP0.9180 / 0.9210 / 0.91630.9144 / 0.9103 / 0.9136
점수와 IoU 의 순위 상관(스피어만)+0.659 / +0.631 / +0.667+0.215 / +0.318 / +0.240
평균 |점수 − IoU|0.035 / 0.040 / 0.0360.140 / 0.165 / 0.159
평균 점수 (평균 IoU 는 둘 다 약 0.945)0.935 / 0.926 / 0.9300.808 / 0.783 / 0.788

논문이 COCO 에서 보고한 값은 이보다 큽니다. LW-DETR 표 2 에서 IoU 인지 분류 손실을 넣은 줄은 mAP 가 34.7 에서 35.4 로 0.7 오릅니다. Align-DETR 의 첫 판은 점수와 IoU 의 피어슨 상관이 포컬 손실 0.483 에서 IA-BCE 0.597 로 올랐다고 보고합니다. 이 튜토리얼의 실험과 논문의 실험은 데이터도 모델도 다르므로 숫자를 직접 견줄 수는 없고, 방향이 같다는 것까지만 말할 수 있습니다.

Group DETR

둘째 학습 기법은 감독 신호의 양 을 늘립니다. LW-DETR 논문은 이것을 “더 많은 감독(more supervision)” 이라는 제목 아래 한 문단으로 적습니다. Group DETRGroup DETR(Chen 외, 2022; ICCV 2023)을 쓰고, 학습 때 가중치를 공유하는 병렬 디코더 13개를 두며, 추론에는 첫째 것만 쓴다는 내용입니다.

양성이 너무 드물다

7장의 일대일 매칭은 정답 하나에 예측 하나만 짝짓습니다. 그 덕분에 중복 예측이 사라지고 NMS 가 필요 없어졌습니다. 대가는 감독 신호가 드물다는 것입니다. 질의가 300개이고 그림에 정답이 5개 있으면, “정답을 맞혀라” 는 신호(분류의 양성 목표와 박스 손실)를 받는 질의는 5개뿐입니다. 나머지 295개는 “너는 아니다” 만 배웁니다. 박스 머리는 그림 한 장에서 박스 5개 분량의 기울기만 받습니다.

YOLO 같은 탐지기는 사정이 다릅니다. 정답 하나에 둘레의 여러 자리를 양성으로 배정하는 일대다 배정을 쓰고, 그래서 생기는 중복을 NMS 로 지웁니다. 감독 신호는 넉넉하지만 NMS 가 필요합니다. Group DETR 논문이 묻는 것은 이것입니다. NMS 없는 추론을 지키면서 일대다 배정의 넉넉한 감독을 얻을 수 없을까.

그냥 정답 하나에 여러 질의를 짝지으면 되지 않을까요? 그 논문은 이 “단순한 일대다 배정” 을 실제로 해 보고, 통하지 않는다고 보고합니다(논문 표 7: 기준 모델 32.6 mAP 가 8.4 로 떨어집니다). 모델이 정답 하나에 예측 여럿을 내도록 학습되는데, 그 가운데 하나만 남기고 나머지의 점수를 낮추는 장치가 없어 중복 예측이 그대로 남기 때문입니다.

묶음마다 따로 일대일 매칭

Group DETR 의 답은 질의를 통째로 여러 벌 두는 것입니다.

  1. 질의 $N_q$ 개짜리 묶음(group)을 $G$ 개 둡니다. 질의는 모두 $G \cdot N_q$ 개입니다. 묶음마다 학습되는 질의 임베딩이 따로 있습니다.
  2. 모든 질의가 같은 디코더(같은 가중치)를 지나 예측을 냅니다.
  3. 헝가리안 매칭을 묶음마다 따로 풉니다. 묶음 하나 안에서는 7장과 똑같은 일대일 매칭입니다.
  4. 모든 묶음의 손실을 더해 학습합니다.
  5. 추론 때는 첫 묶음만 씁니다.

정답 쪽에서 보면 묶음마다 짝이 하나씩 생기므로, 정답 하나가 예측 $G$ 개와 짝지어집니다. 그림 한 장의 양성이 $T$ 개에서 $G \cdot T$ 개로 늘어납니다. 묶음이 13개이고 정답이 5개면 양성이 5개에서 65개가 됩니다. 전체로 보면 일대다 배정이지만 묶음 하나 안에서는 여전히 일대일입니다. 그 논문의 이름으로 “묶음 단위의 일대다 배정(group-wise one-to-many assignment)” 입니다.

질의 (묶음 3 × 4개) 디코더 예측 정답 2개 묶음 0 묶음 1 묶음 2 가중치 공유 자기 어텐션은 묶음 안에서만 A B 채운 동그라미 = 정답과 짝지어진 예측(양성). 묶음마다 2개씩, 모두 3 × 2 = 6개 추론 때는 묶음 0 만 남긴다 → 보통의 DETR 과 똑같은 계산
그림 9-7. Group DETR(묶음 3개, 묶음마다 질의 4개, 정답 2개인 예). 묶음마다 따로 일대일 매칭을 해서, 정답 A 와 B 가 저마다 세 번씩 짝을 얻습니다.

그림 9-7 에서 선을 세어 보세요. 정답 A 에 닿는 선이 셋, B 에 닿는 선이 셋입니다. 묶음 하나(같은 색)에서는 A 로 가는 선이 하나, B 로 가는 선이 하나뿐입니다. Group DETR 논문은 이 구조를 두 가지로 풀이합니다. 하나는 가중치를 공유하는 디코더 $G$ 개를 나란히 학습하는 것 과 같다는 것이고(LW-DETR 논문의 “병렬 디코더 13개” 가 이 표현입니다), 다른 하나는 질의에 대한 데이터 증강 처럼 작용한다는 것입니다. 같은 그림, 같은 정답을 서로 다른 질의 묶음으로 여러 번 풀어 보게 하는 셈입니다.

실습 코드의 묶음별 매칭입니다. 질의 12개짜리 묶음 4개, 정답이 2개와 3개인 그림 두 장입니다(긴 줄은 접어 적었습니다).

  묶음별 매칭 (질의 12 × 묶음 4, 그림 2장 · 정답 2개 / 3개)
    그림 0: 짝 8개 = 정답 2개 × 묶음 4개: 1(묶음 0)→정답 1, 8(묶음 0)→정답 0, 14(묶음 1)→정답 1, 20(묶음 1)→정답 0,
            29(묶음 2)→정답 0, 34(묶음 2)→정답 1, 40(묶음 3)→정답 0, 46(묶음 3)→정답 1
    그림 1: 짝 12개 = 정답 3개 × 묶음 4개: 4(묶음 0)→정답 1, 5(묶음 0)→정답 2, 8(묶음 0)→정답 0, 13(묶음 1)→정답 1,
            15(묶음 1)→정답 2, 23(묶음 1)→정답 0, 26(묶음 2)→정답 2, 28(묶음 2)→정답 1, 32(묶음 2)→정답 0,
            38(묶음 3)→정답 1, 39(묶음 3)→정답 2, 45(묶음 3)→정답 0
  check 묶음을 하나씩 떼어 7장 HungarianMatcher 로 매칭한 결과와 같은가: True

질의 번호는 0 – 47 이고, 묶음 $g$ 의 질의는 $12g$ 부터 $12g + 11$ 까지입니다. 그림 0 에서 정답 0 은 질의 8(묶음 0), 20(묶음 1), 29(묶음 2), 40(묶음 3)과, 정답 1 은 1, 14, 34, 46 과 짝지어졌습니다. 묶음마다 정확히 한 번씩입니다. 마지막 줄은 이 매칭이 “묶음을 하나씩 떼어 7장의 매칭을 네 번 한 것” 과 같음을 확인합니다. 새 알고리즘은 없습니다. 비용 행렬을 묶음별로 잘라 헝가리안 풀이를 여러 번 할 뿐입니다.

손실을 나누는 수도 함께 바뀝니다. 앞 절에서 분류 손실을 정답의 수로 나눈다고 했는데, 묶음을 쓰면 정답 수 × 묶음 수 로 나눕니다. 양성이 $G$ 배가 되었으니 나누는 수도 $G$ 배입니다. 그래서 손실의 크기는 묶음 수와 무관하게 “묶음별 손실의 평균” 이 됩니다.

묶음끼리는 서로 보지 않는다

한 가지가 더 필요합니다. 디코더 층의 자기 어텐션에서 다른 묶음의 질의끼리는 서로 보지 못하게 해야 합니다. 교차 어텐션과 FFN 은 질의마다 따로 계산되므로 손댈 것이 없고, 질의끼리 섞이는 곳은 자기 어텐션뿐입니다.

왜 막아야 할까요? 7장에서 본 대로 DETR 이 중복 예측을 없애는 길은 “일대일 매칭 + 질의끼리의 자기 어텐션” 입니다. 질의는 자기 어텐션으로 다른 질의가 무엇을 맡았는지 알아보고, 이미 다른 질의가 맡은 객체라면 자기 점수를 낮추도록 배웁니다. 이제 묶음 0 의 질의가 묶음 1 의 질의까지 본다고 해 봅시다. 같은 정답 A 를 묶음 0 에서 맡은 질의와 묶음 1 에서 맡은 질의는 둘 다 양성 입니다. 둘 다 높은 점수를 내야 합니다. “남이 맡았으면 물러서라” 는 규칙과 “남이 맡았어도 높은 점수를 내라” 는 요구가 부딪칩니다. 묶음 사이에서는 중복 억제가 일어나면 안 되는데, 서로 보이면 일어나 버립니다.

추론과의 일치도 걸려 있습니다. 추론 때는 첫 묶음만 있습니다. 학습 때 첫 묶음의 질의가 다른 묶음을 보며 계산했다면, 추론 때는 학습 때 한 번도 해 보지 않은 계산을 하게 됩니다. 묶음끼리 보지 않으면 첫 묶음의 계산은 다른 묶음이 있든 없든 같고, 학습은 정말로 “독립된 디코더 여러 개를 가중치만 공유해 나란히 돌리는 것” 이 됩니다.

Group DETR 논문의 설명도 같은 줄기입니다. 일대일 매칭이 묶음 안에서 이뤄지므로 예측끼리의 정보도 같은 묶음 안에서만 모으면 되고, 그렇게 나눠서 하는 자기 어텐션이 다른 묶음의 영향을 없애 학습을 쉽게 한다는 것입니다. 수치도 있습니다. 논문 표 7(Conditional DETR, 12 에폭)에서 묶음별 매칭만 넣고 자기 어텐션은 섞어 둔 모델이 34.8 mAP, 자기 어텐션까지 나눈 모델이 37.6 mAP 입니다(묶음을 쓰지 않은 기준은 32.6).

두 가지 구현과 추론

“같은 묶음끼리만 본다” 를 구현하는 길은 둘입니다.


  
[Group DETR] 질의 3개 × 묶음 2개의 어텐션 마스크 (1 = 막음)
    [0, 0, 0, 1, 1, 1]
    [0, 0, 0, 1, 1, 1]
    [0, 0, 0, 1, 1, 1]
    [1, 1, 1, 0, 0, 0]
    [1, 1, 1, 0, 0, 0]
    [1, 1, 1, 0, 0, 0]
  check 질의를 잘라 배치로 붙이는 방식 vs 마스크 방식: 최대 차이 1.49e-07
  참고: 마스크 없는 보통 자기 어텐션과의 차이 0.670 (다른 계산이다)
  check 첫 묶음만 떼어 따로 돌린 결과 = 묶음 학습 때의 첫 묶음 출력: 최대 차이 0.00e+00  → 추론 때 첫 묶음만 써도 된다

계산량으로 보면 자르는 쪽이 유리합니다. 마스크 방식은 $(G \cdot N_q)^2$ 쌍을 계산한 뒤 대부분을 버리고, 자르는 방식은 처음부터 $G \cdot N_q^2$ 쌍만 계산합니다. 질의 300개 · 묶음 13개면 $3900^2 = 15{,}210{,}000$ 쌍 대 $13 \times 300^2 = 1{,}170{,}000$ 쌍입니다.

추론의 비용은 0 입니다. 추론 때는 첫 묶음의 질의 $N_q$ 개만 넣으므로, 계산은 Group DETR 을 쓰지 않은 모델과 완전히 같습니다. 늘어나는 것은 학습의 비용뿐입니다. 디코더가 질의 $G$ 배 분량을 처리하고 매칭도 $G$ 번 풉니다. 첫 묶음이 특별히 좋은 것도 아닙니다. Group DETR 논문은 묶음마다 따로 평가했을 때 성능이 거의 같았다고 보고합니다(중앙값에서 ±0.1 mAP). 그 논문의 기본 묶음 수는 11 이고, LW-DETR 과 RF-DETR 은 13 을 씁니다.

늘어나는 매개변수

디코더의 가중치는 모든 묶음이 공유하므로 디코더는 커지지 않습니다. 묶음마다 따로 두어야 하는 것만 늘어납니다. RF-DETR 의 공개 코드에서는 두 가지입니다.

LW-DETR 표 2 에서 “더 많은 감독” 을 넣은 줄의 매개변수가 11.0M 에서 14.6M 으로 늘어나는 것이 이 몫입니다. 같은 줄에서 연산량(16.6 GFLOPs)과 지연(2.9 ms)은 그대로입니다. 추론 때는 첫 묶음만 쓰기 때문입니다. 그러니 논문 표의 “매개변수 수” 에는 추론 때 쓰이지 않는 가중치가 섞여 있습니다. RF-DETR Nano 로 세어 보면 전체 약 30.5M 가운데 약 3.6M 이 학습 때만 쓰이는 묶음 12개 분량입니다. 이 셈은 10장에서 부품별로 합니다.

효과는 논문 표 2 에서 이 장의 기법 가운데 사전 학습 다음으로 큽니다. mAP 가 35.4 에서 38.4 로 3.0 오릅니다(12 에폭 학습 기준). 이 튜토리얼의 도형 세상 실험(11장)에서는 효과가 보이지 않았습니다. 묶음 4개와 1개의 AP 차이가 시드 셋에서 −0.0024, −0.0045, −0.0005(묶음 1개 − 4개)로, 방향은 같지만 시드 사이의 폭보다 작습니다. 질의가 12개뿐이고 그림마다 도형이 1 – 4개라, 묶음이 하나여도 질의의 상당수가 양성인 탓일 수 있습니다. 확인하지는 않았습니다.

박스 재매개변수화

셋째는 박스 머리가 내는 숫자의 뜻 을 바꾸는 것입니다. LW-DETR 논문은 부록 A.3 에서 Plain DETR(Lin 외, 2023, “DETR Doesn't Need Multi-Scale or Locality Design”)을 따라 박스 재매개변수화box regression target reparameterization 를 쓴다고 적습니다. 1단계(질의 선택)의 박스와 디코더 층마다의 박스에 모두 적용합니다. 논문은 이 기법이 새로운 것이 아니라 2단계 · 1단계 탐지기들에서 널리 쓰여 온 것이라고 밝힙니다.

8장의 방식과 무엇이 다른가

8장에서 박스는 “기준 박스 + 머리가 낸 변화량” 이었고, 더하는 곳이 로짓 공간이었습니다. 기준 박스의 네 좌표를 역시그모이드로 로짓으로 보내고, 변화량 $\Delta b$ 를 더한 뒤, 시그모이드로 되돌렸습니다.

$$ \text{8장:}\qquad \hat{b} = \sigma\big(\Delta b + \sigma^{-1}(b_{\text{기준}})\big) \qquad (\text{네 좌표 각각}) $$

이 방식은 결과가 늘 0 과 1 사이에 놓인다는 장점이 있습니다. 그런데 변화량의 뜻이 기준 박스의 크기와 무관 합니다. 중심 좌표에 $\Delta b_x = 0.5$ 를 더하면, 기준 박스가 손톱만 하든 그림의 절반을 덮든 중심이 같은 거리만큼 움직입니다. 작은 박스에게는 자기 너비의 몇 배나 되는 큰 이동이고, 큰 박스에게는 살짝 움직인 것입니다. 머리는 같은 일(“오른쪽으로 반 박스만큼”)을 하려고 박스 크기마다 다른 숫자를 내야 합니다.

식과 역변환

재매개변수화는 변화량 $(\delta_x, \delta_y, \delta_w, \delta_h)$ 를 다음과 같이 씁니다(LW-DETR 논문 식 6).

$$ \hat{x} = \delta_x\, w_r + x_r, \qquad \hat{y} = \delta_y\, h_r + y_r, \qquad \hat{w} = e^{\delta_w}\, w_r, \qquad \hat{h} = e^{\delta_h}\, h_r $$

거꾸로, 기준 박스를 정답 박스 $(x_g, y_g, w_g, h_g)$ 에 꼭 맞추려면 머리가 어떤 값을 내야 하는지도 구할 수 있습니다. 위 식을 $\delta$ 에 대해 풉니다.

역변환: 기준 박스를 정답 박스로 옮기는 변화량
$$ x_g = \delta_x\, w_r + x_r \;\Longleftrightarrow\; \delta_x = \frac{x_g - x_r}{w_r} $$
$\hat{x}$ 자리에 정답의 중심 $x_g$ 를 놓고, $x_r$ 을 넘긴 뒤 $w_r$ 로 나눴습니다. 중심이 벗어난 거리를 기준 박스의 너비로 잰 것입니다. $\delta_y = (y_g - y_r) / h_r$ 도 같습니다.
$$ w_g = e^{\delta_w}\, w_r \;\Longleftrightarrow\; e^{\delta_w} = \frac{w_g}{w_r} \;\Longleftrightarrow\; \delta_w = \log\frac{w_g}{w_r} $$
$w_r$ 로 나누고 양변에 로그를 씌웠습니다. 너비의 비 의 로그입니다. $\delta_h = \log(h_g / h_r)$ 도 같습니다.
$$ (\delta_x,\ \delta_y,\ \delta_w,\ \delta_h) = \left(\frac{x_g - x_r}{w_r},\ \ \frac{y_g - y_r}{h_r},\ \ \log\frac{w_g}{w_r},\ \ \log\frac{h_g}{h_r}\right) $$
Plain DETR 논문이 박스 회귀의 목표로 적은 식(그 논문의 식 6)이 이것입니다. 코드의 box_reparam_inverse 이기도 합니다.

크기에 비례해 움직인다

이 꼴의 요점은 변화량이 박스의 크기를 단위로 잰 값이라는 것입니다. 그림을 통째로 $k$ 배 확대해도(기준 박스와 정답 박스의 좌표 · 크기가 모두 $k$ 배) 필요한 변화량이 같습니다.

변화량은 박스의 크기와 무관하다
$$ \delta_x' = \frac{k\,x_g - k\,x_r}{k\,w_r} = \frac{k\,(x_g - x_r)}{k\,w_r} = \frac{x_g - x_r}{w_r} = \delta_x $$
분자와 분모의 $k$ 가 약분됩니다. 중심의 어긋남이 너비의 몇 배인지는 확대해도 그대로입니다.
$$ \delta_w' = \log\frac{k\,w_g}{k\,w_r} = \log\frac{w_g}{w_r} = \delta_w $$
너비의 비도 확대와 무관합니다. 큰 객체든 작은 객체든 “반 박스만큼 옆으로, 1.5배로 키워라” 는 같은 $\delta$ 입니다.

2장에서 IoU 가 크기 불변이라는 것을 보았습니다. 재매개변수화는 박스 머리의 출력에 같은 성질을 줍니다. Plain DETR 논문은 동기를 이렇게 적습니다. 원래의 DETR 과 대부분의 변형은 박스의 중심과 크기를 그대로 [0, 1] 로 맞춰 다루는데, 그러면 손실 계산을 큰 객체가 지배해 작은 객체를 찾기 어렵다. 그 논문은 자기 모델(평범한 ViT 위의 DETR)에서 이 변경으로 AP 가 2.2, 작은 객체의 AP 가 2.9 올랐다고 보고합니다. LW-DETR 표 2 에서는 mAP 가 38.4 에서 38.6 으로 0.2 오르고, 논문은 이것을 “약간의 향상” 이라고 적습니다. 두 논문은 출발점이 되는 모델이 다르므로 이득의 크기도 다릅니다. 이 튜토리얼은 재매개변수화를 켜고 끈 학습을 견주어 보지 않았습니다.

손계산과 그림

같은 변화량 $\delta = (0.5,\ 0,\ 0.2,\ 0)$ 을 크기가 다른 두 기준 박스에 적용해, 두 방식을 견줍니다. 작은 박스는 $(0.5, 0.5, 0.05, 0.05)$, 큰 박스는 $(0.5, 0.5, 0.40, 0.40)$ 입니다.

같은 변화량, 다른 크기의 기준 박스
$$ \text{재매개변수화, 작은 박스:}\quad \hat{x} = 0.5 \times 0.05 + 0.5 = 0.525, \qquad \hat{w} = e^{0.2} \times 0.05 = 1.2214 \times 0.05 = 0.0611 $$
중심이 $0.025$ 움직였습니다. 너비 $0.05$ 의 절반입니다. 너비는 1.22배.
$$ \text{재매개변수화, 큰 박스:}\quad \hat{x} = 0.5 \times 0.40 + 0.5 = 0.700, \qquad \hat{w} = 1.2214 \times 0.40 = 0.4886 $$
중심이 $0.20$ 움직였습니다. 이번에도 너비 $0.40$ 의 절반입니다. 너비는 똑같이 1.22배.
$$ \text{8장 방식, 중심:}\quad \hat{x} = \sigma\big(0.5 + \sigma^{-1}(0.5)\big) = \sigma(0.5 + 0) = 0.6225 \quad (\text{두 박스 모두}) $$
$\sigma^{-1}(0.5) = \log(0.5/0.5) = 0$ 입니다. 로짓 공간의 덧셈에는 박스의 너비가 들어가지 않으므로 두 박스의 중심이 똑같이 $0.1225$ 움직입니다.
$$ \text{8장 방식, 너비:}\quad \sigma\big(0.2 + \sigma^{-1}(0.05)\big) = \sigma(0.2 - 2.9444) = 0.0604, \qquad \sigma\big(0.2 + \sigma^{-1}(0.40)\big) = \sigma(0.2 - 0.4055) = 0.4488 $$
$\sigma^{-1}(0.05) = \log(0.05/0.95) = -2.9444$, $\sigma^{-1}(0.40) = \log(0.4/0.6) = -0.4055$. 작은 박스는 1.21배, 큰 박스는 1.12배가 되었습니다. 배율이 박스 크기에 따라 다릅니다.
$$ \frac{\text{중심 이동}}{\text{기준 너비}}:\quad \text{재매개변수화 } \frac{0.025}{0.05} = \frac{0.20}{0.40} = 0.5, \qquad \text{8장 방식 } \frac{0.1225}{0.05} = 2.45,\ \ \frac{0.1225}{0.40} = 0.31 $$
재매개변수화에서는 같은 $\delta$ 가 두 박스에 같은 뜻(너비의 0.5배)입니다. 8장 방식에서는 작은 박스가 자기 너비의 2.45배나 튀어 나가고, 큰 박스는 0.31배만 움직입니다. 8배 차이는 두 박스의 너비 비 $0.40 / 0.05$ 그대로입니다.

  
[박스 재매개변수화] 같은 델타 δ = (0.5, 0, 0.2, 0) 를 크기가 다른 두 기준 박스에 적용
  작은 기준 박스 (0.5000, 0.5000, 0.0500, 0.0500)
    재매개변수화: cx = 0.5·0.05 + 0.50 = 0.5250, w = e^0.2·0.05 = 0.0611  → (0.5250, 0.5000, 0.0611, 0.0500)
    시그모이드  : cx = σ(0.5 + σ⁻¹(0.50)) = 0.6225, w = σ(0.2 + σ⁻¹(0.05)) = 0.0604  → (0.6225, 0.5000, 0.0604, 0.0500)
    중심 이동량 / 기준 너비: 재매개변수화 0.500, 시그모이드 2.449 | 너비 배율: 재매개변수화 1.221, 시그모이드 1.208
  큰 기준 박스   (0.5000, 0.5000, 0.4000, 0.4000)
    재매개변수화: cx = 0.5·0.40 + 0.50 = 0.7000, w = e^0.2·0.40 = 0.4886  → (0.7000, 0.5000, 0.4886, 0.4000)
    시그모이드  : cx = σ(0.5 + σ⁻¹(0.50)) = 0.6225, w = σ(0.2 + σ⁻¹(0.40)) = 0.4488  → (0.6225, 0.5000, 0.4488, 0.4000)
    중심 이동량 / 기준 너비: 재매개변수화 0.500, 시그모이드 0.306 | 너비 배율: 재매개변수화 1.221, 시그모이드 1.122
  check box_reparam(box_reparam_inverse(box, ref), ref) = box: 최대 차이 5.96e-08
  check δ = 0 이면 기준 박스 그대로: True

출력의 수치가 손계산과 같습니다. 끝의 두 줄은 덤으로 확인한 것입니다. 역변환으로 구한 변화량을 다시 적용하면 원래 박스가 나오고(오차 $6 \times 10^{-8}$), $\delta = 0$ 이면 기준 박스가 그대로 나옵니다. 뒤쪽이 중요합니다. RF-DETR 의 박스 머리는 마지막 층의 가중치와 편향을 0 으로 초기화하므로, 학습을 시작할 때 모든 $\delta$ 가 0 입니다. 그러면 처음의 예측 박스는 기준 박스 그대로입니다. 머리는 “기준에서 얼마나 고칠까” 를 0 에서부터 배워 나갑니다. 중심 식에 $\delta_x = 0$ 을 넣으면 $\hat{x} = x_r$, 크기 식에 $\delta_w = 0$ 을 넣으면 $\hat{w} = e^0 w_r = w_r$ 입니다.

같은 변화량을 작은 기준 박스와 큰 기준 박스에 적용한 결과. 왼쪽은 재매개변수화, 오른쪽은 시그모이드 방식. 점선이 기준 박스, 실선이 고친 박스, 화살표가 중심의 이동
그림 9-8. 같은 변화량 $\delta = (0.5,\ 0.25,\ 0.4,\ 0)$ 을 작은 기준 박스(파랑, 너비 0.10)와 큰 기준 박스(주황, 너비 0.30)에 적용한 결과. 점선이 기준 박스, 실선이 고친 박스, 화살표가 중심의 이동입니다. 세로축은 아래로 갈수록 커집니다.

그림 9-8 은 손계산과 다른 변화량으로 같은 것을 보여 줍니다.

도형 세상에서 필요한 델타

머리가 실제로 내야 하는 값은 어느 정도일까요? 8장의 2단계 방식에서 디코더의 기준 박스는 특징 맵 칸마다의 제안 박스에서 출발했습니다. 칸의 중심에 놓인 너비 · 높이 0.05 의 작은 박스입니다. 도형 세상의 정답 박스 501개(검증용 그림 200장)에 대해, 그 중심이 놓인 칸의 제안 박스에서 정답까지 가는 데 필요한 $\delta$ 를 역변환으로 구했습니다.

  도형 세상 정답 501개를 '중심이 놓인 칸의 제안 박스 (칸 중심, 0.05, 0.05)' 에서 맞히는 데 필요한 델타
    |δx|, |δy| 최대 0.832 (반 칸 = 0.0417 / 0.05 = 0.833 이하), δw, δh 범위 1.030 – 2.127 (= log(정답 크기 / 0.05), 정답 크기 0.140 – 0.420)

네 값 모두 크기가 1 안팎인 수입니다. 신경망이 내기에 무리가 없는 범위입니다. 8장의 방식이라면 같은 일에 로짓으로 $\sigma^{-1}(0.42) - \sigma^{-1}(0.05) = -0.32 + 2.94 = 2.62$ 를 더해야 합니다. 어느 쪽이 학습에 더 유리한지는 이 튜토리얼에서 실험하지 않았습니다. 앞에서 적은 대로 LW-DETR 논문이 COCO 에서 보고한 차이는 0.2 mAP 입니다.

섞은 질의 선택과 사전 학습

섞은 질의 선택

LW-DETR 의 디코더가 질의를 얻는 방법은 8장에서 이미 만든 것입니다. 논문 3.1절은 이것을 DINO(Zhang 외, 2022. 6장의 자기 지도 학습 DINO 와 이름만 같은 탐지기입니다)의 방식을 따른 섞은 질의 선택mixed-query selection 이라고 부르고, 객체 질의를 두 부분의 합으로 설명합니다.

“섞은” 은 둘의 출처가 다르다는 뜻입니다. 어디를 볼지(위치)는 그림에서 고르고, 무엇을 찾을지(내용)는 학습된 임베딩으로 둡니다. 8장의 구현이 바로 이 꼴이었습니다. 고른 칸의 박스가 디코더의 기준 박스가 되었고, 질의의 내용은 학습되는 임베딩이었습니다. 달라지는 것은 그 박스를 다루는 방식(재매개변수화)과 질의 묶음(Group DETR)이고, RF-DETR 의 실제 코드로 다시 조립하는 일은 10장에서 합니다.

Objects365 사전 학습

LW-DETR 의 마지막 재료는 구조가 아니라 데이터 입니다. 논문은 COCO 로 학습하기 전에 더 큰 탐지 데이터셋 Objects365(1장)로 사전 학습을 합니다. 두 단계입니다.

  1. 인코더의 사전 학습. ViT 를 Objects365 의 그림으로 CAEv2 라는 방법으로 사전 학습합니다. 그림의 일부를 가리고 맞히게 하는 계열의 자기 지도 학습입니다(6장에서 본 자기 지도 학습의 다른 갈래). 논문은 이것으로 COCO 에서 0.7 mAP 를 얻는다고 적습니다.
  2. 탐지기 전체의 사전 학습. 인코더를 이어서 학습하면서 프로젝터와 디코더를 Objects365 의 박스 라벨로 지도 학습합니다(30 에폭). 그 뒤에 COCO 로 미세 조정합니다.

효과는 이 장의 모든 기법을 합친 것보다 큽니다. 표 2 에서 사전 학습을 넣은 줄은 mAP 가 38.6 에서 47.3 으로 8.7 오릅니다. 논문은 이것을 두고 Transformer 가 큰 데이터의 덕을 본다고 적습니다. 끝까지 학습한 다섯 모델로 견준 표 5 에서도 사전 학습의 이득은 평균 5.5 mAP 입니다(tiny 36.5 → 42.6, xlarge 53.0 → 58.3).

논문은 흥미로운 대조도 보고합니다. 같은 Objects365 사전 학습이 YOLO 계열에는 별로 도움이 되지 않았습니다. 표 3 에서 YOLOv8n 은 37.4 에서 37.6, RTMDet-s 는 44.6 에서 44.9 로 오를 뿐입니다. 논문은 그 까닭을 단정하지 않습니다. 이 탐지기들은 300 – 500 에폭이나 학습하므로 사전 학습의 이득이 학습이 길어질수록 사라지는 것일 수 있다는 실험을 하나 싣고, 더 조사가 필요하다고 적습니다. 어느 쪽이든 DETR 계열은 큰 데이터로 미리 배운 가중치에서 많은 것을 얻는다 는 관찰이 남고, 이것이 RF-DETR 이 인터넷 규모로 사전 학습된 DINOv2 를 백본으로 고른 배경입니다.

논문 표 2 를 계단식으로 읽기

이 장에서 조금씩 인용한 LW-DETR 논문 표 2 를 한자리에 모읍니다. 전역 어텐션만 쓰고 마지막 층의 특징 맵만 내는 “처음 탐지기” 에서 출발해, 한 줄에 하나씩 기법을 쌓아 small 모델에 이르는 절제 실험입니다. 마지막 줄을 뺀 모든 줄은 45,000 스텝(12 에폭)만 학습한 값입니다. 오른쪽 끝 열은 바로 윗줄과의 mAP 차이로, 논문의 표에는 없고 여기서 뺄셈한 것입니다.

설정 (위에서부터 누적)매개변수연산량지연mAP차이
처음 탐지기10.8M22.8 G3.6 ms35.3
+ 다층 특징 집계11.0M23.0 G3.7 ms36.0+0.7
+ 윈도 · 전역 어텐션 번갈아 (ViTDet 방식 구현)11.0M16.6 G3.9 ms34.7−1.3
+ 윈도 우선 배치11.0M16.6 G2.9 ms34.70
+ IoU 인지 분류 손실 (IA-BCE)11.0M16.6 G2.9 ms35.4+0.7
+ 더 많은 감독 (Group DETR)14.6M16.6 G2.9 ms38.4+3.0
+ 박스 재매개변수화14.6M16.6 G2.9 ms38.6+0.2
+ Objects365 사전 학습14.6M16.6 G2.9 ms47.3+8.7
LW-DETR-small (180,000 스텝까지 학습)14.6M16.6 G2.9 ms48.0+0.7

표를 계단처럼 한 칸씩 내려가며 읽습니다.

누적 절제를 읽을 때

이런 표의 “차이” 는 그 기법의 값어치가 아니라 그 순서로 쌓았을 때의 증가분입니다. 순서를 바꾸면 달라질 수 있습니다. 예를 들어 사전 학습을 먼저 넣은 뒤에 Group DETR 을 더했다면 +3.0 보다 작았을 수도, 컸을 수도 있습니다. 논문은 그 실험을 싣지 않습니다. 또 12 에폭 학습에서의 차이가 끝까지 학습했을 때도 그대로라는 보장도 없습니다. Group DETR 처럼 수렴을 빠르게 하는 기법은 짧은 학습에서 특히 크게 보입니다.

구현 따라 읽기

부품별 코드는 앞에서 대부분 보았습니다. 여기서는 실습 파일 전체를 돌리는 방법과, 아직 열어 보지 않은 윈도 ViT 인코더 · 프로젝터 · 묶음별 매칭의 코드를 읽습니다. 이 파일의 부품들은 10장의 미니 RF-DETR 이 그대로 가져다 씁니다.

실행

$ python ch09_lwdetr_parts.py            # 본문의 결과 (노트북 GPU 에서 약 32초)
$ python ch09_lwdetr_parts.py --quick    # 줄인 판 (CPU 에서 약 7초)

이 파일은 학습을 하지 않습니다. 부품마다 손계산 예를 출력하고, PyTorch 내장 연산과 값을 대조하고, 그림 다섯 장을 그립니다. 시간의 대부분은 윈도 어텐션의 시간 측정(48×48 격자, 세 방식 × 40바퀴)에 듭니다. --quick 은 측정 바퀴 수와 격자 크기만 줄입니다. 실행 순서는 아래와 같고, 출력의 마지막 두 줄은 다음과 같습니다.


  
[그림 ch09-window-influence] 출력 칸 (행 2, 열 3) 이 받는 영향 가운데 자기 윈도 안 패치의 몫: 윈도 블록만 1.000, 윈도 + 전역 0.910, 전역만 0.838
그림 5장 저장: /home/zer0/Projects/pages/public/rf-detr/figures/ch09-*.png  |  전체 32.1초

윈도 ViT 인코더

인코더는 블록부터 봅니다. SelfAttention 은 5장의 다중 머리 자기 어텐션 그대로이고, ViTBlock 은 6장의 pre-norm 블록에 merge 인자 하나를 더한 것입니다. merge=1 이면 들어온 모양 그대로 어텐션을 하고(윈도 우선 배치에서는 이것이 윈도 어텐션입니다), merge=m 이면 배치의 이웃한 $m$ 줄을 view 로 한 줄로 붙여 어텐션을 한 뒤 되돌립니다(전역 어텐션). 윈도 어텐션과 전역 어텐션의 차이가 모양 바꾸기 두 줄 로 줄어든 것을 확인하세요. 어텐션 뒤의 MLP 는 토큰마다 따로 계산되므로 어느 모양으로 넣어도 같습니다.


  

잔차 가지마다 곱해지는 gamma1 · gamma2 는 DINOv2 의 블록에 있는 학습되는 배율(LayerScale)입니다. RF-DETR 의 백본과 같은 꼴로 맞추려고 넣었고, 초기값이 1 이라 처음에는 없는 것과 같습니다.

어느 블록을 윈도로 할지는 공개 구현의 규칙을 그대로 옮긴 함수가 정합니다.


  

규칙은 “특징 맵을 꺼내는 자리가 아닌 블록이 윈도 블록” 입니다. out_feature_indexes 의 숫자 $i$ 는 “블록 $i$ 개를 지난 뒤의 특징” 을 뜻합니다(0 은 임베딩 직후). 미니 모델은 (2, 4, 6) 이므로 0 – 6 가운데 2, 4, 6 을 뺀 0, 1, 3, 5 번 블록이 윈도, 2, 4 번 블록이 전역입니다(6 은 블록 번호의 범위 0 – 5 밖이라 해당하는 블록이 없습니다). 특징을 꺼낸 바로 다음 블록이 전역 블록이 되는 무늬입니다. RF-DETR Nano 의 설정 [3, 6, 9, 12] 를 넣으면 12개 블록 가운데 3, 6, 9 번이 전역이고 나머지 9개가 윈도입니다. 논문 부록에 적힌 윈도 블록의 번호와 공개 코드의 이 동작이 다르다는 점은 10장에서 짚습니다.


  

WindowedViT.forward 의 다섯 단계를 텐서 모양으로 따라갑니다(그림 2장, 96×96, 패치 8, 차원 96, 윈도 2×2).

[WindowedViT] 기본 설정: 그림 96, 패치 8, 차원 96, 블록 6, 머리 4, 꺼내는 층 [2, 4, 6], 윈도 2×2
  윈도 블록 [0, 1, 3, 5], 전역 블록 [2, 4], 매개변수 705,024개
  공식 규칙 확인: compute_window_block_indexes([3, 6, 9, 12]) = [0, 1, 2, 4, 5, 7, 8, 10, 11]
  모양 추적 (B = 2)
    그림                         (2, 3, 96, 96)
    패치 임베딩 + CLS + 위치      (2, 145, 96)   (1 + 12·12 토큰)
    윈도 우선 재배열 (패치만)     (8, 36, 96)    (B·4 윈도, 6·6 토큰)
    윈도마다 CLS 를 붙인 뒤       (8, 37, 96)    ← 윈도 블록의 입력
    전역 블록 안에서의 view       (2, 148, 96)   (4·37 토큰: CLS 4개 포함)
    꺼낸 특징 맵 3개              각각 (2, 96, 12, 12)
  1. 패치 임베딩. 8×8 합성곱(스트라이드 8)으로 12×12 = 144개의 패치 토큰을 만들고, 앞에 CLS 토큰을 붙이고, 학습되는 위치 임베딩을 더합니다. (2, 145, 96).
  2. 윈도 우선 재배열. 패치 토큰 144개만 to_window_major 로 다시 늘어놓습니다. 윈도 4개가 배치 축으로 올라가 (8, 36, 96).
  3. CLS 토큰 복제. 위치 임베딩까지 더한 CLS 토큰을 윈도마다 한 벌씩 복제해 앞에 붙입니다. 윈도 하나가 1 + 36 = 37 토큰, (8, 37, 96). 이것이 윈도 블록의 입력입니다.
  4. 전역 블록. view 로 윈도 4개를 한 줄로 붙이면 4 × 37 = 148 토큰입니다. 패치 토큰 144개에 CLS 토큰이 4개 섞여 있고, 전역 어텐션에서는 이 CLS 토큰 4개도 서로를 봅니다.
  5. 특징 맵 꺼내기. 정해진 층마다 층 정규화를 하고, CLS 토큰을 떼고, from_window_major 로 행 우선으로 되돌려 (2, 96, 12, 12) 로 접습니다. 순서를 되돌리는 일은 꺼낼 때만 합니다.

CLS 토큰 때문에 어텐션의 쌍이 앞의 계산보다 조금 늘어납니다. 윈도 블록은 $4 \times 37^2 = 5{,}476$ 쌍(패치만이면 5,184), 전역 블록은 $148^2 = 21{,}904$ 쌍(패치만이면 20,736)입니다. 윈도가 많을수록 복제되는 CLS 토큰도 많아진다는 점을 기억해 두세요. 10장에서 RF-DETR 이 윈도 수를 고르는 이야기에 다시 나옵니다.

이 인코더는 가중치를 그대로 둔 채 입력 해상도, 패치 크기, 윈도 수 를 호출할 때마다 바꿀 수 있게 만들었습니다. 12장의 NAS 가 이 손잡이들을 돌립니다.

  손잡이 (가중치는 그대로, 호출 인자만 바꿈)
    해상도  96, 패치  8, 윈도 2×2 → 특징 맵 (1, 96, 12, 12)
    해상도  96, 패치  8, 윈도 1×1 → 특징 맵 (1, 96, 12, 12)
    해상도  96, 패치  8, 윈도 3×3 → 특징 맵 (1, 96, 12, 12)
    해상도  64, 패치  8, 윈도 2×2 → 특징 맵 (1, 96, 8, 8) (위치 임베딩 보간)
    해상도 128, 패치  8, 윈도 2×2 → 특징 맵 (1, 96, 16, 16) (위치 임베딩 보간)
    해상도  96, 패치 12, 윈도 2×2 → 특징 맵 (1, 96, 8, 8) (위치 임베딩 보간) (패치 임베딩 보간)
    해상도  96, 패치  6, 윈도 2×2 → 특징 맵 (1, 96, 16, 16) (위치 임베딩 보간) (패치 임베딩 보간)
    해상도  96, 패치 16, 윈도 1×1 → 특징 맵 (1, 96, 6, 6) (위치 임베딩 보간) (패치 임베딩 보간)

윈도 수는 어텐션을 묶는 방식만 바꾸므로 매개변수가 전혀 달라지지 않습니다(위의 세 줄). 해상도나 패치 크기를 바꾸면 격자 크기가 달라지므로 위치 임베딩을 보간합니다(6장). 제약은 둘입니다. 그림의 한 변이 패치 크기의 배수여야 하고, 격자의 한 변이 윈도 수의 배수여야 합니다. 12×12 격자라면 한 변의 윈도 수는 1, 2, 3, 4, 6 이 가능합니다.


  
이 출력이 말하는 것과 말하지 않는 것

위 표는 모양이 맞게 돌아간다 는 것만 보입니다. 학습하지 않은 모델이고, 설정을 바꿨을 때의 정확도는 재지 않았습니다. 특히 패치 크기를 바꾸는 resize_patch_embed_simple 은 패치 임베딩의 가중치를 그림처럼 보간하는 가장 단순한 방법입니다. RF-DETR 논문이 쓴다고 적은 FlexiViT 식 변환이 아닙니다. 그 변환과 정확도의 비교는 12장의 몫입니다.

프로젝터 코드

프로젝터의 부품은 넷입니다. 채널 축을 정규화하는 ChannelLayerNorm, “합성곱 → 정규화 → 활성 함수” 묶음 ConvX, 3×3 ConvX 두 번인 Bottleneck, 그리고 C2f 입니다. C2f.forward 의 세 줄이 그림 9-5 그대로입니다. cv1 의 출력을 split 으로 둘로 나누고, 목록의 마지막 원소를 병목에 넣어 그 결과를 목록에 덧붙이기를 되풀이하고, 목록 전체를 cat 으로 이어 cv2 에 넣습니다.


  

MultiScaleProjector 는 배율마다 “(입력마다 크기 조절) → 채널로 이어 붙이기 → C2f → 층 정규화” 를 한 단계씩 만듭니다. 입력이 여러 층의 특징 맵 목록이라는 점이 다층 특징 집계의 구현입니다. forward 의 torch.cat([...], dim=1) 한 줄이 그것입니다.



  

묶음별 매칭 코드

GroupHungarianMatcher 는 7장의 HungarianMatcher(8장의 포컬 꼴 분류 비용)를 물려받아 두 군데만 바꿉니다. assign_groups 가 비용 행렬을 묶음별로 잘라 헝가리안 풀이를 따로 하고, cost_parts 가 L1 비용을 torch.cdist 대신 뺄셈으로 계산합니다(값은 같고, 학습 스텝마다 불리는 작은 행렬에서 더 빠릅니다). 매칭 비용의 가중치는 RF-DETR 의 기본값인 분류 2, L1 5, GIoU 2 입니다. 11장의 학습이 이 클래스를 씁니다.


  
공식 구현과의 대조

이 장의 부품은 설치된 rfdetr 패키지(1.12.1)의 해당 모듈과 같은 입력 · 같은 가중치로 값을 대조해 두었습니다(대조용 스크립트는 실습 파일에 들어 있지 않습니다). 윈도 ViT 인코더의 특징 맵, compute_window_block_indexes 의 결과, 묶음별 매칭의 배정은 공식 구현과 일치했고, 프로젝터의 출력은 최대 차이 $10^{-5}$, IA-BCE 의 손실값은 6.831939 로 같았습니다. 패치 크기를 바꾸는 경로는 공식 구현에 대응하는 것이 없어 대조하지 못했습니다. 또 LW-DETR 의 공식 저장소는 열어 보지 못했고, “LW-DETR 과 같다” 는 설명은 논문과 그것을 물려받은 RF-DETR 의 코드로 확인한 것입니다.

LW-DETR 에서 RF-DETR 로

RF-DETR 논문은 자기 구조를 “LW-DETR 을 현대화한 것” 이라고 소개합니다. 이 장에서 익힌 부품의 대부분이 그대로 넘어가고, 몇 군데가 바뀝니다. 10장으로 가기 전에 지도를 그려 둡니다.

부품LW-DETRRF-DETR다루는 곳
뼈대ViT 인코더 → 프로젝터 → 변형 교차 어텐션 디코더그대로10장
백본CAEv2 로 사전 학습한 ViT(10층, CLS 토큰 없음)DINOv2(12층, CLS 토큰 있음 → 윈도마다 복제)6장, 10장
윈도 · 전역 어텐션, 윈도 우선 배치윈도 16개(한 변 4)그대로 쓰되 윈도 수가 손잡이가 됨(대개 한 변 2)10장, 12장
다층 특징 집계 · C2f 프로젝터배치 정규화층 정규화4장, 이 장
디코더3층 고정모든 층에 손실을 걸고 추론 때 층을 떼어 낼 수 있음10장, 12장
섞은 질의 선택사용그대로8장, 10장
IA-BCE · Group DETR(13묶음) · 박스 재매개변수화사용그대로(공개 코드의 기본값)이 장, 11장
Objects365 사전 학습사용사용(백본은 DINOv2 에서 출발)11장
모델 크기를 정하는 방법사람이 정한 다섯 크기가중치 공유 NAS 로 탐색12장
인스턴스 분할없음가벼운 분할 머리 추가13장

바뀌는 것들은 한 방향을 가리킵니다. LW-DETR 은 COCO 에서 YOLO 를 앞서는 실시간 DETR 을 만들었고, RF-DETR 은 그 구조를 사전 학습된 큰 백본 과 재학습 없이 돌릴 수 있는 손잡이 쪽으로 밀고 갑니다. RF-DETR 논문 표 5 의 절제는 LW-DETR(M)의 52.6 AP 에서 출발해 DINOv2 백본, 추가 사전 학습, NAS 를 거쳐 54.6 AP 에 이릅니다. 층 정규화로의 교체, CLS 토큰의 복제, 디코더 층을 떼어 내는 설계가 모두 그 길에 필요한 손질입니다.

이 장의 정리

확인 문제

문제 1 · 윈도 어텐션의 쌍 세기

RF-DETR Nano 는 384×384 그림을 16×16 패치로 자르고, 한 변을 2등분해 윈도를 만듭니다. CLS 토큰은 빼고 답하세요. (가) 토큰 수 $N$ 과 전역 어텐션 한 번의 쌍의 수는? (나) 윈도 하나의 토큰 수와 윈도 어텐션 한 번의 쌍의 수는? (다) 블록 12개 가운데 3개가 전역, 9개가 윈도라면, 모두 전역일 때와 견주어 인코더 전체의 어텐션 쌍은 몇 배입니까?

답 보기

(가) 한 변에 $384 / 16 = 24$ 개이므로 $N = 24^2 = 576$. 전역 어텐션의 쌍은 $576^2 = 331{,}776$.

(나) 윈도는 $2 \times 2 = 4$ 개, 윈도 하나에 $576 / 4 = 144$ 토큰(12×12). 쌍은 $4 \times 144^2 = 4 \times 20{,}736 = 82{,}944$. 식 $N^2 / W_n^2 = 331{,}776 / 4$ 와 같습니다.

(다) $(3 \times 1 + 9 \times \tfrac{1}{4}) / 12 = 5.25 / 12 = 0.4375$ 배. 윈도 9층을 다 합쳐도 전역 2.25층 분량입니다. 어텐션의 쌍만 센 값이고, 선형 층과 MLP 는 줄지 않으므로 블록 전체의 계산량은 이보다 덜 줄어듭니다.

문제 2 · 윈도 우선 자리

본문의 4×4 격자 · 윈도 2×2 예에서, (가) 윈도 우선 배치의 자리 $k = 13$ 에 놓이는 칸은 무엇입니까? (나) 칸 $f_{23}$ 은 윈도 우선 배치에서 몇 번째 자리에 놓입니까? 식 $k = 8a + 4b + 2i + j$ 와 행 우선 번호 $8a + 4i + 2b + j$ 를 쓰세요.

답 보기

(가) $13 = 8 \cdot 1 + 4 \cdot 1 + 2 \cdot 0 + 1$ 이므로 $(a, b, i, j) = (1, 1, 0, 1)$. 행 우선 번호는 $8 \cdot 1 + 4 \cdot 0 + 2 \cdot 1 + 1 = 11$, 곧 $r = 2$, $c = 3$ 이라 $f_{34}$ 입니다. 본문 출력의 목록에서 자리 13 의 값이 11 인 것과 맞습니다.

(나) $f_{23}$ 은 $r = 1$, $c = 2$ 이므로 $a = 0, i = 1, b = 1, j = 0$. 윈도 우선 자리는 $k = 8 \cdot 0 + 4 \cdot 1 + 2 \cdot 1 + 0 = 6$ 입니다. 행 우선 번호도 $4 \cdot 1 + 2 = 6$ 이라, 이 칸은 두 배치에서 자리가 같습니다. 오른쪽 위 윈도의 셋째 칸입니다.

문제 3 · 줄어든 연산량, 줄지 않은 시간

이 장의 측정에서 12×12 격자는 윈도 어텐션으로 쌍의 수가 4분의 1 이 되었는데도 시간이 1.01 ms 에서 0.97 ms 로 거의 그대로였습니다. 48×48 격자에서는 0.59배가 되었습니다. 6장의 어림식 $12ND^2 + 2N^2D$ 로 이 차이를 설명하세요($D = 96$). 그리고 LW-DETR 논문에서 연산량이 줄었는데 지연이 늘어난 까닭으로 논문이 든 것은 무엇입니까?

답 보기

윈도 어텐션이 줄이는 것은 제곱 항 $2N^2D$ 뿐입니다. 두 항의 비는 $N / 6D$ 로, 12×12 격자($N = 144$)에서는 $144 / 576 = 0.25$ 입니다. 블록 계산의 $0.25 / 1.25 = 20\%$ 만 어텐션 쌍의 몫이라, 그것을 4분의 1 로 줄여도 블록 하나는 15% 줄 뿐이고, 블록 6개 가운데 4개만 윈도이므로 전체는 10% 줍니다. 이만큼 작은 계산에서는 그 10% 도 호출 비용에 묻힙니다.

48×48 격자($N = 2304$)에서는 $N / 6D = 4$ 로 어텐션 쌍이 블록의 80% 입니다. 윈도 블록은 $(1 + 1)/(1 + 4) = 0.4$ 배가 되고, 전체는 $(2 \times 5 + 4 \times 2) / (6 \times 5) = 0.60$ 배입니다. 잰 값 0.59 와 맞습니다.

논문이 든 까닭은 행 우선 배치에서 윈도 블록마다 필요한 순서 바꾸기(메모리에서 값을 옮기는 일)입니다. 연산량(FLOPs)은 곱셈과 덧셈만 세므로 이런 비용이 드러나지 않습니다. 윈도 우선 배치가 그 순서 바꾸기를 없앱니다.

문제 4 · C2f 의 채널과 매개변수

입력 192 채널, 출력 64 채널, 병목 2개인 C2f 블록이 있습니다(정규화는 층 정규화, 합성곱에 편향 없음). (가) $c$ 와, 마지막 1×1 합성곱에 들어가는 채널 수는? (나) C2f 블록의 매개변수 수는?

답 보기

(가) $c = 64 / 2 = 32$. 이어 붙이는 갈래는 $y_0, y_1, y_2, y_3$ 의 넷이므로 $(2 + 2) \times 32 = 128$ 채널입니다.

(나) cv1: $192 \times 64 + 2 \times 64 = 12{,}288 + 128 = 12{,}416$. 3×3 ConvX 하나: $32 \times 32 \times 9 + 2 \times 32 = 9{,}216 + 64 = 9{,}280$, 병목 2개에 넷이 있으므로 $37{,}120$. cv2: $128 \times 64 + 2 \times 64 = 8{,}192 + 128 = 8{,}320$. 합은 $12{,}416 + 37{,}120 + 8{,}320 = 57{,}856$ 개입니다.

문제 5 · IA-BCE 손계산

정답과 짝지어진 예측의 점수가 $p = 0.70$, 박스의 IoU 가 $u = 0.60$ 입니다($\alpha = 0.25$). $0.70^{0.25} = 0.9147$, $0.60^{0.75} = 0.6817$, $\log 0.7 = -0.3567$, $\log 0.3 = -1.2040$ 을 쓰세요. (가) 목표 $t$ 는? (나) 이 칸의 손실은? (다) 로짓에 대한 기울기와 그 뜻은? (라) 보통의 BCE(목표 1)였다면 손실과 기울기는?

답 보기

(가) $t = 0.9147 \times 0.6817 = 0.6236$. $u = 0.60$ 과 $p = 0.70$ 사이에 있습니다.

(나) $-0.6236 \times (-0.3567) - 0.3764 \times (-1.2040) = 0.2224 + 0.4532 = 0.6756$.

(다) $p - t = 0.70 - 0.6236 = +0.0764$. 양수이므로 경사 하강법이 로짓을 낮춥니다. 점수가 IoU 보다 높으니 내리라는 신호입니다.

(라) 손실 $-\log 0.7 = 0.3567$, 기울기 $0.70 - 1 = -0.30$. 박스가 얼마나 맞았는지와 상관없이 점수를 더 올리라는 신호입니다.

문제 6 · 지수 α 와 고정점

(가) $\alpha$ 를 0.25 에서 0.5 로 바꾸면 양성 칸의 고정점은 어디로 옮겨 갑니까? (나) $\alpha = 1$ 이면 어떻게 됩니까? (다) $\alpha = 0$ 이면 IA-BCE 의 양성 항은 4장의 무엇과 같아집니까?

답 보기

(가) 옮겨 가지 않습니다. 유도에서 $p = p^{\alpha} u^{1-\alpha} \Leftrightarrow p^{1-\alpha} = u^{1-\alpha} \Leftrightarrow p = u$ 는 $0 \le \alpha \lt 1$ 인 어떤 $\alpha$ 에서도 성립합니다. 달라지는 것은 고정점까지 끌려가는 세기입니다. $\alpha$ 가 클수록 목표가 지금의 점수에 가까워 기울기 $p - t$ 가 작아집니다. 예: $p = 0.2$, $u = 0.9$ 에서 $\alpha = 0.25$ 이면 $t = 0.618$, $\alpha = 0.5$ 이면 $t = \sqrt{0.2 \times 0.9} = 0.424$.

(나) $t = p$ 가 되어 기울기 $p - t$ 가 언제나 0 입니다. 모든 점수가 고정점이라 양성 칸에서 아무것도 배우지 못합니다.

(다) $t = u$ 가 되므로, 목표가 IoU 로 고정된 부드러운 목표 BCE 입니다. 최솟점은 $p = u$ 로 같습니다.

문제 7 · Group DETR 의 수 세기

질의 300개짜리 묶음 13개로 학습합니다. 어떤 그림에 정답이 7개 있습니다. (가) 이 그림에서 양성(정답과 짝지어진 예측)은 몇 개입니까? Group DETR 없이는? (나) 분류 손실을 나누는 수는? (다) 추론 때 디코더에 들어가는 질의는 몇 개입니까? (라) 자기 어텐션에서 묶음끼리 서로 보게 두면 무엇이 어긋납니까?

답 보기

(가) 묶음마다 7개씩 $13 \times 7 = 91$ 개. Group DETR 없이는 7개입니다.

(나) 정답 수 × 묶음 수 = 91 입니다. 그래서 손실의 크기가 묶음 수와 무관하게 유지됩니다.

(다) 첫 묶음의 300개입니다. 계산은 Group DETR 을 쓰지 않은 모델과 같습니다.

(라) 두 가지입니다. 같은 정답을 맡은 다른 묶음의 질의는 둘 다 양성이어야 하는데, 자기 어텐션은 “다른 질의가 맡은 객체면 점수를 낮춘다” 를 배우는 통로라 요구가 부딪칩니다. 그리고 추론 때는 첫 묶음뿐이므로, 학습 때 다른 묶음을 보며 한 계산을 추론 때 되풀이할 수 없습니다. 묶음끼리 보지 않으면 첫 묶음의 출력이 다른 묶음과 무관합니다(본문의 check, 차이 0).

문제 8 · 박스 재매개변수화 손계산

기준 박스가 $(x_r, y_r, w_r, h_r) = (0.40,\ 0.50,\ 0.20,\ 0.10)$ 입니다. $e^{0.5} = 1.6487$, $e^{-0.5} = 0.6065$, $\log 1.5 = 0.4055$ 를 쓰세요. (가) 머리가 $\delta = (0.3,\ -0.5,\ 0.5,\ -0.5)$ 를 냈을 때의 예측 박스는? (나) 정답 박스가 $(0.46,\ 0.50,\ 0.30,\ 0.10)$ 이면 머리가 내야 하는 $\delta$ 는? (다) 기준 박스와 정답 박스를 모두 절반 크기로 줄이면(좌표와 크기에 0.5 를 곱하면) (나)의 답이 어떻게 됩니까?

답 보기

(가) $\hat{x} = 0.3 \times 0.20 + 0.40 = 0.46$, $\hat{y} = -0.5 \times 0.10 + 0.50 = 0.45$, $\hat{w} = 1.6487 \times 0.20 = 0.3297$, $\hat{h} = 0.6065 \times 0.10 = 0.0607$. 예측 박스는 $(0.46,\ 0.45,\ 0.3297,\ 0.0607)$.

(나) $\delta_x = (0.46 - 0.40) / 0.20 = 0.3$, $\delta_y = (0.50 - 0.50) / 0.10 = 0$, $\delta_w = \log(0.30 / 0.20) = \log 1.5 = 0.4055$, $\delta_h = \log(0.10 / 0.10) = 0$.

(다) 그대로입니다. $\delta_x = (0.23 - 0.20) / 0.10 = 0.3$, $\delta_w = \log(0.15 / 0.10) = 0.4055$. 분자와 분모가 함께 절반이 되어 약분됩니다. 변화량이 기준 박스의 크기를 단위로 잰 값이기 때문입니다.

DETR 계열을 실시간으로 만든 재료가 모였습니다. 인코더에는 윈도 어텐션과 윈도 우선 배치, 인코더와 디코더 사이에는 여러 층의 특징을 섞는 C2f 프로젝터, 학습에는 IA-BCE 와 Group DETR 과 박스 재매개변수화가 있습니다. 이 장에서는 부품을 하나씩 따로 만들고 따로 확인했습니다. 10장에서는 이것들을 8장의 변형 어텐션 디코더와 이어 붙여 RF-DETR 한 대를 조립합니다. LW-DETR 에서 달라지는 곳, 곧 DINOv2 백본과 윈도마다 복제되는 CLS 토큰, 2단계 질의 선택의 실제 코드, 층마다 기준 박스를 갈지 않는 가벼운 정제, 그리고 재학습 없이 돌리는 손잡이들을 그 자리에서 봅니다.