CHAPTER 15

부록: 디버깅 · 용어집 · 다음 걸음

튜토리얼을 다 읽었더라도, 직접 탐지기를 만들거나 내 데이터로 RF-DETR 을 미세 조정하다 보면 박스가 엉뚱한 곳에 그려지고, 손실은 줄어드는데 AP 는 오르지 않고, 논문의 2.3 ms 가 내 컴퓨터에서는 수십 ms 로 나오는 일을 만나게 됩니다. 이 장은 그럴 때 펼쳐 보는 참고서 입니다. 처음부터 읽기보다 필요한 절을 찾아 쓰세요. 모든 항목에는 자세한 설명이 있는 장의 링크를 달았습니다.

참고용 (필요할 때 찾아 읽기)난이도 ★★☆☆☆코드: 본문의 짧은 조각
이 장에 들어 있는 것

1. 디버깅: 처음 30분 점검 순서

탐지기는 부품(백본 · 프로젝터 · 질의 선택 · 디코더 · 머리 · 매칭 · 손실 · 채점)이 많고, 그 가운데 하나만 어긋나도 “AP 가 낮다” 는 똑같은 증상으로 나타납니다. 무언가 이상하면 하이퍼파라미터를 이리저리 바꾸기 전에 다음 순서로 점검하세요. 탐지기에서는 앞의 네 단계(데이터 · 박스 표현 · 모양 · 채점기)에서 잡히는 문제가 많습니다.

  1. 정답을 그림 위에 그려 본다. 학습 그림 몇 장에 정답 박스와 클래스 이름을 겹쳐 그립니다(rf_shapes.py 의 draw_boxes). 박스가 객체를 감싸지 않으면 모델이 아니라 데이터 쪽 문제입니다. 가장 흔한 원인은 박스 표현의 혼동입니다(2장, 14장).
  2. 박스의 표현과 단위를 확인한다. 지금 다루는 숫자 네 개가 중심 표현 (cx, cy, w, h) 인지 모서리 표현 (x0, y0, x1, y1) 인지, 픽셀인지 0 – 1 의 정규화 좌표인지를 함수마다 적어 두고 assert 로 확인합니다.
  3. 텐서 모양을 확인한다. 분류 출력 (B, N, K), 박스 출력 (B, N, 4), 모든 쌍의 IoU (N, M) 처럼 기대하는 모양을 주석으로 적고 확인합니다. 브로드캐스팅은 틀려도 오류를 내지 않는 경우가 있습니다.
  4. 채점기부터 믿을 수 있게 만든다. 정답을 그대로 예측으로 넣으면 AP 가 1 이 나와야 합니다(3장의 실험 1 에서 잡음 0 일 때 AP 1.000). 채점기가 틀리면 그 뒤의 모든 숫자가 뜻을 잃습니다.
  5. 첫 손실을 손계산과 견준다. 학습을 시작하기 전의 손실은 계산으로 미리 알 수 있습니다. 분류 머리의 편향을 사전 확률에 맞춰 초기화했는지에 따라 첫 손실이 스무 배쯤 달라집니다(4장).
  6. 그림 한 장의 매칭을 손으로 따라가 본다. 비용 행렬을 출력해 한 칸을 직접 계산해 보고, 헝가리안 매칭의 배정이 눈으로 본 짝과 맞는지 확인합니다(7장, 11장).
  7. 그림 몇 장에 과적합시켜 본다. 그림 여덟 장쯤만 되풀이해 학습시키면 손실이 크게 내려가고 그 그림들의 예측이 정답과 겹쳐야 합니다. 안 그러면 모델 · 손실 코드에 버그가 있는 것입니다.
  8. 손실을 항별 · 자리별로 따로 기록한다. 분류 · L1 · GIoU 를, 마지막 디코더 층 · 보조 손실 · 인코더 제안으로 나눠 봅니다. 합친 값만 보면 어느 항이 문제인지 모릅니다.
  9. 재는 자의 눈금을 먼저 잰다. 같은 설정을 다시 돌리기만 해도 AP 가 조금 달라집니다. 11장의 미니 실험에서는 그 폭이 0.005 쯤이었습니다. 그보다 작은 차이는 읽지 않고, 시드 세 개에서 방향이 같은지를 봅니다.
  10. 그다음에야 하이퍼파라미터를 바꾼다. 한 번에 하나씩, 학습률부터.

아래 조각은 위 점검의 앞부분을 코드로 옮긴 것입니다. 데이터 로더와 손실 계산 사이에 넣어 두면 문제를 일찍 잡을 수 있습니다.

import torch

def check_target_boxes(name, boxes):
    """정답 박스가 정규화한 중심 표현 (cx, cy, w, h) 인지 확인한다. boxes: (T, 4)"""
    assert boxes.ndim == 2 and boxes.shape[-1] == 4, f"{name}: 모양 {tuple(boxes.shape)}"
    assert torch.isfinite(boxes).all(), f"{name} 에 NaN 또는 inf 가 있습니다"
    assert (boxes[:, 2:] > 0).all(), f"{name}: 너비 · 높이가 0 이하입니다 (모서리 표현이 아닌가요?)"
    assert boxes.max() <= 1.0, f"{name}: 1 을 넘습니다 (픽셀 좌표가 아닌가요?)"
    x0y0 = boxes[:, :2] - boxes[:, 2:] / 2          # 왼쪽 위 모서리
    x1y1 = boxes[:, :2] + boxes[:, 2:] / 2          # 오른쪽 아래 모서리
    assert (x0y0 >= -1e-6).all() and (x1y1 <= 1 + 1e-6).all(), f"{name}: 그림 밖으로 나갑니다"

def check(name, x, shape=None):
    """모양과 유한성(NaN · inf 없음)을 확인한다."""
    if shape is not None:
        assert tuple(x.shape) == tuple(shape), f"{name}: {tuple(x.shape)} != {shape}"
    assert torch.isfinite(x).all(), f"{name} 에 NaN 또는 inf 가 있습니다"

def grad_norm(model):
    """모든 매개변수 기울기를 한 벡터로 이었을 때의 길이."""
    total = 0.0
    for p in model.parameters():
        if p.grad is not None:
            total += p.grad.detach().pow(2).sum().item()
    return total ** 0.5

# 학습 고리 안에서
# for t in targets: check_target_boxes("target", t["boxes"])
# check("pred_logits", out["pred_logits"], (B, N, K))
# check("pred_boxes", out["pred_boxes"], (B, N, 4))
# loss.backward()
# print("grad norm", grad_norm(model))    # RF-DETR 설정에서는 이 값이 늘 0.1 보다 커서 매 스텝 잘립니다 (11장)
주의 · 가장 흔한 조용한 버그: 지금 어떤 좌표인가

박스 숫자 네 개만 봐서는 그것이 모서리 표현인지 중심 표현인지, 픽셀인지 정규화인지 알 수 없습니다. (0.2, 0.3, 0.4, 0.5) 는 어느 쪽으로도 읽힙니다. 이 튜토리얼의 약속은 다음과 같습니다.

표현을 바꾸는 자리는 함수 하나로 모으고, 함수 이름에 cxcywh · xyxy 를 적어 두세요(2장).

2. 증상 → 원인 → 확인법 → 고칠 곳

자주 만나는 증상을 부품별로 모았습니다. 각 장의 주의 상자와, 이 튜토리얼의 실습을 만들며 실제로 겪은 함정에서 가져온 것입니다. 수치는 모두 그 장의 미니 실험에서 잰 값입니다. 맨 오른쪽 칸의 장에서 자세한 설명과 유도를 볼 수 있습니다.

박스 · 좌표

증상흔한 원인확인법고칠 곳장
예측과 정답이 눈으로는 겹치는데 IoU 가 거의 0 이다중심 표현(cxcywh)과 모서리 표현(xyxy)을 섞었다. 모델은 중심 표현을 내는데 IoU 함수는 모서리 표현을 받는다박스 하나를 손으로 바꿔 본다. 모서리 표현이면 x1 > x0, y1 > y0 가 모두 참이어야 한다IoU · GIoU 앞에서 box_cxcywh_to_xyxy. 함수의 독스트링에 받는 표현을 적는다02
박스 손실이 수십 – 수백으로 시작한다. 그린 박스가 그림 밖에 있다픽셀 좌표와 정규화 좌표를 섞었다정답 · 예측 박스의 최솟값과 최댓값을 출력한다. 0 – 1 안이어야 한다픽셀 값을 그림의 너비 · 높이로 나눈다02
COCO 형식으로 읽은 정답 박스가 오른쪽 아래로 반쯤 밀려 있다COCO 의 bbox 는 왼쪽 위 모서리 기준의 픽셀 [x, y, w, h] 인데 중심으로 읽었다정답을 그림 위에 그려 본다$c_x = (x^{\text{px}} + w^{\text{px}}/2)/W$ 로 바꾼다14
대각선으로 떨어진 두 박스의 교집합 넓이가 양수로 나온다겹친 길이를 0 으로 자르기 전에 곱했다. 가로 −2, 세로 −3 을 곱하면 +6 이 된다대각선으로 떨어진 박스 한 쌍을 시험 입력으로 넣는다clamp(min=0) 을 곱하기 앞에 둔다02
모든 쌍의 IoU 를 구했는데 결과 모양이 (N, N) 이 아니라 (N,) 이다브로드캐스팅용 None 을 빠뜨렸다. 박스 수가 우연히 같으면 오류 없이 짝끼리 계산이 된다결과의 모양을 출력한다. 박스 수가 다른 두 묶음으로 시험한다모든 쌍(매칭용)과 짝끼리(손실용) 함수를 따로 두고 이름으로 구별한다02
정답과 겹치지 않는 예측 박스가 학습해도 움직이지 않는다IoU 손실만 썼다. 겹치지 않으면 IoU 가 0 으로 평평해 기울기가 0 이다(2,000 스텝 뒤에도 IoU 0.0000)예측과 정답의 IoU 가 0 인 쌍의 비율을 본다GIoU 손실과 L1 손실을 함께 쓴다02
GIoU 가 음수라서 “겹치지 않는다” 고 판단했는데 실제로는 겹쳐 있다겹쳐 있어도 빈 곳의 비율이 크면 GIoU 는 음수다(IoU 0.1667 인 두 박스의 GIoU 가 −0.0333)겹침 여부는 IoU 가 0 인지로 본다판정에는 IoU, 손실에는 GIoU02
작은 객체만 유독 채점에서 떨어진다같은 픽셀 오차라도 작은 박스의 IoU 가 더 크게 떨어진다. L1 손실은 박스 크기를 모른다크기별 AP(APS · APM · APL)를 따로 본다L1 에 GIoU 손실(크기 불변)을 더한다. 입력 해상도를 올린다02 · 03
박스 예측이 0 – 1 을 크게 벗어나거나 한쪽 끝에 몰린다박스 재매개변수화(시그모이드 없이 기준 박스에서 옮기고 키움)와 8장 방식(로짓 공간에서 더한 뒤 시그모이드)을 섞었다박스 머리 출력을 0 으로 두면 예측이 기준 박스 그대로인지 확인한다한 가지 방식만 쓴다. RF-DETR 은 재매개변수화를 쓰고 박스에 시그모이드를 걸지 않는다09 · 10

채점 · 문턱값

증상흔한 원인확인법고칠 곳장
정답을 그대로 예측으로 넣어도 AP 가 1 이 아니다채점기의 버그(짝짓기 순서, 클래스 번호, 박스 표현)완벽한 예측, 박스를 조금 흔든 예측으로 시험한다채점 코드를 손계산 예와 한 단계씩 맞춘다03
AP50 은 높은데 AP 가 낮다객체는 찾았지만 박스가 헐겁다. 평균 IoU 0.715 인 박스들의 AP50 은 0.971 인데 AP75 는 0.170, AP 는 0.377 이었다IoU 문턱값 열 개 각각의 AP 를 본다박스 쪽(박스 손실, 박스 정제, 디코더 층 수, 학습 길이)을 본다03
박스는 좋아 보이는데 AP 가 낮다점수의 순서가 박스의 품질과 맞지 않는다. 같은 박스에 점수만 달리 매겨도 AP 가 0.369 – 0.480 으로 달라졌다찾은 객체마다 (점수, IoU) 를 모아 순위 상관을 본다분류 목표에 IoU 를 섞는 IA-BCE03 · 09 · 11
예측 수가 정답 수보다 훨씬 많고 AP50 이 낮다점수가 비슷한 중복 예측. 객체마다 중복 셋씩이면 AP50 이 1.000 에서 0.763 으로 떨어졌다점수 0.5 이상인 예측의 수와, 그 가운데 서로 IoU 0.5 넘게 겹치는 쌍의 수를 센다일대일 매칭으로 학습했는지, 디코더의 자기 어텐션이 있는지 본다03 · 07
점수가 낮은 예측을 수백 개 내보내는데 괜찮은지 모르겠다괜찮다. 점수가 낮은 헛예측은 그림마다 96개를 넣어도 AP 가 그대로였다. 높은 점수의 헛예측만 치명적이다(0.700 → 0.192)헛예측의 점수 분포를 본다고칠 것 없음. AP 는 점수의 순서만 본다03
문턱값을 바꿨는데 AP 는 그대로이고 정밀도 · 재현율만 바뀐다문턱값이 두 가지다. IoU 문턱값은 채점하는 쪽이, 점수 문턱값은 탐지기를 쓰는 쪽이 정한다어느 문턱값을 바꿨는지 확인한다AP 를 바꾸려면 모델을, 정밀도 · 재현율의 균형을 바꾸려면 점수 문턱값을 고친다03
포컬 손실로 학습한 모델이 문턱값 0.5 에서 객체를 많이 놓친다포컬 손실로 학습한 확률은 낮게 나온다(양성 칸의 확률 중앙값이 BCE 0.996, 포컬 0.709)문턱값을 0.3 으로 내려 재현율을 다시 본다. 문턱값과 무관한 AP 로 견준다문턱값을 모델마다 따로 고른다04 · 08
DETR 계열 출력에 NMS 를 걸었더니 AP 가 조금 내려갔다지울 중복이 거의 없다. NMS 는 점수가 높은 쪽을 남기는데, 그쪽이 박스가 더 정확한 쪽이라는 보장이 없다NMS 전후의 AP 와 AP50 을 함께 본다(7장: AP −0.0016, AP50 +0.0021)마지막 층의 출력에는 NMS 를 걸지 않는다07 · 11
도형 세상에서 AP 0.93 이 나왔으니 COCO 48.0 AP 인 모델보다 낫다고 생각했다AP 는 같은 데이터셋 · 같은 채점 방식 안에서만 견줄 수 있다—같은 데이터에서 다시 잰다03
rfdetr 가 알려 주는 mAP 와 내 채점기의 값이 크게 다르다정의는 같다(같은 예측에서 0.9828 대 0.9830). 크게 다르면 클래스 번호나 좌표 변환이 어긋난 것이다예측 몇 개를 그림 위에 그려 클래스와 박스를 본다클래스 번호 다시 매기기, 픽셀 ↔ 정규화 변환14

매칭 · 손실

증상흔한 원인확인법고칠 곳장
첫 스텝의 분류 손실이 100 을 넘는다분류 머리의 편향이 0 이라 모든 칸의 확률이 0.5 에서 출발한다. 칸 432개 · 양성 2.5개면 $432 \times 0.6931 / 2.5 = 119.8$첫 손실을 손계산과 견준다(4장 실험: 121.03 대 6.36)사전 확률 편향 초기화 $b = -\log\frac{1 - \pi}{\pi}$ ($\pi = 0.01$)04
매칭이 이상하다. 클래스가 맞는 예측을 두고 엉뚱한 예측이 짝이 된다비용의 세 항의 크기가 맞지 않는다. 클래스 항에 확률 대신 로그 확률을 썼거나 계수가 틀렸다비용 행렬의 한 칸을 손으로 계산해 코드의 값과 맞춘다DETR: $-\hat{p}_i(c_j) + 5 \cdot \text{L1} - 2 \cdot \GIoU$. RF-DETR: 2 · 포컬 꼴 + 5 · L1 + 2 · (−GIoU)07 · 11
가장 가까운 정답부터 차례로 짝지었더니 총비용이 더 크다탐욕 배정은 최적이 아니다(7장의 예: −1.0011 대 최적 −1.9587)작은 예에서 모든 배정을 다 해 본 값과 견준다scipy.optimize.linear_sum_assignment07
매칭 코드에서 기울기 관련 오류가 나거나 메모리가 커진다매칭은 번호만 정한다. 기울기가 필요 없다—매칭을 torch.no_grad() 안에서 한다07
로그의 “손실” 이 분류 · L1 · GIoU 의 가중합보다 몇 배 크다전체 손실은 모든 자리(디코더 각 층 + 인코더 제안)의 합이고, 로그의 항별 값은 마지막 층만의 것이다$1 \cdot \sum$ 분류 $+\ 5 \cdot \sum$ L1 $+\ 2 \cdot \sum$ GIoU 를 모든 자리에 대해 더해 기록된 값과 맞춘다고칠 것 없음. 자리별 값을 따로 기록한다07 · 11 · 14
DETR 의 분류 손실 값이 논문의 식으로 계산한 값과 조금 다르다F.cross_entropy(..., weight=...) 는 가중치를 곱한 합을 가중치의 합으로 나눈다(손계산 예에서 0.4518 대 0.4669)분모를 직접 계산해 본다고칠 것 없음. “∅ 항을 10분의 1 로” 라는 뜻은 같다07
손실의 크기가 배치마다 크게 출렁인다그림 수로 나눴다. 박스 · 분류 손실은 배치의 정답 수(묶음이 있으면 정답 수 × 묶음 수)로 나눈다객체가 많은 배치와 적은 배치의 손실을 견준다정답 수로 나누고, 정답이 없는 배치를 위해 최소 1 로 둔다07 · 11
IA-BCE 분류 손실이 0.1 근처에서 더 내려가지 않는다목표가 1 보다 작은 부드러운 목표면 BCE 의 바닥이 0 보다 크다(목표 0.975 면 0.117)짝이 된 예측의 평균 IoU 로 바닥을 계산해 본다고칠 것 없음04 · 11
박스 반복 정제를 넣었더니 학습이 불안정하다다음 층으로 넘기는 기준 박스의 기울기를 끊지 않았다기준 박스에 .detach() 가 있는지 본다층 사이에서 기울기 차단08
2단계 질의 선택이 고른 칸이 객체와 무관하다인코더 제안에 손실을 걸지 않았다. 그 손실이 질의 선택을 가르치는 유일한 신호다제안만으로 채점해 본다(11장 미니 모델: AP 0.8928)인코더 제안에도 같은 매칭 · 손실을 건다10 · 11
rfdetr 학습 로그의 cardinality_error 가 줄지 않고 29 근처에 머문다정상이다. 학습 때는 질의 묶음 13개가 저마다 객체 하나에 예측 하나씩을 낸다. 그림당 객체가 평균 2.44개면 $12 \times 2.44 = 29.3$그림당 평균 객체 수 × 12 와 견준다고칠 것 없음14
한 객체를 여러 질의가 높은 점수로 가리킨다첫 디코더 층의 출력을 쓰고 있거나(7장: 겹치는 쌍이 첫 층 153개, 마지막 층 45개), 추론 때 질의 묶음을 여러 개 쓰고 있다층별로 겹치는 쌍의 수를 센다추론에는 첫 묶음만, 가능한 한 뒤 층의 출력을 쓴다07 · 09

학습 동역학

증상흔한 원인확인법고칠 곳장
검증 AP 가 에폭마다 오르내린다학습 중인 가중치를 그대로 채점했다EMA 가중치와 일반 가중치를 함께 채점한다(11장: 스무 번 가운데 열아홉 번 EMA 가 높았고 평균 +0.0091)평가 · 저장에 EMA 가중치를 쓴다11
EMA 모델이 학습 초반에 일반 모델보다 훨씬 나쁘다감쇠를 처음부터 0.993 으로 고정했다. 쓸모없는 초기 가중치에 오래 붙들린다스텝별 실효 감쇠를 출력한다감쇠 워밍업 $d_n = d\,(1 - e^{-n/\tau})$11
기울기 누적으로 실효 배치를 키웠는데 큰 배치로 학습한 것과 결과가 다르다모델에 배치 정규화가 있다. 그림 한 장의 손실이 같은 배치의 다른 그림에 따라 달라진다모델 안의 정규화 층 종류를 확인한다층 정규화를 쓴다(RF-DETR 이 프로젝터에서 바꾼 것)10 · 11
학습 중 검증은 괜찮은데 따로 순전파하면 결과가 엉망이다model.eval() 을 부르지 않았다. 배치 정규화는 학습 모드와 추론 모드의 동작이 다르다같은 입력을 두 모드로 넣어 출력을 견준다추론 전에 .eval(). rfdetr 에서 nn.Module 을 직접 꺼내 쓸 때도 마찬가지04 · 14
손실이 갑자기 NaN 이 된다어텐션 마스크가 어떤 질의의 열쇠를 전부 막았다(소프트맥스가 0/0). 또는 시그모이드를 거친 뒤 로그를 취했다마스크의 행마다 열린 자리가 하나 이상인지 본다. torch.isfinite 로 처음 NaN 이 생기는 텐서를 찾는다마스크를 고친다. BCE 는 로짓에서 바로 계산한다05 · 04
SGD 로 학습했더니 시드마다 결과가 크게 갈린다큰 초기 손실이 그대로 큰 갱신이 된다(12 에폭 뒤 AP 가 0.661 ± 0.270 대 0.891 ± 0.030)첫 손실과 첫 수십 스텝의 손실 곡선을 본다사전 확률 편향 초기화. Adam 계열 옵티마이저04
사전 학습 없는 백본에 공식 학습률 설정을 썼더니 느리게 배운다낮은 백본 학습률과 층별 학습률 감쇠는 사전 학습한 백본을 지키려는 장치다. 무작위 백본에는 맞지 않는다일정한 학습률로 다시 학습해 견준다(11장, 학습 200장: 0.7170 대 0.6752)무작위 초기화에서 출발한다면 층별 감쇠를 끄거나 백본 학습률을 올려 본다11
에폭 수만 바꿨는데 같은 에폭에서의 결과가 달라졌다코사인 스케줄의 학습률은 전체 길이에 대한 비율로 정해진다. 길이를 바꾸면 모든 스텝의 학습률이 바뀐다스텝별 학습률을 기록한다학습 길이를 모를 때는 일정한 학습률(스케줄러 없는 학습)11
기울기 노름이 매 스텝 자르기 한계(0.1)를 넘는다정상이다. 이 설정에서는 매 스텝 잘리고, Adam 에 들어가는 기울기의 크기가 스텝마다 같아진다자르기 전의 노름을 기록한다고칠 것 없음11
두 설정의 AP 가 0.003 차이 나서 한쪽이 낫다고 결론 내렸다같은 설정을 다시 돌려도 그만큼은 움직인다(GPU 연산의 비결정성, 시드)같은 설정을 두 번, 시드를 바꿔 세 번 돌려 폭을 잰다눈금보다 작은 차이는 읽지 않는다08 · 11
학습 손실이 다시 올랐는데 검증 AP 는 계속 오른다학습 손실은 배치마다 해상도가 바뀌고 증강이 걸린 값이라 에폭 평균이 조금 오르내린다검증 AP 곡선을 본다모델을 고르는 기준은 학습 손실이 아니라 검증 AP14
같은 모델로 train() 을 다시 불렀더니 처음부터 다시 배운다이어서 학습하는 것이 아니라 처음의 사전 학습 가중치에서 다시 시작한다경고 메시지를 읽는다resume= 에 last.ckpt 경로를 준다14
자기 지도 사전 학습의 손실은 낮은데 특징이 쓸모없다붕괴. 어떤 그림에도 같은 답을 낸다교사 출력의 엔트로피가 0 이거나 균등 분포의 값에 붙어 있는지 본다. 얼린 특징에 선형 분류기를 얹어 무작위 초기화 백본과 견준다centering 과 sharpening 을 함께 쓴다06

어텐션 · 백본 · 해상도

증상흔한 원인확인법고칠 곳장
다른 해상도의 그림을 넣으면 “The size of tensor a (65) must match the size of tensor b (145)” 오류가 난다위치 임베딩은 자리 수가 정해진 표라 해상도에 묶여 있다토큰 수와 위치 임베딩의 자리 수를 견준다위치 임베딩을 2차원 격자로 되돌려 보간한다06
rfdetr 가 해상도를 거절한다(ValueError)한 변이 patch_size × num_windows 의 배수가 아니다(Nano 는 32 의 배수)해상도를 그 수로 나눠 본다가장 가까운 배수로 바꾼다. 학습 · 추론 · 내보내기 모두 같은 제약이다10 · 14
한 해상도로만 학습한 모델에 다른 해상도를 넣으니 AP 가 무너진다고정 구성으로 학습한 가중치는 그 구성에만 맞는다(12장: 해상도 96 에서 0.9345 인 모델이 64 에서 0.1329, 128 에서 0.3063)학습한 구성에서의 AP 와 견준다여러 구성을 돌려 가며 학습한다(가중치 공유 NAS, 다중 해상도 학습). 또는 쓸 구성으로 미세 조정한다12
패치 크기를 바꾸려고 패치 임베딩 커널을 쌍선형 보간했더니 AP 가 떨어진다보간만 하면 토큰의 크기가 달라진다(12장: 배율이 커질수록 0.8585 → 0.7579 → 0.6315)같은 그림에서 원래 토큰과 새 토큰의 값을 견준다PI-resize 로 내적을 지키며 커널을 바꾼다(0.9348 – 0.9352 로 그대로)12
모델이 객체의 종류는 맞히는데 위치를 전혀 맞히지 못한다위치 인코딩 · 위치 임베딩을 더하지 않았다. 어텐션은 순서를 모른다(5장 실험: 오차가 평균만 답하는 기준선 17.06 픽셀과 같았다)위치 인코딩을 0 으로 지웠을 때와 결과가 같은지 본다토큰에 위치 인코딩을 더한다05 · 06
모든 블록을 윈도 어텐션으로 바꿨더니 한 윈도의 정보가 다른 윈도에 전혀 닿지 않는다모든 블록이 윈도 블록이면 윈도 사이로 정보가 전혀 흐르지 않는다칸 하나의 입력을 바꿨을 때 다른 윈도의 출력이 변하는지 본다전역 블록을 사이에 끼운다09
어느 블록이 윈도 블록인지 논문과 코드가 다르다논문 부록 A 의 표기와 공개 코드의 실제 동작(out_feature_indexes 의 여집합)이 다르다모델에서 블록마다의 설정을 출력한다공개 가중치를 쓴다면 코드의 동작을 따른다(Nano 는 전역 블록 3 · 6 · 9)10
직접 만든 쌍선형 보간이 F.grid_sample 과 반 칸쯤 어긋난다좌표 규약이 다르다. align_corners=False 에서는 정규화 좌표에 너비를 곱한 뒤 0.5 를 뺀 값이 칸 눈금이다3×3 맵의 한 점을 손으로 계산해 맞춘다칸 눈금 식을 고치고, 맵 밖은 0 으로 읽는다08
변형 어텐션으로 바꿨는데 오히려 느리다맵이 작으면 그렇다(12×12 맵에서 교차 어텐션 한 번이 2.6배 길었다). 값 투영은 여전히 모든 칸에 한다맵 크기를 키워 가며 두 어텐션의 시간을 잰다이득은 큰 맵에서 나온다. 모델 전체를 내보낸 뒤에 잰다08
윈도 어텐션으로 연산량은 줄었는데 빨라지지 않는다줄어드는 것은 토큰 수의 제곱에 비례하는 항뿐이다. 토큰이 적으면 이득이 없고, 순서 바꾸기 연산이 시간을 먹는다토큰 수를 바꿔 가며 잰다윈도 우선 배치. 연산량과 지연 시간은 따로 확인한다09
추론 때 질의 수를 줄였더니 남은 질의의 출력까지 달라졌다정상이다. 질의들은 디코더의 자기 어텐션으로 서로를 본다—고칠 것 없음. 질의는 점수 순서의 앞에서부터 남긴다10 · 12
어텐션 지도가 객체가 아닌 곳만 밝다고장이 아닐 수 있다. 같은 구조 · 같은 데이터에서도 시드에 따라 “도형만 빼고 보는” 풀이가 나왔다그 모델의 예측 오차를 본다어텐션 지도를 “모델이 중요하게 여기는 곳” 으로 단정하지 않는다05

분할 마스크

증상흔한 원인확인법고칠 곳장
마스크의 경계가 계단처럼 뭉툭하다마스크 로짓은 그림의 1/4 해상도에서 계산된다. 0 에서 먼저 자른 뒤에 키웠다후처리의 순서를 본다로짓을 그림 크기로 키운 뒤에 0 에서 자른다13
작은 객체의 마스크가 비어 나온다BCE 는 칸마다 채점해 평균을 내므로 작은 객체를 놓친 칸이 배경에 묻힌다(통째로 놓쳤을 때 9칸 객체의 BCE 0.08, 288칸 객체 2.31)객체 크기별로 마스크 IoU 를 본다다이스 손실을 함께 쓴다(크기와 무관: 0.93, 0.98)13
대강의 영역은 맞는데 경계가 무디다다이스 손실만 썼다(4 에폭 절제: 마스크 AP 0.561, AP75 0.590)마스크 AP50 과 AP75 를 따로 본다BCE 와 다이스를 함께 쓴다(같은 절제에서 0.743)13
분할 머리를 달고 학습하자 박스 AP 가 떨어졌다마스크 손실의 기울기가 탐지와 함께 쓰는 백본 · 프로젝터 · 디코더를 움직인다(13장: 0.9347 에서 한 에폭 뒤 0.8906)분할 머리 없이 같은 만큼 더 학습한 대조군과 견준다더 학습한다(30 에폭에 0.9349 로 돌아왔다)13
같은 가중치 · 같은 배치인데 마스크 손실 값이 실행마다 다르다점 표본 추출이 스텝마다 다른 점을 뽑는다시드를 고정하거나 전체 픽셀로 계산해 견준다고칠 것 없음. 마스크 격자가 작을수록 잡음이 크다13
디코더 층을 줄였더니 마스크가 박스보다 더 많이 나빠졌다분할 머리의 블록도 디코더 층과 함께 빠진다. 층 $l$ 의 질의는 블록을 $l$ 개 지난 맵과 내적된다층 수별 박스 AP 와 마스크 AP 를 함께 본다분할 모델은 디코더를 덜 줄인다13

추론 · 내보내기 · 지연 시간

증상흔한 원인확인법고칠 곳장
논문 · README 의 2.3 ms 가 내 컴퓨터에서는 수십 ms 다재는 조건이 다르다. 그 값은 NVIDIA T4, TensorRT 엔진, FP16, 순전파만, 배치 1 의 값이다하드웨어 · 실행기 · 정밀도 · 잰 범위 네 가지를 적어 본다같은 기계 · 같은 실행기 · 같은 정밀도 · 같은 범위끼리만 견준다12 · 14
GPU 에서 잰 시간이 터무니없이 짧다GPU 연산이 끝나기를 기다리지 않고 시계를 멈췄다시계를 멈추기 전에 torch.cuda.synchronize() 를 부르는지 본다동기화한 뒤에 시간을 읽는다12 · 14
첫 몇 번의 측정만 유독 느리다예열이 끝나지 않았다측정값을 순서대로 그려 본다처음 몇 번을 버리고, 여러 번 재서 중앙값을 쓴다12 · 14
잴 때마다 지연 시간이 다르다GPU 의 전력 제한(과열), 같은 기계의 다른 작업견줄 구성들을 번갈아 여러 라운드로 재서 라운드별 중앙값을 본다논문의 방법: 순전파 사이에 200 ms 쉰다. 소수 첫째 자리까지만 보고한다12
FP16 엔진의 지연 시간과 FP32 모델의 AP 를 한 표에 적었다정확도(AP)와 지연 시간은 같은 산출물로 재야 한다. 논문의 예: D-FINE (M) 을 공개된 내보내기 코드 그대로 FP16 으로 바꾸면 AP 가 0.5 로 무너졌다내보낸 모델의 출력을 원래 모델과 수치로 견주고, 내보낸 모델로 다시 채점한다같은 산출물로 AP 와 지연 시간을 함께 보고한다12
파레토 곡선에서 고른 모델이 내 장비에서는 최선이 아니다파레토 경계는 모델 + 하드웨어 + 실행 방식의 성질이다. 가로축을 연산량에서 지연 시간으로 바꾸기만 해도 경계가 달라졌다내 장비에서 구성마다 지연 시간을 다시 잰다AP 는 그대로 두고 지연 시간만 다시 재어 경계를 다시 뽑는다12
ONNX 출력에서 박스와 로짓이 뒤바뀐 것 같다출력을 모양으로 구별했다. 클래스가 3개면 로짓(3 + 1칸)과 박스의 모양이 똑같이 [1, 300, 4] 다출력의 이름을 출력한다session.run(["dets", "labels"], …) 처럼 이름으로 꺼낸다14
ONNX 와 PyTorch 의 출력을 질의 300개 전체로 견주니 크게 다르다배경 질의들의 제안 점수가 서로 거의 같아 순위가 뒤바뀐다. 차이가 난 질의의 점수는 가장 높은 것도 0.013 이었다점수가 문턱값을 넘는 질의만 견준다(박스 최대 차이 7.8e-05)고칠 것 없음14
미세 조정한 모델의 class_id 가 하나씩 밀린 것 같다미세 조정한 모델의 클래스 번호는 주석 파일의 범주 id 순서대로 0 부터 다시 매긴 번호다범주 id 와 모델의 번호를 나란히 출력한다이름 표를 다시 매긴 번호 기준으로 만든다14
같은 객체가 서로 다른 두 클래스로 두 번 나온다후처리의 상위 K 개는 질의 K 개가 아니라 (질의, 클래스) 쌍 가운데 점수가 높은 K 개다두 결과의 박스가 같은 질의에서 왔는지 본다점수 문턱값을 올린다. 잘 학습된 모델에서는 둘째 클래스의 점수가 한참 낮다14
사전 학습 모델이 내 그림의 객체를 엉뚱한 이름으로 부른다COCO 로 학습한 모델은 COCO 의 클래스만 안다—내 데이터로 미세 조정한다14
예측의 색 · 클래스가 이상하다numpy 배열을 BGR 순서로 넣었다(OpenCV 로 읽은 그림)입력 그림을 그대로 저장해 열어 본다RGB 순서로 뒤집어 넣는다14
AttributeError: ... has no attribute 'optimize_for_inference'예전 글의 예제다. 이 이름은 inference() 로 바뀐 뒤 지워졌다설치한 판을 확인한다(이 튜토리얼은 1.12.1)model.inference() 가 돌려주는 추론기를 쓴다14
검증 데이터를 찾지 못한다폴더 이름이 val/ 이다폴더 구조를 본다valid/ 로 하고, 주석 파일은 _annotations.coco.json14

3. 설정값 참고표

논문과 공식 구현의 값은 “COCO 와 그 규모의 데이터에서 잘 된 값” 입니다. 그대로 쓰기보다 출발점으로 삼으세요. 판에 따라 값이 다를 수 있으니, 정확한 재현이 필요하면 설치한 판의 rfdetr/config.py 를 직접 확인하세요.

공식 구현의 기본값

이 튜토리얼이 확인한 설치판(rfdetr 1.12.1)의 값입니다.

항목값설정 이름장
매칭 비용2 · 포컬 꼴 분류(α = 0.25, γ = 2) + 5 · L1 + 2 · (−GIoU). 질의 묶음마다 따로 매칭—11
손실의 계수분류 1, L1 5, GIoU 2. 모든 디코더 층과 인코더 제안에 같은 손실cls_loss_coef, bbox_loss_coef, giou_loss_coef11
분류 손실IA-BCE (지수 0.25)ia_bce_loss=True09
질의 수 · 묶음 수300 · 13 (추론은 첫 묶음만)num_queries, group_detr09 · 10
디코더차원 256, 자기 어텐션 머리 8, 교차 어텐션 머리 16, 표본점 2, FFN 2048, 층 수는 크기마다 다름(Nano 2)hidden_dim, sa_nheads, ca_nheads, dec_n_points, dim_feedforward, dec_layers10
박스 예측박스 재매개변수화, 모든 층이 처음 기준 박스를 함께 씀bbox_reparam=True, lite_refpoint_refine=True10
분류 머리의 편향사전 확률 0.01 에 맞춰 초기화—04 · 10
학습률1e-4 (프로젝터 · 머리 등), 백본 기준 1.5e-4, 워밍업 없음, 끝까지 일정lr, lr_encoder, warmup_epochs=011
학습률 감쇠층별 0.8, 구성 요소별 0.7lr_vit_layer_decay, lr_component_decay11 · 14
옵티마이저AdamW, 가중치 감쇠 1e-4weight_decay04 · 11
기울기 자르기최대 노름 0.1clip_max_norm11
EMA감쇠 0.993, 워밍업 상수 100ema_decay, ema_tau11
배치 · 에폭배치 4, 기울기 누적 1, 100 에폭. 실효 배치 크기 = 배치 × 누적 횟수batch_size, grad_accum_steps, epochs14
증강 · 해상도수평 뒤집기 · 무작위 자르기, 배치 단위 다중 해상도multi_scale, expanded_scales11
마스크 손실(분할)BCE 5, 다이스 5, 마스크는 그림의 1/4 해상도, 점은 칸 수의 1/16mask_ce_loss_coef, mask_dice_loss_coef, mask_downsample_ratio, mask_point_sample_ratio13
참고 · 논문의 학습 설정(부록 A)과 견주면

RF-DETR 논문은 학습률 1e-4(LW-DETR 은 4e-4), 배치 128, EMA, 학습률 워밍업 없음, 기울기 0.1 로 자르기, DINOv2 백본의 층별 학습률 감쇠 0.8, 다중 해상도 0.5 – 1.5 배(LW-DETR 은 0.7 – 1.4)를 적었습니다. 패키지의 기본 배치는 4 이고, 문서는 실효 배치 16 을 권합니다. 논문과 패키지의 값이 다른 곳은 출처를 밝혀 구별해 쓰세요(11장, 14장).

이 튜토리얼의 미니 모델

개인 컴퓨터에서 몇 분 – 수십 분 안에 돌도록 줄인 값입니다. 데이터는 모두 도형 세상(96×96, 클래스 3개, 그림마다 객체 1 – 4개)이고 학습 4,000장, 검증 500장(객체 1,265개)입니다.

장 · 파일주요 설정
07 · ch07_detr.pyMiniDETR: 질의 12개, 디코더 3층, 특징 맵 12×12(토큰 144개), 60 에폭(에폭당 125 스텝), 48 에폭 뒤 학습률 낮춤
08 · ch08_deformable.pyDeformable DETR 미니 판: 질의 12개, 특징 레벨 2개(12×12, 6×6), 박스 반복 정제, 포컬 손실, 60 에폭. 절제는 15 에폭
10 · ch10_rfdetr_model.pyMiniRFDETR: 해상도 96 · 패치 8(격자 12×12), 백본 차원 96 · 블록 6개 · 머리 4개, 윈도 블록 [0, 1, 3, 5] · 전역 블록 [2, 4], 한 변의 윈도 수 2, 프로젝터 3 × 96 → 128, 디코더 3층, 질의 12 × 묶음 4, 매개변수 1,832,707개
11 · ch11_train.py10장 모델을 배치 32 · 60 에폭, 학습률 2e-4(나머지 학습률 규칙 · EMA · 기울기 자르기 · 손실 계수는 공식과 같음), 증강 없음, 백본은 무작위 초기화. 절제는 15 에폭 · 시드 3개
12 · ch12_nas.py학습 때: 해상도 (64, 80, 96, 112, 128) × 패치 (8, 16) × 윈도 (1, 2, 4) 가운데 쓸 수 있는 조합 23개에서 스텝마다 하나. 탐색: 디코더 층 0 – 3, 질의 4 · 8 · 12 까지 돌린 구성 408개
13 · ch13_seg.py11장의 EMA 가중치에 분할 머리(매개변수 219,137개)를 달아 30 에폭. 마스크 격자 24×24, 손실에 쓰는 점 36개. 절제는 4 에폭 · 시드 3개
14 · ch14_finetune.pyRF-DETR Nano(384×384)를 도형 세상 1,000장으로 5 에폭. 배치 2 × 기울기 누적 4, 학습률 1e-4. 무작위 초기화 대조군은 3 에폭
팁 · 내 데이터에서 무엇부터 바꿀까

잘 안 될 때 살펴볼 순서는 대략 다음과 같습니다.

  1. 데이터: 주석이 맞는지, 클래스마다 그림이 충분한지
  2. 사전 학습 가중치에서 출발했는지(14장의 실험에서 차이가 가장 컸던 것)
  3. 입력 해상도와 모델 크기(객체가 작으면 해상도부터)
  4. 학습 길이와 실효 배치 크기
  5. 그다음에 학습률. 손실 계수와 매칭 비용은 보통 건드리지 않습니다

4. 장별 핵심 수식 모음

튜토리얼에서 유도한 핵심 식을 장 순서로 모았습니다. 유도 과정과 손계산은 각 장의 풀이 상자에 있습니다. 같은 글자가 장마다 다른 뜻으로 쓰이는 경우가 있으므로(예: 글자 N 은 5 · 6 · 9장에서 토큰 수, 7 · 8 · 10장에서 질의 수), 식을 누르면 그 줄이 가리키는 장의 뜻이 나옵니다. 표기 규칙은 0장과 각 장 앞의 “이 장의 표기” 상자를 따릅니다.

수식 · 기초 체력 (02 – 06장)

식뜻장
$(x_0,\ y_0,\ x_1,\ y_1) = \left(c_x - \tfrac{w}{2},\ c_y - \tfrac{h}{2},\ c_x + \tfrac{w}{2},\ c_y + \tfrac{h}{2}\right)$중심 표현 → 모서리 표현02
$(c_x,\ c_y,\ w,\ h) = \left(\frac{x_0 + x_1}{2},\ \frac{y_0 + y_1}{2},\ x_1 - x_0,\ y_1 - y_0\right)$모서리 표현 → 중심 표현02
$|A \cup B| = |A| + |B| - |A \cap B|$합집합의 넓이(포함 배제의 원리)02
$\IoU(A, B) = \dfrac{|A \cap B|}{|A \cup B|}$IoU. 0 – 1, 대칭, 크기 불변02
$\IoU = \dfrac{w - d}{w + d}$크기가 같은 두 박스를 가로로 $d$ 만큼 밀었을 때의 IoU. 너비의 1/3 만 어긋나도 0.502
$\GIoU(A, B) = \IoU(A, B) - \dfrac{|C| - |A \cup B|}{|C|}$GIoU. $C$ 는 둘러싸는 박스. 겹치지 않아도 멀수록 낮아진다02
$\mathcal{L}_{\text{box}}(b, \hat{b}) = \lambda_{\text{L1}}\,\|b - \hat{b}\|_1 + \lambda_{\GIoU}\,\big(1 - \GIoU(b, \hat{b})\big), \quad \lambda_{\text{L1}} = 5,\ \lambda_{\GIoU} = 2$DETR 계열의 박스 손실02
$P = \dfrac{\mathrm{TP}}{\mathrm{TP} + \mathrm{FP}}, \quad R = \dfrac{\mathrm{TP}}{\mathrm{TP} + \mathrm{FN}}$정밀도와 재현율03
$\AP = \dfrac{1}{101} \sum_{i=0}^{100} p_{\mathrm{interp}}\!\left(\dfrac{i}{100}\right)$COCO 의 101점 보간 AP(클래스 하나 · IoU 문턱값 하나)03
$\AP = \dfrac{1}{10} \sum_{\tau \in \{0.50,\, 0.55,\, \dots,\, 0.95\}} \;\dfrac{1}{C} \sum_{c=1}^{C} \AP_c^{\tau}$COCO 의 AP: 클래스 평균이자 IoU 문턱값 열 개의 평균03
$\theta \leftarrow \theta - \eta\nabla_\theta L$경사 하강법04
$\sigma(z) = \dfrac{1}{1 + e^{-z}}, \quad \sigma' = \sigma(1 - \sigma), \quad z = \log\dfrac{p}{1 - p}$시그모이드와 그 미분, 로짓(로그 오즈)04
$\BCE = -y\log p - (1 - y)\log(1 - p) = \max(z, 0) - zy + \log(1 + e^{-|z|})$이진 교차 엔트로피와, 로짓에서 바로 계산하는 꼴. 로짓에 대한 기울기는 $p - y$04
$\mathrm{FL}(p_t) = -\,\alpha_t\,(1 - p_t)^{\gamma}\,\log p_t$포컬 손실. $\gamma = 0$ 이면 BCE04
$b = -\log\dfrac{1 - \pi}{\pi}$사전 확률 편향 초기화($\pi = 0.01$ 이면 $-4.5951$)04
$\theta \leftarrow (1 - \eta\lambda)\theta$AdamW 의 가중치 감쇠(기울기 갱신과 따로)04
$\lfloor (n_{\text{in}} - F + 2P)/S \rfloor + 1$합성곱의 출력 크기04
$\operatorname{Attention}(Q, K, V) = \softmax\!\left( \dfrac{Q K^{\top}}{\sqrt{d_k}} \right) V$스케일드 내적 어텐션05
$\Var\!\left( \dfrac{q \cdot k}{\sqrt{d_k}} \right) = \dfrac{d_k}{d_k} = 1$$\sqrt{d_k}$ 로 나누는 이유(성분이 독립이고 분산 1 일 때)05
$4 \times (D^2 + D)$다중 머리 어텐션의 매개변수 수. 머리 수와 무관05
$f(PX) = Pf(X)$순열 등변성: 어텐션은 순서를 모른다05
$N = (H/p)(W/p)$ViT 의 패치 토큰 수06
$\text{블록 하나} \approx 12\,N D^2 + 2\,N^2 D$ViT 블록 하나의 곱셈 횟수. 토큰 수에 비례하는 항과 제곱에 비례하는 항06
$\theta_t \leftarrow m\,\theta_t + (1 - m)\,\theta_s$DINO 의 교사는 학생의 지수 이동 평균06
$\mathrm{CE}(P_t, P_s) = \mathrm{Ent}(P_t) + \KL(P_t\,\|\,P_s)$DINO 의 손실(교차 엔트로피)을 교사의 엔트로피와 KL 발산으로 나누기06

수식 · DETR 계보 (07 – 09장)

식뜻장
$\hat{\sigma} = \argmin_{\sigma} \sum_{j=0}^{T-1} C_{\sigma(j),\, j}$이분 매칭: 총비용이 최소인 일대일 배정07
$C_{ij} = -\hat{p}_i(c_j) + 5\,\lVert \hat{b}_i - b_j \rVert_1 - 2\,\GIoU(\hat{b}_i, b_j)$DETR 의 매칭 비용07
$\mathcal{L}_{\text{Hungarian}} = \sum_{i=0}^{N-1} -\log \hat{p}_i(t_i) + \sum_{j=0}^{T-1} \mathcal{L}_{\text{box}}\big(b_j,\, \hat{b}_{\hat{\sigma}(j)}\big)$집합 손실(헝가리안 손실): 모든 질의의 분류 + 짝이 있는 질의의 박스07
$v = (1 - t_x)(1 - t_y)\,v_{00} + t_x(1 - t_y)\,v_{01} + (1 - t_x)\,t_y\,v_{10} + t_x\,t_y\,v_{11}$쌍선형 보간: 네 이웃의 가중 평균08
$\dfrac{\partial v}{\partial x} = W\Big[(1 - t_y)(v_{01} - v_{00}) + t_y(v_{11} - v_{10})\Big]$읽은 값을 표본 위치로 미분. 오프셋을 경사 하강법으로 배울 수 있는 이유08
$\operatorname{DeformAttn}(z_q,\ p_q,\ X) = \sum_{m=1}^{M} W^O_m \Big[ \sum_{k=1}^{K} A_{mqk} \cdot W^V_m\, X(p_q + \Delta p_{mqk}) \Big]$변형 어텐션(단일 스케일): 기준점 둘레의 표본점만 읽는다08
$\hat{b}^{d} = \sigma(\Delta b^{d} + \sigma^{-1}(\sg(\hat{b}^{d-1}))), \quad \sigma^{-1}(x) = \log\frac{x}{1-x}$박스 반복 정제: 로짓 공간에서 더하고, 다음 층으로 넘길 때 기울기를 끊는다08
$\dfrac{N^2}{W_n^2}$윈도 어텐션 한 번의 (질의, 열쇠) 쌍의 수. 전역 어텐션은 $N^2$09
$\ell_{\text{cls}} = \sum_{i=1}^{N_{\text{pos}}} \BCE(p_i,\ t_i) + \sum_{j=1}^{N_{\text{neg}}} p_j^{2}\, \BCE(p_j,\ 0), \quad t = p^{\alpha}\, u^{1-\alpha}$IoU 인지 BCE 손실(IA-BCE). 양성 칸의 기울기 $p - t$ 가 0 이 되는 곳이 $p = u$09
$\hat{x} = \delta_x w_r + x_r, \quad \hat{w} = e^{\delta_w} w_r$박스 재매개변수화: 기준 박스의 크기를 단위로 옮기고 키운다09
$(\delta_x,\ \delta_y,\ \delta_w,\ \delta_h) = \left(\frac{x_g - x_r}{w_r},\ \frac{y_g - y_r}{h_r},\ \log\frac{w_g}{w_r},\ \log\frac{h_g}{h_r}\right)$역변환: 기준 박스를 정답 박스로 옮기는 변화량09

수식 · RF-DETR 과 실전 (10 – 14장)

식뜻장
$\operatorname{reparam}(\delta, r) = \big( \delta_x\, r_w + r_x,\ \delta_y\, r_h + r_y,\ e^{\delta_w}\, r_w,\ e^{\delta_h}\, r_h \big)$10장의 표기로 쓴 박스 재매개변수화10
$r_q = \operatorname{reparam}\big( e_q,\ \sg(\hat{b}^{\text{enc}}_q) \big), \quad \hat{b}^{d}_q = \operatorname{reparam}\big( \delta^{d}_q,\ r_q \big)$기준 박스는 인코더 제안에서, 각 층의 예측 박스는 같은 기준 박스에서10
$\mathcal{L} = \sum_{\ell \,\in\, \mathcal{S}} \Big( 1 \cdot \mathcal{L}^{(\ell)}_{\text{cls}} + 5 \cdot \mathcal{L}^{(\ell)}_{\text{L1}} + 2 \cdot \mathcal{L}^{(\ell)}_{\GIoU} \Big), \quad \mathcal{S} = \{\text{enc},\ 1,\ 2,\ \dots,\ L_{\text{dec}}\}$RF-DETR 의 전체 손실: 인코더 제안과 디코더 각 층의 합11
$\eta_n = \eta_{\min} + \tfrac{1}{2}\,(\eta_0 - \eta_{\min})\left(1 + \cos\dfrac{\pi\, n}{n_{\text{end}}}\right)$코사인 스케줄. 끝 $n_{\text{end}}$ 를 미리 알아야 한다(RF-DETR 은 쓰지 않는다)11
$\mathbf{g} \leftarrow \mathbf{g} \cdot \min\!\left(1,\ \dfrac{c_{\max}}{\lVert \mathbf{g} \rVert}\right)$기울기 자르기($c_{\max} = 0.1$)11
$\theta_{\text{ema}} \leftarrow d\,\theta_{\text{ema}} + (1 - d)\,\theta, \quad d_n = d \cdot \left(1 - e^{-n/\tau}\right)$EMA 와 감쇠 워밍업($d = 0.993$, $\tau = 100$)11
$\eta_{\text{enc}} \cdot \lambda^{\,L + 1 - i} \cdot \rho^{2}$층별 학습률 감쇠: 백본 매개변수의 학습률11
$r_s = 1 - \dfrac{6 \sum_{k=1}^{P} \delta_k^{\,2}}{P\,(P^2 - 1)}$스피어만 상관: 점수의 순위와 IoU 의 순위가 얼마나 맞는가11
$J(\theta) = \E_{c \sim \mathcal{C}}\big[\, \mathcal{L}(\theta; c) \,\big] = \dfrac{1}{|\mathcal{C}|} \sum_{c \in \mathcal{C}} \mathcal{L}(\theta; c)$가중치 공유 NAS 의 학습 목표: 구성마다의 손실의 평균12
$\hat{w} = R\,(R^\top R)^{-1}\, w = (R^\top)^{+}\, w$PI-resize: 내적을 지키며 패치 임베딩 커널의 크기를 바꾼다12
$z_n(x, y) = \big\langle f(q_n),\ e(x, y) \big\rangle + \beta$마스크 로짓: 질의 쪽 벡터와 픽셀 임베딩의 내적13
$L_{\text{dice}} = 1 - \dfrac{2 \sum_{i} p_i\, t_i + 1}{\sum_{i} p_i + \sum_{i} t_i + 1}$다이스 손실(공식 구현의 꼴)13
$\operatorname{Dice} = \dfrac{2\,\IoU}{1 + \IoU}$다이스 계수와 IoU 의 관계13
$[x^{\text{px}},\ y^{\text{px}},\ w^{\text{px}},\ h^{\text{px}}] = \Big[ \Big(c_x - \frac{w}{2}\Big) W,\ \Big(c_y - \frac{h}{2}\Big) H,\ wW,\ hH \Big]$정규화 중심 표현 → COCO 의 픽셀 [x, y, w, h]14
$c_x = \dfrac{x^{\text{px}} + w^{\text{px}}/2}{W}, \quad c_y = \dfrac{y^{\text{px}} + h^{\text{px}}/2}{H}, \quad w = \dfrac{w^{\text{px}}}{W}, \quad h = \dfrac{h^{\text{px}}}{H}$COCO 의 픽셀 [x, y, w, h] → 정규화 중심 표현14

5. 실험 결과 한눈에

이 튜토리얼의 실험은 모두 도형 세상에서 한 작은 실험입니다. 아래 수치는 각 장 본문의 값을 그대로 옮긴 것이고, 따로 적지 않았으면 검증 세트 500장(객체 1,265개)에서 잰 값 · 시드 하나입니다. 논문이 COCO 에서 보고한 수치와 섞어 읽지 마세요. 도형 세상의 AP 0.93 은 문제가 쉬워서 나온 값입니다(3장).

장별 미니 실험의 핵심 수치

장실험핵심 수치읽을 것
02박스 하나를 경사 하강법으로 정답에 맞추기(2,000 스텝)마지막 IoU: IoU 손실 0.0000, GIoU 손실 0.9926, L1 1.0000, 둘을 합친 손실 0.7986. IoU 0.9 에 닿은 스텝: GIoU 244, L1 234, 합친 손실 45IoU 손실은 겹치지 않으면 움직이지 못한다. 합친 손실이 빨랐던 것은 계수가 학습률을 키운 효과였다
03가짜 탐지기로 AP 가 무엇에 반응하는지 보기박스 잡음 0.10: AP50 0.971, AP75 0.170, AP 0.377. 같은 박스에 점수만 달리: AP 0.369 – 0.480. 점수가 비슷한 중복 셋씩: AP 0.700 → 0.608. 낮은 점수의 헛예측 96개씩: 0.700 그대로AP 는 박스의 정밀함과 점수의 순서에 반응하고, 낮은 점수의 헛예측에는 반응하지 않는다
04불균형한 분류를 세 가지 설정으로 학습첫 손실: 편향 0 은 121.03, 사전 확률 편향은 6.36. 1 에폭 뒤 AP 0.016 대 0.341. 30 에폭 뒤 AP: BCE 0.928 ± 0.010, 포컬 0.914 ± 0.005사전 확률 편향은 초반 학습을 뚜렷이 돕는다. 포컬 손실은 이 실험에서 BCE 를 이기지 못했다
05교차 어텐션 한 층으로 도형의 중심 찾기, 토큰 수와 시간질의가 어텐션 가중치의 93 – 97% 를 자기 도형에 줌(세 시드). 위치 인코딩이 없으면 오차 17.06 – 17.07 픽셀(평균만 답하는 기준선 17.06). 시간은 토큰 수의 2.14 제곱(직접 구현) · 1.88 제곱(내장 모듈)어텐션은 내용으로 찾고 위치를 가져온다. 위치 인코딩이 없으면 위치를 알 수 없다
06MiniViT 의 해상도 바꾸기, 미니 DINO 의 선형 분류기 평가세 라벨을 모두 맞힌 비율: 학습한 해상도 96 에서 0.920, 위치 임베딩을 보간한 128 에서 0.953, 64 에서 0.790. 도형 하나의 종류: 무작위 초기화 0.59, 도형 하나짜리 그림으로 학습한 미니 DINO 0.934, 지도 학습 0.999위치 임베딩을 보간하면 다른 해상도에서도 쓸 수 있다. 자기 지도 학습이 무엇을 배우는지는 데이터가 정한다
07MiniDETR 60 에폭AP 0.8375, AP50 0.9863, AP75 0.9500. 디코더 1 · 2 · 3층의 AP 0.8067 · 0.8365 · 0.8375. NMS 전후 AP 차이 −0.0016. 겹치는 쌍 153 → 55 → 45NMS 없이도 중복이 드물다. 어느 디코더 층에서 멈춰도 예측이 나온다
08Deformable DETR 미니 판 60 에폭, 15 에폭 절제AP 0.8982, AP50 0.9795. AP 0.8 에 처음 닿은 에폭 7(7장은 50). 절제: 기준 0.8763, 박스 반복 정제 없음 0.7500, 2단계 0.9100, 단일 레벨 0.8563, 인코더 3층 추가 0.87207장보다 빨리, 높이 간다. 절제에서 뚜렷했던 것은 박스 반복 정제와 2단계 질의 선택
09윈도 우선 배치와 행 우선 배치 대조두 방식의 출력 최대 차이 7.15e-07. 시간 차이는 이 PC 의 측정에서 드러나지 않음윈도 우선 배치는 같은 계산을 순서 바꾸기 없이 한다. 속도 이득은 이 튜토리얼에서 확인하지 못했다
10RF-DETR Nano 의 모양 · 매개변수 실측매개변수 30,467,298개(추론에 쓰이는 것 26,863,662개). 미니 모델은 1,832,707개(1,675,870개)학습에만 쓰이는 매개변수(질의 묶음 · 묶음별 머리)가 있다
11미니 RF-DETR 60 에폭, 15 에폭 절제(시드 3개)AP 0.9347(EMA 모델) · 0.9292(일반 모델). AP 0.8 에 처음 닿은 에폭 3. 디코더 0 · 1 · 2 · 3층의 AP 0.8928 · 0.9289 · 0.9332 · 0.9347. 점수와 IoU 의 스피어만 상관 +0.760(8장 모델 +0.358). 절제의 차이 평균: EMA 없음 −0.0135, 포컬 손실 −0.0057, 묶음 1개 −0.0025, 윈도 1 × 1 +0.0006뚜렷했던 것은 EMA 의 이득과, IA-BCE 가 점수를 IoU 에 맞추는 효과
12미니 RF-DETR 로 가중치 공유 NAS 60 에폭기본 구성의 AP 0.9498(11장 고정 구성 모델 0.9345). 구성 408개 가운데 321개가 AP 0.8 이상. 해상도 64 에서 0.9208(고정 구성 모델 0.1329), 128 에서 0.9567(0.3063). PI-resize 로 못 본 패치 크기에서 0.9348 – 0.9352, 쌍선형 보간만 하면 0.8585 → 0.6315가중치 한 벌에서 모델 가족이 나온다. 고정 구성 모델은 학습한 구성을 벗어나면 무너진다
1311장 모델에 분할 머리를 달아 30 에폭, 4 에폭 절제(시드 3개)박스 AP 0.9347 → 0.9349, 마스크 AP 0.8766(AP50 0.9884, AP75 0.9176). 절제의 마스크 AP: BCE + 다이스 0.743, BCE 만 0.707, 다이스만 0.561, 마스크 1/2 해상도 0.775박스 AP 를 잃지 않고 마스크를 얻는다. 두 손실을 함께 쓴 것이 가장 좋았다
14실제 RF-DETR Nano 를 도형 세상 1,000장으로 미세 조정사전 학습 가중치에서: 검증 AP 가 1 에폭 뒤 0.9476, 5 에폭 뒤 0.9839(EMA), 시험 AP 0.983. 무작위 초기화에서: 3 에폭 뒤 검증 0.7749, 시험 0.772. 이 노트북의 지연 시간(중앙값): PyTorch GPU FP32 순전파 16.9 ms, onnxruntime CPU 112.3 ms미세 조정의 힘은 사전 학습에서 온다. 지연 시간은 재는 조건에 달려 있다
참고 · 0.9345 와 0.9347

11장 미니 RF-DETR 의 AP 는 11장 · 13장에서는 0.9347, 12장의 성적표에서는 0.9345 로 적혀 있습니다. 같은 가중치입니다. 12장이 밝힌 대로, 채점할 때 그림을 묶는 배치 크기가 달라 생긴 부동소수 오차입니다.

같은 데이터에서 이어 달린 세 모델

7장 · 8장 · 11장의 모델은 같은 데이터 · 같은 에폭 수 · 같은 배치 크기로 학습했습니다. 11장의 표를 옮기면 다음과 같습니다(검증 AP).

에폭7장 MiniDETR8장 Deformable DETR11장 미니 RF-DETR (EMA)11장 미니 RF-DETR (일반)
10.00480.21730.30850.3011
30.04050.66980.81900.8133
70.41930.81090.89070.8766
100.57880.83800.90740.9023
200.70390.86540.92550.9135
400.73580.89590.93250.9265
500.83860.90200.93470.9277
600.83750.89820.93470.9292
AP 0.5 / 0.8 / 0.9 에 처음 닿은 에폭9 / 50 / —2 / 7 / 502 / 3 / 92 / 3 / 10
주의 · 이 표의 차이를 어느 부품의 공으로 돌릴 수 없습니다

8장의 모델과 11장의 모델 사이에는 일곱 가지가 한꺼번에 바뀌었습니다.

  1. 백본: 작은 CNN 대신 ViT(윈도 + 전역 어텐션)와 C2f 프로젝터. 특징 레벨도 둘에서 하나로
  2. 2단계 질의 선택(8장의 본 모델은 쓰지 않았습니다)
  3. 박스: 박스 반복 정제 대신 박스 재매개변수화와 lite 기준점 정제
  4. 분류 손실: 포컬 손실 → IA-BCE
  5. 질의 묶음 4개
  6. EMA
  7. 학습률: 48 에폭 뒤 낮추기 → 끝까지 일정, 층별 감쇠

11장이 이 비교에서 끌어낸 말은 “8장의 본 모델보다 나아진 것의 큰 부분은 2단계 질의 선택과 EMA 로 설명될 수 있다” 까지입니다. 부품 하나의 효과는 그 부품만 바꾼 절제 실험에서 읽어야 합니다.

기대와 달랐던 결과

좋은 숫자만 골라 읽지 않도록, 미니 실험에서 기대와 달랐거나 논문의 보고를 재현하지 못한 것을 한자리에 모았습니다. “보이지 않았다” 는 “효과가 없다” 가 아니라 이 데이터 · 이 규모에서 재는 자의 눈금보다 작았다는 뜻입니다.

6. 용어집

튜토리얼에 나온 용어 260개를 주제별 표로 나누고, 표 안에서는 가나다순(숫자 · 영문 먼저)으로 늘어놓았습니다. “뜻” 은 본문에서 그 용어를 눌렀을 때 뜨는 카드의 요약과 같은 문장입니다. “설명한 장” 은 그 용어를 처음 정의하고 자세히 설명한 장입니다(이름만 먼저 나온 장은 따로 적지 않았습니다). 굵은 용어를 누르면 카드가 열립니다.

용어 · 탐지의 큰 그림 (01장)

용어영어뜻설명한 장
1단계 탐지기one-stage detector, single-stage detector후보 영역 단계 없이, 그림을 한 번 훑으며 박스와 클래스를 바로 내놓는 탐지기.01장
2단계 탐지기two-stage detector후보 영역을 먼저 뽑고, 후보마다 분류하고 박스를 다듬는 탐지기.01장
객체 탐지object detection그림 속 객체마다 어디에 있는지(박스)와 무엇인지(클래스)를 함께 답하는 문제.01장
벤치마크benchmark모두가 같은 데이터로 같은 방식으로 점수를 매기도록 정해 둔 시험.01장
비전-언어 모델 (VLM)vision-language model, VLM그림과 글을 함께 다루도록, 대량의 그림 – 글 쌍으로 학습한 모델.01장
손으로 만든 부품hand-designed component신경망이 배우는 것이 아니라 사람이 규칙과 숫자를 정해 끼워 넣은 탐지기의 부품.01장
실시간real-time쓰는 곳이 요구하는 시간 안에 답을 낸다는 뜻. 정해진 한 숫자는 없고 논문마다 기준을 밝힌다.01장
앵커anchor, anchor box그림 위에 미리 깔아 두는 기준 상자. 탐지기는 앵커를 얼마나 고치면 되는지를 예측한다.01장
열린 어휘 탐지기open-vocabulary detector찾을 대상을 글(낱말 · 문장)로 받는 탐지기. 학습 때 보지 못한 이름도 넣을 수 있다.01장
이미지 분류image classification그림 전체에 클래스 이름표를 붙이는 문제.01장
인스턴스 분할instance segmentation객체마다 그 객체가 차지하는 픽셀(마스크)을 따로 칠하는 문제.01장
절제 실험ablation study바꾼 점을 하나씩 넣거나 빼 가며 성능을 재어, 무엇이 얼마나 도움이 되는지 알아보는 실험.01장
지연 시간latency그림 한 장을 넣고 답이 나올 때까지 걸리는 시간. 단위는 밀리초, 작을수록 좋다.01장
클래스class탐지기가 구별하는 객체의 종류. 목록은 학습 전에 정해 둔다.01장
클래스 불균형class imbalance어떤 답(탐지에서는 배경)이 다른 답보다 압도적으로 많은 상황.01장
탐지기detector객체 탐지 문제를 푸는 모델.01장
특화 탐지기specialist detector, closed-vocabulary detector학습할 때 정한 클래스 목록 안에서만 답하는 탐지기.01장
후보 영역region proposal객체가 있을 법하다고 골라낸 사각형 영역.01장
COCOCommon Objects in Context일상 장면 속 흔한 물체를 담은 사진 데이터셋. 객체 탐지의 대표 벤치마크(클래스 80가지).01장
Objects365Objects365대규모 객체 탐지 데이터셋. RF-DETR 과 LW-DETR 이 탐지기 사전 학습에 쓴다.01장
RF100-VLRoboflow100-VL분야가 서로 다른 객체 탐지 데이터셋 100개를 묶은 벤치마크.01장

용어 · 박스와 채점 (02 – 03장)

용어영어뜻설명한 장
거짓 양성 (FP)false positive정답과 짝을 이루지 못한 예측. 헛예측 · 클래스가 틀린 예측 · 박스가 너무 어긋난 예측 · 중복 예측이 모두 여기에 든다.03장
거짓 음성 (FN)false negative어떤 예측과도 짝을 이루지 못한 정답. 탐지기가 놓친 객체.03장
교집합 (박스)intersection두 박스에 모두 들어 있는 부분. 왼쪽 위는 max, 오른쪽 아래는 min 으로 구한 직사각형.02장
둘러싸는 박스smallest enclosing box두 박스를 모두 덮는 가장 작은 박스 C. GIoU 의 계산에 쓴다.02장
모서리 표현 (xyxy)corner format, xyxy박스를 왼쪽 위 모서리와 오른쪽 아래 모서리의 좌표로 적는 방법.02장
박스 (경계 상자)bounding box객체를 둘러싸는, 변이 그림의 가로 · 세로와 나란한 직사각형. 숫자 네 개로 적는다.02장
박스 회귀box regression예측 박스의 네 숫자를 정답 박스에 맞추는 일.02장
보간 정밀도interpolated precision재현율이 r 이상인 자리들 가운데 가장 높은 정밀도. PR 곡선의 톱니를 메운 값.03장
브로드캐스팅broadcasting모양이 다른 텐서를 계산할 때 길이 1 인 축을 상대의 길이만큼 늘려 맞추는 규칙.02장
재현율recall정답 가운데 찾아낸 것의 비율. 빠뜨리지 않는 능력.03장
점수 문턱값score threshold, confidence threshold점수가 이 값 이상인 예측만 인정한다는 기준. 탐지기를 쓰는 쪽이 정한다.03장
정규화 좌표normalized coordinates그림의 너비와 높이를 1 로 보고 0 – 1 사이의 값으로 적은 좌표.02장
정밀도precision예측 가운데 맞은 것의 비율. 헛짚지 않는 능력.03장
정밀도 – 재현율 곡선 (PR 곡선)precision-recall curve예측을 점수 순으로 하나씩 인정해 가며 얻는 (재현율, 정밀도) 점들을 이은 곡선.03장
정확도accuracy전체 문제 가운데 맞힌 문제의 비율. 분류에서 쓰고, 탐지에서는 쓸 수 없다.03장
중복 예측duplicate detection같은 객체를 가리키는 둘째 이후의 예측. 채점에서는 거짓 양성이 된다.03장
중심 표현 (cxcywh)center format, cxcywh박스를 중심의 좌표와 너비 · 높이로 적는 방법.02장
참 양성 (TP)true positive정답 객체와 짝을 이룬 예측. 같은 클래스의 정답과 IoU 가 문턱값 이상이고, 그 정답을 먼저 가져간 예측이 없어야 한다.03장
크기 불변scale invariance두 박스를 같은 비율로 키우거나 줄여도 값이 변하지 않는 성질.02장
크기별 AP (APS · APM · APL)AP across scales정답 객체를 넓이로 나눠 따로 구한 AP: 작은 객체(32² 픽셀 미만), 중간(32² – 96²), 큰 객체(96² 초과).03장
포함 배제의 원리inclusion–exclusion principle두 집합의 크기를 더한 뒤 두 번 센 겹친 부분을 한 번 빼는 셈법.02장
픽셀 좌표pixel coordinates그림 위의 위치를 픽셀 수로 잰 좌표. 원점은 왼쪽 위, y 는 아래로 커진다.02장
합집합 (박스)union두 박스 가운데 하나에라도 들어 있는 부분. 넓이는 두 넓이의 합에서 교집합을 뺀 값.02장
AP (평균 정밀도)average precisionPR 곡선 아래 넓이의 근사. COCO 방식은 재현율 0, 0.01, …, 1 의 101개 지점에서 보간 정밀도를 평균한다.03장
AP50AP at IoU = 0.50IoU 문턱값 0.50 하나로만 채점한 AP(클래스 평균). “대충이라도 찾았는가” 를 본다.03장
AP75AP at IoU = 0.75IoU 문턱값 0.75 하나로만 채점한 AP(클래스 평균). 박스가 꽤 정확한지를 본다.03장
F1 점수F1 score정밀도와 재현율의 조화 평균. 점수 문턱값 하나에서의 성능을 한 숫자로 요약한다.03장
GIoU (일반화한 IoU)Generalized Intersection over UnionIoU 에서 둘러싸는 박스 안 빈 곳의 비율을 뺀 값. 겹치지 않아도 멀수록 낮아진다.02장
GIoU 손실GIoU loss1 에서 GIoU 를 뺀 손실(0 – 2). 겹치지 않는 박스에도 기울기를 준다.02장
IoU (교집합 대 합집합 비)Intersection over Union두 박스가 덮은 넓이 전체 가운데 함께 덮은 넓이의 비율. 0(안 겹침) – 1(완전히 일치).02장
IoU 문턱값IoU threshold예측 박스가 정답 박스와 얼마나 겹쳐야 맞은 것으로 칠지 정하는 기준. COCO 는 0.50 부터 0.95 까지 열 개를 쓴다.03장
IoU 손실IoU loss1 에서 IoU 를 뺀 손실. 크기 불변이지만 겹치지 않으면 기울기가 0 이다.02장
L1 거리 (L1 손실)L1 distance, L1 loss두 박스의 네 숫자를 하나씩 비교해 차이의 절댓값을 더한 값.02장
mAPmean average precision클래스마다 구한 AP 의 평균. COCO 에서는 AP 와 같은 뜻으로 쓴다.03장
NMS (비최대 억제)non-maximum suppression겹친 예측 박스들 가운데 점수가 가장 높은 것만 남기고 나머지를 지우는 사후 처리.03장

용어 · 딥러닝 기초와 분류 손실 (04장)

용어영어뜻설명한 장
1×1 합성곱1×1 convolution, pointwise convolution커널 크기가 1 인 합성곱. 위치마다 같은 선형 층을 적용하는 것과 같다.04장
가중치 감쇠weight decay스텝마다 가중치를 조금씩 0 쪽으로 당겨 쓸데없이 커지지 않게 하는 것.04장
경사 하강법gradient descent기울기의 반대 방향으로 매개변수를 조금씩 옮겨 손실을 줄이는 방법.04장
교차 엔트로피cross-entropy, CE여러 클래스 가운데 하나를 고르는 분류의 손실. 정답 클래스에 준 확률의 −log.04장
로그 오즈log-odds일어날 확률 ÷ 안 일어날 확률(오즈)에 로그를 씌운 값. 시그모이드의 역함수.04장
로짓logit시그모이드 · 소프트맥스에 들어가기 전의 실수. 확률로 바뀌기 전의 점수.04장
매개변수parameter신경망 안의 조절 가능한 숫자들(가중치와 편향). 한데 묶어 θ 로 쓴다.04장
미니배치mini-batch한 번의 갱신에 쓰는, 데이터에서 무작위로 뽑은 작은 묶음.04장
배경 클래스background class, no-object class ∅“객체 없음” 을 나타내려고 K 개 클래스에 추가한 K + 1 번째 가짜 클래스.04장
배치 정규화 (BatchNorm)batch normalization특징(채널)마다 배치 축으로 평균 · 분산을 구해 평균 0 · 분산 1 로 맞추는 층.04장
부드러운 목표soft target0 이나 1 이 아니라 그 사이의 값으로 준 분류 목표 t.04장
사전 확률 편향 초기화prior probability bias initialization분류 머리의 편향을 b = −log((1 − π)/π) 로 두어 처음 예측이 모두 π 근처가 되게 하는 초기화.04장
선형 층linear layer, fully connected layerh = Wx + b. 벡터에 가중치 행렬을 곱하고 편향을 더하는 층.04장
소프트맥스softmax로짓 K 개를 합이 1 인 확률 K 개로 바꾸는 함수.04장
손실 함수loss function신경망의 출력이 정답에서 얼마나 먼지를 숫자 하나로 잰 것. 작을수록 좋다.04장
순전파forward pass입력에서 손실까지 값을 차례로 계산하는 것.04장
스트라이드stride합성곱에서 커널을 한 번에 몇 칸씩 옮기는가.04장
시그모이드sigmoid, logistic function실수(로짓)를 0 과 1 사이의 확률로 바꾸는 함수 σ(z) = 1/(1 + e^(−z)).04장
신경망neural network매개변수 θ 를 가진 함수 f_θ. 입력을 받아 출력을 내고, 매개변수를 고쳐 가며 학습한다.04장
에폭epoch학습 데이터 전체를 한 바퀴 도는 것.04장
역전파backpropagation손실에서 거꾸로 가며 (받은 기울기) × (국소 미분) 을 넘겨 모든 매개변수의 기울기를 구하는 방법.04장
연쇄 법칙chain rule합성 함수의 미분은 단계마다의 미분을 곱한 것이다.04장
이진 교차 엔트로피 (BCE)binary cross-entropy예 / 아니오 분류의 손실. 정답 쪽에 준 확률의 −log.04장
잔차 연결residual connection, skip connection층의 출력에 입력을 그대로 더하는 것: x + f(x).04장
전치 합성곱transposed convolution특징 맵을 키우는 합성곱. 입력의 숫자마다 커널 크기의 도장을 출력에 찍고 겹친 곳은 더한다.04장
최대우도 추정maximum likelihood estimation, MLE관측한 정답이 나올 확률(가능도)이 가장 커지도록 매개변수를 정하는 원리.04장
층 정규화 (LayerNorm)layer normalization표본(토큰) 하나의 특징들로 평균 · 분산을 구해 정규화하는 층. 배치와 무관하다.04장
커널kernel, filter합성곱에서 입력 위를 미끄러지는 작은 가중치 판.04장
패딩padding합성곱 전에 입력의 가장자리에 덧대는 0 의 줄 수.04장
포컬 손실focal loss잘 맞힌 칸의 손실을 (1 − p_t)^γ 로 깎아 어려운 칸에 집중하게 하는 분류 손실.04장
학습률learning rate한 스텝에 매개변수를 얼마나 움직일지 정하는 수 η.04장
합성곱convolution작은 가중치 판(커널)을 입력 위에서 미끄러뜨리며 자리마다 곱해 더한 값을 내는 층.04장
활성 함수activation function층 사이에 끼워 넣는 비선형 함수. 숫자마다 따로 적용한다.04장
Adamadaptive moment estimation기울기의 이동 평균을 기울기 제곱의 이동 평균의 제곱근으로 나누어, 매개변수마다 갱신 크기를 맞추는 옵티마이저.04장
AdamWAdam with decoupled weight decay가중치 감쇠를 기울기에 섞지 않고 따로 적용하는 Adam.04장
GELUGaussian error linear unitx·Φ(x). 표준 정규 분포의 누적 분포 함수로 x 를 부드럽게 통과시키는 활성 함수.04장
MLP (다층 퍼셉트론)multi-layer perceptron선형 층과 활성 함수를 번갈아 쌓은 신경망.04장
ReLUrectified linear unitmax(0, x). 음수는 0 으로, 양수는 그대로 통과시키는 활성 함수.04장
SGD (확률적 경사 하강법)stochastic gradient descent미니배치의 기울기로 하는 경사 하강법.04장
SiLU (Swish)sigmoid linear unit, Swishx·σ(x). 시그모이드로 x 를 부드럽게 통과시키는 활성 함수.04장

용어 · 어텐션, ViT, DINOv2 (05 – 06장)

용어영어뜻설명한 장
값 (어텐션)value어텐션에서 실제로 건네지는 내용 벡터. 가중치로 평균 내어 출력이 된다.05장
교차 어텐션cross-attention질의는 한 토큰 묶음에서, 열쇠 · 값은 다른 묶음에서 만드는 어텐션.05장
귀납 편향inductive bias모델이 데이터를 보기 전에 구조 자체에 품고 있는 가정.06장
내적dot product두 벡터의 같은 자리 성분끼리 곱해 모두 더한 값. 방향이 비슷하고 길수록 크다.05장
다중 머리 어텐션multi-head attention차원 D 를 머리 h 개로 나눠 머리마다 따로 어텐션한 뒤 이어 붙이는 어텐션.05장
레지스터 토큰register tokensViT 의 토큰 열에 끼워 넣는 학습되는 여분의 토큰. 전역 정보를 적어 둘 자리를 따로 주어 패치 특징의 튀는 점을 없앤다.06장
멀티 크롭multi-crop한 그림에서 크게 자른 전역 뷰 몇 장과 작게 자른 지역 뷰 여러 장을 함께 만드는 증강.06장
미세 조정fine-tuning사전 학습된 가중치에서 출발해, 목표 과제의 (작은) 데이터로 조금 더 학습하는 것.06장
밀집 특징dense features그림 전체에 하나가 아니라 위치(패치)마다 하나씩 있는 특징.06장
붕괴collapse어떤 그림이 들어와도 모델이 같은 출력을 내는 상태. 손실은 낮지만 아무것도 배우지 못한 것이다.06장
뷰view한 그림을 무작위로 변형(자르기 · 뒤집기 · 색 바꾸기)해 만든 그림 한 장.06장
사전 학습pre-training최종 과제에 앞서, 아주 큰 데이터로 더 일반적인 과제를 풀며 가중치를 학습해 두는 것.06장
선형 분류기 평가 (linear probe)linear probe백본을 얼리고 그 특징 위에 선형 층 하나만 학습해 특징의 품질을 재는 방법.06장
순열 등변성permutation equivariance입력 토큰의 순서를 섞으면 출력도 똑같이 섞일 뿐 값은 변하지 않는 성질.05장
스케일드 내적 어텐션scaled dot-product attention내적 점수를 √d_k 로 나눈 뒤 소프트맥스 · 가중 평균을 하는, Transformer 의 기본 어텐션 식.05장
어텐션attention질의와 열쇠의 비슷함으로 가중치를 정해 값들을 가중 평균하는 연산.05장
어텐션 가중치attention weight질의가 각 열쇠 · 값에 주는 비율. 모두 양수이고 합이 1.05장
어텐션 마스크attention mask(질의, 열쇠) 쌍마다 볼 수 있는지를 정하는 마스크. 모양 (N_q, N_k).05장
열쇠key어텐션에서 “무엇을 갖고 있는가” 를 알리는 벡터. 질의와 내적해 점수가 된다.05장
열쇠 패딩 마스크key padding mask패딩으로 채운 가짜 토큰을 어떤 질의도 보지 못하게 열쇠 쪽에서 가리는 마스크. 모양 (B, N_k).05장
온도 (소프트맥스의)temperature소프트맥스에 넣기 전에 점수를 나누는 양수 τ. 낮을수록 분포가 날카로워진다.06장
위치 인코딩positional encoding토큰에 위치를 알려 주려고 더하는, 사인 · 코사인으로 만든 고정 벡터.05장
위치 임베딩position embedding자리마다 하나씩 둔 학습되는 벡터. 토큰에 더해 “그림의 어디에서 왔는지” 를 알려 준다.06장
위치 임베딩 보간position embedding interpolation학습된 위치 임베딩을 2차원 격자로 되돌려 그림처럼 크기를 바꾼 뒤 다시 펴는 방법.06장
인과 마스크causal mask각 위치가 자기보다 뒤의 토큰을 못 보게 하는 삼각형 모양의 어텐션 마스크.05장
자기 어텐션self-attention질의 · 열쇠 · 값을 모두 같은 토큰 묶음에서 만드는 어텐션. 토큰들이 서로를 본다.05장
자기 증류self-distillation미리 학습된 교사 없이, 학생 자신의 지수 이동 평균을 교사로 삼는 증류.06장
자기 지도 학습self-supervised learning, SSL사람이 붙인 라벨 대신 데이터 자신에서 정답을 만들어 내는 학습.06장
증류 (지식 증류)knowledge distillation학생 망이 정답 라벨 대신 교사 망의 출력 분포를 흉내 내도록 학습하는 기법.06장
질의query어텐션에서 “무엇을 찾는가” 를 나타내는 벡터. 정보를 받는 쪽이 낸다.05장
토큰token어텐션이 다루는 단위인 벡터 하나. 이 튜토리얼에서는 그림 패치 하나 또는 객체 질의 하나.05장
투영 머리projection head자기 지도 학습에서 백본의 출력 위에 얹어 손실을 계산하는 작은 MLP. 사전 학습이 끝나면 버린다.06장
파운데이션 모델foundation model한 번 크게 사전 학습해 두고 여러 과제의 출발점으로 삼는 모델.06장
패치patch그림을 겹치지 않게 자른 p × p 픽셀의 정사각형 조각. ViT 의 토큰 하나가 된다.06장
패치 임베딩patch embedding패치 하나를 펴서 선형 층으로 길이 D 인 토큰으로 바꾼 것. 커널 · 스트라이드가 p 인 합성곱과 같은 계산이다.06장
centering (중심 빼기)centering교사의 점수에서 그 이동 평균(중심 c)을 빼는 것. 모든 그림이 한 칸으로 쏠리는 붕괴를 막는다.06장
CLS 토큰class token, [CLS]토큰 열 맨 앞에 끼워 넣는 학습되는 벡터. 마지막 층에서의 출력을 그림 전체의 요약으로 쓴다.06장
DINOself-distillation with no labels같은 그림의 서로 다른 뷰에 대해 학생의 출력 분포가 EMA 교사의 출력 분포를 따르게 하는 자기 지도 학습 방법.06장
DINOv2DINOv2DINO 와 iBOT 의 손실을 함께 써서 정제한 1억 4,200만 장으로 자기 지도 사전 학습한 ViT. RF-DETR 의 백본.06장
FFN (순방향 신경망)feed-forward network어텐션 뒤에 토큰마다 따로 적용하는 2층 신경망(D → rD → D).05장
Flash AttentionFlashAttentionN×N 가중치 행렬을 통째로 만들지 않고 덩어리로 나눠 계산하는, 결과는 같은 빠른 어텐션 구현.05장
iBOTimage BERT pre-training with online tokenizer학생에게 준 그림의 패치 일부를 가리고, 그 자리의 출력이 교사의 패치 출력을 따르게 하는 패치 수준 자기 증류.06장
LVD-142MLVD-142MDINOv2 의 사전 학습에 쓴, 라벨 없는 그림 1억 4,200만 장의 정제된 데이터셋.06장
post-normpost-normalization잔차를 더한 뒤에 층 정규화를 하는 Transformer 층의 꼴: LN(x + f(x)).05장
pre-normpre-normalization부품에 넣기 전에 층 정규화를 하는 Transformer 층의 꼴: x + f(LN(x)).05장
sharpening (날카롭게 하기)sharpening교사의 소프트맥스 온도를 낮게 두어 분포를 한쪽으로 쏠리게 하는 것. 균등 분포로의 붕괴를 막는다.06장
TransformerTransformer다중 머리 어텐션과 FFN 을 잔차 연결 · 층 정규화로 감싼 층을 쌓은 신경망 구조.05장
Vision Transformer (ViT)Vision Transformer그림을 패치로 잘라 토큰 열로 만들고, 표준 Transformer 인코더로 처리하는 모델.06장

용어 · DETR 계보 (07 – 09장)

용어영어뜻설명한 장
2단계 방식two-stage특징 맵의 모든 칸이 제안 박스와 점수를 내고, 점수 상위 몇 개를 디코더의 처음 기준 박스로 쓰는 방식.08장
객체 질의object queryDETR 디코더에 들어가는 $N$ 개의 학습되는 벡터. 하나가 예측 슬롯 하나를 맡는다.07장
기울기 차단stop-gradient순전파에서는 값을 그대로 쓰되, 역전파에서는 그 값을 상수로 보고 기울기를 흘려보내지 않는 연산.08장
기준 박스reference box점 대신 박스 $(c_x, c_y, w, h)$ 를 변형 어텐션과 박스 예측의 기준으로 쓴 것.08장
기준점reference point질의 하나가 “이 근처를 보겠다” 고 정한 정규화 좌표 하나. 변형 어텐션의 표본점은 여기에 오프셋을 더한 자리다.08장
다중 스케일 특징multi-scale features해상도가 다른 특징 맵 여러 장을 함께 쓰는 것. 작은 객체는 촘촘한 맵에서, 큰 객체는 거친 맵에서 찾는다.08장
다층 특징 집계multi-level feature aggregationViT 인코더의 마지막 층뿐 아니라 중간 층들의 특징 맵도 꺼내 한데 모아 프로젝터에 넣는 것.09장
매칭 비용matching cost예측 $i$ 와 정답 $j$ 가 얼마나 안 맞는지를 잰 값. DETR 은 클래스 확률 · L1 거리 · GIoU 세 항의 합을 쓴다.07장
머리 (예측 머리)head디코더가 낸 질의 벡터를 최종 예측(클래스 로짓, 박스, 마스크)으로 바꾸는 작은 신경망.09장
박스 반복 정제iterative bounding box refinement디코더 층마다 앞 층이 낸 박스를 기준으로 삼아 조금씩 고쳐 나가는 방식.08장
박스 재매개변수화box regression target reparameterization박스 머리의 출력을 “기준 박스 크기의 몇 배만큼 옮기고 몇 배로 키울까” 로 읽는 박스 예측 방식.09장
배정assignment정답마다 서로 다른 예측을 하나씩 골라 주는 대응 $\sigma$.07장
백본backbone그림에서 특징을 뽑아내는 신경망의 몸통. 그 출력(특징 맵) 위에 프로젝터 · 디코더 · 머리가 얹힌다.09장
변형 어텐션deformable attention질의마다 기준점 둘레의 표본점 몇 개에서만 값을 읽어 가중 평균하는 어텐션. 오프셋과 가중치를 질의 벡터에서 선형 층으로 예측한다.08장
병렬 디코딩parallel decoding객체 질의 $N$ 개를 한꺼번에 넣어 $N$ 개의 예측을 한 번의 순전파로 내는 것.07장
보조 손실auxiliary loss마지막 층뿐 아니라 디코더의 모든 중간 층 출력에도 같은 머리로 예측을 내어 거는 같은 손실.07장
비용 행렬cost matrix예측 $i$ 를 정답 $j$ 에 배정할 때의 비용 $C_{ij}$ 를 모든 쌍에 대해 적은 표. 모양 (예측 수, 정답 수).07장
섞은 질의 선택mixed-query selection질의의 위치(기준 박스)는 그림의 특징 맵에서 점수 상위 칸을 골라 정하고, 내용은 학습되는 임베딩으로 두는 방식.09장
선형 보간linear interpolation두 점 사이의 값을 두 점을 잇는 직선 위의 값으로 정하는 방법. 가까운 쪽에 큰 가중치를 주는 가중 평균이다.08장
순열 불변permutation invariance입력의 순서를 바꾸어도 값이 변하지 않는 성질. 집합 예측의 손실이 가져야 하는 성질.07장
쌍선형 보간bilinear interpolation격자 칸 사이에 있는 점의 값을 둘레 네 칸의 값의 가중 평균으로 읽는 방법.08장
역시그모이드inverse sigmoid시그모이드의 역함수. 0 – 1 의 값을 로짓(실수 전체)으로 되돌린다.08장
예측 슬롯prediction slotDETR 이 두는 고정된 $N$ 개의 예측 자리. 슬롯 하나가 (클래스 확률, 박스) 한 벌을 낸다.07장
오프셋sampling offset기준점에서 얼마나 떨어진 곳을 읽을지를 나타내는 2차원 벡터. 질의 벡터에서 선형 층으로 예측한다.08장
윈도 어텐션window attention토큰 격자를 겹치지 않는 윈도로 나눠 윈도 안의 토큰끼리만 하는 자기 어텐션. 쌍의 수가 윈도 수만큼 나뉜다.09장
윈도 우선 배치window-major feature map organization토큰을 한 행씩이 아니라 윈도 단위로 늘어놓는 것. 한 윈도가 수열의 연속 구간이 되어 윈도 · 전역 어텐션 사이의 전환이 view 만으로 된다.09장
이분 매칭bipartite matching두 무리(예측과 정답) 사이에서 총비용이 최소가 되게 일대일로 짝을 고르는 문제.07장
일대일 매칭one-to-one matching정답 하나에 예측 하나, 예측 하나에는 정답이 많아야 하나만 짝짓는 것.07장
전역 어텐션global attention모든 토큰이 모든 토큰을 보는 보통의 자기 어텐션. 윈도 어텐션과 구별해 부르는 이름.09장
제안 박스region proposal2단계 방식의 첫 단계에서 특징 맵의 칸 하나가 내는 “여기에 객체가 있다면 이런 박스” 라는 후보.08장
종단 간end-to-end입력에서 최종 답까지를 손으로 만든 중간 단계 없이 한 모델이 내고, 그 답의 손실로 전체를 한 번에 학습하는 방식.07장
집합 손실set loss, Hungarian loss헝가리안 매칭으로 정한 짝에 대해 계산하는 DETR 의 손실: 모든 질의의 분류 손실 + 짝이 있는 질의의 박스 손실.07장
집합 예측set prediction순서가 없는 원소들의 집합을 한 번에 내놓는 문제. DETR 은 탐지를 (클래스, 박스) 의 집합 예측으로 푼다.07장
탐욕 배정greedy assignment정답을 차례로 보며 남은 예측 가운데 그때 가장 싼 것을 주는 배정. 빠르지만 최적이 아닐 수 있다.07장
특징 레벨feature level다중 스케일 특징에서 해상도가 다른 특징 맵 한 장 한 장.08장
특징 맵feature map그림을 격자로 나눈 칸마다 벡터가 하나씩 놓인 텐서. 모양은 (B, C, H, W).09장
표본점sampling point기준점에 오프셋을 더한 자리. 변형 어텐션이 실제로 특징 맵의 값을 읽는 곳.08장
프로젝터projector백본과 디코더 사이를 잇는 합성곱 블록. 백본의 특징 맵(들)을 디코더가 읽을 채널 수 · 해상도의 특징 맵으로 바꾼다.09장
헝가리안 매칭Hungarian matchingDETR 계열이 학습 때 예측과 정답을 짝짓는 방법: 매칭 비용 행렬에서 총비용이 최소인 일대일 배정을 구한다.07장
헝가리안 알고리즘Hungarian algorithm배정 문제의 정확한 최적해를 행렬 크기의 세제곱 정도의 시간에 찾는 고전 알고리즘(Kuhn, 1955).07장
C2f 블록C2f block1×1 합성곱 → 채널을 둘로 나눔 → 병목(3×3 합성곱 두 번) n 개를 차례로 → 중간 결과를 전부 이어 붙여 1×1 합성곱으로 합치는 블록.09장
Deformable DETRDeformable DETRDETR 의 어텐션을 변형 어텐션으로 바꿔 수렴을 빠르게 하고 다중 스케일 특징을 쓸 수 있게 한 탐지기(Zhu 외, 2020; ICLR 2021).08장
DETRDEtection TRansformer탐지를 집합 예측으로 보고, 일대일 매칭 손실과 Transformer 인코더 · 디코더로 앵커와 NMS 없이 탐지하는 모델(Carion 외, 2020).07장
Group DETRGroup DETR학습 때 질의를 여러 묶음으로 복제해 묶음마다 따로 일대일 매칭을 하는 기법. 양성이 묶음 수만큼 늘고, 추론은 첫 묶음만 쓴다.09장
IoU 인지 BCE 손실 (IA-BCE)IoU-aware BCE loss양성 칸의 목표를 1 이 아니라 점수와 IoU 의 가중 기하 평균 t 로 두는 분류 손실. 점수가 예측 박스의 IoU 로 끌려간다.09장
LW-DETRLight-Weight DETR평범한 ViT 인코더, C2f 프로젝터, 얕은(3층) 변형 어텐션 디코더를 쌓은 실시간 탐지기(Chen 외, 2024). RF-DETR 의 직접적인 바탕.09장
RT-DETRReal-Time DEtection TRansformerCNN 백본 뒤의 인코더를 가볍게 다시 설계해 DETR 계열을 실시간으로 만든 탐지기(Zhao 외, 2023).09장

용어 · RF-DETR 의 구조와 학습 (10 – 11장)

용어영어뜻설명한 장
2단계 질의 선택two-stage query selection프로젝터 출력의 모든 칸에 점수를 매겨 상위 N 칸을 고르고, 그 칸이 낸 박스를 디코더 질의의 기준 박스로 삼는 절차.10장 · 08장
기울기 누적gradient accumulation작은 배치로 순전파 · 역전파를 여러 번 하며 기울기를 더해 두었다가 한 번만 가중치를 고쳐, 메모리는 작은 배치만큼 쓰면서 큰 배치의 기울기를 얻는 방법.11장
기울기 자르기gradient clipping모델 전체 기울기의 노름이 한계를 넘으면 방향은 그대로 두고 길이만 한계로 줄이는 것. DETR 계열과 RF-DETR 은 한계 0.1 을 쓴다.11장
내용 질의content query디코더의 첫 층에 들어가는 질의 벡터의 처음 값. RF-DETR 에서는 그림과 무관하게 학습되는 임베딩 `query_feat` 이다.10장
다중 해상도 학습multi-scale training학습 중에 입력 그림의 해상도를 무작위로 바꾸는 증강. RF-DETR 은 배치 단위로 한 해상도를 골라 배치 전체를 그 크기로 바꾼다(기본 해상도의 0.5 – 1.5배).11장
데이터 증강data augmentation학습 그림을 뒤집거나 잘라 변형해 보여 주어, 그림 한 장으로 여러 장의 효과를 내는 방법. RF-DETR 은 수평 뒤집기와 무작위 자르기만 쓴다.11장
드롭 패스drop path, stochastic depth학습 중에 잔차 블록의 가지 $F(x)$ 를 확률 $q$ 로 통째로 건너뛰는 규제 기법.11장
마스크 이미지 모델링(MIM)masked image modeling그림의 패치 일부를 가리고 보이는 패치만으로 가려진 부분을 맞히게 하는 자기 지도 사전 학습.11장
스케줄러 없는 학습scheduler-free training학습률과 증강을 학습 도중에 바꾸는 일정표를 두지 않는 RF-DETR 의 학습 방식. 학습률은 끝까지 일정하고 워밍업도 없다.11장
스피어만 상관Spearman's rank correlation두 양의 값이 아니라 순위가 얼마나 일치하는지를 −1 과 +1 사이로 재는 상관 계수.11장
워밍업warm-up학습의 맨 처음 얼마 동안 학습률을 0 근처에서 목표값까지 서서히 올리는 장치. RF-DETR 은 쓰지 않는다.11장
윈도별 CLS 토큰 복제per-window class token윈도 어텐션과 DINOv2 의 CLS 토큰이 함께 가도록, CLS 토큰을 윈도 수만큼 복제해 윈도마다 맨 앞에 붙이는 처리.10장
인코더 제안encoder proposals2단계 질의 선택이 고른 칸의 클래스 로짓과 박스. 출력 사전의 `enc_outputs` 이고 디코더 출력과 같은 손실을 받는다.10장
지수 이동 평균(EMA)exponential moving average값이 바뀔 때마다 옛 평균을 $d$ 만큼, 새 값을 $1 - d$ 만큼 섞어 유지하는 평균. RF-DETR 은 학습 중인 가중치의 EMA 를 따로 두고 평가 · 저장에 쓴다.11장
질의 위치 임베딩query positional embedding질의가 맡은 자리와 크기를 알려 주는 벡터. RF-DETR 에서는 기준 박스 네 숫자의 사인 임베딩을 2층 MLP(`ref_point_head`)에 넣어 만든다.10장
층별 학습률 감쇠layer-wise learning rate decay사전 학습한 백본에서 입력 쪽 블록으로 내려갈수록 학습률에 1 보다 작은 수(RF-DETR 은 0.8)를 거듭 곱해, 얕은 층은 조금만 깊은 층은 많이 고치는 방법.11장
코사인 스케줄cosine schedule학습률을 코사인 곡선의 반 주기를 따라 시작 값에서 마지막 값까지 내리는 학습률 스케줄.11장
학습률 스케줄러learning rate scheduler학습 도중에 학습률을 정해진 규칙에 따라 바꾸는 장치. 보통 뒤로 갈수록 낮춘다.11장
lite 기준점 정제lite reference point refinement디코더의 모든 층이 처음 기준 박스를 그대로 함께 쓰는 방식(공개 설정 `lite_refpoint_refine=True`). 층마다 기준 박스를 갱신하는 박스 반복 정제와 대비된다.10장
P4P4 feature level한 칸이 원래 그림의 16픽셀쯤에 해당하는 특징 맵 단계의 이름. RF-DETR 에서는 백본 특징의 해상도를 그대로 쓰는 프로젝터 출력(배율 1.0)을 뜻한다.10장
RF-DETRRF-DETRLW-DETR 의 뼈대에 DINOv2 백본을 끼우고 가중치 공유 NAS 를 얹은 실시간 탐지기(Robinson 외, ICLR 2026).10장

용어 · NAS, 분할, 실전 (12 – 14장)

용어영어뜻설명한 장
가중치 공유weight sharing여러 구성이 가중치 한 벌을 함께 쓰도록 학습해, 학습 뒤에는 재학습 없이 구성을 골라 꺼내는 NAS 방식.12장
격자 탐색grid search손잡이마다 값의 목록을 정하고 그 모든 조합을 하나씩 평가하는 탐색.12장
공간 위치 수number of spatial locations토큰 격자의 한 변의 칸 수, 곧 해상도 ÷ 패치 크기.12장
구조 증강architecture augmentation학습하는 동안 구성을 무작위로 바꾸는 것이 데이터 증강처럼 정규화로 작용한다는 RF-DETR 논문의 해석.12장
깊이별 분리 합성곱depthwise separable convolution“이웃을 보는 일”(채널마다 따로 하는 깊이별 합성곱)과 “채널을 섞는 일”(1×1 점별 합성곱)을 나눠서 하는 합성곱.13장
내보내기export학습한 모델을 다른 실행기가 읽을 수 있는 파일(ONNX, TensorRT 엔진 등)로 바꾸는 일.14장
다이스 계수Dice coefficient두 집합이 겹치는 정도. 교집합의 크기를 두 집합 크기의 평균으로 나눈 값.13장
다이스 손실Dice loss다이스 계수를 확률로 계산해 1 에서 뺀 마스크 손실. 객체의 크기와 거의 무관하게 겹친 비율을 벌한다.13장
마스크mask그림과 같은 크기의 격자에 칸마다 0 또는 1 을 적어, 객체 하나가 차지한 픽셀을 나타낸 것.13장
마스크 APmask AP예측과 정답의 겹침을 박스 IoU 가 아니라 마스크 IoU 로 재서 구한 AP. 인스턴스 분할의 표준 지표.13장
마스크 IoUmask IoU두 마스크의 IoU. 둘 다 1 인 픽셀 수를 하나라도 1 인 픽셀 수로 나눈 값.13장
부분망sub-network, sub-net가중치를 공유하는 큰 신경망에서 구성 하나를 정해 꺼낸 모델.12장
분할 머리segmentation head탐지기의 프로젝터 출력과 디코더 층별 질의 임베딩을 받아 질의마다 마스크 로짓을 내는 가벼운 부품.13장
손잡이tunable knob학습이 끝난 가중치를 그대로 둔 채 값을 바꿔 정확도와 속도를 조절할 수 있는 설정.12장
실효 배치 크기effective batch size가중치를 한 번 갱신할 때 본 그림 수 = batch_size × grad_accum_steps.14장
양자화quantization가중치와 중간 계산값을 더 적은 비트의 수(FP16, INT8)로 바꿔 모델을 작고 빠르게 만드는 일.14장
의사 라벨pseudo-label사람이 아니라 다른 모델이 만들어 준 정답.13장
의사 역행렬pseudo-inverse역행렬이 없는 행렬에 대해, 해가 많으면 가장 짧은 해를, 해가 없으면 가장 덜 틀리는 해를 주는 행렬.12장
전력 제한power throttlingGPU 가 전력 · 발열 한도에 닿아 스스로 속도를 낮추는 현상. 지연 시간 측정을 흔든다.12장
전처리preprocessing그림을 모델에 넣기 전의 손질: 0 – 1 로 바꾸고, 모델 해상도로 리사이즈하고, 채널별로 정규화한다.14장
점 표본 추출point sampling마스크 손실과 매칭 비용을 마스크의 모든 칸이 아니라 뽑은 점 몇 개에서만 계산하는 방법.13장
점진적 축소progressive shrinkingOFA 의 학습 순서: 가장 큰 신경망을 먼저 학습하고, 작은 부분망을 단계적으로 뽑는 범위에 넣으며 미세 조정한다.12장
조기 종료early stopping검증 지표가 정해진 에폭 수 동안 나아지지 않으면 학습을 일찍 멈추는 것.14장
처리량throughput일정 시간 동안 처리하는 그림의 수(초당 장 수). 클수록 좋다.12장
체크포인트checkpoint학습 도중 · 끝의 가중치(와 학습 상태)를 저장한 파일.14장
탐색 공간search spaceNAS 가 고를 수 있는 구성 전체의 집합.12장
파레토 최적 · 파레토 경계Pareto optimal, Pareto frontier다른 어떤 모델에게도 지배당하지 않는 모델이 파레토 최적이고, 그런 점들을 이은 선이 파레토 경계(곡선)다.12장
프로토타입prototype모든 객체가 함께 쓰는 바탕 그림. 객체마다의 계수로 가중합하면 그 객체의 마스크 로짓이 된다.13장
픽셀 임베딩pixel embedding마스크 격자의 칸마다 하나씩 있는 길이 $D$ 의 벡터. 질의 임베딩과 내적하면 그 칸의 마스크 로짓이 된다.13장
해상도 키우기upsampling특징 맵의 칸 수를 늘리는 것. 새 칸의 값은 원래 칸들의 값에서 만들어 낸다.13장
후처리postprocessing모델의 날출력(박스 · 로짓)을 탐지 결과로 바꾸는 손질. RF-DETR 은 시그모이드 뒤 (질의 × 클래스) 쌍 전체에서 상위 K 개를 고른다.14장
COCO 형식COCO format탐지 데이터셋을 images · categories · annotations 세 목록의 JSON 으로 적는 형식. 박스는 픽셀 [x, y, w, h](왼쪽 위 모서리 기준).14장
Detectionssupervision.Detectionsrfdetr 의 predict 가 돌려주는 탐지 결과 그릇. xyxy(원본 픽셀) · confidence · class_id 를 담는다.14장
FlexiViTFlexiViT (Beyer et al., 2023)학습하는 동안 패치 크기를 무작위로 바꿔, 가중치 한 벌로 여러 패치 크기에서 동작하게 만든 ViT.12장
FLOPsfloating-point operations순전파 한 번에 드는 부동소수점 연산의 수. 하드웨어와 무관한 비용의 척도.12장
FP16 (반정밀도)half precision, 16-bit floating point수 하나를 16비트로 적는 부동소수점. FP32 보다 유효 숫자는 적지만 메모리가 절반이고 GPU 에서 빠르다.14장
MaskDINOMask DINODETR 계열 탐지기 DINO 에 마스크 가지를 더한 모델. 질의 임베딩과 픽셀 임베딩 맵의 내적으로 마스크를 낸다.13장
NASNeural Architecture Search신경망의 구조를 사람이 정하지 않고, 후보들의 집합(탐색 공간)에서 탐색으로 찾는 방법.12장
OFAOnce-for-All여러 구조를 지원하는 신경망 하나를 학습해 두고 부분망을 재학습 없이 골라 쓰는 가중치 공유 NAS (Cai 외, 2019).12장
ONNXOpen Neural Network Exchange신경망을 표준 연산들의 그래프로 적는 파일 형식. 여러 실행기 사이의 공용어.14장
ONNX RuntimeONNX Runtime (onnxruntime)ONNX 그래프를 실행하는 엔진. 실행 제공자를 골라 CPU · GPU 등에서 돌린다.14장
opsetONNX operator set versionONNX 의 표준 연산 목록의 판 번호. rfdetr 1.12.1 의 기본은 17.14장
PI-resizepseudo-inverse resize패치를 리사이즈한 것과 새 커널의 내적이 원래 패치 · 원래 커널의 내적과 같아지도록 패치 임베딩 커널을 바꾸는 변환.12장
RF-DETR-SegRF-DETR-SegRF-DETR 탐지기에 가벼운 분할 머리를 얹어 객체마다 클래스 · 박스 · 마스크를 내는 인스턴스 분할 모델.13장
SAM2Segment Anything Model 2가리킨 객체의 마스크를 내는 분할 모델(Ravi 외, 2024). RF-DETR-Seg 의 사전 학습용 의사 라벨을 만드는 데 쓰였다.13장
TensorRTNVIDIA TensorRTNVIDIA 의 추론 최적화 도구. 그래프를 특정 GPU 에 맞는 ‘엔진’ 으로 컴파일한다.14장
YOLACTYOLACT프로토타입 마스크 $k$ 장과 객체마다의 마스크 계수를 선형 결합해 마스크를 만드는 실시간 인스턴스 분할 모델.13장
YOLO 형식YOLO format그림마다 텍스트 파일 하나에 ‘클래스 cx cy w h’(정규화)를 한 줄씩 적는 데이터셋 형식.14장

7. 논문 지도: 무엇을 어떤 순서로 읽을까

논문은 처음부터 끝까지 읽기보다 다음 순서로 읽고, 이해가 안 되는 식은 이 튜토리얼의 해당 장으로 돌아와 보세요.

  1. 초록과 그림 1
  2. 방법 절의 핵심 식
  3. 실험의 주요 표

arXiv 번호는 이 튜토리얼을 쓰면서 원문을 직접 내려받아 확인한 것만 적었습니다. 연도는 arXiv 에 처음 올라온 해입니다.

읽는 순서

순서논문왜 읽나관련 장
0Vaswani 외, “Attention Is All You Need” (2017), 1706.03762어텐션과 Transformer 의 원전05
1Carion 외, “End-to-End Object Detection with Transformers” (DETR, 2020), 2005.12872집합 예측, 헝가리안 매칭, 객체 질의. 읽기 쉽고 뒤의 모든 논문의 출발점07
2Zhu 외, “Deformable DETR” (2020), 2010.04159변형 어텐션, 박스 반복 정제, 2단계 방식08
3Dosovitskiy 외, “An Image is Worth 16x16 Words” (ViT, 2020), 2010.11929그림을 패치 토큰으로 바꿔 Transformer 에 넣기06
4Caron 외, “Emerging Properties in Self-Supervised Vision Transformers” (DINO, 2021), 2104.14294 → Zhou 외, “iBOT” (2021), 2111.07832 → Oquab 외, “DINOv2” (2023), 2304.07193자기 증류 사전 학습과, RF-DETR 의 백본이 된 DINOv206
5Li 외, “Exploring Plain Vision Transformer Backbones for Object Detection” (ViTDet, 2022), 2203.16527평범한 ViT 를 탐지 백본으로: 윈도 어텐션과 몇 개의 전역 블록09
6Chen 외, “Group DETR” (2022), 2207.13085 · Cai 외, “Align-DETR” (2023), 2304.07527 · Lin 외, “DETR Doesn’t Need Multi-Scale or Locality Design” (2023), 2308.01904LW-DETR 이 가져다 쓴 학습 기법 셋: 질의 묶음, IoU 인지 분류 손실, 박스 재매개변수화09
7Zhao 외, “DETRs Beat YOLOs on Real-time Object Detection” (RT-DETR, 2023), 2304.08069실시간 DETR 의 첫 길: CNN 백본과 가벼운 인코더09
8Chen 외, “LW-DETR: A Transformer Replacement to YOLO for Real-Time Detection” (2024), 2406.03459RF-DETR 의 바탕. ViT 인코더 + 프로젝터 + 얕은 디코더09
9Cai 외, “Once-for-All: Train One Network and Specialize it for Efficient Deployment” (OFA, 2019), 1908.09791 · Beyer 외, “FlexiViT: One Model for All Patch Sizes” (2022), 2212.08013가중치 공유 NAS 의 생각과, 패치 크기를 바꿔 쓰는 방법12
10Robinson 외, “RF-DETR: Neural Architecture Search for Real-Time Detection Transformers” (2025, ICLR 2026), 2511.09554이 튜토리얼의 주인공. 본문 3 – 4절과 부록 A(학습 설정) · K(지연 시간 측정) · L(찾은 구조의 경향)01 · 10 – 13
11Bolya 외, “YOLACT” (2019), 1904.02689 · Cheng 외, “Mask2Former” (2021), 2112.01527 · Li 외, “Mask DINO” (2022), 2206.02777프로토타입 마스크, 점 표본 추출, 질의와 픽셀 임베딩의 내적으로 만드는 마스크13
+Rezatofighi 외, “Generalized Intersection over Union” (2019), 1902.09630 · Lin 외, “Focal Loss for Dense Object Detection” (2017), 1708.02002 · Milletari 외, “V-Net” (2016), 1606.04797손실 함수의 원전: GIoU, 포컬 손실, 다이스 손실02 · 04 · 13
+Lin 외, “Microsoft COCO” (2014), 1405.0312 · Robicheaux 외, “Roboflow100-VL” (2025), 2505.20612벤치마크: COCO 와, 데이터셋 100개짜리 RF100-VL01 · 03
+Peng 외, “D-FINE” (2024), 2410.13842 · Liu 외, “Grounding DINO” (2023), 2303.05499RF-DETR 논문이 견줄 상대로 삼은 실시간 탐지기와 열린 어휘 탐지기01
+Girshick 외, “R-CNN” (2013), 1311.2524 · Ren 외, “Faster R-CNN” (2015), 1506.01497 · Redmon 외, “You Only Look Once” (2015), 1506.02640 · Liu 외, “SSD” (2015), 1512.02325 · He 외, “Mask R-CNN” (2017), 1703.06870DETR 이전의 2단계 · 1단계 탐지기. 앵커와 NMS 가 어디서 왔는지 알고 싶을 때01

RF-DETR 의 부품은 어디서 왔나

계보를 부품 쪽에서 다시 보면 RF-DETR 은 여러 논문의 생각을 조립한 것입니다. 본문에서 다룬 것만 적었습니다.

부품출처RF-DETR 에서의 모습장
집합 예측 · 헝가리안 매칭 · 객체 질의 · 보조 손실DETR (2020)그대로. 보조 손실은 디코더 층을 추론 때 떼어 낼 수 있게 하는 근거가 된다07
변형 교차 어텐션 · 2단계 질의 선택Deformable DETR (2020)디코더의 교차 어텐션(특징 레벨 1개, 표본점 2개), 인코더 제안에서 기준 박스 고르기08 · 10
윈도 어텐션 + 전역 블록ViTDet (2022) → LW-DETR (2024)DINOv2 백본에 윈도 블록을 넣고 윈도 우선 배치로 구현09 · 10
질의 묶음Group DETR (2022)학습 때 묶음 13개, 추론 때 첫 묶음만09
섞은 질의 선택탐지기 DINO (Zhang 외, 2022)내용 질의는 학습되는 임베딩, 기준 박스는 그림에서 고른 제안09 · 10
IoU 인지 BCE 손실Align-DETR (2023)분류 손실의 기본값09 · 11
박스 재매개변수화“DETR Doesn’t Need Multi-Scale or Locality Design” (2023)박스를 시그모이드 없이, 기준 박스의 크기를 단위로 예측09 · 10
C2f 프로젝터, 얕은 디코더, 다층 특징 집계LW-DETR (2024)프로젝터의 배치 정규화를 층 정규화로 바꿈09 · 10
사전 학습 백본DINOv2 (2023)LW-DETR 의 CAEv2 백본을 대신함06 · 10
가중치 공유 NASOFA (2019)스텝마다 구성 하나를 균등하게 뽑아 학습, 끝난 뒤 격자 탐색12
패치 크기 바꾸기FlexiViT (2022)패치 임베딩 커널을 PI-resize 로 변환12
분할 머리MaskDINO (2022), 해석은 YOLACT (2019)질의 쪽 벡터와 픽셀 임베딩의 내적. 다중 스케일 백본 특징은 쓰지 않음13
참고 · 번호를 적지 않은 논문

탐지기 DINO(Zhang 외, 2022)와 SAM2(Ravi 외, 2024)는 본문에 이름이 나오지만, 이 튜토리얼을 쓰면서 원문을 직접 확인하지 않았으므로 arXiv 번호를 적지 않았습니다. 이름으로 검색해 찾으세요. 탐지기 DINO 는 6장의 자기 지도 학습 방법 DINO · DINOv2 와 이름만 같은 다른 연구입니다.

8. 공개 구현 · 도구

이 튜토리얼의 작은 구현으로 원리를 익힌 뒤, 실제 과제에는 검증된 공개 구현에서 출발하는 것이 좋습니다.

구현내용
roboflow/rf-detrRF-DETR 공식 구현이자 rfdetr 패키지의 저장소. 14장에서 쓴 것. 라이선스는 모델 크기마다 다르므로 README 를 직접 확인한다
roboflow/supervisionpredict() 가 돌려주는 Detections 와 그리기 도구
Atten4Vis/LW-DETRLW-DETR 공식 구현. RF-DETR 의 코드가 여기서 갈라져 나왔다
fundamentalvision/Deformable-DETRDeformable DETR 공식 구현. 변형 어텐션 모듈의 원본
facebookresearch/detrDETR 공식 구현. 매칭 · 손실 코드가 짧아 읽기 좋다
lyuwenyu/RT-DETRRT-DETR 공식 구현
facebookresearch/dinov2DINOv2 의 코드와 사전 학습 가중치
cocodataset/cocoapiCOCO 의 공식 채점 도구(pycocotools). 3장의 채점기가 따른 정의의 원본
ONNX Runtime내보낸 ONNX 모델을 돌리는 실행기. 14장에서 CPU 제공자로 썼다
팁 · 이 튜토리얼의 코드에서 공식 코드로 건너갈 때

미니 구현의 이름은 공식 구현을 따랐습니다. 대응은 다음과 같습니다(파일 경로는 rfdetr 패키지의 models/ 아래).

9. 자주 묻는 질문

Q. GPU 없이도 끝까지 따라갈 수 있나요?

실습 파일마다 --quick 인자가 있어 CPU 로도 축소판이 돕니다. 코드가 도는 것을 먼저 그렇게 확인하세요. 본문의 수치를 낸 본 실행은 8GB 노트북 GPU 한 장에서 돌린 것이고, 장마다 실제로 걸린 시간을 적어 두었습니다(예: 14장의 Nano 미세 조정 5 에폭이 18.2분, GPU 메모리 최대 1.61 GiB). GPU 가 없다면 본 실행은 무료 클라우드 노트북에서 돌리거나, 에폭 수를 줄여 경향만 보세요.

Q. 도형 세상에서 AP 0.93 이 나왔는데, COCO 48.0 AP 인 RF-DETR Nano 보다 좋은 모델인가요?

아닙니다. AP 는 같은 데이터셋 · 같은 채점 방식 안에서만 견줄 수 있습니다(3장). 도형 세상은 클래스가 3개이고 배경이 깨끗하며 그림마다 객체가 1 – 4개뿐인 쉬운 문제입니다. 실제로 14장에서 진짜 Nano 를 도형 세상에 미세 조정하면 5 에폭 만에 시험 AP 0.983 이 나옵니다.

Q. DETR 계열은 왜 NMS 가 필요 없나요? 질의 300개 가운데 대부분이 헛예측인데 괜찮은가요?

학습 때 일대일 매칭을 하기 때문입니다. 한 객체를 두 질의가 가리키면 하나는 반드시 “객체 없음” 쪽으로 벌을 받고, 질의들은 디코더의 자기 어텐션으로 서로를 보며 조율합니다(7장). 그리고 짝이 없는 질의에 낮은 점수만 붙어 있으면 AP 는 전혀 깎이지 않습니다. 낮은 점수의 헛예측은 순위의 맨 뒤에 서기 때문입니다(3장). 다만 “중복이 0” 은 아닙니다. 7장의 미니 DETR 에서도 마지막 층에 겹치는 쌍이 45개 있었습니다. NMS 를 걸어도 얻을 것이 없을 만큼 드물다는 뜻입니다.

Q. 논문과 README 의 수치가 조금 다릅니다. 어느 쪽이 맞나요?

둘 다 출처가 있는 값입니다. 논문 표 2 는 Nano 48.0 AP · Small 52.9 AP 이고, 이 튜토리얼이 확인한 시점의 README 표는 48.4 · 53.0 입니다. 모델이 갱신되었을 수 있으므로 둘을 섞지 말고 출처를 밝혀 쓰세요(1장). 논문 안에서도 표 5 의 마지막 줄(54.6)과 표 2 의 Medium(54.7)이 0.1 다르고, 논문은 까닭을 밝히지 않습니다.

Q. 논문의 설명과 공개 코드의 동작이 다르면 무엇을 믿어야 하나요?

공개된 가중치로 추론하거나 미세 조정한다면 코드의 동작입니다. 그 가중치가 그 코드로 학습되었기 때문입니다. 본문에서 만난 예는 다음과 같습니다.

Q. 미니 실험에서 효과가 보이지 않은 기법(Group DETR, 윈도 수, 포컬 손실)은 쓸모없는 건가요?

아닙니다. 질의 12개 · 객체 1 – 4개의 도형 세상과 질의 300개 · 객체 수십 개의 COCO 는 다른 상황입니다. LW-DETR 논문은 COCO 에서 Group DETR 로 +3.0 mAP 를 보고했습니다(9장). 미니 실험의 쓸모는 원리를 손으로 확인하는 데 있고, 어떤 기법의 값어치를 판정하는 데 있지 않습니다. 거꾸로, 논문의 효과가 내 데이터에서도 그대로 나오리라고 믿는 것도 위험합니다. 내 데이터에서 절제해 보는 수밖에 없습니다(11장).

Q. 어떤 크기의 모델을 골라야 하나요?

표의 지연 시간은 T4 · TensorRT · FP16 의 값이므로, 쓸 장비에서 쓸 실행기로 직접 재야 합니다(12장, 14장). 순서는 대략 이렇습니다.

  1. 지연 시간 예산을 정한다(예: 초당 30장이면 한 장에 33 ms 안쪽, 전처리 · 후처리까지 넣어서).
  2. 후보 크기 두세 개를 내 장비에서 같은 방법으로 잰다.
  3. 예산에 드는 것 가운데 내 데이터의 검증 AP 가 가장 높은 것을 고른다.
  4. 객체가 작으면 모델 크기보다 해상도를 먼저 올려 본다(해상도는 patch_size × num_windows 의 배수).
Q. 내 데이터가 적은데 미세 조정이 될까요?

14장의 실험에서는 그림 1,000장으로, 사전 학습 가중치에서 시작한 Nano 가 첫 에폭에 검증 AP 0.95 에 이르렀습니다. 같은 조건의 무작위 초기화는 3 에폭에 0.77 이었습니다. 적은 데이터에서의 힘은 사전 학습에서 옵니다. 다만 이것은 쉬운 데이터에서의 한 번의 실험입니다. 내 데이터에서 얼마가 필요한지는 검증 세트를 따로 떼어 두고 직접 재야 합니다.

Q. 가중치 공유 NAS 를 내가 직접 돌려야 하나요?

보통은 아닙니다. 공개된 Nano – Large 등은 논문의 탐색이 COCO 에서 찾아 둔 구성입니다. 그 가운데 하나를 골라 미세 조정하면 됩니다. 추론 때 디코더 층 수나 질의 수를 줄여 보는 것은 재학습 없이 할 수 있습니다(12장). 논문은 그 탐색에 약 10,000 GPU 시간이 들었다고 추정합니다.

10. 다음에 해 볼 것

읽은 것을 자기 것으로 만드는 가장 좋은 방법은 직접 바꿔 보는 것입니다. 본문이 “해 보지 않았다” 고 적어 둔 것들을 중심으로, 난이도 순으로 골랐습니다.

난이도프로젝트배우는 것
★☆☆2장의 박스 맞추기 실험에서 학습률과 계수를 바꿔, 합친 손실이 빨랐던 까닭이 계수임을 직접 확인하기손실의 계수와 학습률의 관계
★☆☆3장의 채점기에 내가 만든 가짜 예측(일부러 점수를 뒤섞은 것, 중복을 넣은 것)을 넣고 AP 를 미리 짐작해 보기AP 가 무엇에 반응하는지에 대한 감각
★☆☆14장을 따라 내 그림 수십 – 수백 장을 COCO 형식으로 만들어 Nano 를 미세 조정하기데이터 준비에서 추론까지의 전체 흐름
★★☆8장의 절제 실험을 시드 세 개로 다시 돌려, 다중 스케일과 인코더의 차이가 정말 우연 범위인지 확인하기절제 실험의 눈금 재기
★★☆11장의 본 실험을 무작위 백본 + 일정한 학습률로 다시 돌리기(본문은 4,000장 · 60 에폭에서 재어 보지 않았다)층별 학습률 감쇠가 무엇을 전제로 한 장치인지
★★☆11장의 포컬 손실 절제를 계수 2 로 다시 하기(본문은 계수 1 로만 했다)손실의 종류와 크기를 갈라 보기
★★☆도형 세상을 어렵게 만들기: 객체를 더 많이, 더 작게, 질의를 더 많이. 그 뒤 Group DETR 절제를 다시 하기기법의 효과가 데이터와 규모에 따라 달라지는 모습
★★☆12장에서 해상도만 바꾸고 패치 · 윈도는 고정한 대조 학습을 더해, NAS 학습의 이득 가운데 다중 해상도 증강의 몫을 가르기대조군을 세우는 법
★★☆12장의 탐색에서 고른 구성을 시험 세트에서 다시 채점해, 검증 세트로 고른 값이 얼마나 낙관적인지 보기모델 선택과 과적합
★★★13장의 분할 모델을 체크포인트 없이 처음부터 학습해, 매칭 비용의 마스크 항이 그때는 차이를 만드는지 보기탐지와 분할을 함께 학습할 때의 상호작용
★★★14장에서 내보낸 ONNX 로 TensorRT FP16 엔진을 만들어, 같은 엔진으로 지연 시간과 AP 를 함께 재기(이 튜토리얼은 엔진을 만들어 보지 않았다)논문의 측정 절차, 같은 산출물로 보고하기
★★★미니 RF-DETR 의 백본을 6장의 미니 DINO 로 사전 학습해, 11장의 마스크 이미지 모델링 사전 학습과 견주기사전 학습 방법에 따른 차이, 실험 설계

확인 문제

문제 1 · 박스 표현 바꾸기

192×192 그림의 COCO 주석에 "bbox": [48, 24, 96, 48] 이 있습니다. 이 튜토리얼의 정규화 중심 표현 $(c_x, c_y, w, h)$ 로 바꾸세요. 이것을 실수로 중심 표현의 픽셀 값으로 읽으면 박스가 어디로 가나요?

답 보기

COCO 의 앞 두 숫자는 왼쪽 위 모서리입니다. $c_x = (48 + 96/2)/192 = 96/192 = 0.5$, $c_y = (24 + 48/2)/192 = 48/192 = 0.25$, $w = 96/192 = 0.5$, $h = 48/192 = 0.25$. 중심으로 잘못 읽으면 중심이 $(48, 24)$ 픽셀이 되어, 박스가 왼쪽 위로 너비 · 높이의 절반(48, 24 픽셀)만큼 밀립니다. 왼쪽 끝이 $48 - 48 = 0$, 위쪽 끝이 $24 - 24 = 0$ 이 되어 그림의 구석에 붙습니다.

문제 2 · 첫 손실로 진단하기

그림 한 장에 분류 칸이 144개, 그 가운데 양성이 2개입니다. 손실은 BCE 의 합을 양성 수로 나눈 값입니다. 분류 머리의 편향이 0 일 때(모든 칸의 확률 0.5)와 사전 확률 $\pi = 0.01$ 에 맞춰 초기화했을 때의 첫 손실을 각각 계산하세요. 학습 로그의 첫 손실이 50 근처라면 무엇을 의심해야 하나요?

답 보기
  1. 편향이 0 일 때: 모든 칸의 손실이 $-\log 0.5 = 0.6931$ 이므로 $144 \times 0.6931 / 2 = 49.9$.
  2. 사전 확률에 맞췄을 때: 양성 칸은 $-\log 0.01 = 4.6052$, 음성 칸은 $-\log 0.99 = 0.01005$ 이므로 $(2 \times 4.6052 + 142 \times 0.01005)/2 = (9.2104 + 1.4271)/2 = 5.32$.

첫 손실이 50 근처라면 사전 확률 편향 초기화가 빠진 것입니다. 처음 수십 스텝을 “거의 모든 칸이 음성” 이라는 사실을 배우는 데 쓰게 됩니다.

문제 3 · EMA 의 감쇠

EMA 의 감쇠가 $d = 0.993$, 워밍업 상수가 $\tau = 100$ 입니다. 100번째 스텝의 실효 감쇠 $d_n = d\,(1 - e^{-n/\tau})$ 를 계산하세요. 워밍업이 끝난 뒤 EMA 는 최근 약 몇 스텝의 평균인가요?

답 보기

$1 - e^{-1} = 1 - 0.3679 = 0.6321$ 이므로 $d_{100} = 0.993 \times 0.6321 = 0.628$. 새 가중치를 37% 쯤 받아들이므로 아직 빠르게 따라갑니다. 워밍업이 끝나면 최근 약 $1/(1 - d) = 1/0.007 \approx 143$ 스텝의 평균입니다.

문제 4 · 로그 숫자 읽기

rfdetr 로 미세 조정하는데 cardinality_error 가 학습 내내 36 근처에 머뭅니다. 데이터의 그림당 객체 수는 평균 3.0개입니다. 고장인가요?

답 보기

고장이 아닙니다. 학습 때는 질의 묶음 13개가 함께 돌고, 묶음마다 객체 하나에 예측 하나씩을 냅니다. 점수가 0.5 를 넘는 질의가 약 13 × 3.0 = 39개이고 정답은 3.0개이므로 차이는 12 × 3.0 = 36 입니다. Group DETR 이 실제로 돌고 있다는 표시입니다(14장에서는 그림당 2.44개여서 29.3 이었습니다). 추론 때는 첫 묶음만 쓰므로 이 값과 무관합니다.

문제 5 · 증상 진단

내 데이터로 학습한 탐지기의 검증 결과가 AP50 0.97, AP75 0.35, AP 0.48 입니다. 그림에 예측을 그려 보면 객체는 거의 다 찾았습니다. 무엇이 문제이고, 무엇부터 확인할까요?

답 보기

객체는 찾았지만 박스가 헐거운 것입니다. 3장의 실험에서 평균 IoU 가 0.72 쯤인 박스들이 이런 모양의 숫자(AP50 0.971, AP75 0.170, AP 0.377)를 냈습니다. 확인할 순서는 다음과 같습니다.

  1. 정답 박스 자체가 헐겁게 붙어 있지 않은지(주석의 품질)
  2. 박스 표현 · 좌표 변환에 반 픽셀 · 반 칸의 어긋남이 없는지
  3. 박스 손실(L1 · GIoU)이 아직 내려가는 중인지
  4. 점수의 순서가 박스의 품질을 따르는지(3장의 실험에서 같은 박스라도 점수 순서에 따라 AP75 가 0.153 에서 0.393 까지 달라졌습니다)
문제 6 · 지연 시간 비교

동료가 “모델 A 는 논문 표에서 4.4 ms, 모델 B 는 내 노트북에서 재 보니 15 ms 였으니 A 가 세 배 넘게 빠르다” 고 합니다. 이 비교에서 빠진 것을 네 가지 적어 보세요.

답 보기

지연 시간은 같은 조건에서 잰 것끼리만 견줄 수 있습니다. 빠진 것은 다음 네 가지입니다.

  1. 하드웨어: 논문은 T4, 동료는 노트북
  2. 실행기: TensorRT 엔진과 일반 PyTorch 모듈
  3. 정밀도: FP16 과 FP32
  4. 잰 범위: 순전파만인지, 전처리 · 후처리까지인지

그 밖에 예열을 버렸는지, GPU 연산이 끝나기를 기다렸는지, 여러 번 재서 중앙값을 썼는지, 기계가 다른 일을 하고 있지 않았는지도 확인해야 합니다. 두 모델을 같은 기계에서 같은 방법으로 번갈아 재야 비교가 됩니다.

튜토리얼을 마치며

1장에서 객체 탐지를 “그림 속 객체마다 어디에 있는지(박스)와 무엇인지(클래스)를 함께 답하는 문제” 라고 정의했습니다. 그 한 문장에서 출발해 박스와 IoU, AP, 어텐션, ViT 와 DINOv2 를 쌓고, DETR 의 집합 예측에서 Deformable DETR 과 LW-DETR 을 거쳐 RF-DETR 의 구조 · 학습 · NAS · 분할까지 직접 만들고, 마지막에는 진짜 RF-DETR 을 내 데이터에 맞춰 내보냈습니다. 그 길에서 되풀이해 확인한 것은 세 가지입니다. 무엇을 예측하고 무엇과 짝지을 것인가, 어디를 볼 것인가, 그리고 그것을 얼마나 빨리 할 것인가. 탐지기들은 이 세 물음에 대한 서로 다른 답이었습니다. 이제 여러분은 그 답들을 식으로 읽고, 코드로 확인하고, 숫자를 의심하며 직접 재 볼 수 있습니다.