부록: 디버깅 · 용어집 · 다음 걸음
튜토리얼을 다 읽었더라도, 직접 탐지기를 만들거나 내 데이터로 RF-DETR 을 미세 조정하다 보면 박스가 엉뚱한 곳에 그려지고, 손실은 줄어드는데 AP 는 오르지 않고, 논문의 2.3 ms 가 내 컴퓨터에서는 수십 ms 로 나오는 일을 만나게 됩니다. 이 장은 그럴 때 펼쳐 보는 참고서 입니다. 처음부터 읽기보다 필요한 절을 찾아 쓰세요. 모든 항목에는 자세한 설명이 있는 장의 링크를 달았습니다.
- 처음 30분 점검 순서와, 증상 → 원인 → 확인법 → 고칠 곳 디버깅 표
- 공식 구현의 기본 설정값과 이 튜토리얼의 미니 모델 설정
- 장별 핵심 수식 모음(본문과 같은 표기)
- 장별 미니 실험의 핵심 수치와, 기대와 달랐던 결과 목록
- 용어집(용어 260개, 주제별 표)
- 논문을 읽는 순서, 공개 구현 · 도구, 자주 묻는 질문, 다음에 해 볼 프로젝트
1. 디버깅: 처음 30분 점검 순서
탐지기는 부품(백본 · 프로젝터 · 질의 선택 · 디코더 · 머리 · 매칭 · 손실 · 채점)이 많고, 그 가운데 하나만 어긋나도 “AP 가 낮다” 는 똑같은 증상으로 나타납니다. 무언가 이상하면 하이퍼파라미터를 이리저리 바꾸기 전에 다음 순서로 점검하세요. 탐지기에서는 앞의 네 단계(데이터 · 박스 표현 · 모양 · 채점기)에서 잡히는 문제가 많습니다.
- 정답을 그림 위에 그려 본다. 학습 그림 몇 장에 정답 박스와 클래스 이름을 겹쳐 그립니다(
rf_shapes.py의draw_boxes). 박스가 객체를 감싸지 않으면 모델이 아니라 데이터 쪽 문제입니다. 가장 흔한 원인은 박스 표현의 혼동입니다(2장, 14장). - 박스의 표현과 단위를 확인한다. 지금 다루는 숫자 네 개가 중심 표현
(cx, cy, w, h)인지 모서리 표현(x0, y0, x1, y1)인지, 픽셀인지 0 – 1 의 정규화 좌표인지를 함수마다 적어 두고assert로 확인합니다. - 텐서 모양을 확인한다. 분류 출력
(B, N, K), 박스 출력(B, N, 4), 모든 쌍의 IoU(N, M)처럼 기대하는 모양을 주석으로 적고 확인합니다. 브로드캐스팅은 틀려도 오류를 내지 않는 경우가 있습니다. - 채점기부터 믿을 수 있게 만든다. 정답을 그대로 예측으로 넣으면 AP 가 1 이 나와야 합니다(3장의 실험 1 에서 잡음 0 일 때 AP 1.000). 채점기가 틀리면 그 뒤의 모든 숫자가 뜻을 잃습니다.
- 첫 손실을 손계산과 견준다. 학습을 시작하기 전의 손실은 계산으로 미리 알 수 있습니다. 분류 머리의 편향을 사전 확률에 맞춰 초기화했는지에 따라 첫 손실이 스무 배쯤 달라집니다(4장).
- 그림 한 장의 매칭을 손으로 따라가 본다. 비용 행렬을 출력해 한 칸을 직접 계산해 보고, 헝가리안 매칭의 배정이 눈으로 본 짝과 맞는지 확인합니다(7장, 11장).
- 그림 몇 장에 과적합시켜 본다. 그림 여덟 장쯤만 되풀이해 학습시키면 손실이 크게 내려가고 그 그림들의 예측이 정답과 겹쳐야 합니다. 안 그러면 모델 · 손실 코드에 버그가 있는 것입니다.
- 손실을 항별 · 자리별로 따로 기록한다. 분류 · L1 · GIoU 를, 마지막 디코더 층 · 보조 손실 · 인코더 제안으로 나눠 봅니다. 합친 값만 보면 어느 항이 문제인지 모릅니다.
- 재는 자의 눈금을 먼저 잰다. 같은 설정을 다시 돌리기만 해도 AP 가 조금 달라집니다. 11장의 미니 실험에서는 그 폭이 0.005 쯤이었습니다. 그보다 작은 차이는 읽지 않고, 시드 세 개에서 방향이 같은지를 봅니다.
- 그다음에야 하이퍼파라미터를 바꾼다. 한 번에 하나씩, 학습률부터.
아래 조각은 위 점검의 앞부분을 코드로 옮긴 것입니다. 데이터 로더와 손실 계산 사이에 넣어 두면 문제를 일찍 잡을 수 있습니다.
import torch
def check_target_boxes(name, boxes):
"""정답 박스가 정규화한 중심 표현 (cx, cy, w, h) 인지 확인한다. boxes: (T, 4)"""
assert boxes.ndim == 2 and boxes.shape[-1] == 4, f"{name}: 모양 {tuple(boxes.shape)}"
assert torch.isfinite(boxes).all(), f"{name} 에 NaN 또는 inf 가 있습니다"
assert (boxes[:, 2:] > 0).all(), f"{name}: 너비 · 높이가 0 이하입니다 (모서리 표현이 아닌가요?)"
assert boxes.max() <= 1.0, f"{name}: 1 을 넘습니다 (픽셀 좌표가 아닌가요?)"
x0y0 = boxes[:, :2] - boxes[:, 2:] / 2 # 왼쪽 위 모서리
x1y1 = boxes[:, :2] + boxes[:, 2:] / 2 # 오른쪽 아래 모서리
assert (x0y0 >= -1e-6).all() and (x1y1 <= 1 + 1e-6).all(), f"{name}: 그림 밖으로 나갑니다"
def check(name, x, shape=None):
"""모양과 유한성(NaN · inf 없음)을 확인한다."""
if shape is not None:
assert tuple(x.shape) == tuple(shape), f"{name}: {tuple(x.shape)} != {shape}"
assert torch.isfinite(x).all(), f"{name} 에 NaN 또는 inf 가 있습니다"
def grad_norm(model):
"""모든 매개변수 기울기를 한 벡터로 이었을 때의 길이."""
total = 0.0
for p in model.parameters():
if p.grad is not None:
total += p.grad.detach().pow(2).sum().item()
return total ** 0.5
# 학습 고리 안에서
# for t in targets: check_target_boxes("target", t["boxes"])
# check("pred_logits", out["pred_logits"], (B, N, K))
# check("pred_boxes", out["pred_boxes"], (B, N, 4))
# loss.backward()
# print("grad norm", grad_norm(model)) # RF-DETR 설정에서는 이 값이 늘 0.1 보다 커서 매 스텝 잘립니다 (11장)
박스 숫자 네 개만 봐서는 그것이 모서리 표현인지 중심 표현인지, 픽셀인지 정규화인지 알 수 없습니다. (0.2, 0.3, 0.4, 0.5) 는 어느 쪽으로도 읽힙니다.
이 튜토리얼의 약속은 다음과 같습니다.
- 모델의 출력과 정답: 정규화한 중심 표현
(cx, cy, w, h) - IoU · GIoU 함수(
ch02_boxes.py)의 입력: 모서리 표현(x0, y0, x1, y1) - COCO 주석 파일의
bbox: 픽셀 단위의[x, y, w, h], 여기서x, y는 중심이 아니라 왼쪽 위 모서리 rfdetr의predict()가 돌려주는Detections.xyxy: 원본 그림 픽셀의 모서리 표현
표현을 바꾸는 자리는 함수 하나로 모으고, 함수 이름에 cxcywh · xyxy 를 적어 두세요(2장).
2. 증상 → 원인 → 확인법 → 고칠 곳
자주 만나는 증상을 부품별로 모았습니다. 각 장의 주의 상자와, 이 튜토리얼의 실습을 만들며 실제로 겪은 함정에서 가져온 것입니다. 수치는 모두 그 장의 미니 실험에서 잰 값입니다. 맨 오른쪽 칸의 장에서 자세한 설명과 유도를 볼 수 있습니다.
박스 · 좌표
| 증상 | 흔한 원인 | 확인법 | 고칠 곳 | 장 |
|---|---|---|---|---|
| 예측과 정답이 눈으로는 겹치는데 IoU 가 거의 0 이다 | 중심 표현(cxcywh)과 모서리 표현(xyxy)을 섞었다. 모델은 중심 표현을 내는데 IoU 함수는 모서리 표현을 받는다 | 박스 하나를 손으로 바꿔 본다. 모서리 표현이면 x1 > x0, y1 > y0 가 모두 참이어야 한다 | IoU · GIoU 앞에서 box_cxcywh_to_xyxy. 함수의 독스트링에 받는 표현을 적는다 | 02 |
| 박스 손실이 수십 – 수백으로 시작한다. 그린 박스가 그림 밖에 있다 | 픽셀 좌표와 정규화 좌표를 섞었다 | 정답 · 예측 박스의 최솟값과 최댓값을 출력한다. 0 – 1 안이어야 한다 | 픽셀 값을 그림의 너비 · 높이로 나눈다 | 02 |
| COCO 형식으로 읽은 정답 박스가 오른쪽 아래로 반쯤 밀려 있다 | COCO 의 bbox 는 왼쪽 위 모서리 기준의 픽셀 [x, y, w, h] 인데 중심으로 읽었다 | 정답을 그림 위에 그려 본다 | $c_x = (x^{\text{px}} + w^{\text{px}}/2)/W$ 로 바꾼다 | 14 |
| 대각선으로 떨어진 두 박스의 교집합 넓이가 양수로 나온다 | 겹친 길이를 0 으로 자르기 전에 곱했다. 가로 −2, 세로 −3 을 곱하면 +6 이 된다 | 대각선으로 떨어진 박스 한 쌍을 시험 입력으로 넣는다 | clamp(min=0) 을 곱하기 앞에 둔다 | 02 |
| 모든 쌍의 IoU 를 구했는데 결과 모양이 (N, N) 이 아니라 (N,) 이다 | 브로드캐스팅용 None 을 빠뜨렸다. 박스 수가 우연히 같으면 오류 없이 짝끼리 계산이 된다 | 결과의 모양을 출력한다. 박스 수가 다른 두 묶음으로 시험한다 | 모든 쌍(매칭용)과 짝끼리(손실용) 함수를 따로 두고 이름으로 구별한다 | 02 |
| 정답과 겹치지 않는 예측 박스가 학습해도 움직이지 않는다 | IoU 손실만 썼다. 겹치지 않으면 IoU 가 0 으로 평평해 기울기가 0 이다(2,000 스텝 뒤에도 IoU 0.0000) | 예측과 정답의 IoU 가 0 인 쌍의 비율을 본다 | GIoU 손실과 L1 손실을 함께 쓴다 | 02 |
| GIoU 가 음수라서 “겹치지 않는다” 고 판단했는데 실제로는 겹쳐 있다 | 겹쳐 있어도 빈 곳의 비율이 크면 GIoU 는 음수다(IoU 0.1667 인 두 박스의 GIoU 가 −0.0333) | 겹침 여부는 IoU 가 0 인지로 본다 | 판정에는 IoU, 손실에는 GIoU | 02 |
| 작은 객체만 유독 채점에서 떨어진다 | 같은 픽셀 오차라도 작은 박스의 IoU 가 더 크게 떨어진다. L1 손실은 박스 크기를 모른다 | 크기별 AP(APS · APM · APL)를 따로 본다 | L1 에 GIoU 손실(크기 불변)을 더한다. 입력 해상도를 올린다 | 02 · 03 |
| 박스 예측이 0 – 1 을 크게 벗어나거나 한쪽 끝에 몰린다 | 박스 재매개변수화(시그모이드 없이 기준 박스에서 옮기고 키움)와 8장 방식(로짓 공간에서 더한 뒤 시그모이드)을 섞었다 | 박스 머리 출력을 0 으로 두면 예측이 기준 박스 그대로인지 확인한다 | 한 가지 방식만 쓴다. RF-DETR 은 재매개변수화를 쓰고 박스에 시그모이드를 걸지 않는다 | 09 · 10 |
채점 · 문턱값
| 증상 | 흔한 원인 | 확인법 | 고칠 곳 | 장 |
|---|---|---|---|---|
| 정답을 그대로 예측으로 넣어도 AP 가 1 이 아니다 | 채점기의 버그(짝짓기 순서, 클래스 번호, 박스 표현) | 완벽한 예측, 박스를 조금 흔든 예측으로 시험한다 | 채점 코드를 손계산 예와 한 단계씩 맞춘다 | 03 |
| AP50 은 높은데 AP 가 낮다 | 객체는 찾았지만 박스가 헐겁다. 평균 IoU 0.715 인 박스들의 AP50 은 0.971 인데 AP75 는 0.170, AP 는 0.377 이었다 | IoU 문턱값 열 개 각각의 AP 를 본다 | 박스 쪽(박스 손실, 박스 정제, 디코더 층 수, 학습 길이)을 본다 | 03 |
| 박스는 좋아 보이는데 AP 가 낮다 | 점수의 순서가 박스의 품질과 맞지 않는다. 같은 박스에 점수만 달리 매겨도 AP 가 0.369 – 0.480 으로 달라졌다 | 찾은 객체마다 (점수, IoU) 를 모아 순위 상관을 본다 | 분류 목표에 IoU 를 섞는 IA-BCE | 03 · 09 · 11 |
| 예측 수가 정답 수보다 훨씬 많고 AP50 이 낮다 | 점수가 비슷한 중복 예측. 객체마다 중복 셋씩이면 AP50 이 1.000 에서 0.763 으로 떨어졌다 | 점수 0.5 이상인 예측의 수와, 그 가운데 서로 IoU 0.5 넘게 겹치는 쌍의 수를 센다 | 일대일 매칭으로 학습했는지, 디코더의 자기 어텐션이 있는지 본다 | 03 · 07 |
| 점수가 낮은 예측을 수백 개 내보내는데 괜찮은지 모르겠다 | 괜찮다. 점수가 낮은 헛예측은 그림마다 96개를 넣어도 AP 가 그대로였다. 높은 점수의 헛예측만 치명적이다(0.700 → 0.192) | 헛예측의 점수 분포를 본다 | 고칠 것 없음. AP 는 점수의 순서만 본다 | 03 |
| 문턱값을 바꿨는데 AP 는 그대로이고 정밀도 · 재현율만 바뀐다 | 문턱값이 두 가지다. IoU 문턱값은 채점하는 쪽이, 점수 문턱값은 탐지기를 쓰는 쪽이 정한다 | 어느 문턱값을 바꿨는지 확인한다 | AP 를 바꾸려면 모델을, 정밀도 · 재현율의 균형을 바꾸려면 점수 문턱값을 고친다 | 03 |
| 포컬 손실로 학습한 모델이 문턱값 0.5 에서 객체를 많이 놓친다 | 포컬 손실로 학습한 확률은 낮게 나온다(양성 칸의 확률 중앙값이 BCE 0.996, 포컬 0.709) | 문턱값을 0.3 으로 내려 재현율을 다시 본다. 문턱값과 무관한 AP 로 견준다 | 문턱값을 모델마다 따로 고른다 | 04 · 08 |
| DETR 계열 출력에 NMS 를 걸었더니 AP 가 조금 내려갔다 | 지울 중복이 거의 없다. NMS 는 점수가 높은 쪽을 남기는데, 그쪽이 박스가 더 정확한 쪽이라는 보장이 없다 | NMS 전후의 AP 와 AP50 을 함께 본다(7장: AP −0.0016, AP50 +0.0021) | 마지막 층의 출력에는 NMS 를 걸지 않는다 | 07 · 11 |
| 도형 세상에서 AP 0.93 이 나왔으니 COCO 48.0 AP 인 모델보다 낫다고 생각했다 | AP 는 같은 데이터셋 · 같은 채점 방식 안에서만 견줄 수 있다 | — | 같은 데이터에서 다시 잰다 | 03 |
rfdetr 가 알려 주는 mAP 와 내 채점기의 값이 크게 다르다 | 정의는 같다(같은 예측에서 0.9828 대 0.9830). 크게 다르면 클래스 번호나 좌표 변환이 어긋난 것이다 | 예측 몇 개를 그림 위에 그려 클래스와 박스를 본다 | 클래스 번호 다시 매기기, 픽셀 ↔ 정규화 변환 | 14 |
매칭 · 손실
| 증상 | 흔한 원인 | 확인법 | 고칠 곳 | 장 |
|---|---|---|---|---|
| 첫 스텝의 분류 손실이 100 을 넘는다 | 분류 머리의 편향이 0 이라 모든 칸의 확률이 0.5 에서 출발한다. 칸 432개 · 양성 2.5개면 $432 \times 0.6931 / 2.5 = 119.8$ | 첫 손실을 손계산과 견준다(4장 실험: 121.03 대 6.36) | 사전 확률 편향 초기화 $b = -\log\frac{1 - \pi}{\pi}$ ($\pi = 0.01$) | 04 |
| 매칭이 이상하다. 클래스가 맞는 예측을 두고 엉뚱한 예측이 짝이 된다 | 비용의 세 항의 크기가 맞지 않는다. 클래스 항에 확률 대신 로그 확률을 썼거나 계수가 틀렸다 | 비용 행렬의 한 칸을 손으로 계산해 코드의 값과 맞춘다 | DETR: $-\hat{p}_i(c_j) + 5 \cdot \text{L1} - 2 \cdot \GIoU$. RF-DETR: 2 · 포컬 꼴 + 5 · L1 + 2 · (−GIoU) | 07 · 11 |
| 가장 가까운 정답부터 차례로 짝지었더니 총비용이 더 크다 | 탐욕 배정은 최적이 아니다(7장의 예: −1.0011 대 최적 −1.9587) | 작은 예에서 모든 배정을 다 해 본 값과 견준다 | scipy.optimize.linear_sum_assignment | 07 |
| 매칭 코드에서 기울기 관련 오류가 나거나 메모리가 커진다 | 매칭은 번호만 정한다. 기울기가 필요 없다 | — | 매칭을 torch.no_grad() 안에서 한다 | 07 |
| 로그의 “손실” 이 분류 · L1 · GIoU 의 가중합보다 몇 배 크다 | 전체 손실은 모든 자리(디코더 각 층 + 인코더 제안)의 합이고, 로그의 항별 값은 마지막 층만의 것이다 | $1 \cdot \sum$ 분류 $+\ 5 \cdot \sum$ L1 $+\ 2 \cdot \sum$ GIoU 를 모든 자리에 대해 더해 기록된 값과 맞춘다 | 고칠 것 없음. 자리별 값을 따로 기록한다 | 07 · 11 · 14 |
| DETR 의 분류 손실 값이 논문의 식으로 계산한 값과 조금 다르다 | F.cross_entropy(..., weight=...) 는 가중치를 곱한 합을 가중치의 합으로 나눈다(손계산 예에서 0.4518 대 0.4669) | 분모를 직접 계산해 본다 | 고칠 것 없음. “∅ 항을 10분의 1 로” 라는 뜻은 같다 | 07 |
| 손실의 크기가 배치마다 크게 출렁인다 | 그림 수로 나눴다. 박스 · 분류 손실은 배치의 정답 수(묶음이 있으면 정답 수 × 묶음 수)로 나눈다 | 객체가 많은 배치와 적은 배치의 손실을 견준다 | 정답 수로 나누고, 정답이 없는 배치를 위해 최소 1 로 둔다 | 07 · 11 |
| IA-BCE 분류 손실이 0.1 근처에서 더 내려가지 않는다 | 목표가 1 보다 작은 부드러운 목표면 BCE 의 바닥이 0 보다 크다(목표 0.975 면 0.117) | 짝이 된 예측의 평균 IoU 로 바닥을 계산해 본다 | 고칠 것 없음 | 04 · 11 |
| 박스 반복 정제를 넣었더니 학습이 불안정하다 | 다음 층으로 넘기는 기준 박스의 기울기를 끊지 않았다 | 기준 박스에 .detach() 가 있는지 본다 | 층 사이에서 기울기 차단 | 08 |
| 2단계 질의 선택이 고른 칸이 객체와 무관하다 | 인코더 제안에 손실을 걸지 않았다. 그 손실이 질의 선택을 가르치는 유일한 신호다 | 제안만으로 채점해 본다(11장 미니 모델: AP 0.8928) | 인코더 제안에도 같은 매칭 · 손실을 건다 | 10 · 11 |
rfdetr 학습 로그의 cardinality_error 가 줄지 않고 29 근처에 머문다 | 정상이다. 학습 때는 질의 묶음 13개가 저마다 객체 하나에 예측 하나씩을 낸다. 그림당 객체가 평균 2.44개면 $12 \times 2.44 = 29.3$ | 그림당 평균 객체 수 × 12 와 견준다 | 고칠 것 없음 | 14 |
| 한 객체를 여러 질의가 높은 점수로 가리킨다 | 첫 디코더 층의 출력을 쓰고 있거나(7장: 겹치는 쌍이 첫 층 153개, 마지막 층 45개), 추론 때 질의 묶음을 여러 개 쓰고 있다 | 층별로 겹치는 쌍의 수를 센다 | 추론에는 첫 묶음만, 가능한 한 뒤 층의 출력을 쓴다 | 07 · 09 |
학습 동역학
| 증상 | 흔한 원인 | 확인법 | 고칠 곳 | 장 |
|---|---|---|---|---|
| 검증 AP 가 에폭마다 오르내린다 | 학습 중인 가중치를 그대로 채점했다 | EMA 가중치와 일반 가중치를 함께 채점한다(11장: 스무 번 가운데 열아홉 번 EMA 가 높았고 평균 +0.0091) | 평가 · 저장에 EMA 가중치를 쓴다 | 11 |
| EMA 모델이 학습 초반에 일반 모델보다 훨씬 나쁘다 | 감쇠를 처음부터 0.993 으로 고정했다. 쓸모없는 초기 가중치에 오래 붙들린다 | 스텝별 실효 감쇠를 출력한다 | 감쇠 워밍업 $d_n = d\,(1 - e^{-n/\tau})$ | 11 |
| 기울기 누적으로 실효 배치를 키웠는데 큰 배치로 학습한 것과 결과가 다르다 | 모델에 배치 정규화가 있다. 그림 한 장의 손실이 같은 배치의 다른 그림에 따라 달라진다 | 모델 안의 정규화 층 종류를 확인한다 | 층 정규화를 쓴다(RF-DETR 이 프로젝터에서 바꾼 것) | 10 · 11 |
| 학습 중 검증은 괜찮은데 따로 순전파하면 결과가 엉망이다 | model.eval() 을 부르지 않았다. 배치 정규화는 학습 모드와 추론 모드의 동작이 다르다 | 같은 입력을 두 모드로 넣어 출력을 견준다 | 추론 전에 .eval(). rfdetr 에서 nn.Module 을 직접 꺼내 쓸 때도 마찬가지 | 04 · 14 |
| 손실이 갑자기 NaN 이 된다 | 어텐션 마스크가 어떤 질의의 열쇠를 전부 막았다(소프트맥스가 0/0). 또는 시그모이드를 거친 뒤 로그를 취했다 | 마스크의 행마다 열린 자리가 하나 이상인지 본다. torch.isfinite 로 처음 NaN 이 생기는 텐서를 찾는다 | 마스크를 고친다. BCE 는 로짓에서 바로 계산한다 | 05 · 04 |
| SGD 로 학습했더니 시드마다 결과가 크게 갈린다 | 큰 초기 손실이 그대로 큰 갱신이 된다(12 에폭 뒤 AP 가 0.661 ± 0.270 대 0.891 ± 0.030) | 첫 손실과 첫 수십 스텝의 손실 곡선을 본다 | 사전 확률 편향 초기화. Adam 계열 옵티마이저 | 04 |
| 사전 학습 없는 백본에 공식 학습률 설정을 썼더니 느리게 배운다 | 낮은 백본 학습률과 층별 학습률 감쇠는 사전 학습한 백본을 지키려는 장치다. 무작위 백본에는 맞지 않는다 | 일정한 학습률로 다시 학습해 견준다(11장, 학습 200장: 0.7170 대 0.6752) | 무작위 초기화에서 출발한다면 층별 감쇠를 끄거나 백본 학습률을 올려 본다 | 11 |
| 에폭 수만 바꿨는데 같은 에폭에서의 결과가 달라졌다 | 코사인 스케줄의 학습률은 전체 길이에 대한 비율로 정해진다. 길이를 바꾸면 모든 스텝의 학습률이 바뀐다 | 스텝별 학습률을 기록한다 | 학습 길이를 모를 때는 일정한 학습률(스케줄러 없는 학습) | 11 |
| 기울기 노름이 매 스텝 자르기 한계(0.1)를 넘는다 | 정상이다. 이 설정에서는 매 스텝 잘리고, Adam 에 들어가는 기울기의 크기가 스텝마다 같아진다 | 자르기 전의 노름을 기록한다 | 고칠 것 없음 | 11 |
| 두 설정의 AP 가 0.003 차이 나서 한쪽이 낫다고 결론 내렸다 | 같은 설정을 다시 돌려도 그만큼은 움직인다(GPU 연산의 비결정성, 시드) | 같은 설정을 두 번, 시드를 바꿔 세 번 돌려 폭을 잰다 | 눈금보다 작은 차이는 읽지 않는다 | 08 · 11 |
| 학습 손실이 다시 올랐는데 검증 AP 는 계속 오른다 | 학습 손실은 배치마다 해상도가 바뀌고 증강이 걸린 값이라 에폭 평균이 조금 오르내린다 | 검증 AP 곡선을 본다 | 모델을 고르는 기준은 학습 손실이 아니라 검증 AP | 14 |
같은 모델로 train() 을 다시 불렀더니 처음부터 다시 배운다 | 이어서 학습하는 것이 아니라 처음의 사전 학습 가중치에서 다시 시작한다 | 경고 메시지를 읽는다 | resume= 에 last.ckpt 경로를 준다 | 14 |
| 자기 지도 사전 학습의 손실은 낮은데 특징이 쓸모없다 | 붕괴. 어떤 그림에도 같은 답을 낸다 | 교사 출력의 엔트로피가 0 이거나 균등 분포의 값에 붙어 있는지 본다. 얼린 특징에 선형 분류기를 얹어 무작위 초기화 백본과 견준다 | centering 과 sharpening 을 함께 쓴다 | 06 |
어텐션 · 백본 · 해상도
| 증상 | 흔한 원인 | 확인법 | 고칠 곳 | 장 |
|---|---|---|---|---|
| 다른 해상도의 그림을 넣으면 “The size of tensor a (65) must match the size of tensor b (145)” 오류가 난다 | 위치 임베딩은 자리 수가 정해진 표라 해상도에 묶여 있다 | 토큰 수와 위치 임베딩의 자리 수를 견준다 | 위치 임베딩을 2차원 격자로 되돌려 보간한다 | 06 |
rfdetr 가 해상도를 거절한다(ValueError) | 한 변이 patch_size × num_windows 의 배수가 아니다(Nano 는 32 의 배수) | 해상도를 그 수로 나눠 본다 | 가장 가까운 배수로 바꾼다. 학습 · 추론 · 내보내기 모두 같은 제약이다 | 10 · 14 |
| 한 해상도로만 학습한 모델에 다른 해상도를 넣으니 AP 가 무너진다 | 고정 구성으로 학습한 가중치는 그 구성에만 맞는다(12장: 해상도 96 에서 0.9345 인 모델이 64 에서 0.1329, 128 에서 0.3063) | 학습한 구성에서의 AP 와 견준다 | 여러 구성을 돌려 가며 학습한다(가중치 공유 NAS, 다중 해상도 학습). 또는 쓸 구성으로 미세 조정한다 | 12 |
| 패치 크기를 바꾸려고 패치 임베딩 커널을 쌍선형 보간했더니 AP 가 떨어진다 | 보간만 하면 토큰의 크기가 달라진다(12장: 배율이 커질수록 0.8585 → 0.7579 → 0.6315) | 같은 그림에서 원래 토큰과 새 토큰의 값을 견준다 | PI-resize 로 내적을 지키며 커널을 바꾼다(0.9348 – 0.9352 로 그대로) | 12 |
| 모델이 객체의 종류는 맞히는데 위치를 전혀 맞히지 못한다 | 위치 인코딩 · 위치 임베딩을 더하지 않았다. 어텐션은 순서를 모른다(5장 실험: 오차가 평균만 답하는 기준선 17.06 픽셀과 같았다) | 위치 인코딩을 0 으로 지웠을 때와 결과가 같은지 본다 | 토큰에 위치 인코딩을 더한다 | 05 · 06 |
| 모든 블록을 윈도 어텐션으로 바꿨더니 한 윈도의 정보가 다른 윈도에 전혀 닿지 않는다 | 모든 블록이 윈도 블록이면 윈도 사이로 정보가 전혀 흐르지 않는다 | 칸 하나의 입력을 바꿨을 때 다른 윈도의 출력이 변하는지 본다 | 전역 블록을 사이에 끼운다 | 09 |
| 어느 블록이 윈도 블록인지 논문과 코드가 다르다 | 논문 부록 A 의 표기와 공개 코드의 실제 동작(out_feature_indexes 의 여집합)이 다르다 | 모델에서 블록마다의 설정을 출력한다 | 공개 가중치를 쓴다면 코드의 동작을 따른다(Nano 는 전역 블록 3 · 6 · 9) | 10 |
직접 만든 쌍선형 보간이 F.grid_sample 과 반 칸쯤 어긋난다 | 좌표 규약이 다르다. align_corners=False 에서는 정규화 좌표에 너비를 곱한 뒤 0.5 를 뺀 값이 칸 눈금이다 | 3×3 맵의 한 점을 손으로 계산해 맞춘다 | 칸 눈금 식을 고치고, 맵 밖은 0 으로 읽는다 | 08 |
| 변형 어텐션으로 바꿨는데 오히려 느리다 | 맵이 작으면 그렇다(12×12 맵에서 교차 어텐션 한 번이 2.6배 길었다). 값 투영은 여전히 모든 칸에 한다 | 맵 크기를 키워 가며 두 어텐션의 시간을 잰다 | 이득은 큰 맵에서 나온다. 모델 전체를 내보낸 뒤에 잰다 | 08 |
| 윈도 어텐션으로 연산량은 줄었는데 빨라지지 않는다 | 줄어드는 것은 토큰 수의 제곱에 비례하는 항뿐이다. 토큰이 적으면 이득이 없고, 순서 바꾸기 연산이 시간을 먹는다 | 토큰 수를 바꿔 가며 잰다 | 윈도 우선 배치. 연산량과 지연 시간은 따로 확인한다 | 09 |
| 추론 때 질의 수를 줄였더니 남은 질의의 출력까지 달라졌다 | 정상이다. 질의들은 디코더의 자기 어텐션으로 서로를 본다 | — | 고칠 것 없음. 질의는 점수 순서의 앞에서부터 남긴다 | 10 · 12 |
| 어텐션 지도가 객체가 아닌 곳만 밝다 | 고장이 아닐 수 있다. 같은 구조 · 같은 데이터에서도 시드에 따라 “도형만 빼고 보는” 풀이가 나왔다 | 그 모델의 예측 오차를 본다 | 어텐션 지도를 “모델이 중요하게 여기는 곳” 으로 단정하지 않는다 | 05 |
분할 마스크
| 증상 | 흔한 원인 | 확인법 | 고칠 곳 | 장 |
|---|---|---|---|---|
| 마스크의 경계가 계단처럼 뭉툭하다 | 마스크 로짓은 그림의 1/4 해상도에서 계산된다. 0 에서 먼저 자른 뒤에 키웠다 | 후처리의 순서를 본다 | 로짓을 그림 크기로 키운 뒤에 0 에서 자른다 | 13 |
| 작은 객체의 마스크가 비어 나온다 | BCE 는 칸마다 채점해 평균을 내므로 작은 객체를 놓친 칸이 배경에 묻힌다(통째로 놓쳤을 때 9칸 객체의 BCE 0.08, 288칸 객체 2.31) | 객체 크기별로 마스크 IoU 를 본다 | 다이스 손실을 함께 쓴다(크기와 무관: 0.93, 0.98) | 13 |
| 대강의 영역은 맞는데 경계가 무디다 | 다이스 손실만 썼다(4 에폭 절제: 마스크 AP 0.561, AP75 0.590) | 마스크 AP50 과 AP75 를 따로 본다 | BCE 와 다이스를 함께 쓴다(같은 절제에서 0.743) | 13 |
| 분할 머리를 달고 학습하자 박스 AP 가 떨어졌다 | 마스크 손실의 기울기가 탐지와 함께 쓰는 백본 · 프로젝터 · 디코더를 움직인다(13장: 0.9347 에서 한 에폭 뒤 0.8906) | 분할 머리 없이 같은 만큼 더 학습한 대조군과 견준다 | 더 학습한다(30 에폭에 0.9349 로 돌아왔다) | 13 |
| 같은 가중치 · 같은 배치인데 마스크 손실 값이 실행마다 다르다 | 점 표본 추출이 스텝마다 다른 점을 뽑는다 | 시드를 고정하거나 전체 픽셀로 계산해 견준다 | 고칠 것 없음. 마스크 격자가 작을수록 잡음이 크다 | 13 |
| 디코더 층을 줄였더니 마스크가 박스보다 더 많이 나빠졌다 | 분할 머리의 블록도 디코더 층과 함께 빠진다. 층 $l$ 의 질의는 블록을 $l$ 개 지난 맵과 내적된다 | 층 수별 박스 AP 와 마스크 AP 를 함께 본다 | 분할 모델은 디코더를 덜 줄인다 | 13 |
추론 · 내보내기 · 지연 시간
| 증상 | 흔한 원인 | 확인법 | 고칠 곳 | 장 |
|---|---|---|---|---|
| 논문 · README 의 2.3 ms 가 내 컴퓨터에서는 수십 ms 다 | 재는 조건이 다르다. 그 값은 NVIDIA T4, TensorRT 엔진, FP16, 순전파만, 배치 1 의 값이다 | 하드웨어 · 실행기 · 정밀도 · 잰 범위 네 가지를 적어 본다 | 같은 기계 · 같은 실행기 · 같은 정밀도 · 같은 범위끼리만 견준다 | 12 · 14 |
| GPU 에서 잰 시간이 터무니없이 짧다 | GPU 연산이 끝나기를 기다리지 않고 시계를 멈췄다 | 시계를 멈추기 전에 torch.cuda.synchronize() 를 부르는지 본다 | 동기화한 뒤에 시간을 읽는다 | 12 · 14 |
| 첫 몇 번의 측정만 유독 느리다 | 예열이 끝나지 않았다 | 측정값을 순서대로 그려 본다 | 처음 몇 번을 버리고, 여러 번 재서 중앙값을 쓴다 | 12 · 14 |
| 잴 때마다 지연 시간이 다르다 | GPU 의 전력 제한(과열), 같은 기계의 다른 작업 | 견줄 구성들을 번갈아 여러 라운드로 재서 라운드별 중앙값을 본다 | 논문의 방법: 순전파 사이에 200 ms 쉰다. 소수 첫째 자리까지만 보고한다 | 12 |
| FP16 엔진의 지연 시간과 FP32 모델의 AP 를 한 표에 적었다 | 정확도(AP)와 지연 시간은 같은 산출물로 재야 한다. 논문의 예: D-FINE (M) 을 공개된 내보내기 코드 그대로 FP16 으로 바꾸면 AP 가 0.5 로 무너졌다 | 내보낸 모델의 출력을 원래 모델과 수치로 견주고, 내보낸 모델로 다시 채점한다 | 같은 산출물로 AP 와 지연 시간을 함께 보고한다 | 12 |
| 파레토 곡선에서 고른 모델이 내 장비에서는 최선이 아니다 | 파레토 경계는 모델 + 하드웨어 + 실행 방식의 성질이다. 가로축을 연산량에서 지연 시간으로 바꾸기만 해도 경계가 달라졌다 | 내 장비에서 구성마다 지연 시간을 다시 잰다 | AP 는 그대로 두고 지연 시간만 다시 재어 경계를 다시 뽑는다 | 12 |
| ONNX 출력에서 박스와 로짓이 뒤바뀐 것 같다 | 출력을 모양으로 구별했다. 클래스가 3개면 로짓(3 + 1칸)과 박스의 모양이 똑같이 [1, 300, 4] 다 | 출력의 이름을 출력한다 | session.run(["dets", "labels"], …) 처럼 이름으로 꺼낸다 | 14 |
| ONNX 와 PyTorch 의 출력을 질의 300개 전체로 견주니 크게 다르다 | 배경 질의들의 제안 점수가 서로 거의 같아 순위가 뒤바뀐다. 차이가 난 질의의 점수는 가장 높은 것도 0.013 이었다 | 점수가 문턱값을 넘는 질의만 견준다(박스 최대 차이 7.8e-05) | 고칠 것 없음 | 14 |
미세 조정한 모델의 class_id 가 하나씩 밀린 것 같다 | 미세 조정한 모델의 클래스 번호는 주석 파일의 범주 id 순서대로 0 부터 다시 매긴 번호다 | 범주 id 와 모델의 번호를 나란히 출력한다 | 이름 표를 다시 매긴 번호 기준으로 만든다 | 14 |
| 같은 객체가 서로 다른 두 클래스로 두 번 나온다 | 후처리의 상위 K 개는 질의 K 개가 아니라 (질의, 클래스) 쌍 가운데 점수가 높은 K 개다 | 두 결과의 박스가 같은 질의에서 왔는지 본다 | 점수 문턱값을 올린다. 잘 학습된 모델에서는 둘째 클래스의 점수가 한참 낮다 | 14 |
| 사전 학습 모델이 내 그림의 객체를 엉뚱한 이름으로 부른다 | COCO 로 학습한 모델은 COCO 의 클래스만 안다 | — | 내 데이터로 미세 조정한다 | 14 |
| 예측의 색 · 클래스가 이상하다 | numpy 배열을 BGR 순서로 넣었다(OpenCV 로 읽은 그림) | 입력 그림을 그대로 저장해 열어 본다 | RGB 순서로 뒤집어 넣는다 | 14 |
AttributeError: ... has no attribute 'optimize_for_inference' | 예전 글의 예제다. 이 이름은 inference() 로 바뀐 뒤 지워졌다 | 설치한 판을 확인한다(이 튜토리얼은 1.12.1) | model.inference() 가 돌려주는 추론기를 쓴다 | 14 |
| 검증 데이터를 찾지 못한다 | 폴더 이름이 val/ 이다 | 폴더 구조를 본다 | valid/ 로 하고, 주석 파일은 _annotations.coco.json | 14 |
3. 설정값 참고표
논문과 공식 구현의 값은 “COCO 와 그 규모의 데이터에서 잘 된 값” 입니다. 그대로 쓰기보다 출발점으로 삼으세요. 판에 따라 값이 다를 수 있으니, 정확한 재현이 필요하면 설치한 판의 rfdetr/config.py 를 직접 확인하세요.
공식 구현의 기본값
이 튜토리얼이 확인한 설치판(rfdetr 1.12.1)의 값입니다.
| 항목 | 값 | 설정 이름 | 장 |
|---|---|---|---|
| 매칭 비용 | 2 · 포컬 꼴 분류(α = 0.25, γ = 2) + 5 · L1 + 2 · (−GIoU). 질의 묶음마다 따로 매칭 | — | 11 |
| 손실의 계수 | 분류 1, L1 5, GIoU 2. 모든 디코더 층과 인코더 제안에 같은 손실 | cls_loss_coef, bbox_loss_coef, giou_loss_coef | 11 |
| 분류 손실 | IA-BCE (지수 0.25) | ia_bce_loss=True | 09 |
| 질의 수 · 묶음 수 | 300 · 13 (추론은 첫 묶음만) | num_queries, group_detr | 09 · 10 |
| 디코더 | 차원 256, 자기 어텐션 머리 8, 교차 어텐션 머리 16, 표본점 2, FFN 2048, 층 수는 크기마다 다름(Nano 2) | hidden_dim, sa_nheads, ca_nheads, dec_n_points, dim_feedforward, dec_layers | 10 |
| 박스 예측 | 박스 재매개변수화, 모든 층이 처음 기준 박스를 함께 씀 | bbox_reparam=True, lite_refpoint_refine=True | 10 |
| 분류 머리의 편향 | 사전 확률 0.01 에 맞춰 초기화 | — | 04 · 10 |
| 학습률 | 1e-4 (프로젝터 · 머리 등), 백본 기준 1.5e-4, 워밍업 없음, 끝까지 일정 | lr, lr_encoder, warmup_epochs=0 | 11 |
| 학습률 감쇠 | 층별 0.8, 구성 요소별 0.7 | lr_vit_layer_decay, lr_component_decay | 11 · 14 |
| 옵티마이저 | AdamW, 가중치 감쇠 1e-4 | weight_decay | 04 · 11 |
| 기울기 자르기 | 최대 노름 0.1 | clip_max_norm | 11 |
| EMA | 감쇠 0.993, 워밍업 상수 100 | ema_decay, ema_tau | 11 |
| 배치 · 에폭 | 배치 4, 기울기 누적 1, 100 에폭. 실효 배치 크기 = 배치 × 누적 횟수 | batch_size, grad_accum_steps, epochs | 14 |
| 증강 · 해상도 | 수평 뒤집기 · 무작위 자르기, 배치 단위 다중 해상도 | multi_scale, expanded_scales | 11 |
| 마스크 손실(분할) | BCE 5, 다이스 5, 마스크는 그림의 1/4 해상도, 점은 칸 수의 1/16 | mask_ce_loss_coef, mask_dice_loss_coef, mask_downsample_ratio, mask_point_sample_ratio | 13 |
RF-DETR 논문은 학습률 1e-4(LW-DETR 은 4e-4), 배치 128, EMA, 학습률 워밍업 없음, 기울기 0.1 로 자르기, DINOv2 백본의 층별 학습률 감쇠 0.8, 다중 해상도 0.5 – 1.5 배(LW-DETR 은 0.7 – 1.4)를 적었습니다. 패키지의 기본 배치는 4 이고, 문서는 실효 배치 16 을 권합니다. 논문과 패키지의 값이 다른 곳은 출처를 밝혀 구별해 쓰세요(11장, 14장).
이 튜토리얼의 미니 모델
개인 컴퓨터에서 몇 분 – 수십 분 안에 돌도록 줄인 값입니다. 데이터는 모두 도형 세상(96×96, 클래스 3개, 그림마다 객체 1 – 4개)이고 학습 4,000장, 검증 500장(객체 1,265개)입니다.
| 장 · 파일 | 주요 설정 |
|---|---|
07 · ch07_detr.py | MiniDETR: 질의 12개, 디코더 3층, 특징 맵 12×12(토큰 144개), 60 에폭(에폭당 125 스텝), 48 에폭 뒤 학습률 낮춤 |
08 · ch08_deformable.py | Deformable DETR 미니 판: 질의 12개, 특징 레벨 2개(12×12, 6×6), 박스 반복 정제, 포컬 손실, 60 에폭. 절제는 15 에폭 |
10 · ch10_rfdetr_model.py | MiniRFDETR: 해상도 96 · 패치 8(격자 12×12), 백본 차원 96 · 블록 6개 · 머리 4개, 윈도 블록 [0, 1, 3, 5] · 전역 블록 [2, 4], 한 변의 윈도 수 2, 프로젝터 3 × 96 → 128, 디코더 3층, 질의 12 × 묶음 4, 매개변수 1,832,707개 |
11 · ch11_train.py | 10장 모델을 배치 32 · 60 에폭, 학습률 2e-4(나머지 학습률 규칙 · EMA · 기울기 자르기 · 손실 계수는 공식과 같음), 증강 없음, 백본은 무작위 초기화. 절제는 15 에폭 · 시드 3개 |
12 · ch12_nas.py | 학습 때: 해상도 (64, 80, 96, 112, 128) × 패치 (8, 16) × 윈도 (1, 2, 4) 가운데 쓸 수 있는 조합 23개에서 스텝마다 하나. 탐색: 디코더 층 0 – 3, 질의 4 · 8 · 12 까지 돌린 구성 408개 |
13 · ch13_seg.py | 11장의 EMA 가중치에 분할 머리(매개변수 219,137개)를 달아 30 에폭. 마스크 격자 24×24, 손실에 쓰는 점 36개. 절제는 4 에폭 · 시드 3개 |
14 · ch14_finetune.py | RF-DETR Nano(384×384)를 도형 세상 1,000장으로 5 에폭. 배치 2 × 기울기 누적 4, 학습률 1e-4. 무작위 초기화 대조군은 3 에폭 |
잘 안 될 때 살펴볼 순서는 대략 다음과 같습니다.
- 데이터: 주석이 맞는지, 클래스마다 그림이 충분한지
- 사전 학습 가중치에서 출발했는지(14장의 실험에서 차이가 가장 컸던 것)
- 입력 해상도와 모델 크기(객체가 작으면 해상도부터)
- 학습 길이와 실효 배치 크기
- 그다음에 학습률. 손실 계수와 매칭 비용은 보통 건드리지 않습니다
4. 장별 핵심 수식 모음
튜토리얼에서 유도한 핵심 식을 장 순서로 모았습니다. 유도 과정과 손계산은 각 장의 풀이 상자에 있습니다. 같은 글자가 장마다 다른 뜻으로 쓰이는 경우가 있으므로(예: 글자 N 은 5 · 6 · 9장에서 토큰 수, 7 · 8 · 10장에서 질의 수), 식을 누르면 그 줄이 가리키는 장의 뜻이 나옵니다. 표기 규칙은 0장과 각 장 앞의 “이 장의 표기” 상자를 따릅니다.
수식 · 기초 체력 (02 – 06장)
| 식 | 뜻 | 장 |
|---|---|---|
| $(x_0,\ y_0,\ x_1,\ y_1) = \left(c_x - \tfrac{w}{2},\ c_y - \tfrac{h}{2},\ c_x + \tfrac{w}{2},\ c_y + \tfrac{h}{2}\right)$ | 중심 표현 → 모서리 표현 | 02 |
| $(c_x,\ c_y,\ w,\ h) = \left(\frac{x_0 + x_1}{2},\ \frac{y_0 + y_1}{2},\ x_1 - x_0,\ y_1 - y_0\right)$ | 모서리 표현 → 중심 표현 | 02 |
| $|A \cup B| = |A| + |B| - |A \cap B|$ | 합집합의 넓이(포함 배제의 원리) | 02 |
| $\IoU(A, B) = \dfrac{|A \cap B|}{|A \cup B|}$ | IoU. 0 – 1, 대칭, 크기 불변 | 02 |
| $\IoU = \dfrac{w - d}{w + d}$ | 크기가 같은 두 박스를 가로로 $d$ 만큼 밀었을 때의 IoU. 너비의 1/3 만 어긋나도 0.5 | 02 |
| $\GIoU(A, B) = \IoU(A, B) - \dfrac{|C| - |A \cup B|}{|C|}$ | GIoU. $C$ 는 둘러싸는 박스. 겹치지 않아도 멀수록 낮아진다 | 02 |
| $\mathcal{L}_{\text{box}}(b, \hat{b}) = \lambda_{\text{L1}}\,\|b - \hat{b}\|_1 + \lambda_{\GIoU}\,\big(1 - \GIoU(b, \hat{b})\big), \quad \lambda_{\text{L1}} = 5,\ \lambda_{\GIoU} = 2$ | DETR 계열의 박스 손실 | 02 |
| $P = \dfrac{\mathrm{TP}}{\mathrm{TP} + \mathrm{FP}}, \quad R = \dfrac{\mathrm{TP}}{\mathrm{TP} + \mathrm{FN}}$ | 정밀도와 재현율 | 03 |
| $\AP = \dfrac{1}{101} \sum_{i=0}^{100} p_{\mathrm{interp}}\!\left(\dfrac{i}{100}\right)$ | COCO 의 101점 보간 AP(클래스 하나 · IoU 문턱값 하나) | 03 |
| $\AP = \dfrac{1}{10} \sum_{\tau \in \{0.50,\, 0.55,\, \dots,\, 0.95\}} \;\dfrac{1}{C} \sum_{c=1}^{C} \AP_c^{\tau}$ | COCO 의 AP: 클래스 평균이자 IoU 문턱값 열 개의 평균 | 03 |
| $\theta \leftarrow \theta - \eta\nabla_\theta L$ | 경사 하강법 | 04 |
| $\sigma(z) = \dfrac{1}{1 + e^{-z}}, \quad \sigma' = \sigma(1 - \sigma), \quad z = \log\dfrac{p}{1 - p}$ | 시그모이드와 그 미분, 로짓(로그 오즈) | 04 |
| $\BCE = -y\log p - (1 - y)\log(1 - p) = \max(z, 0) - zy + \log(1 + e^{-|z|})$ | 이진 교차 엔트로피와, 로짓에서 바로 계산하는 꼴. 로짓에 대한 기울기는 $p - y$ | 04 |
| $\mathrm{FL}(p_t) = -\,\alpha_t\,(1 - p_t)^{\gamma}\,\log p_t$ | 포컬 손실. $\gamma = 0$ 이면 BCE | 04 |
| $b = -\log\dfrac{1 - \pi}{\pi}$ | 사전 확률 편향 초기화($\pi = 0.01$ 이면 $-4.5951$) | 04 |
| $\theta \leftarrow (1 - \eta\lambda)\theta$ | AdamW 의 가중치 감쇠(기울기 갱신과 따로) | 04 |
| $\lfloor (n_{\text{in}} - F + 2P)/S \rfloor + 1$ | 합성곱의 출력 크기 | 04 |
| $\operatorname{Attention}(Q, K, V) = \softmax\!\left( \dfrac{Q K^{\top}}{\sqrt{d_k}} \right) V$ | 스케일드 내적 어텐션 | 05 |
| $\Var\!\left( \dfrac{q \cdot k}{\sqrt{d_k}} \right) = \dfrac{d_k}{d_k} = 1$ | $\sqrt{d_k}$ 로 나누는 이유(성분이 독립이고 분산 1 일 때) | 05 |
| $4 \times (D^2 + D)$ | 다중 머리 어텐션의 매개변수 수. 머리 수와 무관 | 05 |
| $f(PX) = Pf(X)$ | 순열 등변성: 어텐션은 순서를 모른다 | 05 |
| $N = (H/p)(W/p)$ | ViT 의 패치 토큰 수 | 06 |
| $\text{블록 하나} \approx 12\,N D^2 + 2\,N^2 D$ | ViT 블록 하나의 곱셈 횟수. 토큰 수에 비례하는 항과 제곱에 비례하는 항 | 06 |
| $\theta_t \leftarrow m\,\theta_t + (1 - m)\,\theta_s$ | DINO 의 교사는 학생의 지수 이동 평균 | 06 |
| $\mathrm{CE}(P_t, P_s) = \mathrm{Ent}(P_t) + \KL(P_t\,\|\,P_s)$ | DINO 의 손실(교차 엔트로피)을 교사의 엔트로피와 KL 발산으로 나누기 | 06 |
수식 · DETR 계보 (07 – 09장)
| 식 | 뜻 | 장 |
|---|---|---|
| $\hat{\sigma} = \argmin_{\sigma} \sum_{j=0}^{T-1} C_{\sigma(j),\, j}$ | 이분 매칭: 총비용이 최소인 일대일 배정 | 07 |
| $C_{ij} = -\hat{p}_i(c_j) + 5\,\lVert \hat{b}_i - b_j \rVert_1 - 2\,\GIoU(\hat{b}_i, b_j)$ | DETR 의 매칭 비용 | 07 |
| $\mathcal{L}_{\text{Hungarian}} = \sum_{i=0}^{N-1} -\log \hat{p}_i(t_i) + \sum_{j=0}^{T-1} \mathcal{L}_{\text{box}}\big(b_j,\, \hat{b}_{\hat{\sigma}(j)}\big)$ | 집합 손실(헝가리안 손실): 모든 질의의 분류 + 짝이 있는 질의의 박스 | 07 |
| $v = (1 - t_x)(1 - t_y)\,v_{00} + t_x(1 - t_y)\,v_{01} + (1 - t_x)\,t_y\,v_{10} + t_x\,t_y\,v_{11}$ | 쌍선형 보간: 네 이웃의 가중 평균 | 08 |
| $\dfrac{\partial v}{\partial x} = W\Big[(1 - t_y)(v_{01} - v_{00}) + t_y(v_{11} - v_{10})\Big]$ | 읽은 값을 표본 위치로 미분. 오프셋을 경사 하강법으로 배울 수 있는 이유 | 08 |
| $\operatorname{DeformAttn}(z_q,\ p_q,\ X) = \sum_{m=1}^{M} W^O_m \Big[ \sum_{k=1}^{K} A_{mqk} \cdot W^V_m\, X(p_q + \Delta p_{mqk}) \Big]$ | 변형 어텐션(단일 스케일): 기준점 둘레의 표본점만 읽는다 | 08 |
| $\hat{b}^{d} = \sigma(\Delta b^{d} + \sigma^{-1}(\sg(\hat{b}^{d-1}))), \quad \sigma^{-1}(x) = \log\frac{x}{1-x}$ | 박스 반복 정제: 로짓 공간에서 더하고, 다음 층으로 넘길 때 기울기를 끊는다 | 08 |
| $\dfrac{N^2}{W_n^2}$ | 윈도 어텐션 한 번의 (질의, 열쇠) 쌍의 수. 전역 어텐션은 $N^2$ | 09 |
| $\ell_{\text{cls}} = \sum_{i=1}^{N_{\text{pos}}} \BCE(p_i,\ t_i) + \sum_{j=1}^{N_{\text{neg}}} p_j^{2}\, \BCE(p_j,\ 0), \quad t = p^{\alpha}\, u^{1-\alpha}$ | IoU 인지 BCE 손실(IA-BCE). 양성 칸의 기울기 $p - t$ 가 0 이 되는 곳이 $p = u$ | 09 |
| $\hat{x} = \delta_x w_r + x_r, \quad \hat{w} = e^{\delta_w} w_r$ | 박스 재매개변수화: 기준 박스의 크기를 단위로 옮기고 키운다 | 09 |
| $(\delta_x,\ \delta_y,\ \delta_w,\ \delta_h) = \left(\frac{x_g - x_r}{w_r},\ \frac{y_g - y_r}{h_r},\ \log\frac{w_g}{w_r},\ \log\frac{h_g}{h_r}\right)$ | 역변환: 기준 박스를 정답 박스로 옮기는 변화량 | 09 |
수식 · RF-DETR 과 실전 (10 – 14장)
| 식 | 뜻 | 장 |
|---|---|---|
| $\operatorname{reparam}(\delta, r) = \big( \delta_x\, r_w + r_x,\ \delta_y\, r_h + r_y,\ e^{\delta_w}\, r_w,\ e^{\delta_h}\, r_h \big)$ | 10장의 표기로 쓴 박스 재매개변수화 | 10 |
| $r_q = \operatorname{reparam}\big( e_q,\ \sg(\hat{b}^{\text{enc}}_q) \big), \quad \hat{b}^{d}_q = \operatorname{reparam}\big( \delta^{d}_q,\ r_q \big)$ | 기준 박스는 인코더 제안에서, 각 층의 예측 박스는 같은 기준 박스에서 | 10 |
| $\mathcal{L} = \sum_{\ell \,\in\, \mathcal{S}} \Big( 1 \cdot \mathcal{L}^{(\ell)}_{\text{cls}} + 5 \cdot \mathcal{L}^{(\ell)}_{\text{L1}} + 2 \cdot \mathcal{L}^{(\ell)}_{\GIoU} \Big), \quad \mathcal{S} = \{\text{enc},\ 1,\ 2,\ \dots,\ L_{\text{dec}}\}$ | RF-DETR 의 전체 손실: 인코더 제안과 디코더 각 층의 합 | 11 |
| $\eta_n = \eta_{\min} + \tfrac{1}{2}\,(\eta_0 - \eta_{\min})\left(1 + \cos\dfrac{\pi\, n}{n_{\text{end}}}\right)$ | 코사인 스케줄. 끝 $n_{\text{end}}$ 를 미리 알아야 한다(RF-DETR 은 쓰지 않는다) | 11 |
| $\mathbf{g} \leftarrow \mathbf{g} \cdot \min\!\left(1,\ \dfrac{c_{\max}}{\lVert \mathbf{g} \rVert}\right)$ | 기울기 자르기($c_{\max} = 0.1$) | 11 |
| $\theta_{\text{ema}} \leftarrow d\,\theta_{\text{ema}} + (1 - d)\,\theta, \quad d_n = d \cdot \left(1 - e^{-n/\tau}\right)$ | EMA 와 감쇠 워밍업($d = 0.993$, $\tau = 100$) | 11 |
| $\eta_{\text{enc}} \cdot \lambda^{\,L + 1 - i} \cdot \rho^{2}$ | 층별 학습률 감쇠: 백본 매개변수의 학습률 | 11 |
| $r_s = 1 - \dfrac{6 \sum_{k=1}^{P} \delta_k^{\,2}}{P\,(P^2 - 1)}$ | 스피어만 상관: 점수의 순위와 IoU 의 순위가 얼마나 맞는가 | 11 |
| $J(\theta) = \E_{c \sim \mathcal{C}}\big[\, \mathcal{L}(\theta; c) \,\big] = \dfrac{1}{|\mathcal{C}|} \sum_{c \in \mathcal{C}} \mathcal{L}(\theta; c)$ | 가중치 공유 NAS 의 학습 목표: 구성마다의 손실의 평균 | 12 |
| $\hat{w} = R\,(R^\top R)^{-1}\, w = (R^\top)^{+}\, w$ | PI-resize: 내적을 지키며 패치 임베딩 커널의 크기를 바꾼다 | 12 |
| $z_n(x, y) = \big\langle f(q_n),\ e(x, y) \big\rangle + \beta$ | 마스크 로짓: 질의 쪽 벡터와 픽셀 임베딩의 내적 | 13 |
| $L_{\text{dice}} = 1 - \dfrac{2 \sum_{i} p_i\, t_i + 1}{\sum_{i} p_i + \sum_{i} t_i + 1}$ | 다이스 손실(공식 구현의 꼴) | 13 |
| $\operatorname{Dice} = \dfrac{2\,\IoU}{1 + \IoU}$ | 다이스 계수와 IoU 의 관계 | 13 |
| $[x^{\text{px}},\ y^{\text{px}},\ w^{\text{px}},\ h^{\text{px}}] = \Big[ \Big(c_x - \frac{w}{2}\Big) W,\ \Big(c_y - \frac{h}{2}\Big) H,\ wW,\ hH \Big]$ | 정규화 중심 표현 → COCO 의 픽셀 [x, y, w, h] | 14 |
| $c_x = \dfrac{x^{\text{px}} + w^{\text{px}}/2}{W}, \quad c_y = \dfrac{y^{\text{px}} + h^{\text{px}}/2}{H}, \quad w = \dfrac{w^{\text{px}}}{W}, \quad h = \dfrac{h^{\text{px}}}{H}$ | COCO 의 픽셀 [x, y, w, h] → 정규화 중심 표현 | 14 |
5. 실험 결과 한눈에
이 튜토리얼의 실험은 모두 도형 세상에서 한 작은 실험입니다. 아래 수치는 각 장 본문의 값을 그대로 옮긴 것이고, 따로 적지 않았으면 검증 세트 500장(객체 1,265개)에서 잰 값 · 시드 하나입니다. 논문이 COCO 에서 보고한 수치와 섞어 읽지 마세요. 도형 세상의 AP 0.93 은 문제가 쉬워서 나온 값입니다(3장).
장별 미니 실험의 핵심 수치
| 장 | 실험 | 핵심 수치 | 읽을 것 |
|---|---|---|---|
| 02 | 박스 하나를 경사 하강법으로 정답에 맞추기(2,000 스텝) | 마지막 IoU: IoU 손실 0.0000, GIoU 손실 0.9926, L1 1.0000, 둘을 합친 손실 0.7986. IoU 0.9 에 닿은 스텝: GIoU 244, L1 234, 합친 손실 45 | IoU 손실은 겹치지 않으면 움직이지 못한다. 합친 손실이 빨랐던 것은 계수가 학습률을 키운 효과였다 |
| 03 | 가짜 탐지기로 AP 가 무엇에 반응하는지 보기 | 박스 잡음 0.10: AP50 0.971, AP75 0.170, AP 0.377. 같은 박스에 점수만 달리: AP 0.369 – 0.480. 점수가 비슷한 중복 셋씩: AP 0.700 → 0.608. 낮은 점수의 헛예측 96개씩: 0.700 그대로 | AP 는 박스의 정밀함과 점수의 순서에 반응하고, 낮은 점수의 헛예측에는 반응하지 않는다 |
| 04 | 불균형한 분류를 세 가지 설정으로 학습 | 첫 손실: 편향 0 은 121.03, 사전 확률 편향은 6.36. 1 에폭 뒤 AP 0.016 대 0.341. 30 에폭 뒤 AP: BCE 0.928 ± 0.010, 포컬 0.914 ± 0.005 | 사전 확률 편향은 초반 학습을 뚜렷이 돕는다. 포컬 손실은 이 실험에서 BCE 를 이기지 못했다 |
| 05 | 교차 어텐션 한 층으로 도형의 중심 찾기, 토큰 수와 시간 | 질의가 어텐션 가중치의 93 – 97% 를 자기 도형에 줌(세 시드). 위치 인코딩이 없으면 오차 17.06 – 17.07 픽셀(평균만 답하는 기준선 17.06). 시간은 토큰 수의 2.14 제곱(직접 구현) · 1.88 제곱(내장 모듈) | 어텐션은 내용으로 찾고 위치를 가져온다. 위치 인코딩이 없으면 위치를 알 수 없다 |
| 06 | MiniViT 의 해상도 바꾸기, 미니 DINO 의 선형 분류기 평가 | 세 라벨을 모두 맞힌 비율: 학습한 해상도 96 에서 0.920, 위치 임베딩을 보간한 128 에서 0.953, 64 에서 0.790. 도형 하나의 종류: 무작위 초기화 0.59, 도형 하나짜리 그림으로 학습한 미니 DINO 0.934, 지도 학습 0.999 | 위치 임베딩을 보간하면 다른 해상도에서도 쓸 수 있다. 자기 지도 학습이 무엇을 배우는지는 데이터가 정한다 |
| 07 | MiniDETR 60 에폭 | AP 0.8375, AP50 0.9863, AP75 0.9500. 디코더 1 · 2 · 3층의 AP 0.8067 · 0.8365 · 0.8375. NMS 전후 AP 차이 −0.0016. 겹치는 쌍 153 → 55 → 45 | NMS 없이도 중복이 드물다. 어느 디코더 층에서 멈춰도 예측이 나온다 |
| 08 | Deformable DETR 미니 판 60 에폭, 15 에폭 절제 | AP 0.8982, AP50 0.9795. AP 0.8 에 처음 닿은 에폭 7(7장은 50). 절제: 기준 0.8763, 박스 반복 정제 없음 0.7500, 2단계 0.9100, 단일 레벨 0.8563, 인코더 3층 추가 0.8720 | 7장보다 빨리, 높이 간다. 절제에서 뚜렷했던 것은 박스 반복 정제와 2단계 질의 선택 |
| 09 | 윈도 우선 배치와 행 우선 배치 대조 | 두 방식의 출력 최대 차이 7.15e-07. 시간 차이는 이 PC 의 측정에서 드러나지 않음 | 윈도 우선 배치는 같은 계산을 순서 바꾸기 없이 한다. 속도 이득은 이 튜토리얼에서 확인하지 못했다 |
| 10 | RF-DETR Nano 의 모양 · 매개변수 실측 | 매개변수 30,467,298개(추론에 쓰이는 것 26,863,662개). 미니 모델은 1,832,707개(1,675,870개) | 학습에만 쓰이는 매개변수(질의 묶음 · 묶음별 머리)가 있다 |
| 11 | 미니 RF-DETR 60 에폭, 15 에폭 절제(시드 3개) | AP 0.9347(EMA 모델) · 0.9292(일반 모델). AP 0.8 에 처음 닿은 에폭 3. 디코더 0 · 1 · 2 · 3층의 AP 0.8928 · 0.9289 · 0.9332 · 0.9347. 점수와 IoU 의 스피어만 상관 +0.760(8장 모델 +0.358). 절제의 차이 평균: EMA 없음 −0.0135, 포컬 손실 −0.0057, 묶음 1개 −0.0025, 윈도 1 × 1 +0.0006 | 뚜렷했던 것은 EMA 의 이득과, IA-BCE 가 점수를 IoU 에 맞추는 효과 |
| 12 | 미니 RF-DETR 로 가중치 공유 NAS 60 에폭 | 기본 구성의 AP 0.9498(11장 고정 구성 모델 0.9345). 구성 408개 가운데 321개가 AP 0.8 이상. 해상도 64 에서 0.9208(고정 구성 모델 0.1329), 128 에서 0.9567(0.3063). PI-resize 로 못 본 패치 크기에서 0.9348 – 0.9352, 쌍선형 보간만 하면 0.8585 → 0.6315 | 가중치 한 벌에서 모델 가족이 나온다. 고정 구성 모델은 학습한 구성을 벗어나면 무너진다 |
| 13 | 11장 모델에 분할 머리를 달아 30 에폭, 4 에폭 절제(시드 3개) | 박스 AP 0.9347 → 0.9349, 마스크 AP 0.8766(AP50 0.9884, AP75 0.9176). 절제의 마스크 AP: BCE + 다이스 0.743, BCE 만 0.707, 다이스만 0.561, 마스크 1/2 해상도 0.775 | 박스 AP 를 잃지 않고 마스크를 얻는다. 두 손실을 함께 쓴 것이 가장 좋았다 |
| 14 | 실제 RF-DETR Nano 를 도형 세상 1,000장으로 미세 조정 | 사전 학습 가중치에서: 검증 AP 가 1 에폭 뒤 0.9476, 5 에폭 뒤 0.9839(EMA), 시험 AP 0.983. 무작위 초기화에서: 3 에폭 뒤 검증 0.7749, 시험 0.772. 이 노트북의 지연 시간(중앙값): PyTorch GPU FP32 순전파 16.9 ms, onnxruntime CPU 112.3 ms | 미세 조정의 힘은 사전 학습에서 온다. 지연 시간은 재는 조건에 달려 있다 |
11장 미니 RF-DETR 의 AP 는 11장 · 13장에서는 0.9347, 12장의 성적표에서는 0.9345 로 적혀 있습니다. 같은 가중치입니다. 12장이 밝힌 대로, 채점할 때 그림을 묶는 배치 크기가 달라 생긴 부동소수 오차입니다.
같은 데이터에서 이어 달린 세 모델
7장 · 8장 · 11장의 모델은 같은 데이터 · 같은 에폭 수 · 같은 배치 크기로 학습했습니다. 11장의 표를 옮기면 다음과 같습니다(검증 AP).
| 에폭 | 7장 MiniDETR | 8장 Deformable DETR | 11장 미니 RF-DETR (EMA) | 11장 미니 RF-DETR (일반) |
|---|---|---|---|---|
| 1 | 0.0048 | 0.2173 | 0.3085 | 0.3011 |
| 3 | 0.0405 | 0.6698 | 0.8190 | 0.8133 |
| 7 | 0.4193 | 0.8109 | 0.8907 | 0.8766 |
| 10 | 0.5788 | 0.8380 | 0.9074 | 0.9023 |
| 20 | 0.7039 | 0.8654 | 0.9255 | 0.9135 |
| 40 | 0.7358 | 0.8959 | 0.9325 | 0.9265 |
| 50 | 0.8386 | 0.9020 | 0.9347 | 0.9277 |
| 60 | 0.8375 | 0.8982 | 0.9347 | 0.9292 |
| AP 0.5 / 0.8 / 0.9 에 처음 닿은 에폭 | 9 / 50 / — | 2 / 7 / 50 | 2 / 3 / 9 | 2 / 3 / 10 |
8장의 모델과 11장의 모델 사이에는 일곱 가지가 한꺼번에 바뀌었습니다.
- 백본: 작은 CNN 대신 ViT(윈도 + 전역 어텐션)와 C2f 프로젝터. 특징 레벨도 둘에서 하나로
- 2단계 질의 선택(8장의 본 모델은 쓰지 않았습니다)
- 박스: 박스 반복 정제 대신 박스 재매개변수화와 lite 기준점 정제
- 분류 손실: 포컬 손실 → IA-BCE
- 질의 묶음 4개
- EMA
- 학습률: 48 에폭 뒤 낮추기 → 끝까지 일정, 층별 감쇠
11장이 이 비교에서 끌어낸 말은 “8장의 본 모델보다 나아진 것의 큰 부분은 2단계 질의 선택과 EMA 로 설명될 수 있다” 까지입니다. 부품 하나의 효과는 그 부품만 바꾼 절제 실험에서 읽어야 합니다.
기대와 달랐던 결과
좋은 숫자만 골라 읽지 않도록, 미니 실험에서 기대와 달랐거나 논문의 보고를 재현하지 못한 것을 한자리에 모았습니다. “보이지 않았다” 는 “효과가 없다” 가 아니라 이 데이터 · 이 규모에서 재는 자의 눈금보다 작았다는 뜻입니다.
- 2장: 박스 하나를 맞추는 실험에서는 L1 과 GIoU 를 합친 손실이 따로 쓴 것보다 낫다는 증거가 나오지 않았습니다. 합친 손실이 빨랐던 것은 계수 때문이었습니다.
- 4장: 포컬 손실은 BCE 보다 느리게 배웠고 30 에폭 뒤 AP 도 조금 낮았습니다(0.914 대 0.928). 문턱값 0.5 에서의 재현율은 뚜렷이 낮았습니다(0.710 대 0.834).
- 5장: 같은 구조 · 같은 데이터인데도 시드에 따라 “맡은 도형만 빼고 보는” 어텐션 지도가 나왔습니다. 그 모델도 도형의 위치를 맞혔습니다.
- 6장: 장면으로 학습한 미니 DINO 는 객체 수는 배웠지만(0.754), 장면에 어떤 도형이 있는지는 무작위 초기화 백본과 거의 같았습니다(0.737 대 0.712 · 0.721).
- 7장: 논문이 COCO 에서 보고한 DETR 의 느린 수렴(500 에폭)은 재현되지 않았습니다. 미니 DETR 은 9 에폭에 AP 0.5 를 넘었습니다. 질의의 크기별 전문화도 보이지 않았습니다.
- 8장:
- AP50 은 7장의 DETR 이 더 높았습니다(0.9863 대 0.9795).
- 12×12 맵에서 변형 어텐션은 보통 어텐션보다 2.6배 느렸습니다.
- 다중 스케일과 인코더의 효과는 우연 범위(±0.02) 안이었습니다.
- 9장: 윈도 우선 배치의 속도 이득(논문은 T4 · TensorRT 에서 3.9 → 2.9 ms)은 이 PC 의 PyTorch 측정에서 드러나지 않았습니다. 윈도 어텐션 자체의 속도 이득도 토큰이 적으면 없었습니다.
- 11장:
- Group DETR(묶음 4개 대 1개)과 윈도 수의 효과는 눈금 안이었습니다(−0.0025, +0.0006).
- IA-BCE 는 점수를 IoU 에 뚜렷이 맞췄지만(스피어만 상관 +0.65 대 +0.26), AP 의 이득은 작았습니다(포컬 손실로 바꾸면 −0.0057).
- 약한 백본 사전 학습의 이득은 재현되지 않았습니다(학습 200장: 공식 학습률 규칙에서 +0.0109, 일정한 학습률에서 −0.0169. 4,000장: −0.0005).
- 무작위 초기화 백본에는 공식 학습률 규칙보다 일정한 학습률이 나았습니다(0.7170 대 0.6752).
- 12장:
- 디코더 0층(인코더 제안만)에서는 NAS 로 학습한 모델이 고정 구성 모델보다 0.09 낮았습니다. 가중치 공유의 손해가 드러난 부분망입니다.
- 같은 구성들을 연산량으로 줄 세운 파레토 경계와 이 PC 의 지연 시간으로 줄 세운 경계가 달랐습니다.
- 구성 하나로 고정해 미세 조정하면 다른 구성에서는 무너졌습니다(해상도 96 으로 고정하면 64 / 패치 8 에서 0.9208 → 0.5912).
- 13장:
- “작은 객체가 배경에 묻힌다” 는 BCE 의 약점은 크게 드러나지 않았습니다(BCE 만으로 마스크 AP 0.707).
- 매칭 비용의 마스크 항은 차이를 만들지 않았습니다(뺀 것 0.739, 넣은 것 0.743).
- 사각형에서는 마스크가 박스보다 영역을 더 잘 나타내지 않았습니다.
- 분할 머리를 달자 박스 AP 가 한동안 떨어졌다가 돌아왔습니다(0.9347 → 0.8906 → 0.9349).
- 14장: 미세 조정의 4 → 5 에폭에서 학습 손실은 올랐는데(1.425 → 1.513) 검증 AP 는 계속 올랐습니다. EMA 가중치는 다섯 에폭 모두 일반 가중치보다 조금 높았습니다(차이 0.002 – 0.006).
6. 용어집
튜토리얼에 나온 용어 260개를 주제별 표로 나누고, 표 안에서는 가나다순(숫자 · 영문 먼저)으로 늘어놓았습니다. “뜻” 은 본문에서 그 용어를 눌렀을 때 뜨는 카드의 요약과 같은 문장입니다. “설명한 장” 은 그 용어를 처음 정의하고 자세히 설명한 장입니다(이름만 먼저 나온 장은 따로 적지 않았습니다). 굵은 용어를 누르면 카드가 열립니다.
용어 · 탐지의 큰 그림 (01장)
| 용어 | 영어 | 뜻 | 설명한 장 |
|---|---|---|---|
| 1단계 탐지기 | one-stage detector, single-stage detector | 후보 영역 단계 없이, 그림을 한 번 훑으며 박스와 클래스를 바로 내놓는 탐지기. | 01장 |
| 2단계 탐지기 | two-stage detector | 후보 영역을 먼저 뽑고, 후보마다 분류하고 박스를 다듬는 탐지기. | 01장 |
| 객체 탐지 | object detection | 그림 속 객체마다 어디에 있는지(박스)와 무엇인지(클래스)를 함께 답하는 문제. | 01장 |
| 벤치마크 | benchmark | 모두가 같은 데이터로 같은 방식으로 점수를 매기도록 정해 둔 시험. | 01장 |
| 비전-언어 모델 (VLM) | vision-language model, VLM | 그림과 글을 함께 다루도록, 대량의 그림 – 글 쌍으로 학습한 모델. | 01장 |
| 손으로 만든 부품 | hand-designed component | 신경망이 배우는 것이 아니라 사람이 규칙과 숫자를 정해 끼워 넣은 탐지기의 부품. | 01장 |
| 실시간 | real-time | 쓰는 곳이 요구하는 시간 안에 답을 낸다는 뜻. 정해진 한 숫자는 없고 논문마다 기준을 밝힌다. | 01장 |
| 앵커 | anchor, anchor box | 그림 위에 미리 깔아 두는 기준 상자. 탐지기는 앵커를 얼마나 고치면 되는지를 예측한다. | 01장 |
| 열린 어휘 탐지기 | open-vocabulary detector | 찾을 대상을 글(낱말 · 문장)로 받는 탐지기. 학습 때 보지 못한 이름도 넣을 수 있다. | 01장 |
| 이미지 분류 | image classification | 그림 전체에 클래스 이름표를 붙이는 문제. | 01장 |
| 인스턴스 분할 | instance segmentation | 객체마다 그 객체가 차지하는 픽셀(마스크)을 따로 칠하는 문제. | 01장 |
| 절제 실험 | ablation study | 바꾼 점을 하나씩 넣거나 빼 가며 성능을 재어, 무엇이 얼마나 도움이 되는지 알아보는 실험. | 01장 |
| 지연 시간 | latency | 그림 한 장을 넣고 답이 나올 때까지 걸리는 시간. 단위는 밀리초, 작을수록 좋다. | 01장 |
| 클래스 | class | 탐지기가 구별하는 객체의 종류. 목록은 학습 전에 정해 둔다. | 01장 |
| 클래스 불균형 | class imbalance | 어떤 답(탐지에서는 배경)이 다른 답보다 압도적으로 많은 상황. | 01장 |
| 탐지기 | detector | 객체 탐지 문제를 푸는 모델. | 01장 |
| 특화 탐지기 | specialist detector, closed-vocabulary detector | 학습할 때 정한 클래스 목록 안에서만 답하는 탐지기. | 01장 |
| 후보 영역 | region proposal | 객체가 있을 법하다고 골라낸 사각형 영역. | 01장 |
| COCO | Common Objects in Context | 일상 장면 속 흔한 물체를 담은 사진 데이터셋. 객체 탐지의 대표 벤치마크(클래스 80가지). | 01장 |
| Objects365 | Objects365 | 대규모 객체 탐지 데이터셋. RF-DETR 과 LW-DETR 이 탐지기 사전 학습에 쓴다. | 01장 |
| RF100-VL | Roboflow100-VL | 분야가 서로 다른 객체 탐지 데이터셋 100개를 묶은 벤치마크. | 01장 |
용어 · 박스와 채점 (02 – 03장)
| 용어 | 영어 | 뜻 | 설명한 장 |
|---|---|---|---|
| 거짓 양성 (FP) | false positive | 정답과 짝을 이루지 못한 예측. 헛예측 · 클래스가 틀린 예측 · 박스가 너무 어긋난 예측 · 중복 예측이 모두 여기에 든다. | 03장 |
| 거짓 음성 (FN) | false negative | 어떤 예측과도 짝을 이루지 못한 정답. 탐지기가 놓친 객체. | 03장 |
| 교집합 (박스) | intersection | 두 박스에 모두 들어 있는 부분. 왼쪽 위는 max, 오른쪽 아래는 min 으로 구한 직사각형. | 02장 |
| 둘러싸는 박스 | smallest enclosing box | 두 박스를 모두 덮는 가장 작은 박스 C. GIoU 의 계산에 쓴다. | 02장 |
| 모서리 표현 (xyxy) | corner format, xyxy | 박스를 왼쪽 위 모서리와 오른쪽 아래 모서리의 좌표로 적는 방법. | 02장 |
| 박스 (경계 상자) | bounding box | 객체를 둘러싸는, 변이 그림의 가로 · 세로와 나란한 직사각형. 숫자 네 개로 적는다. | 02장 |
| 박스 회귀 | box regression | 예측 박스의 네 숫자를 정답 박스에 맞추는 일. | 02장 |
| 보간 정밀도 | interpolated precision | 재현율이 r 이상인 자리들 가운데 가장 높은 정밀도. PR 곡선의 톱니를 메운 값. | 03장 |
| 브로드캐스팅 | broadcasting | 모양이 다른 텐서를 계산할 때 길이 1 인 축을 상대의 길이만큼 늘려 맞추는 규칙. | 02장 |
| 재현율 | recall | 정답 가운데 찾아낸 것의 비율. 빠뜨리지 않는 능력. | 03장 |
| 점수 문턱값 | score threshold, confidence threshold | 점수가 이 값 이상인 예측만 인정한다는 기준. 탐지기를 쓰는 쪽이 정한다. | 03장 |
| 정규화 좌표 | normalized coordinates | 그림의 너비와 높이를 1 로 보고 0 – 1 사이의 값으로 적은 좌표. | 02장 |
| 정밀도 | precision | 예측 가운데 맞은 것의 비율. 헛짚지 않는 능력. | 03장 |
| 정밀도 – 재현율 곡선 (PR 곡선) | precision-recall curve | 예측을 점수 순으로 하나씩 인정해 가며 얻는 (재현율, 정밀도) 점들을 이은 곡선. | 03장 |
| 정확도 | accuracy | 전체 문제 가운데 맞힌 문제의 비율. 분류에서 쓰고, 탐지에서는 쓸 수 없다. | 03장 |
| 중복 예측 | duplicate detection | 같은 객체를 가리키는 둘째 이후의 예측. 채점에서는 거짓 양성이 된다. | 03장 |
| 중심 표현 (cxcywh) | center format, cxcywh | 박스를 중심의 좌표와 너비 · 높이로 적는 방법. | 02장 |
| 참 양성 (TP) | true positive | 정답 객체와 짝을 이룬 예측. 같은 클래스의 정답과 IoU 가 문턱값 이상이고, 그 정답을 먼저 가져간 예측이 없어야 한다. | 03장 |
| 크기 불변 | scale invariance | 두 박스를 같은 비율로 키우거나 줄여도 값이 변하지 않는 성질. | 02장 |
| 크기별 AP (APS · APM · APL) | AP across scales | 정답 객체를 넓이로 나눠 따로 구한 AP: 작은 객체(32² 픽셀 미만), 중간(32² – 96²), 큰 객체(96² 초과). | 03장 |
| 포함 배제의 원리 | inclusion–exclusion principle | 두 집합의 크기를 더한 뒤 두 번 센 겹친 부분을 한 번 빼는 셈법. | 02장 |
| 픽셀 좌표 | pixel coordinates | 그림 위의 위치를 픽셀 수로 잰 좌표. 원점은 왼쪽 위, y 는 아래로 커진다. | 02장 |
| 합집합 (박스) | union | 두 박스 가운데 하나에라도 들어 있는 부분. 넓이는 두 넓이의 합에서 교집합을 뺀 값. | 02장 |
| AP (평균 정밀도) | average precision | PR 곡선 아래 넓이의 근사. COCO 방식은 재현율 0, 0.01, …, 1 의 101개 지점에서 보간 정밀도를 평균한다. | 03장 |
| AP50 | AP at IoU = 0.50 | IoU 문턱값 0.50 하나로만 채점한 AP(클래스 평균). “대충이라도 찾았는가” 를 본다. | 03장 |
| AP75 | AP at IoU = 0.75 | IoU 문턱값 0.75 하나로만 채점한 AP(클래스 평균). 박스가 꽤 정확한지를 본다. | 03장 |
| F1 점수 | F1 score | 정밀도와 재현율의 조화 평균. 점수 문턱값 하나에서의 성능을 한 숫자로 요약한다. | 03장 |
| GIoU (일반화한 IoU) | Generalized Intersection over Union | IoU 에서 둘러싸는 박스 안 빈 곳의 비율을 뺀 값. 겹치지 않아도 멀수록 낮아진다. | 02장 |
| GIoU 손실 | GIoU loss | 1 에서 GIoU 를 뺀 손실(0 – 2). 겹치지 않는 박스에도 기울기를 준다. | 02장 |
| IoU (교집합 대 합집합 비) | Intersection over Union | 두 박스가 덮은 넓이 전체 가운데 함께 덮은 넓이의 비율. 0(안 겹침) – 1(완전히 일치). | 02장 |
| IoU 문턱값 | IoU threshold | 예측 박스가 정답 박스와 얼마나 겹쳐야 맞은 것으로 칠지 정하는 기준. COCO 는 0.50 부터 0.95 까지 열 개를 쓴다. | 03장 |
| IoU 손실 | IoU loss | 1 에서 IoU 를 뺀 손실. 크기 불변이지만 겹치지 않으면 기울기가 0 이다. | 02장 |
| L1 거리 (L1 손실) | L1 distance, L1 loss | 두 박스의 네 숫자를 하나씩 비교해 차이의 절댓값을 더한 값. | 02장 |
| mAP | mean average precision | 클래스마다 구한 AP 의 평균. COCO 에서는 AP 와 같은 뜻으로 쓴다. | 03장 |
| NMS (비최대 억제) | non-maximum suppression | 겹친 예측 박스들 가운데 점수가 가장 높은 것만 남기고 나머지를 지우는 사후 처리. | 03장 |
용어 · 딥러닝 기초와 분류 손실 (04장)
| 용어 | 영어 | 뜻 | 설명한 장 |
|---|---|---|---|
| 1×1 합성곱 | 1×1 convolution, pointwise convolution | 커널 크기가 1 인 합성곱. 위치마다 같은 선형 층을 적용하는 것과 같다. | 04장 |
| 가중치 감쇠 | weight decay | 스텝마다 가중치를 조금씩 0 쪽으로 당겨 쓸데없이 커지지 않게 하는 것. | 04장 |
| 경사 하강법 | gradient descent | 기울기의 반대 방향으로 매개변수를 조금씩 옮겨 손실을 줄이는 방법. | 04장 |
| 교차 엔트로피 | cross-entropy, CE | 여러 클래스 가운데 하나를 고르는 분류의 손실. 정답 클래스에 준 확률의 −log. | 04장 |
| 로그 오즈 | log-odds | 일어날 확률 ÷ 안 일어날 확률(오즈)에 로그를 씌운 값. 시그모이드의 역함수. | 04장 |
| 로짓 | logit | 시그모이드 · 소프트맥스에 들어가기 전의 실수. 확률로 바뀌기 전의 점수. | 04장 |
| 매개변수 | parameter | 신경망 안의 조절 가능한 숫자들(가중치와 편향). 한데 묶어 θ 로 쓴다. | 04장 |
| 미니배치 | mini-batch | 한 번의 갱신에 쓰는, 데이터에서 무작위로 뽑은 작은 묶음. | 04장 |
| 배경 클래스 | background class, no-object class ∅ | “객체 없음” 을 나타내려고 K 개 클래스에 추가한 K + 1 번째 가짜 클래스. | 04장 |
| 배치 정규화 (BatchNorm) | batch normalization | 특징(채널)마다 배치 축으로 평균 · 분산을 구해 평균 0 · 분산 1 로 맞추는 층. | 04장 |
| 부드러운 목표 | soft target | 0 이나 1 이 아니라 그 사이의 값으로 준 분류 목표 t. | 04장 |
| 사전 확률 편향 초기화 | prior probability bias initialization | 분류 머리의 편향을 b = −log((1 − π)/π) 로 두어 처음 예측이 모두 π 근처가 되게 하는 초기화. | 04장 |
| 선형 층 | linear layer, fully connected layer | h = Wx + b. 벡터에 가중치 행렬을 곱하고 편향을 더하는 층. | 04장 |
| 소프트맥스 | softmax | 로짓 K 개를 합이 1 인 확률 K 개로 바꾸는 함수. | 04장 |
| 손실 함수 | loss function | 신경망의 출력이 정답에서 얼마나 먼지를 숫자 하나로 잰 것. 작을수록 좋다. | 04장 |
| 순전파 | forward pass | 입력에서 손실까지 값을 차례로 계산하는 것. | 04장 |
| 스트라이드 | stride | 합성곱에서 커널을 한 번에 몇 칸씩 옮기는가. | 04장 |
| 시그모이드 | sigmoid, logistic function | 실수(로짓)를 0 과 1 사이의 확률로 바꾸는 함수 σ(z) = 1/(1 + e^(−z)). | 04장 |
| 신경망 | neural network | 매개변수 θ 를 가진 함수 f_θ. 입력을 받아 출력을 내고, 매개변수를 고쳐 가며 학습한다. | 04장 |
| 에폭 | epoch | 학습 데이터 전체를 한 바퀴 도는 것. | 04장 |
| 역전파 | backpropagation | 손실에서 거꾸로 가며 (받은 기울기) × (국소 미분) 을 넘겨 모든 매개변수의 기울기를 구하는 방법. | 04장 |
| 연쇄 법칙 | chain rule | 합성 함수의 미분은 단계마다의 미분을 곱한 것이다. | 04장 |
| 이진 교차 엔트로피 (BCE) | binary cross-entropy | 예 / 아니오 분류의 손실. 정답 쪽에 준 확률의 −log. | 04장 |
| 잔차 연결 | residual connection, skip connection | 층의 출력에 입력을 그대로 더하는 것: x + f(x). | 04장 |
| 전치 합성곱 | transposed convolution | 특징 맵을 키우는 합성곱. 입력의 숫자마다 커널 크기의 도장을 출력에 찍고 겹친 곳은 더한다. | 04장 |
| 최대우도 추정 | maximum likelihood estimation, MLE | 관측한 정답이 나올 확률(가능도)이 가장 커지도록 매개변수를 정하는 원리. | 04장 |
| 층 정규화 (LayerNorm) | layer normalization | 표본(토큰) 하나의 특징들로 평균 · 분산을 구해 정규화하는 층. 배치와 무관하다. | 04장 |
| 커널 | kernel, filter | 합성곱에서 입력 위를 미끄러지는 작은 가중치 판. | 04장 |
| 패딩 | padding | 합성곱 전에 입력의 가장자리에 덧대는 0 의 줄 수. | 04장 |
| 포컬 손실 | focal loss | 잘 맞힌 칸의 손실을 (1 − p_t)^γ 로 깎아 어려운 칸에 집중하게 하는 분류 손실. | 04장 |
| 학습률 | learning rate | 한 스텝에 매개변수를 얼마나 움직일지 정하는 수 η. | 04장 |
| 합성곱 | convolution | 작은 가중치 판(커널)을 입력 위에서 미끄러뜨리며 자리마다 곱해 더한 값을 내는 층. | 04장 |
| 활성 함수 | activation function | 층 사이에 끼워 넣는 비선형 함수. 숫자마다 따로 적용한다. | 04장 |
| Adam | adaptive moment estimation | 기울기의 이동 평균을 기울기 제곱의 이동 평균의 제곱근으로 나누어, 매개변수마다 갱신 크기를 맞추는 옵티마이저. | 04장 |
| AdamW | Adam with decoupled weight decay | 가중치 감쇠를 기울기에 섞지 않고 따로 적용하는 Adam. | 04장 |
| GELU | Gaussian error linear unit | x·Φ(x). 표준 정규 분포의 누적 분포 함수로 x 를 부드럽게 통과시키는 활성 함수. | 04장 |
| MLP (다층 퍼셉트론) | multi-layer perceptron | 선형 층과 활성 함수를 번갈아 쌓은 신경망. | 04장 |
| ReLU | rectified linear unit | max(0, x). 음수는 0 으로, 양수는 그대로 통과시키는 활성 함수. | 04장 |
| SGD (확률적 경사 하강법) | stochastic gradient descent | 미니배치의 기울기로 하는 경사 하강법. | 04장 |
| SiLU (Swish) | sigmoid linear unit, Swish | x·σ(x). 시그모이드로 x 를 부드럽게 통과시키는 활성 함수. | 04장 |
용어 · 어텐션, ViT, DINOv2 (05 – 06장)
| 용어 | 영어 | 뜻 | 설명한 장 |
|---|---|---|---|
| 값 (어텐션) | value | 어텐션에서 실제로 건네지는 내용 벡터. 가중치로 평균 내어 출력이 된다. | 05장 |
| 교차 어텐션 | cross-attention | 질의는 한 토큰 묶음에서, 열쇠 · 값은 다른 묶음에서 만드는 어텐션. | 05장 |
| 귀납 편향 | inductive bias | 모델이 데이터를 보기 전에 구조 자체에 품고 있는 가정. | 06장 |
| 내적 | dot product | 두 벡터의 같은 자리 성분끼리 곱해 모두 더한 값. 방향이 비슷하고 길수록 크다. | 05장 |
| 다중 머리 어텐션 | multi-head attention | 차원 D 를 머리 h 개로 나눠 머리마다 따로 어텐션한 뒤 이어 붙이는 어텐션. | 05장 |
| 레지스터 토큰 | register tokens | ViT 의 토큰 열에 끼워 넣는 학습되는 여분의 토큰. 전역 정보를 적어 둘 자리를 따로 주어 패치 특징의 튀는 점을 없앤다. | 06장 |
| 멀티 크롭 | multi-crop | 한 그림에서 크게 자른 전역 뷰 몇 장과 작게 자른 지역 뷰 여러 장을 함께 만드는 증강. | 06장 |
| 미세 조정 | fine-tuning | 사전 학습된 가중치에서 출발해, 목표 과제의 (작은) 데이터로 조금 더 학습하는 것. | 06장 |
| 밀집 특징 | dense features | 그림 전체에 하나가 아니라 위치(패치)마다 하나씩 있는 특징. | 06장 |
| 붕괴 | collapse | 어떤 그림이 들어와도 모델이 같은 출력을 내는 상태. 손실은 낮지만 아무것도 배우지 못한 것이다. | 06장 |
| 뷰 | view | 한 그림을 무작위로 변형(자르기 · 뒤집기 · 색 바꾸기)해 만든 그림 한 장. | 06장 |
| 사전 학습 | pre-training | 최종 과제에 앞서, 아주 큰 데이터로 더 일반적인 과제를 풀며 가중치를 학습해 두는 것. | 06장 |
| 선형 분류기 평가 (linear probe) | linear probe | 백본을 얼리고 그 특징 위에 선형 층 하나만 학습해 특징의 품질을 재는 방법. | 06장 |
| 순열 등변성 | permutation equivariance | 입력 토큰의 순서를 섞으면 출력도 똑같이 섞일 뿐 값은 변하지 않는 성질. | 05장 |
| 스케일드 내적 어텐션 | scaled dot-product attention | 내적 점수를 √d_k 로 나눈 뒤 소프트맥스 · 가중 평균을 하는, Transformer 의 기본 어텐션 식. | 05장 |
| 어텐션 | attention | 질의와 열쇠의 비슷함으로 가중치를 정해 값들을 가중 평균하는 연산. | 05장 |
| 어텐션 가중치 | attention weight | 질의가 각 열쇠 · 값에 주는 비율. 모두 양수이고 합이 1. | 05장 |
| 어텐션 마스크 | attention mask | (질의, 열쇠) 쌍마다 볼 수 있는지를 정하는 마스크. 모양 (N_q, N_k). | 05장 |
| 열쇠 | key | 어텐션에서 “무엇을 갖고 있는가” 를 알리는 벡터. 질의와 내적해 점수가 된다. | 05장 |
| 열쇠 패딩 마스크 | key padding mask | 패딩으로 채운 가짜 토큰을 어떤 질의도 보지 못하게 열쇠 쪽에서 가리는 마스크. 모양 (B, N_k). | 05장 |
| 온도 (소프트맥스의) | temperature | 소프트맥스에 넣기 전에 점수를 나누는 양수 τ. 낮을수록 분포가 날카로워진다. | 06장 |
| 위치 인코딩 | positional encoding | 토큰에 위치를 알려 주려고 더하는, 사인 · 코사인으로 만든 고정 벡터. | 05장 |
| 위치 임베딩 | position embedding | 자리마다 하나씩 둔 학습되는 벡터. 토큰에 더해 “그림의 어디에서 왔는지” 를 알려 준다. | 06장 |
| 위치 임베딩 보간 | position embedding interpolation | 학습된 위치 임베딩을 2차원 격자로 되돌려 그림처럼 크기를 바꾼 뒤 다시 펴는 방법. | 06장 |
| 인과 마스크 | causal mask | 각 위치가 자기보다 뒤의 토큰을 못 보게 하는 삼각형 모양의 어텐션 마스크. | 05장 |
| 자기 어텐션 | self-attention | 질의 · 열쇠 · 값을 모두 같은 토큰 묶음에서 만드는 어텐션. 토큰들이 서로를 본다. | 05장 |
| 자기 증류 | self-distillation | 미리 학습된 교사 없이, 학생 자신의 지수 이동 평균을 교사로 삼는 증류. | 06장 |
| 자기 지도 학습 | self-supervised learning, SSL | 사람이 붙인 라벨 대신 데이터 자신에서 정답을 만들어 내는 학습. | 06장 |
| 증류 (지식 증류) | knowledge distillation | 학생 망이 정답 라벨 대신 교사 망의 출력 분포를 흉내 내도록 학습하는 기법. | 06장 |
| 질의 | query | 어텐션에서 “무엇을 찾는가” 를 나타내는 벡터. 정보를 받는 쪽이 낸다. | 05장 |
| 토큰 | token | 어텐션이 다루는 단위인 벡터 하나. 이 튜토리얼에서는 그림 패치 하나 또는 객체 질의 하나. | 05장 |
| 투영 머리 | projection head | 자기 지도 학습에서 백본의 출력 위에 얹어 손실을 계산하는 작은 MLP. 사전 학습이 끝나면 버린다. | 06장 |
| 파운데이션 모델 | foundation model | 한 번 크게 사전 학습해 두고 여러 과제의 출발점으로 삼는 모델. | 06장 |
| 패치 | patch | 그림을 겹치지 않게 자른 p × p 픽셀의 정사각형 조각. ViT 의 토큰 하나가 된다. | 06장 |
| 패치 임베딩 | patch embedding | 패치 하나를 펴서 선형 층으로 길이 D 인 토큰으로 바꾼 것. 커널 · 스트라이드가 p 인 합성곱과 같은 계산이다. | 06장 |
| centering (중심 빼기) | centering | 교사의 점수에서 그 이동 평균(중심 c)을 빼는 것. 모든 그림이 한 칸으로 쏠리는 붕괴를 막는다. | 06장 |
| CLS 토큰 | class token, [CLS] | 토큰 열 맨 앞에 끼워 넣는 학습되는 벡터. 마지막 층에서의 출력을 그림 전체의 요약으로 쓴다. | 06장 |
| DINO | self-distillation with no labels | 같은 그림의 서로 다른 뷰에 대해 학생의 출력 분포가 EMA 교사의 출력 분포를 따르게 하는 자기 지도 학습 방법. | 06장 |
| DINOv2 | DINOv2 | DINO 와 iBOT 의 손실을 함께 써서 정제한 1억 4,200만 장으로 자기 지도 사전 학습한 ViT. RF-DETR 의 백본. | 06장 |
| FFN (순방향 신경망) | feed-forward network | 어텐션 뒤에 토큰마다 따로 적용하는 2층 신경망(D → rD → D). | 05장 |
| Flash Attention | FlashAttention | N×N 가중치 행렬을 통째로 만들지 않고 덩어리로 나눠 계산하는, 결과는 같은 빠른 어텐션 구현. | 05장 |
| iBOT | image BERT pre-training with online tokenizer | 학생에게 준 그림의 패치 일부를 가리고, 그 자리의 출력이 교사의 패치 출력을 따르게 하는 패치 수준 자기 증류. | 06장 |
| LVD-142M | LVD-142M | DINOv2 의 사전 학습에 쓴, 라벨 없는 그림 1억 4,200만 장의 정제된 데이터셋. | 06장 |
| post-norm | post-normalization | 잔차를 더한 뒤에 층 정규화를 하는 Transformer 층의 꼴: LN(x + f(x)). | 05장 |
| pre-norm | pre-normalization | 부품에 넣기 전에 층 정규화를 하는 Transformer 층의 꼴: x + f(LN(x)). | 05장 |
| sharpening (날카롭게 하기) | sharpening | 교사의 소프트맥스 온도를 낮게 두어 분포를 한쪽으로 쏠리게 하는 것. 균등 분포로의 붕괴를 막는다. | 06장 |
| Transformer | Transformer | 다중 머리 어텐션과 FFN 을 잔차 연결 · 층 정규화로 감싼 층을 쌓은 신경망 구조. | 05장 |
| Vision Transformer (ViT) | Vision Transformer | 그림을 패치로 잘라 토큰 열로 만들고, 표준 Transformer 인코더로 처리하는 모델. | 06장 |
용어 · DETR 계보 (07 – 09장)
| 용어 | 영어 | 뜻 | 설명한 장 |
|---|---|---|---|
| 2단계 방식 | two-stage | 특징 맵의 모든 칸이 제안 박스와 점수를 내고, 점수 상위 몇 개를 디코더의 처음 기준 박스로 쓰는 방식. | 08장 |
| 객체 질의 | object query | DETR 디코더에 들어가는 $N$ 개의 학습되는 벡터. 하나가 예측 슬롯 하나를 맡는다. | 07장 |
| 기울기 차단 | stop-gradient | 순전파에서는 값을 그대로 쓰되, 역전파에서는 그 값을 상수로 보고 기울기를 흘려보내지 않는 연산. | 08장 |
| 기준 박스 | reference box | 점 대신 박스 $(c_x, c_y, w, h)$ 를 변형 어텐션과 박스 예측의 기준으로 쓴 것. | 08장 |
| 기준점 | reference point | 질의 하나가 “이 근처를 보겠다” 고 정한 정규화 좌표 하나. 변형 어텐션의 표본점은 여기에 오프셋을 더한 자리다. | 08장 |
| 다중 스케일 특징 | multi-scale features | 해상도가 다른 특징 맵 여러 장을 함께 쓰는 것. 작은 객체는 촘촘한 맵에서, 큰 객체는 거친 맵에서 찾는다. | 08장 |
| 다층 특징 집계 | multi-level feature aggregation | ViT 인코더의 마지막 층뿐 아니라 중간 층들의 특징 맵도 꺼내 한데 모아 프로젝터에 넣는 것. | 09장 |
| 매칭 비용 | matching cost | 예측 $i$ 와 정답 $j$ 가 얼마나 안 맞는지를 잰 값. DETR 은 클래스 확률 · L1 거리 · GIoU 세 항의 합을 쓴다. | 07장 |
| 머리 (예측 머리) | head | 디코더가 낸 질의 벡터를 최종 예측(클래스 로짓, 박스, 마스크)으로 바꾸는 작은 신경망. | 09장 |
| 박스 반복 정제 | iterative bounding box refinement | 디코더 층마다 앞 층이 낸 박스를 기준으로 삼아 조금씩 고쳐 나가는 방식. | 08장 |
| 박스 재매개변수화 | box regression target reparameterization | 박스 머리의 출력을 “기준 박스 크기의 몇 배만큼 옮기고 몇 배로 키울까” 로 읽는 박스 예측 방식. | 09장 |
| 배정 | assignment | 정답마다 서로 다른 예측을 하나씩 골라 주는 대응 $\sigma$. | 07장 |
| 백본 | backbone | 그림에서 특징을 뽑아내는 신경망의 몸통. 그 출력(특징 맵) 위에 프로젝터 · 디코더 · 머리가 얹힌다. | 09장 |
| 변형 어텐션 | deformable attention | 질의마다 기준점 둘레의 표본점 몇 개에서만 값을 읽어 가중 평균하는 어텐션. 오프셋과 가중치를 질의 벡터에서 선형 층으로 예측한다. | 08장 |
| 병렬 디코딩 | parallel decoding | 객체 질의 $N$ 개를 한꺼번에 넣어 $N$ 개의 예측을 한 번의 순전파로 내는 것. | 07장 |
| 보조 손실 | auxiliary loss | 마지막 층뿐 아니라 디코더의 모든 중간 층 출력에도 같은 머리로 예측을 내어 거는 같은 손실. | 07장 |
| 비용 행렬 | cost matrix | 예측 $i$ 를 정답 $j$ 에 배정할 때의 비용 $C_{ij}$ 를 모든 쌍에 대해 적은 표. 모양 (예측 수, 정답 수). | 07장 |
| 섞은 질의 선택 | mixed-query selection | 질의의 위치(기준 박스)는 그림의 특징 맵에서 점수 상위 칸을 골라 정하고, 내용은 학습되는 임베딩으로 두는 방식. | 09장 |
| 선형 보간 | linear interpolation | 두 점 사이의 값을 두 점을 잇는 직선 위의 값으로 정하는 방법. 가까운 쪽에 큰 가중치를 주는 가중 평균이다. | 08장 |
| 순열 불변 | permutation invariance | 입력의 순서를 바꾸어도 값이 변하지 않는 성질. 집합 예측의 손실이 가져야 하는 성질. | 07장 |
| 쌍선형 보간 | bilinear interpolation | 격자 칸 사이에 있는 점의 값을 둘레 네 칸의 값의 가중 평균으로 읽는 방법. | 08장 |
| 역시그모이드 | inverse sigmoid | 시그모이드의 역함수. 0 – 1 의 값을 로짓(실수 전체)으로 되돌린다. | 08장 |
| 예측 슬롯 | prediction slot | DETR 이 두는 고정된 $N$ 개의 예측 자리. 슬롯 하나가 (클래스 확률, 박스) 한 벌을 낸다. | 07장 |
| 오프셋 | sampling offset | 기준점에서 얼마나 떨어진 곳을 읽을지를 나타내는 2차원 벡터. 질의 벡터에서 선형 층으로 예측한다. | 08장 |
| 윈도 어텐션 | window attention | 토큰 격자를 겹치지 않는 윈도로 나눠 윈도 안의 토큰끼리만 하는 자기 어텐션. 쌍의 수가 윈도 수만큼 나뉜다. | 09장 |
| 윈도 우선 배치 | window-major feature map organization | 토큰을 한 행씩이 아니라 윈도 단위로 늘어놓는 것. 한 윈도가 수열의 연속 구간이 되어 윈도 · 전역 어텐션 사이의 전환이 view 만으로 된다. | 09장 |
| 이분 매칭 | bipartite matching | 두 무리(예측과 정답) 사이에서 총비용이 최소가 되게 일대일로 짝을 고르는 문제. | 07장 |
| 일대일 매칭 | one-to-one matching | 정답 하나에 예측 하나, 예측 하나에는 정답이 많아야 하나만 짝짓는 것. | 07장 |
| 전역 어텐션 | global attention | 모든 토큰이 모든 토큰을 보는 보통의 자기 어텐션. 윈도 어텐션과 구별해 부르는 이름. | 09장 |
| 제안 박스 | region proposal | 2단계 방식의 첫 단계에서 특징 맵의 칸 하나가 내는 “여기에 객체가 있다면 이런 박스” 라는 후보. | 08장 |
| 종단 간 | end-to-end | 입력에서 최종 답까지를 손으로 만든 중간 단계 없이 한 모델이 내고, 그 답의 손실로 전체를 한 번에 학습하는 방식. | 07장 |
| 집합 손실 | set loss, Hungarian loss | 헝가리안 매칭으로 정한 짝에 대해 계산하는 DETR 의 손실: 모든 질의의 분류 손실 + 짝이 있는 질의의 박스 손실. | 07장 |
| 집합 예측 | set prediction | 순서가 없는 원소들의 집합을 한 번에 내놓는 문제. DETR 은 탐지를 (클래스, 박스) 의 집합 예측으로 푼다. | 07장 |
| 탐욕 배정 | greedy assignment | 정답을 차례로 보며 남은 예측 가운데 그때 가장 싼 것을 주는 배정. 빠르지만 최적이 아닐 수 있다. | 07장 |
| 특징 레벨 | feature level | 다중 스케일 특징에서 해상도가 다른 특징 맵 한 장 한 장. | 08장 |
| 특징 맵 | feature map | 그림을 격자로 나눈 칸마다 벡터가 하나씩 놓인 텐서. 모양은 (B, C, H, W). | 09장 |
| 표본점 | sampling point | 기준점에 오프셋을 더한 자리. 변형 어텐션이 실제로 특징 맵의 값을 읽는 곳. | 08장 |
| 프로젝터 | projector | 백본과 디코더 사이를 잇는 합성곱 블록. 백본의 특징 맵(들)을 디코더가 읽을 채널 수 · 해상도의 특징 맵으로 바꾼다. | 09장 |
| 헝가리안 매칭 | Hungarian matching | DETR 계열이 학습 때 예측과 정답을 짝짓는 방법: 매칭 비용 행렬에서 총비용이 최소인 일대일 배정을 구한다. | 07장 |
| 헝가리안 알고리즘 | Hungarian algorithm | 배정 문제의 정확한 최적해를 행렬 크기의 세제곱 정도의 시간에 찾는 고전 알고리즘(Kuhn, 1955). | 07장 |
| C2f 블록 | C2f block | 1×1 합성곱 → 채널을 둘로 나눔 → 병목(3×3 합성곱 두 번) n 개를 차례로 → 중간 결과를 전부 이어 붙여 1×1 합성곱으로 합치는 블록. | 09장 |
| Deformable DETR | Deformable DETR | DETR 의 어텐션을 변형 어텐션으로 바꿔 수렴을 빠르게 하고 다중 스케일 특징을 쓸 수 있게 한 탐지기(Zhu 외, 2020; ICLR 2021). | 08장 |
| DETR | DEtection TRansformer | 탐지를 집합 예측으로 보고, 일대일 매칭 손실과 Transformer 인코더 · 디코더로 앵커와 NMS 없이 탐지하는 모델(Carion 외, 2020). | 07장 |
| Group DETR | Group DETR | 학습 때 질의를 여러 묶음으로 복제해 묶음마다 따로 일대일 매칭을 하는 기법. 양성이 묶음 수만큼 늘고, 추론은 첫 묶음만 쓴다. | 09장 |
| IoU 인지 BCE 손실 (IA-BCE) | IoU-aware BCE loss | 양성 칸의 목표를 1 이 아니라 점수와 IoU 의 가중 기하 평균 t 로 두는 분류 손실. 점수가 예측 박스의 IoU 로 끌려간다. | 09장 |
| LW-DETR | Light-Weight DETR | 평범한 ViT 인코더, C2f 프로젝터, 얕은(3층) 변형 어텐션 디코더를 쌓은 실시간 탐지기(Chen 외, 2024). RF-DETR 의 직접적인 바탕. | 09장 |
| RT-DETR | Real-Time DEtection TRansformer | CNN 백본 뒤의 인코더를 가볍게 다시 설계해 DETR 계열을 실시간으로 만든 탐지기(Zhao 외, 2023). | 09장 |
용어 · RF-DETR 의 구조와 학습 (10 – 11장)
| 용어 | 영어 | 뜻 | 설명한 장 |
|---|---|---|---|
| 2단계 질의 선택 | two-stage query selection | 프로젝터 출력의 모든 칸에 점수를 매겨 상위 N 칸을 고르고, 그 칸이 낸 박스를 디코더 질의의 기준 박스로 삼는 절차. | 10장 · 08장 |
| 기울기 누적 | gradient accumulation | 작은 배치로 순전파 · 역전파를 여러 번 하며 기울기를 더해 두었다가 한 번만 가중치를 고쳐, 메모리는 작은 배치만큼 쓰면서 큰 배치의 기울기를 얻는 방법. | 11장 |
| 기울기 자르기 | gradient clipping | 모델 전체 기울기의 노름이 한계를 넘으면 방향은 그대로 두고 길이만 한계로 줄이는 것. DETR 계열과 RF-DETR 은 한계 0.1 을 쓴다. | 11장 |
| 내용 질의 | content query | 디코더의 첫 층에 들어가는 질의 벡터의 처음 값. RF-DETR 에서는 그림과 무관하게 학습되는 임베딩 `query_feat` 이다. | 10장 |
| 다중 해상도 학습 | multi-scale training | 학습 중에 입력 그림의 해상도를 무작위로 바꾸는 증강. RF-DETR 은 배치 단위로 한 해상도를 골라 배치 전체를 그 크기로 바꾼다(기본 해상도의 0.5 – 1.5배). | 11장 |
| 데이터 증강 | data augmentation | 학습 그림을 뒤집거나 잘라 변형해 보여 주어, 그림 한 장으로 여러 장의 효과를 내는 방법. RF-DETR 은 수평 뒤집기와 무작위 자르기만 쓴다. | 11장 |
| 드롭 패스 | drop path, stochastic depth | 학습 중에 잔차 블록의 가지 $F(x)$ 를 확률 $q$ 로 통째로 건너뛰는 규제 기법. | 11장 |
| 마스크 이미지 모델링(MIM) | masked image modeling | 그림의 패치 일부를 가리고 보이는 패치만으로 가려진 부분을 맞히게 하는 자기 지도 사전 학습. | 11장 |
| 스케줄러 없는 학습 | scheduler-free training | 학습률과 증강을 학습 도중에 바꾸는 일정표를 두지 않는 RF-DETR 의 학습 방식. 학습률은 끝까지 일정하고 워밍업도 없다. | 11장 |
| 스피어만 상관 | Spearman's rank correlation | 두 양의 값이 아니라 순위가 얼마나 일치하는지를 −1 과 +1 사이로 재는 상관 계수. | 11장 |
| 워밍업 | warm-up | 학습의 맨 처음 얼마 동안 학습률을 0 근처에서 목표값까지 서서히 올리는 장치. RF-DETR 은 쓰지 않는다. | 11장 |
| 윈도별 CLS 토큰 복제 | per-window class token | 윈도 어텐션과 DINOv2 의 CLS 토큰이 함께 가도록, CLS 토큰을 윈도 수만큼 복제해 윈도마다 맨 앞에 붙이는 처리. | 10장 |
| 인코더 제안 | encoder proposals | 2단계 질의 선택이 고른 칸의 클래스 로짓과 박스. 출력 사전의 `enc_outputs` 이고 디코더 출력과 같은 손실을 받는다. | 10장 |
| 지수 이동 평균(EMA) | exponential moving average | 값이 바뀔 때마다 옛 평균을 $d$ 만큼, 새 값을 $1 - d$ 만큼 섞어 유지하는 평균. RF-DETR 은 학습 중인 가중치의 EMA 를 따로 두고 평가 · 저장에 쓴다. | 11장 |
| 질의 위치 임베딩 | query positional embedding | 질의가 맡은 자리와 크기를 알려 주는 벡터. RF-DETR 에서는 기준 박스 네 숫자의 사인 임베딩을 2층 MLP(`ref_point_head`)에 넣어 만든다. | 10장 |
| 층별 학습률 감쇠 | layer-wise learning rate decay | 사전 학습한 백본에서 입력 쪽 블록으로 내려갈수록 학습률에 1 보다 작은 수(RF-DETR 은 0.8)를 거듭 곱해, 얕은 층은 조금만 깊은 층은 많이 고치는 방법. | 11장 |
| 코사인 스케줄 | cosine schedule | 학습률을 코사인 곡선의 반 주기를 따라 시작 값에서 마지막 값까지 내리는 학습률 스케줄. | 11장 |
| 학습률 스케줄러 | learning rate scheduler | 학습 도중에 학습률을 정해진 규칙에 따라 바꾸는 장치. 보통 뒤로 갈수록 낮춘다. | 11장 |
| lite 기준점 정제 | lite reference point refinement | 디코더의 모든 층이 처음 기준 박스를 그대로 함께 쓰는 방식(공개 설정 `lite_refpoint_refine=True`). 층마다 기준 박스를 갱신하는 박스 반복 정제와 대비된다. | 10장 |
| P4 | P4 feature level | 한 칸이 원래 그림의 16픽셀쯤에 해당하는 특징 맵 단계의 이름. RF-DETR 에서는 백본 특징의 해상도를 그대로 쓰는 프로젝터 출력(배율 1.0)을 뜻한다. | 10장 |
| RF-DETR | RF-DETR | LW-DETR 의 뼈대에 DINOv2 백본을 끼우고 가중치 공유 NAS 를 얹은 실시간 탐지기(Robinson 외, ICLR 2026). | 10장 |
용어 · NAS, 분할, 실전 (12 – 14장)
| 용어 | 영어 | 뜻 | 설명한 장 |
|---|---|---|---|
| 가중치 공유 | weight sharing | 여러 구성이 가중치 한 벌을 함께 쓰도록 학습해, 학습 뒤에는 재학습 없이 구성을 골라 꺼내는 NAS 방식. | 12장 |
| 격자 탐색 | grid search | 손잡이마다 값의 목록을 정하고 그 모든 조합을 하나씩 평가하는 탐색. | 12장 |
| 공간 위치 수 | number of spatial locations | 토큰 격자의 한 변의 칸 수, 곧 해상도 ÷ 패치 크기. | 12장 |
| 구조 증강 | architecture augmentation | 학습하는 동안 구성을 무작위로 바꾸는 것이 데이터 증강처럼 정규화로 작용한다는 RF-DETR 논문의 해석. | 12장 |
| 깊이별 분리 합성곱 | depthwise separable convolution | “이웃을 보는 일”(채널마다 따로 하는 깊이별 합성곱)과 “채널을 섞는 일”(1×1 점별 합성곱)을 나눠서 하는 합성곱. | 13장 |
| 내보내기 | export | 학습한 모델을 다른 실행기가 읽을 수 있는 파일(ONNX, TensorRT 엔진 등)로 바꾸는 일. | 14장 |
| 다이스 계수 | Dice coefficient | 두 집합이 겹치는 정도. 교집합의 크기를 두 집합 크기의 평균으로 나눈 값. | 13장 |
| 다이스 손실 | Dice loss | 다이스 계수를 확률로 계산해 1 에서 뺀 마스크 손실. 객체의 크기와 거의 무관하게 겹친 비율을 벌한다. | 13장 |
| 마스크 | mask | 그림과 같은 크기의 격자에 칸마다 0 또는 1 을 적어, 객체 하나가 차지한 픽셀을 나타낸 것. | 13장 |
| 마스크 AP | mask AP | 예측과 정답의 겹침을 박스 IoU 가 아니라 마스크 IoU 로 재서 구한 AP. 인스턴스 분할의 표준 지표. | 13장 |
| 마스크 IoU | mask IoU | 두 마스크의 IoU. 둘 다 1 인 픽셀 수를 하나라도 1 인 픽셀 수로 나눈 값. | 13장 |
| 부분망 | sub-network, sub-net | 가중치를 공유하는 큰 신경망에서 구성 하나를 정해 꺼낸 모델. | 12장 |
| 분할 머리 | segmentation head | 탐지기의 프로젝터 출력과 디코더 층별 질의 임베딩을 받아 질의마다 마스크 로짓을 내는 가벼운 부품. | 13장 |
| 손잡이 | tunable knob | 학습이 끝난 가중치를 그대로 둔 채 값을 바꿔 정확도와 속도를 조절할 수 있는 설정. | 12장 |
| 실효 배치 크기 | effective batch size | 가중치를 한 번 갱신할 때 본 그림 수 = batch_size × grad_accum_steps. | 14장 |
| 양자화 | quantization | 가중치와 중간 계산값을 더 적은 비트의 수(FP16, INT8)로 바꿔 모델을 작고 빠르게 만드는 일. | 14장 |
| 의사 라벨 | pseudo-label | 사람이 아니라 다른 모델이 만들어 준 정답. | 13장 |
| 의사 역행렬 | pseudo-inverse | 역행렬이 없는 행렬에 대해, 해가 많으면 가장 짧은 해를, 해가 없으면 가장 덜 틀리는 해를 주는 행렬. | 12장 |
| 전력 제한 | power throttling | GPU 가 전력 · 발열 한도에 닿아 스스로 속도를 낮추는 현상. 지연 시간 측정을 흔든다. | 12장 |
| 전처리 | preprocessing | 그림을 모델에 넣기 전의 손질: 0 – 1 로 바꾸고, 모델 해상도로 리사이즈하고, 채널별로 정규화한다. | 14장 |
| 점 표본 추출 | point sampling | 마스크 손실과 매칭 비용을 마스크의 모든 칸이 아니라 뽑은 점 몇 개에서만 계산하는 방법. | 13장 |
| 점진적 축소 | progressive shrinking | OFA 의 학습 순서: 가장 큰 신경망을 먼저 학습하고, 작은 부분망을 단계적으로 뽑는 범위에 넣으며 미세 조정한다. | 12장 |
| 조기 종료 | early stopping | 검증 지표가 정해진 에폭 수 동안 나아지지 않으면 학습을 일찍 멈추는 것. | 14장 |
| 처리량 | throughput | 일정 시간 동안 처리하는 그림의 수(초당 장 수). 클수록 좋다. | 12장 |
| 체크포인트 | checkpoint | 학습 도중 · 끝의 가중치(와 학습 상태)를 저장한 파일. | 14장 |
| 탐색 공간 | search space | NAS 가 고를 수 있는 구성 전체의 집합. | 12장 |
| 파레토 최적 · 파레토 경계 | Pareto optimal, Pareto frontier | 다른 어떤 모델에게도 지배당하지 않는 모델이 파레토 최적이고, 그런 점들을 이은 선이 파레토 경계(곡선)다. | 12장 |
| 프로토타입 | prototype | 모든 객체가 함께 쓰는 바탕 그림. 객체마다의 계수로 가중합하면 그 객체의 마스크 로짓이 된다. | 13장 |
| 픽셀 임베딩 | pixel embedding | 마스크 격자의 칸마다 하나씩 있는 길이 $D$ 의 벡터. 질의 임베딩과 내적하면 그 칸의 마스크 로짓이 된다. | 13장 |
| 해상도 키우기 | upsampling | 특징 맵의 칸 수를 늘리는 것. 새 칸의 값은 원래 칸들의 값에서 만들어 낸다. | 13장 |
| 후처리 | postprocessing | 모델의 날출력(박스 · 로짓)을 탐지 결과로 바꾸는 손질. RF-DETR 은 시그모이드 뒤 (질의 × 클래스) 쌍 전체에서 상위 K 개를 고른다. | 14장 |
| COCO 형식 | COCO format | 탐지 데이터셋을 images · categories · annotations 세 목록의 JSON 으로 적는 형식. 박스는 픽셀 [x, y, w, h](왼쪽 위 모서리 기준). | 14장 |
| Detections | supervision.Detections | rfdetr 의 predict 가 돌려주는 탐지 결과 그릇. xyxy(원본 픽셀) · confidence · class_id 를 담는다. | 14장 |
| FlexiViT | FlexiViT (Beyer et al., 2023) | 학습하는 동안 패치 크기를 무작위로 바꿔, 가중치 한 벌로 여러 패치 크기에서 동작하게 만든 ViT. | 12장 |
| FLOPs | floating-point operations | 순전파 한 번에 드는 부동소수점 연산의 수. 하드웨어와 무관한 비용의 척도. | 12장 |
| FP16 (반정밀도) | half precision, 16-bit floating point | 수 하나를 16비트로 적는 부동소수점. FP32 보다 유효 숫자는 적지만 메모리가 절반이고 GPU 에서 빠르다. | 14장 |
| MaskDINO | Mask DINO | DETR 계열 탐지기 DINO 에 마스크 가지를 더한 모델. 질의 임베딩과 픽셀 임베딩 맵의 내적으로 마스크를 낸다. | 13장 |
| NAS | Neural Architecture Search | 신경망의 구조를 사람이 정하지 않고, 후보들의 집합(탐색 공간)에서 탐색으로 찾는 방법. | 12장 |
| OFA | Once-for-All | 여러 구조를 지원하는 신경망 하나를 학습해 두고 부분망을 재학습 없이 골라 쓰는 가중치 공유 NAS (Cai 외, 2019). | 12장 |
| ONNX | Open Neural Network Exchange | 신경망을 표준 연산들의 그래프로 적는 파일 형식. 여러 실행기 사이의 공용어. | 14장 |
| ONNX Runtime | ONNX Runtime (onnxruntime) | ONNX 그래프를 실행하는 엔진. 실행 제공자를 골라 CPU · GPU 등에서 돌린다. | 14장 |
| opset | ONNX operator set version | ONNX 의 표준 연산 목록의 판 번호. rfdetr 1.12.1 의 기본은 17. | 14장 |
| PI-resize | pseudo-inverse resize | 패치를 리사이즈한 것과 새 커널의 내적이 원래 패치 · 원래 커널의 내적과 같아지도록 패치 임베딩 커널을 바꾸는 변환. | 12장 |
| RF-DETR-Seg | RF-DETR-Seg | RF-DETR 탐지기에 가벼운 분할 머리를 얹어 객체마다 클래스 · 박스 · 마스크를 내는 인스턴스 분할 모델. | 13장 |
| SAM2 | Segment Anything Model 2 | 가리킨 객체의 마스크를 내는 분할 모델(Ravi 외, 2024). RF-DETR-Seg 의 사전 학습용 의사 라벨을 만드는 데 쓰였다. | 13장 |
| TensorRT | NVIDIA TensorRT | NVIDIA 의 추론 최적화 도구. 그래프를 특정 GPU 에 맞는 ‘엔진’ 으로 컴파일한다. | 14장 |
| YOLACT | YOLACT | 프로토타입 마스크 $k$ 장과 객체마다의 마스크 계수를 선형 결합해 마스크를 만드는 실시간 인스턴스 분할 모델. | 13장 |
| YOLO 형식 | YOLO format | 그림마다 텍스트 파일 하나에 ‘클래스 cx cy w h’(정규화)를 한 줄씩 적는 데이터셋 형식. | 14장 |
7. 논문 지도: 무엇을 어떤 순서로 읽을까
논문은 처음부터 끝까지 읽기보다 다음 순서로 읽고, 이해가 안 되는 식은 이 튜토리얼의 해당 장으로 돌아와 보세요.
- 초록과 그림 1
- 방법 절의 핵심 식
- 실험의 주요 표
arXiv 번호는 이 튜토리얼을 쓰면서 원문을 직접 내려받아 확인한 것만 적었습니다. 연도는 arXiv 에 처음 올라온 해입니다.
읽는 순서
| 순서 | 논문 | 왜 읽나 | 관련 장 |
|---|---|---|---|
| 0 | Vaswani 외, “Attention Is All You Need” (2017), 1706.03762 | 어텐션과 Transformer 의 원전 | 05 |
| 1 | Carion 외, “End-to-End Object Detection with Transformers” (DETR, 2020), 2005.12872 | 집합 예측, 헝가리안 매칭, 객체 질의. 읽기 쉽고 뒤의 모든 논문의 출발점 | 07 |
| 2 | Zhu 외, “Deformable DETR” (2020), 2010.04159 | 변형 어텐션, 박스 반복 정제, 2단계 방식 | 08 |
| 3 | Dosovitskiy 외, “An Image is Worth 16x16 Words” (ViT, 2020), 2010.11929 | 그림을 패치 토큰으로 바꿔 Transformer 에 넣기 | 06 |
| 4 | Caron 외, “Emerging Properties in Self-Supervised Vision Transformers” (DINO, 2021), 2104.14294 → Zhou 외, “iBOT” (2021), 2111.07832 → Oquab 외, “DINOv2” (2023), 2304.07193 | 자기 증류 사전 학습과, RF-DETR 의 백본이 된 DINOv2 | 06 |
| 5 | Li 외, “Exploring Plain Vision Transformer Backbones for Object Detection” (ViTDet, 2022), 2203.16527 | 평범한 ViT 를 탐지 백본으로: 윈도 어텐션과 몇 개의 전역 블록 | 09 |
| 6 | Chen 외, “Group DETR” (2022), 2207.13085 · Cai 외, “Align-DETR” (2023), 2304.07527 · Lin 외, “DETR Doesn’t Need Multi-Scale or Locality Design” (2023), 2308.01904 | LW-DETR 이 가져다 쓴 학습 기법 셋: 질의 묶음, IoU 인지 분류 손실, 박스 재매개변수화 | 09 |
| 7 | Zhao 외, “DETRs Beat YOLOs on Real-time Object Detection” (RT-DETR, 2023), 2304.08069 | 실시간 DETR 의 첫 길: CNN 백본과 가벼운 인코더 | 09 |
| 8 | Chen 외, “LW-DETR: A Transformer Replacement to YOLO for Real-Time Detection” (2024), 2406.03459 | RF-DETR 의 바탕. ViT 인코더 + 프로젝터 + 얕은 디코더 | 09 |
| 9 | Cai 외, “Once-for-All: Train One Network and Specialize it for Efficient Deployment” (OFA, 2019), 1908.09791 · Beyer 외, “FlexiViT: One Model for All Patch Sizes” (2022), 2212.08013 | 가중치 공유 NAS 의 생각과, 패치 크기를 바꿔 쓰는 방법 | 12 |
| 10 | Robinson 외, “RF-DETR: Neural Architecture Search for Real-Time Detection Transformers” (2025, ICLR 2026), 2511.09554 | 이 튜토리얼의 주인공. 본문 3 – 4절과 부록 A(학습 설정) · K(지연 시간 측정) · L(찾은 구조의 경향) | 01 · 10 – 13 |
| 11 | Bolya 외, “YOLACT” (2019), 1904.02689 · Cheng 외, “Mask2Former” (2021), 2112.01527 · Li 외, “Mask DINO” (2022), 2206.02777 | 프로토타입 마스크, 점 표본 추출, 질의와 픽셀 임베딩의 내적으로 만드는 마스크 | 13 |
| + | Rezatofighi 외, “Generalized Intersection over Union” (2019), 1902.09630 · Lin 외, “Focal Loss for Dense Object Detection” (2017), 1708.02002 · Milletari 외, “V-Net” (2016), 1606.04797 | 손실 함수의 원전: GIoU, 포컬 손실, 다이스 손실 | 02 · 04 · 13 |
| + | Lin 외, “Microsoft COCO” (2014), 1405.0312 · Robicheaux 외, “Roboflow100-VL” (2025), 2505.20612 | 벤치마크: COCO 와, 데이터셋 100개짜리 RF100-VL | 01 · 03 |
| + | Peng 외, “D-FINE” (2024), 2410.13842 · Liu 외, “Grounding DINO” (2023), 2303.05499 | RF-DETR 논문이 견줄 상대로 삼은 실시간 탐지기와 열린 어휘 탐지기 | 01 |
| + | Girshick 외, “R-CNN” (2013), 1311.2524 · Ren 외, “Faster R-CNN” (2015), 1506.01497 · Redmon 외, “You Only Look Once” (2015), 1506.02640 · Liu 외, “SSD” (2015), 1512.02325 · He 외, “Mask R-CNN” (2017), 1703.06870 | DETR 이전의 2단계 · 1단계 탐지기. 앵커와 NMS 가 어디서 왔는지 알고 싶을 때 | 01 |
RF-DETR 의 부품은 어디서 왔나
계보를 부품 쪽에서 다시 보면 RF-DETR 은 여러 논문의 생각을 조립한 것입니다. 본문에서 다룬 것만 적었습니다.
| 부품 | 출처 | RF-DETR 에서의 모습 | 장 |
|---|---|---|---|
| 집합 예측 · 헝가리안 매칭 · 객체 질의 · 보조 손실 | DETR (2020) | 그대로. 보조 손실은 디코더 층을 추론 때 떼어 낼 수 있게 하는 근거가 된다 | 07 |
| 변형 교차 어텐션 · 2단계 질의 선택 | Deformable DETR (2020) | 디코더의 교차 어텐션(특징 레벨 1개, 표본점 2개), 인코더 제안에서 기준 박스 고르기 | 08 · 10 |
| 윈도 어텐션 + 전역 블록 | ViTDet (2022) → LW-DETR (2024) | DINOv2 백본에 윈도 블록을 넣고 윈도 우선 배치로 구현 | 09 · 10 |
| 질의 묶음 | Group DETR (2022) | 학습 때 묶음 13개, 추론 때 첫 묶음만 | 09 |
| 섞은 질의 선택 | 탐지기 DINO (Zhang 외, 2022) | 내용 질의는 학습되는 임베딩, 기준 박스는 그림에서 고른 제안 | 09 · 10 |
| IoU 인지 BCE 손실 | Align-DETR (2023) | 분류 손실의 기본값 | 09 · 11 |
| 박스 재매개변수화 | “DETR Doesn’t Need Multi-Scale or Locality Design” (2023) | 박스를 시그모이드 없이, 기준 박스의 크기를 단위로 예측 | 09 · 10 |
| C2f 프로젝터, 얕은 디코더, 다층 특징 집계 | LW-DETR (2024) | 프로젝터의 배치 정규화를 층 정규화로 바꿈 | 09 · 10 |
| 사전 학습 백본 | DINOv2 (2023) | LW-DETR 의 CAEv2 백본을 대신함 | 06 · 10 |
| 가중치 공유 NAS | OFA (2019) | 스텝마다 구성 하나를 균등하게 뽑아 학습, 끝난 뒤 격자 탐색 | 12 |
| 패치 크기 바꾸기 | FlexiViT (2022) | 패치 임베딩 커널을 PI-resize 로 변환 | 12 |
| 분할 머리 | MaskDINO (2022), 해석은 YOLACT (2019) | 질의 쪽 벡터와 픽셀 임베딩의 내적. 다중 스케일 백본 특징은 쓰지 않음 | 13 |
탐지기 DINO(Zhang 외, 2022)와 SAM2(Ravi 외, 2024)는 본문에 이름이 나오지만, 이 튜토리얼을 쓰면서 원문을 직접 확인하지 않았으므로 arXiv 번호를 적지 않았습니다. 이름으로 검색해 찾으세요. 탐지기 DINO 는 6장의 자기 지도 학습 방법 DINO · DINOv2 와 이름만 같은 다른 연구입니다.
8. 공개 구현 · 도구
이 튜토리얼의 작은 구현으로 원리를 익힌 뒤, 실제 과제에는 검증된 공개 구현에서 출발하는 것이 좋습니다.
| 구현 | 내용 |
|---|---|
| roboflow/rf-detr | RF-DETR 공식 구현이자 rfdetr 패키지의 저장소. 14장에서 쓴 것. 라이선스는 모델 크기마다 다르므로 README 를 직접 확인한다 |
| roboflow/supervision | predict() 가 돌려주는 Detections 와 그리기 도구 |
| Atten4Vis/LW-DETR | LW-DETR 공식 구현. RF-DETR 의 코드가 여기서 갈라져 나왔다 |
| fundamentalvision/Deformable-DETR | Deformable DETR 공식 구현. 변형 어텐션 모듈의 원본 |
| facebookresearch/detr | DETR 공식 구현. 매칭 · 손실 코드가 짧아 읽기 좋다 |
| lyuwenyu/RT-DETR | RT-DETR 공식 구현 |
| facebookresearch/dinov2 | DINOv2 의 코드와 사전 학습 가중치 |
| cocodataset/cocoapi | COCO 의 공식 채점 도구(pycocotools). 3장의 채점기가 따른 정의의 원본 |
| ONNX Runtime | 내보낸 ONNX 모델을 돌리는 실행기. 14장에서 CPU 제공자로 썼다 |
미니 구현의 이름은 공식 구현을 따랐습니다. 대응은 다음과 같습니다(파일 경로는 rfdetr 패키지의 models/ 아래).
- 매칭: 7 · 11장의 헝가리안 매칭 ↔
matcher.py - 손실: 11장의
RFDETRCriterion↔criterion.py - 변형 어텐션: 8장의 모듈 ↔
ops/modules/ms_deform_attn.py - 윈도를 넣은 백본: 9 · 10장 ↔
backbone/dinov2_with_windowed_attn.py - 프로젝터: 9 · 10장의 C2f ↔
backbone/projector.py - 질의 선택과 디코더: 10장 ↔
transformer.py,lwdetr.py - 분할 머리: 13장 ↔
heads/segmentation.py
9. 자주 묻는 질문
실습 파일마다 --quick 인자가 있어 CPU 로도 축소판이 돕니다. 코드가 도는 것을 먼저 그렇게 확인하세요.
본문의 수치를 낸 본 실행은 8GB 노트북 GPU 한 장에서 돌린 것이고, 장마다 실제로 걸린 시간을 적어 두었습니다(예: 14장의 Nano 미세 조정 5 에폭이 18.2분, GPU 메모리 최대 1.61 GiB).
GPU 가 없다면 본 실행은 무료 클라우드 노트북에서 돌리거나, 에폭 수를 줄여 경향만 보세요.
아닙니다. AP 는 같은 데이터셋 · 같은 채점 방식 안에서만 견줄 수 있습니다(3장). 도형 세상은 클래스가 3개이고 배경이 깨끗하며 그림마다 객체가 1 – 4개뿐인 쉬운 문제입니다. 실제로 14장에서 진짜 Nano 를 도형 세상에 미세 조정하면 5 에폭 만에 시험 AP 0.983 이 나옵니다.
학습 때 일대일 매칭을 하기 때문입니다. 한 객체를 두 질의가 가리키면 하나는 반드시 “객체 없음” 쪽으로 벌을 받고, 질의들은 디코더의 자기 어텐션으로 서로를 보며 조율합니다(7장). 그리고 짝이 없는 질의에 낮은 점수만 붙어 있으면 AP 는 전혀 깎이지 않습니다. 낮은 점수의 헛예측은 순위의 맨 뒤에 서기 때문입니다(3장). 다만 “중복이 0” 은 아닙니다. 7장의 미니 DETR 에서도 마지막 층에 겹치는 쌍이 45개 있었습니다. NMS 를 걸어도 얻을 것이 없을 만큼 드물다는 뜻입니다.
둘 다 출처가 있는 값입니다. 논문 표 2 는 Nano 48.0 AP · Small 52.9 AP 이고, 이 튜토리얼이 확인한 시점의 README 표는 48.4 · 53.0 입니다. 모델이 갱신되었을 수 있으므로 둘을 섞지 말고 출처를 밝혀 쓰세요(1장). 논문 안에서도 표 5 의 마지막 줄(54.6)과 표 2 의 Medium(54.7)이 0.1 다르고, 논문은 까닭을 밝히지 않습니다.
공개된 가중치로 추론하거나 미세 조정한다면 코드의 동작입니다. 그 가중치가 그 코드로 학습되었기 때문입니다. 본문에서 만난 예는 다음과 같습니다.
아닙니다. 질의 12개 · 객체 1 – 4개의 도형 세상과 질의 300개 · 객체 수십 개의 COCO 는 다른 상황입니다. LW-DETR 논문은 COCO 에서 Group DETR 로 +3.0 mAP 를 보고했습니다(9장). 미니 실험의 쓸모는 원리를 손으로 확인하는 데 있고, 어떤 기법의 값어치를 판정하는 데 있지 않습니다. 거꾸로, 논문의 효과가 내 데이터에서도 그대로 나오리라고 믿는 것도 위험합니다. 내 데이터에서 절제해 보는 수밖에 없습니다(11장).
표의 지연 시간은 T4 · TensorRT · FP16 의 값이므로, 쓸 장비에서 쓸 실행기로 직접 재야 합니다(12장, 14장). 순서는 대략 이렇습니다.
- 지연 시간 예산을 정한다(예: 초당 30장이면 한 장에 33 ms 안쪽, 전처리 · 후처리까지 넣어서).
- 후보 크기 두세 개를 내 장비에서 같은 방법으로 잰다.
- 예산에 드는 것 가운데 내 데이터의 검증 AP 가 가장 높은 것을 고른다.
- 객체가 작으면 모델 크기보다 해상도를 먼저 올려 본다(해상도는
patch_size × num_windows의 배수).
14장의 실험에서는 그림 1,000장으로, 사전 학습 가중치에서 시작한 Nano 가 첫 에폭에 검증 AP 0.95 에 이르렀습니다. 같은 조건의 무작위 초기화는 3 에폭에 0.77 이었습니다. 적은 데이터에서의 힘은 사전 학습에서 옵니다. 다만 이것은 쉬운 데이터에서의 한 번의 실험입니다. 내 데이터에서 얼마가 필요한지는 검증 세트를 따로 떼어 두고 직접 재야 합니다.
보통은 아닙니다. 공개된 Nano – Large 등은 논문의 탐색이 COCO 에서 찾아 둔 구성입니다. 그 가운데 하나를 골라 미세 조정하면 됩니다. 추론 때 디코더 층 수나 질의 수를 줄여 보는 것은 재학습 없이 할 수 있습니다(12장). 논문은 그 탐색에 약 10,000 GPU 시간이 들었다고 추정합니다.
10. 다음에 해 볼 것
읽은 것을 자기 것으로 만드는 가장 좋은 방법은 직접 바꿔 보는 것입니다. 본문이 “해 보지 않았다” 고 적어 둔 것들을 중심으로, 난이도 순으로 골랐습니다.
| 난이도 | 프로젝트 | 배우는 것 |
|---|---|---|
| ★☆☆ | 2장의 박스 맞추기 실험에서 학습률과 계수를 바꿔, 합친 손실이 빨랐던 까닭이 계수임을 직접 확인하기 | 손실의 계수와 학습률의 관계 |
| ★☆☆ | 3장의 채점기에 내가 만든 가짜 예측(일부러 점수를 뒤섞은 것, 중복을 넣은 것)을 넣고 AP 를 미리 짐작해 보기 | AP 가 무엇에 반응하는지에 대한 감각 |
| ★☆☆ | 14장을 따라 내 그림 수십 – 수백 장을 COCO 형식으로 만들어 Nano 를 미세 조정하기 | 데이터 준비에서 추론까지의 전체 흐름 |
| ★★☆ | 8장의 절제 실험을 시드 세 개로 다시 돌려, 다중 스케일과 인코더의 차이가 정말 우연 범위인지 확인하기 | 절제 실험의 눈금 재기 |
| ★★☆ | 11장의 본 실험을 무작위 백본 + 일정한 학습률로 다시 돌리기(본문은 4,000장 · 60 에폭에서 재어 보지 않았다) | 층별 학습률 감쇠가 무엇을 전제로 한 장치인지 |
| ★★☆ | 11장의 포컬 손실 절제를 계수 2 로 다시 하기(본문은 계수 1 로만 했다) | 손실의 종류와 크기를 갈라 보기 |
| ★★☆ | 도형 세상을 어렵게 만들기: 객체를 더 많이, 더 작게, 질의를 더 많이. 그 뒤 Group DETR 절제를 다시 하기 | 기법의 효과가 데이터와 규모에 따라 달라지는 모습 |
| ★★☆ | 12장에서 해상도만 바꾸고 패치 · 윈도는 고정한 대조 학습을 더해, NAS 학습의 이득 가운데 다중 해상도 증강의 몫을 가르기 | 대조군을 세우는 법 |
| ★★☆ | 12장의 탐색에서 고른 구성을 시험 세트에서 다시 채점해, 검증 세트로 고른 값이 얼마나 낙관적인지 보기 | 모델 선택과 과적합 |
| ★★★ | 13장의 분할 모델을 체크포인트 없이 처음부터 학습해, 매칭 비용의 마스크 항이 그때는 차이를 만드는지 보기 | 탐지와 분할을 함께 학습할 때의 상호작용 |
| ★★★ | 14장에서 내보낸 ONNX 로 TensorRT FP16 엔진을 만들어, 같은 엔진으로 지연 시간과 AP 를 함께 재기(이 튜토리얼은 엔진을 만들어 보지 않았다) | 논문의 측정 절차, 같은 산출물로 보고하기 |
| ★★★ | 미니 RF-DETR 의 백본을 6장의 미니 DINO 로 사전 학습해, 11장의 마스크 이미지 모델링 사전 학습과 견주기 | 사전 학습 방법에 따른 차이, 실험 설계 |
확인 문제
192×192 그림의 COCO 주석에 "bbox": [48, 24, 96, 48] 이 있습니다. 이 튜토리얼의 정규화 중심 표현 $(c_x, c_y, w, h)$ 로 바꾸세요. 이것을 실수로 중심 표현의 픽셀 값으로 읽으면 박스가 어디로 가나요?
답 보기
COCO 의 앞 두 숫자는 왼쪽 위 모서리입니다. $c_x = (48 + 96/2)/192 = 96/192 = 0.5$, $c_y = (24 + 48/2)/192 = 48/192 = 0.25$, $w = 96/192 = 0.5$, $h = 48/192 = 0.25$. 중심으로 잘못 읽으면 중심이 $(48, 24)$ 픽셀이 되어, 박스가 왼쪽 위로 너비 · 높이의 절반(48, 24 픽셀)만큼 밀립니다. 왼쪽 끝이 $48 - 48 = 0$, 위쪽 끝이 $24 - 24 = 0$ 이 되어 그림의 구석에 붙습니다.
그림 한 장에 분류 칸이 144개, 그 가운데 양성이 2개입니다. 손실은 BCE 의 합을 양성 수로 나눈 값입니다. 분류 머리의 편향이 0 일 때(모든 칸의 확률 0.5)와 사전 확률 $\pi = 0.01$ 에 맞춰 초기화했을 때의 첫 손실을 각각 계산하세요. 학습 로그의 첫 손실이 50 근처라면 무엇을 의심해야 하나요?
답 보기
- 편향이 0 일 때: 모든 칸의 손실이 $-\log 0.5 = 0.6931$ 이므로 $144 \times 0.6931 / 2 = 49.9$.
- 사전 확률에 맞췄을 때: 양성 칸은 $-\log 0.01 = 4.6052$, 음성 칸은 $-\log 0.99 = 0.01005$ 이므로 $(2 \times 4.6052 + 142 \times 0.01005)/2 = (9.2104 + 1.4271)/2 = 5.32$.
첫 손실이 50 근처라면 사전 확률 편향 초기화가 빠진 것입니다. 처음 수십 스텝을 “거의 모든 칸이 음성” 이라는 사실을 배우는 데 쓰게 됩니다.
EMA 의 감쇠가 $d = 0.993$, 워밍업 상수가 $\tau = 100$ 입니다. 100번째 스텝의 실효 감쇠 $d_n = d\,(1 - e^{-n/\tau})$ 를 계산하세요. 워밍업이 끝난 뒤 EMA 는 최근 약 몇 스텝의 평균인가요?
답 보기
$1 - e^{-1} = 1 - 0.3679 = 0.6321$ 이므로 $d_{100} = 0.993 \times 0.6321 = 0.628$. 새 가중치를 37% 쯤 받아들이므로 아직 빠르게 따라갑니다. 워밍업이 끝나면 최근 약 $1/(1 - d) = 1/0.007 \approx 143$ 스텝의 평균입니다.
rfdetr 로 미세 조정하는데 cardinality_error 가 학습 내내 36 근처에 머뭅니다. 데이터의 그림당 객체 수는 평균 3.0개입니다. 고장인가요?
답 보기
고장이 아닙니다. 학습 때는 질의 묶음 13개가 함께 돌고, 묶음마다 객체 하나에 예측 하나씩을 냅니다. 점수가 0.5 를 넘는 질의가 약 13 × 3.0 = 39개이고 정답은 3.0개이므로 차이는 12 × 3.0 = 36 입니다. Group DETR 이 실제로 돌고 있다는 표시입니다(14장에서는 그림당 2.44개여서 29.3 이었습니다). 추론 때는 첫 묶음만 쓰므로 이 값과 무관합니다.
내 데이터로 학습한 탐지기의 검증 결과가 AP50 0.97, AP75 0.35, AP 0.48 입니다. 그림에 예측을 그려 보면 객체는 거의 다 찾았습니다. 무엇이 문제이고, 무엇부터 확인할까요?
답 보기
객체는 찾았지만 박스가 헐거운 것입니다. 3장의 실험에서 평균 IoU 가 0.72 쯤인 박스들이 이런 모양의 숫자(AP50 0.971, AP75 0.170, AP 0.377)를 냈습니다. 확인할 순서는 다음과 같습니다.
- 정답 박스 자체가 헐겁게 붙어 있지 않은지(주석의 품질)
- 박스 표현 · 좌표 변환에 반 픽셀 · 반 칸의 어긋남이 없는지
- 박스 손실(L1 · GIoU)이 아직 내려가는 중인지
- 점수의 순서가 박스의 품질을 따르는지(3장의 실험에서 같은 박스라도 점수 순서에 따라 AP75 가 0.153 에서 0.393 까지 달라졌습니다)
동료가 “모델 A 는 논문 표에서 4.4 ms, 모델 B 는 내 노트북에서 재 보니 15 ms 였으니 A 가 세 배 넘게 빠르다” 고 합니다. 이 비교에서 빠진 것을 네 가지 적어 보세요.
답 보기
지연 시간은 같은 조건에서 잰 것끼리만 견줄 수 있습니다. 빠진 것은 다음 네 가지입니다.
- 하드웨어: 논문은 T4, 동료는 노트북
- 실행기: TensorRT 엔진과 일반 PyTorch 모듈
- 정밀도: FP16 과 FP32
- 잰 범위: 순전파만인지, 전처리 · 후처리까지인지
그 밖에 예열을 버렸는지, GPU 연산이 끝나기를 기다렸는지, 여러 번 재서 중앙값을 썼는지, 기계가 다른 일을 하고 있지 않았는지도 확인해야 합니다. 두 모델을 같은 기계에서 같은 방법으로 번갈아 재야 비교가 됩니다.
1장에서 객체 탐지를 “그림 속 객체마다 어디에 있는지(박스)와 무엇인지(클래스)를 함께 답하는 문제” 라고 정의했습니다. 그 한 문장에서 출발해 박스와 IoU, AP, 어텐션, ViT 와 DINOv2 를 쌓고, DETR 의 집합 예측에서 Deformable DETR 과 LW-DETR 을 거쳐 RF-DETR 의 구조 · 학습 · NAS · 분할까지 직접 만들고, 마지막에는 진짜 RF-DETR 을 내 데이터에 맞춰 내보냈습니다. 그 길에서 되풀이해 확인한 것은 세 가지입니다. 무엇을 예측하고 무엇과 짝지을 것인가, 어디를 볼 것인가, 그리고 그것을 얼마나 빨리 할 것인가. 탐지기들은 이 세 물음에 대한 서로 다른 답이었습니다. 이제 여러분은 그 답들을 식으로 읽고, 코드로 확인하고, 숫자를 의심하며 직접 재 볼 수 있습니다.