RF-DETR 이란 무엇인가
사진 한 장을 보고 “어디에 무엇이 있는지” 를 말하는 일은 사람에게는 쉽지만 컴퓨터에게는 오랫동안 어려운 문제였습니다. 이 장에서는 그 문제, 곧 객체 탐지 가 정확히 무엇을 묻는 문제인지에서 시작해, 탐지기가 지난 십여 년 동안 어떻게 바뀌어 왔는지, 그리고 2025년에 나온 RF-DETR 이 그 흐름의 어디에 서서 무엇을 왜 바꿨는지를 수식 없이 큰 그림으로 잡습니다. 숫자 계산은 나눗셈 몇 번이 전부입니다.
- 이미지 분류 · 객체 탐지 · 인스턴스 분할이 각각 무엇을 묻는 문제인지
- 탐지기의 출력이 (박스, 클래스, 점수) 의 집합 이라는 것과, 그 때문에 생기는 어려움 다섯 가지
- 2단계 탐지기 → 1단계 탐지기 → DETR → 실시간 DETR 로 이어지는 계보와, 앵커 · NMS 같은 “손으로 만든 부품” 이 무엇인지
- “실시간” 의 뜻: 지연 시간과 처리량, 정확도와 지연 시간의 맞바꿈, 파레토 곡선
- RF-DETR 논문의 문제의식, 구조의 큰 그림, 세 가지 기여, 그리고 논문이 보고한 수치를 읽는 법
- 이 튜토리얼이 02장부터 15장까지 무엇을 어떤 순서로 쌓아 가는지
그림 속에서 물체 찾기: 객체 탐지
자율주행차의 카메라는 앞에 보행자가 있는지, 있다면 어디에 있는지를 알아야 합니다. 공장의 검사 장비는 기판 위의 불량 납땜이 몇 군데 인지 세어야 하고, 계산대 없는 매장의 카메라는 손님이 집어 든 물건이 무엇인지 알아야 합니다. 세 경우 모두 “이 그림은 무엇의 사진인가” 라는 한 줄짜리 답으로는 모자랍니다. 그림 안에 있는 물체 하나하나에 대해 무엇이, 어디에 있는지를 답해야 합니다.
이 문제를 객체 탐지object detection 라고 하고, 이 문제를 푸는 모델을 탐지기detector 라고 부릅니다. “객체(object)” 는 그림 속에서 따로 셀 수 있는 물체 하나를 말합니다.
객체 탐지 는 그림 한 장을 받아, 그 안의 객체마다 “어디에 있는가(박스)” 와 “무엇인가(클래스)” 를 함께 답하는 문제입니다. 객체가 몇 개인지는 미리 알려 주지 않습니다. 그것까지 탐지기가 알아내야 합니다.
이 튜토리얼의 무대: 도형 세상
실제 사진은 너무 복잡해서 원리를 손으로 따라가기 어렵습니다. 그래서 이 튜토리얼은 처음부터 끝까지 도형 세상(Shape World) 이라는 작은 무대를 씁니다.
96×96 픽셀의 어두운 그림 위에 원 · 사각형 · 삼각형이 1 – 4개 놓여 있고, 위치 · 크기 · 색은 그림마다 무작위입니다
(만드는 코드는 0장 에서 소개한 rf_shapes.py).
이 그림에서 눈여겨볼 것은 세 가지입니다.
- 객체 수가 그림마다 다릅니다. 왼쪽부터 4, 3, 4, 3, 2, 3, 2, 4개입니다.
- 크기와 위치가 제각각입니다. 같은 원이라도 두 번째 그림의 큰 원과 작은 원은 지름이 두 배 차이 납니다.
- 서로 살짝 겹치기도 합니다. 첫 번째 · 여덟 번째 그림처럼 도형이 다른 도형을 일부 가립니다.
도형 세상은 장난감처럼 보이지만 실제 객체 탐지의 어려움을 그대로 가지고 있습니다. 14장까지 이 무대에서 탐지기를 처음부터 만들어 보고, 14장 에서 진짜 사진과 진짜 RF-DETR 로 넘어갑니다.
분류, 탐지, 인스턴스 분할
그림을 이해하는 문제는 “얼마나 자세히 답해야 하는가” 에 따라 여러 단계로 나뉩니다. 그림 1-1 의 두 번째 그림(삼각형 하나, 원 둘)을 예로 세 가지를 견주어 봅시다.
- 이미지 분류image classification: 그림 전체 에 이름표를 붙입니다. “이 그림에는 원과 삼각형이 있다.” 어디에 있는지, 몇 개인지는 답하지 않습니다. 그림 1-2 의 왼쪽 그림에서 원이 둘이라는 사실은 답에 드러나지 않습니다.
- 객체 탐지: 객체 하나하나 에 대해, 그 객체를 꼭 맞게 둘러싸는 사각형과 종류를 답합니다. 이 사각형을 박스(경계 상자, bounding box)라고 합니다(2장 에서 자세히). 원이 둘이면 박스도 둘입니다.
- 인스턴스 분할instance segmentation: 박스 대신, 객체마다 그 객체가 차지하는 픽셀 을 정확히 칠합니다. 이렇게 칠한 영역을 마스크라고 합니다. “인스턴스(instance)” 는 같은 종류 안에서의 낱낱의 개체를 뜻합니다. 그림의 두 원은 종류는 같지만 서로 다른 인스턴스이므로 따로 칠해야 합니다. (13장 에서 자세히)
여기서 “종류” 를 클래스class 라고 부릅니다. 탐지기가 구별할 클래스의 목록은 학습 전에 정해 둡니다. 도형 세상의 클래스는 원(0번) · 사각형(1번) · 삼각형(2번) 세 가지이고, 뒤에서 볼 COCO 라는 데이터셋은 사람 · 자동차 · 개 같은 80가지입니다.
| 문제 | 무엇을 답하나 | 그림 1-2 의 답 | 답의 개수 |
|---|---|---|---|
| 이미지 분류 | 그림 전체의 클래스 | 원, 삼각형 | 클래스 수만큼 고정(있다 / 없다) |
| 객체 탐지 | 객체마다 박스 + 클래스 | 삼각형 박스 1개, 원 박스 2개 | 그림마다 다름 |
| 인스턴스 분할 | 객체마다 마스크 + 클래스 | 삼각형 마스크 1개, 원 마스크 2개 | 그림마다 다름 |
박스는 마스크보다 거칩니다. 삼각형을 둘러싼 박스 안에는 삼각형이 아닌 픽셀이 절반쯤 들어 있습니다. 그래도 박스는 숫자 네 개로 적을 수 있어서 다루기 쉽고, “거기에 무엇이 있다” 는 정보로는 대부분의 응용에 충분합니다. 그래서 객체 탐지는 컴퓨터 비전에서 가장 널리 쓰이는 문제 가운데 하나입니다.
입력과 출력: 탐지기는 집합을 내놓는다
탐지기에 무엇이 들어가고 무엇이 나오는지 정확히 적어 봅시다.
-
입력: 그림 한 장. 컴퓨터에게 그림은 숫자 배열입니다. 도형 세상의 그림은 빨강 · 초록 · 파랑 세 장이 겹친 96×96 배열, 곧 모양
(3, 96, 96)의 숫자 27,648개입니다. - 출력: 예측의 집합. 예측 하나는 (박스, 클래스, 점수) 세 가지로 이루어집니다.
기호로 쓰면 다음과 같습니다. 이 장에서 쓰는 거의 유일한 식입니다.
$$ \text{출력} = \{(b_1, c_1, s_1),\; (b_2, c_2, s_2),\; \dots,\; (b_N, c_N, s_N)\} $$읽는 법을 하나씩 짚겠습니다.
- 중괄호 $\{\;\}$ 는 집합 을 뜻합니다. 집합은 원소를 늘어놓는 순서에 뜻이 없습니다. 원을 먼저 적든 삼각형을 먼저 적든 같은 답입니다.
- $N$ 은 예측의 개수이고, 아래 첨자 $i$ 는 “$i$ 번째 예측” 이라는 번호표입니다($i = 1, 2, \dots, N$).
- $b_i$ 는 $i$ 번째 예측의 박스 입니다(box 의 b). 숫자 네 개 $b_i = (c_x, c_y, w, h)$ 로 적는데, $c_x, c_y$ 는 박스 중심의 가로 · 세로 좌표, $w$ 는 너비, $h$ 는 높이입니다. 이 튜토리얼에서는 네 숫자를 모두 그림 크기로 나누어 0 에서 1 사이의 값으로 적습니다(정규화). 왜 이렇게 적는지는 2장 에서 다룹니다.
- $c_i$ 는 클래스 번호입니다(class 의 c). 도형 세상에서는 0(원), 1(사각형), 2(삼각형) 가운데 하나입니다.
- $s_i$ 는 점수 입니다(score 의 s). “이 예측이 맞다고 탐지기가 얼마나 확신하는가” 를 0 에서 1 사이의 수로 나타낸 것으로, 신뢰도(confidence)라고도 부릅니다. 1 에 가까울수록 확신이 큽니다.
그림 1-2 의 그림(그림 1-1 의 두 번째)에 대한 정답 은 다음 세 줄입니다. rf_shapes.py 가 만든 실제 값을 소수 둘째 자리까지 반올림했습니다.
| 객체 | 클래스 | 박스 $(c_x, c_y, w, h)$ | 읽기 |
|---|---|---|---|
| 삼각형 | 2 | (0.80, 0.24, 0.30, 0.36) | 오른쪽 위. 너비는 그림의 30%, 높이는 36% |
| 큰 원 | 0 | (0.20, 0.64, 0.36, 0.36) | 왼쪽 아래. 원이므로 너비 = 높이 |
| 작은 원 | 0 | (0.56, 0.35, 0.18, 0.18) | 가운데 위쪽. 큰 원의 절반 크기 |
정규화한 값에 그림 크기 96 을 곱하면 픽셀 단위가 됩니다. 큰 원의 너비는 $0.36 \times 96 \approx 35$ 픽셀, 중심의 가로 좌표는 $0.20 \times 96 \approx 19$ 픽셀입니다. 그림 1-1 의 두 번째 그림에서 큰 원이 왼쪽 가장자리에 거의 붙어 있는 것과 맞습니다(중심 19 − 반지름 약 17.5 ≈ 왼쪽 끝에서 2픽셀 안쪽).
정답에는 점수가 없습니다. 정답은 확신하고 말고 할 것이 없으니까요. 점수는 탐지기의 예측 에만 붙습니다. 잘 학습된 탐지기라면 이 그림에 대해 이를테면 다음과 같은 집합을 내놓을 것입니다 (점수는 설명을 위해 지어낸 값입니다. 실제 탐지기의 출력은 7장 부터 직접 만들어 봅니다).
{ (박스 (0.80, 0.24, 0.30, 0.36), 클래스 2 삼각형, 점수 0.97),
(박스 (0.20, 0.64, 0.36, 0.36), 클래스 0 원, 점수 0.95),
(박스 (0.56, 0.35, 0.18, 0.18), 클래스 0 원, 점수 0.88) }
쓰는 사람은 보통 점수에 문턱값 을 걸어, 예를 들어 점수가 0.5 를 넘는 예측만 화면에 그립니다. 점수가 있기 때문에 “확실한 것만 보여 줘” 와 “조금이라도 의심스러우면 다 보여 줘” 사이를 고를 수 있습니다. 이 선택이 탐지기의 성적을 어떻게 바꾸는지가 3장 의 주제입니다.
개수가 정해지지 않은 출력이 왜 어려운가
이미지 분류의 출력은 크기가 고정되어 있습니다. 클래스가 세 가지면 “원 점수, 사각형 점수, 삼각형 점수” 숫자 세 개를 내면 끝입니다. 그림이 무엇이든 늘 세 개입니다. 신경망은 이런 일을 잘합니다. 신경망은 본래 정해진 크기의 입력을 받아 정해진 크기의 출력을 내는 함수 이기 때문입니다(4장).
객체 탐지의 출력은 그렇지 않습니다. 그림 1-1 에서 보았듯이 어떤 그림은 답이 두 줄이고 어떤 그림은 네 줄입니다. 실제 사진이라면 0줄(아무것도 없음)일 수도, 수십 줄(군중 사진)일 수도 있습니다. 여기에서 두 가지 곤란함이 생깁니다.
- 출력의 크기를 어떻게 정할 것인가. 고정 크기 출력밖에 못 내는 신경망으로 개수가 변하는 답을 내야 합니다. 지금까지 나온 거의 모든 탐지기는 같은 꾀를 씁니다. 넉넉히 많은 수의 “후보” 를 고정된 개수만큼 내놓고, 그 가운데 대부분은 “여기엔 아무것도 없음” 이라고 답하게 하는 것입니다. 탐지기의 역사는 이 후보를 어떻게 만들고 어떻게 솎아 내느냐의 역사라고 해도 지나치지 않습니다. 다음 절에서 봅니다.
- 순서가 없는 답을 어떻게 채점할 것인가. 집합에는 순서가 없으므로, 탐지기의 첫 번째 예측이 정답의 첫 번째 줄과 대응한다는 보장이 없습니다. 학습하려면 “어느 예측이 어느 정답을 맡았는가” 를 먼저 정해야 손실(틀린 정도)을 계산할 수 있습니다. 이 짝짓기 문제가 7장 DETR 의 핵심입니다.
탐지를 어렵게 만드는 다섯 가지
앞 절의 “개수 미정” 을 포함해, 객체 탐지를 어렵게 만드는 것을 다섯 가지로 정리할 수 있습니다. 뒤에 나오는 탐지기의 부품들은 모두 이 가운데 어느 하나를 풀려고 만든 것이므로, 지금 이름을 붙여 두면 뒤의 장들이 훨씬 쉽게 읽힙니다.
1. 객체가 몇 개인지 모른다
방금 본 문제입니다. 답의 개수가 그림마다 다르고, 답 사이에 순서도 없습니다. 고정된 수의 후보를 내고 대부분을 “없음” 으로 처리하는 방식이 표준적인 해법이며, 후보를 무엇으로 삼느냐(후보 영역, 격자 칸, 앵커, 질의)가 탐지기의 종류를 가릅니다.
2. 크기와 위치가 제각각이다
같은 클래스의 객체가 그림 어디에나, 어떤 크기로나 나타날 수 있습니다. 도형 세상에서도 객체의 한 변은 그림의 14% 에서 42% 까지 세 배 차이가 납니다. 실제 사진에서는 차이가 훨씬 커서, 카메라 바로 앞의 사람은 화면을 가득 채우고 멀리 있는 사람은 몇 픽셀에 지나지 않습니다. 작은 객체를 보려면 그림을 촘촘히(높은 해상도로) 봐야 하는데, 그러면 계산이 많아집니다. 큰 객체를 보려면 넓은 범위를 한꺼번에 봐야 합니다. 두 요구를 함께 맞추려는 장치가 여러 해상도의 특징 맵을 함께 쓰는 “다중 스케일” 이고, 8장 에서 다룹니다.
3. 같은 객체를 여러 번 예측한다
후보를 넉넉히 내면, 한 객체 근처의 여러 후보가 저마다 “여기 원이 있다” 고 답하기 쉽습니다. 박스는 조금씩 다르지만 사실은 같은 원을 가리키는 예측들입니다. 그대로 두면 원 하나를 세 개로 세게 됩니다. 이런 중복 예측 을 어떻게 없앨 것인가는 탐지기 설계에서 가장 오래된 고민 가운데 하나입니다.
4. 그림의 대부분은 배경이다
후보의 대부분은 아무 객체도 맡지 않습니다. 도형 세상의 그림을 가로 · 세로 여섯 칸씩 36칸으로 나누고 칸마다 후보를 하나씩 둔다고 해 봅시다(그림 1-3 의 왼쪽). 객체가 둘이면 객체의 중심이 들어 있는 칸은 많아야 2칸이고, 나머지 34칸은 “없음” 이 정답입니다. 비율로는 $34 / 36 \approx 94\%$ 입니다.
이렇게 어떤 답(여기서는 “없음”, 곧 배경)이 다른 답보다 압도적으로 많은 상황을 클래스 불균형class imbalance 이라고 합니다. 불균형이 심하면 탐지기는 “전부 없음” 이라고만 답해도 대부분 맞히게 되어, 정작 객체를 찾는 법을 배우지 못합니다. 실제 탐지기에서는 불균형이 훨씬 심합니다. RetinaNet 논문(Lin 외, 2017)은 그림 전체를 빽빽하게 훑는 탐지기가 그림 한 장에서 약 10만 개의 후보 위치를 따지며, 학습 때 객체와 배경의 비가 1 : 1000 에 이르기도 한다고 적었습니다. 그 논문이 내놓은 해법인 포컬 손실은 4장 에서 손으로 계산해 봅니다.
5. 빨라야 한다
탐지기는 흔히 카메라 영상에 붙어 일합니다. 초당 30장을 찍는 카메라를 따라가려면 그림 한 장을 약 33밀리초 안에 처리해야 합니다($1000 \div 30 \approx 33.3$). 게다가 탐지기가 돌아가는 곳은 대개 큰 서버가 아니라 차 안의 작은 컴퓨터나 공장 라인의 산업용 PC 입니다. 정확하지만 느린 탐지기는 쓸 수 없고, 빠르지만 부정확한 탐지기도 쓸 수 없습니다. 이 맞바꿈은 뒤의 “실시간” 이란 무엇인가 절에서 자세히 봅니다.
| 어려움 | 한 줄 요약 | 대표적인 해법 | 자세히 |
|---|---|---|---|
| 개수 미정 | 답의 수가 그림마다 다르고 순서가 없다 | 고정된 수의 후보 + “없음”, 예측과 정답의 짝짓기 | 7장 |
| 크기 · 위치 다양 | 작은 것도 큰 것도, 어디에나 | 여러 해상도의 특징을 함께 보기 | 8장 |
| 중복 예측 | 한 객체에 예측이 여러 개 | 후처리로 지우기(NMS), 또는 처음부터 하나만 내도록 학습 | 3장, 7장 |
| 클래스 불균형 | 후보의 대부분이 배경 | 쉬운 배경의 손실을 줄이기(포컬 손실 등) | 4장, 11장 |
| 속도 | 정해진 시간 안에 답해야 한다 | 가벼운 구조, 정확도 – 지연 시간 맞바꿈의 탐색 | 9장, 12장 |
탐지기의 계보
딥러닝 탐지기는 2013년 무렵부터 지금까지 크게 세 갈래로 발전해 왔습니다. 2단계 탐지기, 1단계 탐지기, 그리고 DETR 계열 입니다. RF-DETR 은 세 번째 갈래의 가장 최근 가지에 있습니다. 갈래마다 “후보를 무엇으로 삼는가” 와 “중복을 어떻게 없애는가” 가 다릅니다. 이 두 가지에 주목하며 따라가 봅시다. 아래에서 연도는 논문이 arXiv 에 처음 올라온 해를 기준으로 적었습니다.
2단계 탐지기: 후보를 뽑고 나서 분류한다
가장 먼저 성공한 생각은 문제를 둘로 쪼개는 것이었습니다. 이미지 분류는 이미 잘 풀리고 있었으니, “객체가 있을 법한 영역” 만 누가 골라 주면 그 영역을 잘라 내어 분류기에 넣으면 됩니다. 객체가 있을 법하다고 골라낸 사각형을 후보 영역region proposal 이라고 하고, 이렇게 ① 후보 영역을 뽑고 ② 후보마다 분류하는 두 단계로 일하는 탐지기를 2단계 탐지기two-stage detector 라고 합니다.
- R-CNN (Girshick, Donahue, Darrell, Malik, 2013). 이름은 “Regions with CNN features” 의 줄임말입니다. 그림 한 장에서 후보 영역을 약 2,000개 뽑고, 후보마다 합성곱 신경망(CNN)으로 특징을 계산한 뒤, 클래스별 분류기로 무엇인지 판정합니다. 겹치는 예측은 뒤에서 설명할 NMS 로 지웁니다. 이 논문은 당시의 표준 시험인 PASCAL VOC 에서 이전 최고 기록보다 평균 정밀도(mAP)를 30% 넘게(상대값) 끌어올렸다고 보고해, 딥러닝이 탐지에서도 통한다는 것을 보였습니다. 다만 후보 2,000개를 하나하나 신경망에 넣으니 느렸습니다. 뒤이은 Fast R-CNN 논문은 R-CNN 이 큰 신경망(VGG16)을 쓰면 GPU 에서도 그림 한 장에 47초가 걸린다고 적었습니다.
- Fast R-CNN (Girshick, 2015). 신경망을 후보마다 돌리지 않고 그림 전체에 한 번만 돌려 특징 맵을 만든 다음, 후보 영역에 해당하는 부분만 특징 맵에서 잘라 내어 분류합니다. 같은 계산을 2,000번 되풀이하던 낭비를 없앤 것입니다. 논문은 VGG16 기준으로 시험 때 R-CNN 보다 213배 빠르다고 보고했습니다. 그런데 이 시간에는 후보 영역을 뽑는 시간이 빠져 있었습니다. 후보 영역은 여전히 신경망 밖의 별도 알고리즘이 만들었고, 이제는 그것이 가장 느린 부분이 되었습니다.
- Faster R-CNN (Ren, He, Girshick, Sun, 2015). 후보 영역을 뽑는 일까지 신경망에게 맡겼습니다. 분류에 쓰는 특징 맵을 그대로 받아 후보 영역을 내놓는 작은 신경망(RPN, Region Proposal Network)을 붙인 것입니다. 논문은 이것으로 후보 영역을 “거의 공짜로” 얻는다고 표현했고, VGG16 기준으로 모든 단계를 합쳐 초당 5장을 처리한다고 보고했습니다. 이 논문에서 앵커 라는 장치가 처음 등장합니다(아래에서 설명).
- Mask R-CNN (He, Gkioxari, Dollár, Girshick, 2017). Faster R-CNN 에 마스크를 예측하는 가지를 하나 더 달아 인스턴스 분할까지 하게 만든 모델입니다.
2단계 탐지기는 정확했지만, 후보마다 두 번째 단계를 거쳐야 하므로 구조가 복잡하고 빠르게 만들기 어려웠습니다.
1단계 탐지기: 격자에서 한 번에
“후보를 따로 뽑지 말고, 그림을 한 번 훑으면서 박스와 클래스를 바로 내놓으면 안 될까?” 이렇게 후보 영역 단계를 없앤 탐지기를 1단계 탐지기one-stage detector, single-stage detector 라고 합니다.
- YOLO (Redmon, Divvala, Girshick, Farhadi, 2015). “You Only Look Once(한 번만 본다)” 의 줄임말입니다. 그림을 S×S 격자로 나누고(논문에서는 7×7), 객체의 중심이 들어 있는 칸이 그 객체를 책임진다 는 규칙을 세웠습니다. 칸마다 박스 몇 개와 클래스 확률을 한꺼번에 내놓으므로 신경망을 한 번만 돌리면 됩니다. 그림 1-3 의 왼쪽 그림이 바로 이 생각입니다. 논문은 기본 모델이 초당 45장을 처리한다고 보고했습니다. 대신 당시의 최고 탐지기들보다 박스 위치가 덜 정확하다는 점도 스스로 밝혔습니다.
- SSD (Liu 외, 2015). “Single Shot MultiBox Detector”. 특징 맵의 위치마다 크기 · 가로세로 비가 다른 “기본 박스(default box)” 를 여러 개 깔아 두고, 기본 박스마다 클래스 점수와 “기본 박스를 얼마나 고치면 객체에 맞는가” 를 예측합니다. 해상도가 다른 여러 특징 맵에서 함께 예측해 크고 작은 객체를 나눠 맡깁니다.
- RetinaNet (Lin, Goyal, Girshick, He, Dollár, 2017). 1단계 탐지기가 2단계 탐지기보다 덜 정확했던 가장 큰 원인이 앞에서 본 클래스 불균형 이라고 진단하고, 쉬운 배경 후보의 손실을 줄이는 포컬 손실을 제안했습니다. RF-DETR 의 손실에도 이 생각이 이어져 있습니다(11장).
- 그 뒤의 YOLO 들. YOLO 는 여러 연구자의 손을 거치며 구조 · 데이터 증강 · 학습 기법을 고쳐 가는 긴 시리즈가 되었습니다. RF-DETR 논문이 견주는 상대는 그 가운데 YOLOv8(2023)과 YOLO11(2024)입니다. 빠르고 쓰기 쉬워서, 실시간 탐지라고 하면 오랫동안 YOLO 를 뜻했습니다.
손으로 만든 부품: 앵커와 NMS
2단계든 1단계든, 위의 탐지기들에는 신경망이 배우는 것이 아니라 사람이 규칙을 정해 끼워 넣은 부품 이 들어 있습니다. DETR 논문은 이런 것들을 손으로 만든 부품hand-designed component 이라고 불렀습니다. 대표적인 것이 둘입니다.
첫째, 앵커anchor, anchor box. 그림 위에 미리 깔아 두는 기준 상자 입니다. Faster R-CNN 이 처음 도입했고(SSD 의 “기본 박스” 도 같은 생각입니다), 특징 맵의 위치마다 크기와 가로세로 비가 다른 상자를 여러 개 놓아 둡니다. 탐지기는 박스를 맨바닥에서 예측하는 대신, 앵커마다 “이 앵커 근처에 객체가 있는가” 와 “있다면 앵커를 얼마나 옮기고 늘이면 되는가” 만 답합니다. 네 숫자를 통째로 맞히는 것보다 “조금 고치기” 가 쉬우니 학습이 잘됩니다. 앞 절의 말로 하면 앵커가 곧 후보 입니다.
앵커가 거슬리는 까닭은 다음과 같습니다.
- 앵커의 크기 · 가로세로 비 · 개수를 사람이 정해야 합니다. 데이터가 바뀌면(예: 길쭉한 전봇대가 많은 데이터) 다시 정해야 합니다.
- “어느 앵커가 어느 정답을 맡는가” 를 정하는 규칙(얼마나 겹치면 맡긴다 등)도 사람이 정합니다.
- 앵커는 수천 – 수만 개이고 그 대부분이 배경이라서, 클래스 불균형을 스스로 불러옵니다.
둘째, NMS(비최대 억제, non-maximum suppression). 중복 예측을 지우는 후처리 입니다. 신경망이 답을 다 낸 뒤에 따로 돌리는 규칙으로, 뼈대는 다음과 같습니다.
- 예측을 점수가 높은 순서로 늘어놓습니다.
- 점수가 가장 높은 예측을 “채택” 합니다.
- 채택한 예측과 많이 겹치는 나머지 예측을 모두 버립니다. “많이” 의 기준이 되는 문턱값은 사람이 정합니다.
- 남은 예측으로 2 – 3 을 되풀이합니다.
그림 1-3 의 오른쪽 그림이라면 점수 0.92 인 실선 박스가 채택되고, 그것과 많이 겹치는 점선 박스 둘이 버려집니다. 두 박스가 “얼마나 겹치는가” 를 재는 자는 2장 에서(IoU), NMS 의 구현은 3장 에서 다룹니다. NMS 가 거슬리는 까닭은 이렇습니다.
- 문턱값을 사람이 골라야 합니다. 너무 엄하면 중복이 남고, 너무 느슨하면 붙어 있는 서로 다른 객체(나란히 선 두 사람)까지 지웁니다. 데이터마다 알맞은 값이 다릅니다.
- 학습과 따로 놉니다. 신경망은 NMS 가 뒤에 있다는 것을 모르는 채 학습됩니다. “입력에서 최종 답까지” 를 한 덩어리로 학습하지 못합니다.
- 시간이 듭니다. 예측이 많을수록 NMS 도 오래 걸리고, 그 시간은 그림마다 다릅니다. RT-DETR 논문은 NMS 가 YOLO 의 속도와 정확도를 함께 깎는다고 지적했습니다.
앵커와 NMS 는 십 년 가까이 탐지기를 떠받친 잘 듣는 장치이고, 지금도 많은 탐지기가 씁니다. 문제는 이런 부품이 “사람이 고른 숫자” 를 품고 있어서 새 데이터로 옮겨 갈 때마다 다시 손봐야 하고, 전체를 한 번에 학습하는 것을 막는다는 점입니다. RF-DETR 논문이 내세우는 “여러 데이터에 잘 옮겨 가는 탐지기” 라는 목표와 바로 이어지는 문제의식입니다.
DETR: 탐지를 집합 예측으로
2020년, Carion 을 비롯한 Facebook AI 의 연구자들이 DETR(DEtection TRansformer)을 내놓았습니다. 생각의 출발점은 이 장의 첫머리에서 본 사실입니다. 탐지기의 답은 집합이다. 그렇다면 집합을 직접 내놓도록 학습하자.
- 고정된 수의 “답안 칸” 을 둡니다. DETR 은 학습되는 벡터 100개를 들고 있다가, 그림을 보고 벡터 하나마다 예측 하나(박스 + 클래스, 또는 “객체 없음”)를 내놓습니다. 이 벡터를 객체 질의라고 합니다. 앞의 비유로는 답안지의 칸 100개입니다. 앵커와 달리 그림 위의 정해진 자리에 묶여 있지 않습니다.
- 예측과 정답을 일대일로 짝짓습니다. 학습할 때 예측 100개와 정답 몇 개를 놓고, 전체 비용이 가장 작아지는 일대일 짝을 찾습니다(헝가리안 매칭). 정답 하나는 딱 한 예측에만 배정되고, 짝을 얻지 못한 예측은 “객체 없음” 이 정답이 됩니다.
- 그래서 중복이 스스로 사라집니다. 같은 원을 두 칸이 함께 예측하면 둘 가운데 하나는 짝을 얻지 못해 벌을 받습니다. 학습이 진행되면 칸들이 알아서 서로 다른 객체를 나눠 맡습니다. NMS 가 필요 없습니다.
DETR 논문의 초록은 이것을 “NMS 나 앵커 생성 같은 손으로 만든 부품이 필요 없어졌다” 고 요약합니다. 입력에서 최종 답까지 사람이 끼워 넣은 후처리 없이 한 덩어리로 학습한다는 뜻에서 이런 탐지기를 종단 간(end-to-end) 탐지기라고 합니다. 구조는 CNN 백본 뒤에 Transformer 인코더 · 디코더를 붙인 것입니다. 어텐션과 Transformer 는 5장 에서, DETR 은 7장 에서 직접 만들어 봅니다.
그림 1-4 에서 읽을 것은 상자의 수가 줄어드는 방향 입니다. 2단계 탐지기는 신경망 부품이 둘이고 후처리가 하나, 1단계 탐지기는 신경망 하나에 후처리 하나, DETR 계열은 신경망 하나뿐입니다. 단계가 줄면 구조가 단순해지고, 전체를 하나의 손실로 학습할 수 있고, 처리 시간이 그림의 내용(예측이 몇 개 나왔는가)에 덜 흔들립니다.
그러나 처음의 DETR 에는 뚜렷한 약점이 있었습니다. 논문 스스로 밝힌 것과 뒤이은 Deformable DETR 논문이 지적한 것을 모으면 다음과 같습니다.
- 학습이 매우 느립니다. COCO 에서 500 에폭(데이터 전체를 500번 보기)을 학습해야 했습니다. Deformable DETR 논문은 이것이 Faster R-CNN 의 10 – 20배라고 적었습니다.
- 작은 객체에 약합니다. DETR 논문은 큰 객체에서는 Faster R-CNN 보다 낫지만 작은 객체에서는 못하다고 보고했습니다.
- 계산이 무겁습니다. 어텐션은 특징 맵의 모든 위치가 다른 모든 위치를 참고하므로, 작은 객체를 보려고 특징 맵의 해상도를 올리면 계산량이 급격히 늘어납니다(5장 에서 계산해 봅니다).
Deformable DETR 과 실시간 DETR 들
그 뒤의 연구는 DETR 의 장점(종단 간, NMS 없음)을 지키면서 이 약점들을 하나씩 없애는 방향으로 나아갔습니다.
- Deformable DETR (Zhu 외, 2020). 모든 위치를 다 보는 대신, 기준이 되는 점 둘레의 몇 군데만 골라 보는 변형 어텐션(deformable attention)을 제안했습니다. 어디를 볼지도 학습합니다. 논문은 이것으로 DETR 보다 10분의 1 의 에폭으로 더 나은 성능(특히 작은 객체에서)을 얻었다고 보고했습니다. RF-DETR 의 디코더가 지금도 이 연산을 씁니다. → 8장
- RT-DETR (Zhao 외, 2023). 논문 제목이 “DETRs Beat YOLOs on Real-time Object Detection(DETR 이 실시간 탐지에서 YOLO 를 이긴다)” 입니다. 여러 해상도의 특징을 싸게 처리하는 인코더와, 디코더에 넣을 처음 질의를 잘 고르는 방법을 내놓아, 저자들이 아는 한 첫 “실시간 종단 간 탐지기” 를 만들었다고 주장했습니다. 디코더 층 수를 바꿔 재학습 없이 속도를 조절할 수 있다는 점도 보였는데, 이 생각은 RF-DETR 에서 훨씬 넓게 쓰입니다. → 9장
- LW-DETR (Chen 외, 2024). “Light-Weight DETR”. 구조가 아주 단순합니다. ViT 인코더 + 프로젝터 + 얕은 DETR 디코더. CNN 백본 대신 그림을 패치로 잘라 Transformer 에 넣는 ViT(6장)를 쓰고, 계산을 줄이려고 가까운 패치끼리만 참고하는 윈도 어텐션과 모든 패치가 서로 참고하는 전역 어텐션을 번갈아 놓았습니다. RF-DETR 은 바로 이 LW-DETR 을 고쳐 만든 모델 입니다. → 9장
- D-FINE (Peng 외, 2024). 박스의 네 변을 숫자 하나씩으로 맞히는 대신 확률 분포로 나타내어 조금씩 다듬는 방법으로 박스 위치의 정확도를 높인 실시간 DETR 입니다. RF-DETR 논문이 가장 자주 견주는 상대입니다.
- RF-DETR (Robinson, Robicheaux, Popov, Ramanan, Peri, 2025). Roboflow 와 카네기 멜런 대학의 연구자들이 내놓았고 ICLR 2026 에 발표되었습니다. 논문 제목은 “RF-DETR: Neural Architecture Search for Real-Time Detection Transformers” 입니다. 이 장의 나머지와 이 튜토리얼 전체의 주인공입니다.
한눈에 보는 연표
연표에서 읽을 흐름은 세 가지입니다. 첫째, 2013 – 2017년에는 2단계와 1단계가 나란히 발전했습니다. 둘째, 2020년에 DETR 이 세 번째 줄을 열었지만 실시간 탐지에 쓰일 만큼 빨라진 것은 2023년 RT-DETR 부터입니다. 셋째, RF-DETR 은 세 번째 줄(LW-DETR)과 맨 아랫줄(DINOv2 라는 사전 학습 모델, RF100-VL 이라는 벤치마크)이 만나는 자리에 있습니다. 표로 다시 정리합니다.
| 연도 | 모델 (저자) | 갈래 | 핵심 생각 | 이 튜토리얼 |
|---|---|---|---|---|
| 2013 | R-CNN (Girshick 외) | 2단계 | 후보 영역 약 2,000개를 뽑아 하나씩 CNN 으로 분류 | 1장 |
| 2015 | Fast R-CNN (Girshick) | 2단계 | CNN 을 그림 전체에 한 번만 돌리고 후보 부분만 잘라 분류 | 1장 |
| 2015 | Faster R-CNN (Ren 외) | 2단계 | 후보 영역도 신경망(RPN)이 뽑는다. 앵커 도입 | 1장 |
| 2015 | YOLO (Redmon 외) | 1단계 | 격자 칸마다 박스와 클래스를 한 번에 예측 | 1장 |
| 2015 | SSD (Liu 외) | 1단계 | 여러 해상도의 특징 맵 위 기본 박스마다 예측 | 1장 |
| 2017 | RetinaNet (Lin 외) | 1단계 | 클래스 불균형을 포컬 손실로 다스림 | 4장 |
| 2017 | Mask R-CNN (He 외) | 2단계 | Faster R-CNN 에 마스크 가지를 더해 인스턴스 분할 | 13장 |
| 2020 | DETR (Carion 외) | DETR | 집합 예측 + 일대일 짝짓기. 앵커 · NMS 없음 | 7장 |
| 2020 | Deformable DETR (Zhu 외) | DETR | 몇 군데만 골라 보는 변형 어텐션. 학습이 10배 빨라짐 | 8장 |
| 2023 | RT-DETR (Zhao 외) | DETR | 실시간으로 도는 첫 종단 간 탐지기라는 주장 | 9장 |
| 2023 | DINOv2 (Oquab 외) | 재료 | 정답 없이 1억 4,200만 장으로 사전 학습한 ViT | 6장 |
| 2023 | GroundingDINO (Liu 외) | 재료 | 글로 적은 이름 · 문장으로 객체를 찾는 열린 어휘 탐지기 | 1장 |
| 2024 | LW-DETR (Chen 외) | DETR | ViT 인코더 + 프로젝터 + 얕은 디코더 | 9장 |
| 2024 | D-FINE (Peng 외) | DETR | 박스의 변을 확률 분포로 나타내어 다듬기 | 1장 |
| 2025 | RF100-VL (Robicheaux 외) | 재료 | 서로 다른 분야의 데이터셋 100개로 이루어진 벤치마크 | 1장 |
| 2025 | RF-DETR (Robinson 외) | DETR | DINOv2 백본 + 가중치 공유 NAS + 지연 시간 측정 표준화 | 10 – 13장 |
“실시간” 이란 무엇인가
RF-DETR 논문 제목에는 “Real-Time(실시간)” 이 들어 있습니다. 탐지기에서 실시간real-time 은 “쓰는 곳이 요구하는 시간 안에 답을 낸다” 는 뜻입니다. 초당 30장짜리 카메라라면 한 장에 33밀리초, 초당 60장이라면 17밀리초가 한계입니다. 딱 정해진 한 숫자가 있는 것은 아니고, 논문마다 기준을 밝혀 씁니다. RF-DETR 논문은 뒤에서 볼 표준 장비(NVIDIA T4 GPU)에서 지연 시간 40밀리초 이하 인 탐지기를 실시간 탐지기로 놓고 견줍니다.
지연 시간과 처리량
빠르기를 재는 자는 두 가지입니다.
- 지연 시간latency: 그림 한 장 을 넣고 답이 나올 때까지 걸리는 시간. 단위는 밀리초(ms, 1초의 1,000분의 1)이고 작을수록 좋습니다. “브레이크를 밟아야 하나” 를 판단하는 자율주행처럼, 답 하나하나가 얼마나 빨리 나오는지가 중요한 곳에서 봅니다.
- 처리량(throughput): 일정 시간 동안 처리하는 그림의 수. 단위는 초당 장 수(FPS, frames per second)이고 클수록 좋습니다. 쌓여 있는 영상 수만 시간을 한꺼번에 분석하는 일처럼, 전체를 얼마나 빨리 끝내는지가 중요한 곳에서 봅니다.
그림을 한 장씩 차례로 처리한다면 둘은 서로의 역수입니다. 지연 시간을 $t$ 밀리초라고 하면 1초(1,000밀리초) 동안 처리하는 장 수는 다음과 같습니다.
$$ \text{초당 처리 장 수} = \frac{1000}{t} $$$1000 / t$ 는 “탐지기만, 한 장씩, 쉬지 않고” 돌린다고 가정한 값입니다. 실제 시스템에는 카메라에서 그림을 읽고 크기를 맞추는 시간, 결과를 넘기는 시간이 더 붙습니다. 거꾸로 여러 장을 묶어 한꺼번에 넣으면(배치) 처리량은 더 커질 수 있습니다. 또 RF-DETR 논문은 자신들의 측정 방식이 오래 쉬지 않고 돌릴 때의 처리량을 재려는 것이 아니라 지연 시간을 되풀이해 재도 같은 값이 나오게 하려는 것이라고 밝혔습니다(표 1 의 설명). 그러니 위 숫자는 “대략 이 정도 빠르기” 로만 읽어야 합니다.
정확도와 지연 시간의 맞바꿈, 파레토 곡선
탐지기는 크게 만들수록(층을 더 쌓고, 그림을 더 높은 해상도로 볼수록) 대체로 정확해지고, 그만큼 느려집니다. 정확도와 지연 시간은 한쪽을 얻으면 다른 쪽을 내주는 맞바꿈(tradeoff) 관계입니다. 그래서 “가장 좋은 탐지기” 는 하나가 아닙니다. 1밀리초가 아쉬운 드론과 정확도가 생명인 의료 영상 판독은 서로 다른 탐지기를 원합니다.
여러 탐지기를 가로축이 지연 시간, 세로축이 정확도인 그림에 점으로 찍어 봅시다(그림 1-6). 왼쪽일수록 빠르고 위쪽일수록 정확하니, 왼쪽 위 가 이상적인 방향입니다.
그림 1-6 을 읽는 법은 다음과 같습니다.
- 점 A 를 봅시다. A 의 왼쪽 위에 점 B 가 있습니다. B 는 A 보다 빠르면서 동시에 더 정확 합니다. 이럴 때 “B 가 A 를 지배한다” 고 말합니다. A 를 고를 까닭이 없습니다.
- 짙은 점들은 서로를 지배하지 못합니다. 오른쪽 점은 더 정확하지만 더 느리고, 왼쪽 점은 더 빠르지만 덜 정확합니다. 어느 것을 고를지는 쓰는 곳의 시간 예산에 달려 있습니다.
- 이렇게 다른 어떤 점에게도 지배당하지 않는 점들 을 이은 선을 파레토 경계 또는 파레토 곡선이라고 합니다(이탈리아 경제학자 빌프레도 파레토의 이름에서 왔습니다). 탐지기 논문이 “우리 모델이 더 낫다” 고 말할 때의 정확한 뜻은 대개 “우리 모델들의 파레토 곡선이 남의 곡선보다 왼쪽 위 에 있다” 입니다.
- 곡선은 오른쪽으로 갈수록 눕습니다. 지연 시간을 두 배 들여도 정확도는 조금밖에 오르지 않는다는 뜻입니다. 뒤의 표에서 실제 숫자로 확인합니다.
보통은 파레토 곡선 위의 점 하나하나가 따로 설계하고 따로 학습한 모델입니다. YOLO 의 N · S · M · L · X 가 그런 식입니다. RF-DETR 의 가장 눈에 띄는 주장은, COCO 에서 얻은 자신들의 파레토 곡선 위의 모든 점이 단 한 번의 학습 에서 나왔다는 것입니다(논문 그림 1 의 설명). 어떻게 그것이 가능한지가 12장 의 주제이고, 파레토 곡선도 그 장에서 도형 세상의 실험으로 직접 그려 봅니다.
지연 시간은 공정하게 재기 어렵다
파레토 곡선의 가로축은 믿을 만할까요? RF-DETR 논문은 그렇지 않다고 문제를 제기합니다. 같은 모델의 지연 시간이 논문마다 다르게 보고되어 왔다는 것입니다. 예를 들어 D-FINE 논문이 다시 잰 LW-DETR 의 지연 시간은 LW-DETR 논문이 보고한 값보다 25% 빨랐다고 합니다. 논문이 꼽는 원인과 처방을 미리 적어 두면 다음과 같습니다.
- GPU 의 전력 제한. 쉬지 않고 돌리면 GPU 가 뜨거워져 스스로 속도를 낮추고, 그 때문에 측정값이 흔들립니다. 논문의 처방은 순전파 사이에 200밀리초씩 쉬는 것입니다.
- NMS 시간 빼놓기. YOLO 계열은 NMS 에 걸리는 시간을 빼고 지연 시간을 보고하는 일이 많아, NMS 가 없는 종단 간 탐지기와 견줄 때 불공정하다고 논문은 지적합니다.
- 정확도와 지연 시간을 서로 다른 모델로 재기. 지연 시간은 숫자를 16비트로 줄인 빠른 모델(FP16)로 재고 정확도는 32비트 모델(FP32)로 재는 관행이 있는데, 16비트로 줄이면 정확도가 떨어질 수 있습니다. 논문은 둘을 같은 모델 파일 로 재야 한다고 주장합니다.
이 문제 제기와 표준화한 측정 절차가 RF-DETR 논문의 세 번째 기여입니다. 자세한 내용과, 직접 지연 시간을 재 보는 실험은 12장 과 14장 에 있습니다. 지금은 “이 장의 표에 나오는 지연 시간은 모두 RF-DETR 논문이 같은 장비 · 같은 방법 으로 다시 잰 값” 이라는 것만 기억하면 됩니다.
RF-DETR 의 문제의식
이제 RF-DETR 논문이 무엇을 문제 삼았는지 볼 차례입니다. 이 절의 내용은 논문의 주장 입니다. 근거로 든 실험과 함께 옮기되, 이 튜토리얼이 따로 검증한 사실처럼 읽지 않도록 “논문은 … 라고 주장한다” 는 꼴로 적겠습니다.
열린 어휘 탐지기와 특화 탐지기
논문은 요즘의 탐지기를 두 부류로 나눕니다.
- 특화 탐지기specialist detector, closed-vocabulary detector: 학습할 때 정한 클래스 목록 안에서만 답하는 탐지기입니다. 지금까지 본 R-CNN, YOLO, DETR, LW-DETR, D-FINE 이 모두 여기에 듭니다. 도형 세상으로 학습한 탐지기는 원 · 사각형 · 삼각형만 알고, 별 모양을 보여 줘도 “별” 이라고 답할 수 없습니다. 어휘(클래스 목록)가 닫혀 있다는 뜻에서 닫힌 어휘 탐지기라고도 합니다. 가볍고 빠릅니다.
- 열린 어휘 탐지기open-vocabulary detector: 찾을 대상을 글로 받는 탐지기입니다. “빨간 우산”, “왼쪽의 사자” 처럼 낱말이나 문장을 그림과 함께 넣으면 그에 해당하는 박스를 내놓습니다. 학습 때 보지 못한 이름도 넣을 수 있어 어휘가 열려 있습니다. 대표적인 예가 GroundingDINO(Liu 외, 2023)와 YOLO-World 입니다. 이런 능력은 인터넷에서 모은 엄청난 양의 그림 – 글 쌍으로 학습한 비전-언어 모델vision-language model, VLM 에서 나옵니다. 글을 이해하는 부품(텍스트 인코더)까지 들고 있어야 하므로 무겁고 느립니다.
| 비교 | 특화(닫힌 어휘) 탐지기 | 열린 어휘 탐지기 |
|---|---|---|
| 찾을 대상 | 학습 때 정한 클래스 목록 | 글로 적어 주는 무엇이든 |
| 새 클래스가 필요하면 | 정답을 단 데이터로 다시 학습(미세 조정) | 이름만 바꿔 넣으면 된다(잘 통할 때) |
| 크기 · 속도 | 작고 빠르다 | 크고 느리다 |
| 예 | YOLO, RT-DETR, LW-DETR, D-FINE, RF-DETR | GroundingDINO, YOLO-World |
| 논문이 본 약점 | COCO 에 과하게 맞춰져 있다 | 사전 학습 때 못 본 종류의 데이터에서는 잘 통하지 않는다 |
논문의 진단은 이렇습니다. 열린 어휘 탐지기는 자동차 · 트럭 · 보행자처럼 흔한 대상은 따로 학습하지 않고도 잘 찾지만, 사전 학습 데이터에 드물던 대상(의료 영상 속의 병변, 공장의 특정 부품, 항공 사진)에서는 성능이 크게 떨어집니다. 그런 데이터로 미세 조정하면 정확도는 오르지만 느린 것은 그대로입니다. 반대로 특화 탐지기는 빠르지만 미세 조정한 열린 어휘 탐지기만큼 정확하지 못했습니다. 그래서 논문의 목표는 이 둘의 좋은 점을 합치는 것입니다. 논문의 표현으로는 “인터넷 규모의 사전 학습과 실시간 구조를 결합해 특화 탐지기를 현대화한다.”
RF-DETR 은 특화 탐지기 입니다. 글을 입력받지 않고, 정해진 클래스만 찾습니다. 다만 열린 어휘 탐지기가 가진 장점의 뿌리, 곧 인터넷 규모의 그림으로 미리 배운 지식 을 백본(DINOv2)을 통해 가져옵니다. 텍스트 인코더는 가져오지 않으므로 가볍습니다.
COCO 에 과하게 맞춰진 탐지기라는 주장
연구자들이 탐지기를 견주려면 같은 시험지가 필요합니다. 모두가 같은 데이터로 같은 방식으로 점수를 매기도록 정해 둔 시험을 벤치마크benchmark 라고 합니다. 객체 탐지에서 가장 널리 쓰이는 벤치마크가 COCOCommon Objects in Context 입니다(Lin 외, 2014). 이름 그대로 일상 장면 속의 흔한 물체를 담은 사진 모음으로, 논문에 따르면 사진 약 32만 8천 장에 객체 250만 개가 표시되어 있습니다. 탐지 벤치마크로는 사람 · 자전거 · 자동차 · 개 · 의자 같은 80가지 클래스를 쓰고, 논문들은 보통 COCO 의 검증 세트에서 잰 점수를 보고합니다.
십 년 넘게 모든 탐지기가 COCO 점수로 경쟁해 왔습니다. RF-DETR 논문은 여기에 부작용이 있다고 주장합니다. 최근의 특화 탐지기들이 COCO 점수를 조금이라도 더 올리려고 다음 세 가지를 COCO 에 꼭 맞게 다듬어 왔다는 것입니다.
- 모델 구조. COCO 의 그림 크기 · 객체 크기 분포에 맞춘 구조.
- 학습률을 바꿔 가는 일정표. 예를 들어 학습률을 코사인 곡선을 따라 줄이려면 “전체 학습이 몇 스텝인지” 를 미리 알아야 합니다. COCO 처럼 크기가 정해진 데이터 하나에는 잘 맞출 수 있지만, 크기가 제각각인 데이터들에는 맞지 않는다고 논문은 지적합니다.
- 데이터 증강을 바꿔 가는 일정표. 그림을 뒤집고 자르고 섞는 강한 증강을 언제 켜고 끌지까지 COCO 에 맞춰 조정합니다. 논문은 위아래 뒤집기를 예로 듭니다. 자율주행차의 보행자 탐지기를 위아래로 뒤집은 그림으로 학습하면 물웅덩이에 비친 사람을 사람으로 잘못 탐지할 수 있습니다.
이렇게 한 시험지에만 지나치게 맞춰진 탐지기는 그 시험지와 성격이 다른 실제 데이터(그림당 객체 수, 클래스 수, 데이터의 크기가 다른)에서 기대만큼 잘하지 못한다는 것이 논문의 주장입니다. 근거로 드는 관찰이 하나 있습니다. D-FINE 은 RT-DETR 을 바탕으로 만들어 COCO 에서는 RT-DETR 보다 점수가 높습니다. 그런데 아래의 RF100-VL 에서 재 보니 한 지표(AP50)에서는 RT-DETR 이 D-FINE 을 앞섰습니다(논문 표 4: RT-DETR (M) 85.7, D-FINE (M) 85.5). 논문은 이를 D-FINE 의 학습 설정이 COCO 에 과하게 맞춰졌을 수 있다는 신호로 풉니다.
그래서 RF-DETR 은 학습 방식을 일부러 단순하게 잡습니다. 논문은 이것을 “일정표 없는(scheduler-free)” 방식이라고 부릅니다. 학습률 워밍업을 쓰지 않고, 증강은 좌우 뒤집기와 무작위 자르기만 씁니다. 자세한 설정은 11장 에서 다룹니다.
“COCO 에 과하게 맞춰졌다” 는 RF-DETR 저자들의 해석입니다. 저자 가운데 여럿이 RF100-VL 을 만든 사람들이고 Roboflow 는 그 데이터를 운영하는 회사라는 점도 함께 알아 두면 좋습니다. 그렇다고 주장이 틀렸다는 뜻은 아닙니다. “벤치마크 하나의 점수만으로 탐지기를 고르지 말라” 는 교훈은 누가 말하든 새겨들을 만합니다. 다만 뒤의 표에서 보듯, COCO 점수만 놓고 보면 RF-DETR 이 모든 크기에서 모든 상대를 이기는 것은 아닙니다. 논문도 그 점을 숨기지 않습니다.
RF100-VL: 백 개의 서로 다른 데이터셋
그렇다면 “여러 실제 데이터에서 잘하는가” 는 무엇으로 잴까요? RF-DETR 논문이 COCO 와 나란히 쓰는 두 번째 벤치마크가 RF100-VLRoboflow100-VL 입니다(Robicheaux 외, 2025).
- Roboflow Universe(사용자들이 데이터셋을 올리는 곳)에서 고른 서로 다른 객체 탐지 데이터셋 100개 의 묶음입니다.
- RF100-VL 논문에 따르면, 인터넷 규모 사전 학습에서 흔히 볼 수 없는 개념을 담은 것들을 골랐습니다. 엑스선 · 열화상 · 항공 사진 같은 다른 촬영 방식, 학술 용어나 약어로 된 클래스 이름, 재질 구별 같은 것들입니다. 100개를 일곱 범주로 묶어 보여 줍니다.
- 그 논문은 GroundingDINO 같은 모델이, 따로 학습하지 않은 채로는 이 가운데 어려운 의료 영상 데이터셋들에서 2% 에 못 미치는 정확도를 낸다고 보고했습니다. 열린 어휘 탐지기가 “무엇이든” 찾지는 못한다는 근거입니다.
- 점수는 데이터셋 100개 각각에서 탐지기를 학습 · 평가해 평균 냅니다. RF-DETR 논문은 데이터셋이 이만큼 다양하니, 이 평균 점수가 “어떤 새 분야로든 잘 옮겨 가는가” 의 대용 지표가 된다고 봅니다.
데이터셋이 하나 더 나옵니다. Objects365Objects365 는 Shao 외(2019)가 만든 대규모 객체 탐지 데이터셋으로, RF-DETR 에서는 시험지가 아니라 교과서 구실을 합니다. COCO 나 RF100-VL 로 학습하기 전에 먼저 Objects365 로 탐지기 전체를 한 번 학습해 두는 것입니다(사전 학습). LW-DETR 논문은 이 사전 학습이 DETR 계열에 큰 도움이 된다고 보고했고, RF-DETR 도 그대로 따릅니다. 사전 학습과 미세 조정이라는 두 순서는 6장 에서 자세히 다룹니다.
| 데이터셋 | 무엇인가 | RF-DETR 논문에서의 구실 |
|---|---|---|
| COCO | 일상 사진, 클래스 80가지. 탐지의 대표 벤치마크 | 이전 연구와 공정하게 견주는 시험지 |
| RF100-VL | 분야가 서로 다른 데이터셋 100개의 묶음 | 실제 데이터로 얼마나 잘 옮겨 가는지 보는 시험지 |
| Objects365 | 대규모 객체 탐지 데이터셋 | 탐지기를 미리 학습시키는 교과서(사전 학습) |
| 도형 세상 | 이 튜토리얼이 만든 96×96 장난감 데이터 | (논문과 무관) 이 튜토리얼의 모든 실습 무대 |
RF-DETR 한눈에 보기
RF-DETR 을 한 문장으로 말하면 이렇습니다. LW-DETR 의 뼈대에, 인터넷 규모로 사전 학습한 DINOv2 백본을 끼우고, 한 번의 학습으로 빠르기가 다른 수천 개의 모델을 얻는 방법(가중치 공유 NAS)을 얹은 실시간 탐지기. 먼저 구조를, 그다음 논문이 내세운 세 가지 기여를 봅니다.
구조: 그림에서 박스까지
그림 1-7 은 윗줄을 왼쪽에서 오른쪽으로, 그다음 아랫줄을 왼쪽에서 오른쪽으로 읽습니다. 부품마다 한 문장씩만 설명하고 자세한 내용은 해당 장으로 넘깁니다. 지금은 낯선 낱말이 많아도 괜찮습니다. “이런 부품들이 이런 순서로 놓인다” 만 눈에 익혀 두고, 10장을 읽은 뒤 돌아와 다시 보면 모든 칸이 읽힐 것입니다.
- 그림. 정해진 해상도(가장 작은 N 모델은 384×384)로 크기를 맞춘 RGB 그림입니다.
- 패치로 자르기. 그림을 16×16 픽셀짜리 작은 조각(패치)으로 바둑판처럼 자르고, 조각 하나를 숫자 벡터 하나(토큰)로 바꿉니다. “몇 번째 조각인가” 를 알려 주는 위치 임베딩을 더합니다. → 6장
- DINOv2 ViT 백본. 토큰들이 서로를 참고해 가며(어텐션) 뜻이 담긴 표현으로 바뀌어 가는 Transformer 층 12개입니다. 그림을 이해하는 일의 대부분을 이 부품이 맡으므로 백본(backbone, 등뼈)이라고 부릅니다. 가중치는 맨바닥에서 배우지 않고 DINOv2 가 정답 없는 그림 1억 4,200만 장으로 미리 배운 값에서 시작합니다. 계산을 줄이려고, 가까운 토큰끼리만 참고하는 윈도 어텐션 블록과 모든 토큰이 서로 참고하는 전역 어텐션 블록을 번갈아 놓습니다. → 5장(어텐션), 6장(ViT 와 DINOv2), 9장(윈도 어텐션), 10장
- 프로젝터. 백본의 여러 층에서 꺼낸 토큰을 다시 바둑판 꼴로 펴서 이어 붙이고, 합성곱 층 몇 개로 다듬어 탐지에 쓰기 좋은 특징 맵 하나로 만듭니다. 백본과 디코더를 잇는 다리입니다. → 9장, 10장
- 질의 선택. 특징 맵의 모든 위치에 대해 “여기에 객체가 있을 법한가” 를 점수로 매기고, 점수가 높은 300곳을 골라 그 자리의 대강의 박스를 디코더의 출발점으로 넘깁니다. 2단계 탐지기의 “후보 영역” 과 닮은 생각을 신경망 안에 녹여 넣은 것입니다. → 8장, 10장
- 디코더. 질의 300개(답안 칸 300개)가 층을 지나며 다듬어집니다. 한 층은 세 가지 일을 차례로 합니다. 자기 어텐션 으로 질의끼리 서로를 참고해 같은 객체를 겹쳐 맡지 않게 하고, 변형 교차 어텐션 으로 저마다 특징 맵에서 자기 박스 둘레의 몇 군데만 들여다보고, FFN(작은 신경망)으로 얻은 정보를 정리합니다. 층 수는 모델 크기에 따라 2 – 6개입니다. → 5장, 7장, 8장, 10장
- 분류 머리 · 박스 머리. 다듬어진 질의 하나하나에서 클래스별 점수와 박스 네 숫자를 읽어 내는 작은 출력 층입니다. 몸통 끝에 달려 답을 내놓는다는 뜻에서 머리(head)라고 부릅니다. → 10장
- 분할 머리(RF-DETR-Seg 에만). 질의마다 마스크를 하나씩 더 내놓는 가벼운 부품입니다. 탐지만 할 때는 없습니다. → 13장
구조에서 꼭 짚어 둘 점이 둘 있습니다. 첫째, 후처리가 없습니다. 디코더가 내놓은 300개의 예측이 그대로 최종 답입니다(점수가 낮은 것을 문턱값으로 걸러 내기만 합니다). 둘째, 학습할 때 모든 디코더 층의 출력 에 머리를 달아 손실을 겁니다. 그래서 어느 층에서 멈춰도 쓸 만한 답이 나오고, 이것이 뒤에서 볼 “디코더 층 수” 손잡이를 가능하게 합니다.
세 가지 기여
논문은 자신의 기여를 세 가지로 정리합니다. 초급자의 말로 풀면 다음과 같습니다.
기여 1. 많이 본 눈 + 빠른 몸. 사람도 그림을 많이 본 사람이 새 물건을 빨리 익힙니다. DINOv2 는 정답 표시가 없는 그림 1억 4,200만 장을 보며 “그림을 보는 법” 을 미리 익힌 모델입니다(6장). RF-DETR 은 이 눈을 실시간 탐지기(LW-DETR)의 몸에 끼웠습니다. 논문은 이렇게 하면 작은 데이터셋에서 정확도가 크게 오른다 고 보고합니다. 데이터가 적을수록 미리 배운 지식의 몫이 커지기 때문입니다. 대가도 있습니다. DINOv2 백본은 LW-DETR 이 쓰던 백본(10층)보다 층이 많아(12층) 더 느립니다. 논문은 이 손해를 기여 2 로 되찾는다고 말합니다.
기여 2. 손잡이 다섯 개가 달린 탐지기. 보통은 빠른 모델이 필요하면 작은 모델을 새로 설계해 처음부터 다시 학습합니다. RF-DETR 은 모델 하나를 학습하면서, 매 스텝마다 아래 다섯 손잡이를 무작위로 돌려 가며 학습합니다. 그러면 학습이 끝난 뒤에 손잡이를 어느 위치에 놓든 다시 학습하지 않고도 쓸 만한 모델이 됩니다. 이것을 가중치 공유 NAS(신경망 구조 탐색)라고 합니다.
| 손잡이 | 돌리면 | 정확도 ↔ 속도 |
|---|---|---|
| ① 그림 해상도 | 그림을 얼마나 크게 볼지 | 높이면 작은 객체를 잘 보지만 느려진다 |
| ② 패치 크기 | 그림을 얼마나 잘게 자를지 | 작게 자르면 토큰이 많아져 정확하지만 느려진다 |
| ③ 윈도 수 | 윈도 어텐션 블록에서 그림을 몇 구역으로 나눌지 | 구역이 많으면 계산은 줄지만 멀리 있는 정보를 덜 섞는다 |
| ④ 디코더 층 수 | 질의를 몇 번 다듬을지 | 층을 빼면 빨라지고 조금 덜 정확해진다 |
| ⑤ 질의 수 | 답안 칸을 몇 개 둘지 | 줄이면 빨라지지만 찾을 수 있는 객체 수의 한계가 낮아진다 |
학습이 끝나면 손잡이의 조합을 수천 가지 만들어 검증 데이터에서 정확도와 지연 시간을 재고, 그 가운데 파레토 경계에 놓인 조합만 골라냅니다. 논문은 COCO 에서 6,468가지 조합을 평가했다고 적었습니다. 앞에서 말한 “파레토 곡선 위의 모든 점이 한 번의 학습에서 나왔다” 는 바로 이 뜻입니다. 쓰는 사람에게는 이것이 “내 데이터, 내 장비에 맞는 크기를 다시 학습하지 않고 고를 수 있다” 는 뜻이 됩니다. → 12장
기여 3. 빠르기를 재는 자를 바로잡기. 앞 절에서 본 지연 시간 측정 문제입니다. 논문은 순전파 사이에 200밀리초를 쉬고, 정확도와 지연 시간을 같은 모델 파일로 재는 절차를 제안하고, 그 절차로 다른 탐지기들까지 모두 다시 재어 표를 만들었습니다. 측정 도구도 공개했습니다. → 12장
- 무엇인가: LW-DETR 을 고쳐 만든, NMS 없는 실시간 특화 탐지기(와 인스턴스 분할 모델 RF-DETR-Seg).
- 무엇을 바꿨나: 백본을 DINOv2 로, 학습을 “손잡이를 무작위로 돌려 가며” 하는 가중치 공유 NAS 로, 학습 설정을 일정표 없이 단순하게.
- 왜: COCO 한 곳이 아니라 어떤 데이터 · 어떤 장비에서도, 다시 설계하지 않고 알맞은 정확도 – 지연 시간 지점을 고르기 위해.
숫자로 보는 RF-DETR
이제 논문의 표를 읽어 봅시다. 표에 나오는 정확도 지표 AP(평균 정밀도)는 “박스를 얼마나 정확히, 빠짐없이, 헛짚지 않고 찾았는가” 를 한 숫자로 요약한 점수입니다. 어떻게 계산하는지는 3장 한 장을 통째로 들여 배웁니다. 지금은 0 에서 100 사이의 점수이고 높을수록 좋다 는 것만 알면 됩니다. 감을 잡자면, COCO 에서 AP 1 – 2점 차이는 논문 한 편이 내세울 만한 개선이고, 5점은 큰 차이입니다.
지연 시간은 모두 RF-DETR 논문이 NVIDIA T4 라는 GPU 에서, TensorRT(엔비디아의 추론 최적화 도구)로 변환한 16비트(FP16) 모델로, 앞에서 말한 표준 절차에 따라 잰 값입니다. 측정 흔들림이 최대 0.1밀리초여서 소수 첫째 자리까지만 적는다고 논문은 밝혔습니다. 매개변수 수의 M 은 백만 개입니다.
크기별 구성과 성능
다음 표는 논문 표 7(구성)과 표 2 · 표 12(성능)를 합친 것입니다. 한 줄이 “손잡이를 어디에 놓았는가” 와 “그 결과가 어떤가” 를 함께 보여 줍니다. 모두 COCO 탐지, 질의 수는 모든 크기에서 300 입니다.
| 크기 | 해상도 | 패치 | 한 변의 토큰 수 | 윈도 | 디코더 층 | 백본 | 매개변수 | 지연 시간 (ms) | AP |
|---|---|---|---|---|---|---|---|---|---|
| N (nano) | 384 | 16 | 24 | 2 | 2 | DINOv2-S | 30.5M | 2.3 | 48.0 |
| S (small) | 512 | 16 | 32 | 2 | 3 | DINOv2-S | 32.1M | 3.5 | 52.9 |
| M (medium) | 576 | 16 | 36 | 2 | 4 | DINOv2-S | 33.7M | 4.4 | 54.7 |
| L (large) | 704 | 16 | 44 | 2 | 4 | DINOv2-S | 33.9M | 6.8 | 56.5 |
| XL | 700 | 20 | 35 | 1 | 5 | DINOv2-B | 126.4M | 11.5 | 58.6 |
| 2XL | 880 | 20 | 44 | 2 | 5 | DINOv2-B | 126.9M | 17.2 | 60.1 |
| Max | 828 | 12 | 69 | 1 | 6 | DINOv2-B | 132.4M | 98.0 | 61.8 |
“한 변의 토큰 수” 는 논문 표에는 없고 이 튜토리얼이 해상도를 패치 크기로 나누어 덧붙인 열입니다. 계산은 다음과 같습니다. 해상도를 $R$, 패치 크기를 $P$ 라고 하면 그림 한 변에는 패치가 $R / P$ 개 들어가고, 그림 전체의 패치(토큰) 수는 그 제곱입니다.
표에서 읽을 것을 정리합니다.
- N → L 은 거의 같은 모델입니다. 백본이 같고(DINOv2-S) 매개변수 수도 30.5M 에서 33.9M 으로 거의 그대로입니다. 달라지는 것은 해상도와 디코더 층 수, 곧 손잡이의 위치뿐입니다. 그런데도 지연 시간은 2.3 에서 6.8밀리초로 세 배, AP 는 48.0 에서 56.5 로 8.5점 달라집니다. 논문이 “매개변수 수가 비슷해도 지연 시간은 크게 다를 수 있다” 고 한 그대로입니다. 모델의 크기(매개변수 수)와 빠르기는 다른 것 입니다.
- XL 부터는 백본이 커집니다(DINOv2-B). 매개변수가 네 배 가까이 됩니다.
- 뒤로 갈수록 점수 1점이 비싸집니다. N → S 는 1.2밀리초를 더 들여 4.9점을 얻지만, 2XL → Max 는 80.8밀리초를 더 들여 1.7점을 얻습니다. 그림 1-6 에서 곡선이 오른쪽으로 갈수록 눕던 것의 실제 숫자입니다.
- 2XL 은 60.1 AP 입니다. 논문은 이것을 “실시간 탐지기 가운데 COCO 60 AP 를 처음 넘은 것” 이라고 주장합니다(저자들이 아는 한). Max 는 98.0밀리초로, 논문이 실시간의 기준으로 삼은 40밀리초를 넘습니다.
- 손잡이가 꼭 한 방향으로만 움직이지는 않습니다. L 과 2XL 은 한 변의 토큰 수가 44 로 같고, XL(35)은 L(44)보다 오히려 적습니다. 어떤 조합이 좋은지는 사람이 짐작하기 어려워서 탐색에 맡긴 것입니다. 논문 부록 L 은, 성능이 해상도나 패치 크기 각각보다 그 비(곧 토큰 수)와 더 밀접하다고 보고합니다.
논문 표 7 의 “Windows” 값을 그대로 옮겼습니다. 공개 코드에서 이 값(num_windows)은 한 변을 몇으로 나누는가 를 뜻해서, 2 이면 그림을 2×2 = 4구역으로 나눕니다.
1 이면 나누지 않으므로 모든 블록이 전역 어텐션과 같아집니다. 자세한 것은 10장 에서 코드와 함께 확인합니다.
다른 탐지기와 견주기
다음은 논문 표 2 에서 발췌한 것입니다. 지연 시간이 비슷한 것끼리 세 묶음으로 나누었습니다. 모두 COCO 검증 세트의 AP 입니다.
| 묶음 | 모델 | 갈래 | 매개변수 | 지연 시간 (ms) | AP |
|---|---|---|---|---|---|
| N (약 2 ms) | YOLO11 (N) | 1단계 + NMS | 2.6M | 2.2 | 37.1 |
| LW-DETR (T) | DETR | 12.1M | 1.9 | 42.9 | |
| D-FINE (N) | DETR | 3.8M | 2.1 | 42.7 | |
| RF-DETR (N) | DETR | 30.5M | 2.3 | 48.0 | |
| S (약 3 ms) | YOLO11 (S) | 1단계 + NMS | 9.4M | 3.2 | 44.1 |
| LW-DETR (S) | DETR | 14.6M | 2.6 | 48.0 | |
| D-FINE (S) | DETR | 10.2M | 3.5 | 50.6 | |
| RF-DETR (S) | DETR | 32.1M | 3.5 | 52.9 | |
| M (약 4 – 5 ms) | YOLO11 (M) | 1단계 + NMS | 20.1M | 5.1 | 48.3 |
| RT-DETR (R18) | DETR | 36.0M | 4.4 | 49.0 | |
| LW-DETR (M) | DETR | 28.2M | 4.4 | 52.6 | |
| D-FINE (M) | DETR | 19.2M | 5.4 | 55.0 | |
| RF-DETR (M) | DETR | 33.7M | 4.4 | 54.7 | |
| 큰 모델 | GroundingDINO (T), COCO 로 미세 조정 | 열린 어휘 | 173.0M | 427.6 ※ | 58.2 |
| RF-DETR (2XL) | DETR | 126.9M | 17.2 | 60.1 |
- ※ GroundingDINO 는 TensorRT 로 돌릴 수 없어 PyTorch 에서 잰 지연 시간입니다. 나머지와 측정 조건이 다르므로 지연 시간은 참고로만 보아야 합니다. AP 58.2 도 RF-DETR 저자들이 직접 잰 값이 아니라 공개 구현(mmdetection)이 보고한 값을 옮긴 것이라고 논문은 밝혔습니다.
이 표에서 읽을 것은 다음과 같습니다.
- 작은 쪽에서 차이가 가장 큽니다. N 묶음에서 RF-DETR 은 D-FINE 보다 $48.0 - 42.7 = 5.3$ 점, LW-DETR 보다 5.1점 높습니다. 논문 초록의 “+5.3 AP” 가 이 숫자입니다. 지연 시간은 2.3밀리초로 D-FINE(2.1) · LW-DETR(1.9)보다 조금 깁니다. 논문은 이를 “비슷한 지연 시간” 이라고 표현합니다.
- RF-DETR (N) 은 YOLO11 (M) 과 비슷한 점수를 절반 이하의 시간에 냅니다. 48.0 대 48.3, 2.3밀리초 대 5.1밀리초입니다.
- M 묶음에서는 D-FINE (M) 이 0.3점 높습니다(55.0 대 54.7). 대신 1밀리초 느립니다(5.4 대 4.4). 둘은 서로를 지배하지 못합니다. 그림 1-6 의 짙은 점 둘과 같은 관계입니다. 표에는 없지만 더 큰 쪽에서도 마찬가지여서, 논문 표 12 에서 D-FINE (L) 57.2 · (XL) 59.3 은 RF-DETR (L) 56.5 · (XL) 58.6 보다 높습니다. 논문도 “D-FINE (x-large) 이 RF-DETR (x-large) 을 앞선다” 고 적었습니다. RF-DETR 이 COCO 의 모든 크기에서 이기는 것은 아닙니다.
- RF-DETR 은 매개변수가 많습니다. N 묶음에서 D-FINE 은 3.8M, RF-DETR 은 30.5M 으로 여덟 배입니다. 그런데도 지연 시간은 비슷합니다. 앞 표에서 본 “크기와 빠르기는 다르다” 가 다시 나타납니다. 다만 모델 파일의 크기나 메모리가 빠듯한 장치라면 매개변수 수도 따져야 합니다.
- 미세 조정한 열린 어휘 탐지기를 넘어섭니다. RF-DETR (2XL) 은 GroundingDINO (T) 보다 1.9점 높습니다.
COCO 밖에서는 어떨까요. 논문 표 4 는 RF100-VL(데이터셋 100개의 평균)의 결과입니다. 몇 줄만 옮깁니다.
| 모델 | 지연 시간 (ms) | RF100-VL AP |
|---|---|---|
| YOLO11 (M) | 5.1 | 57.0 |
| LW-DETR (N) | 1.9 | 57.1 |
| D-FINE (N) | 2.0 | 58.2 |
| RF-DETR (N) | 2.5 | 57.8 (탐색 뒤 미세 조정하면 58.6) |
| RF-DETR (M) | 4.6 | 61.7 (62.0) |
| GroundingDINO (T), 미세 조정 | 309.9 ※ | 62.3 |
| RF-DETR (2XL) | 15.6 | 63.3 (63.5) |
- ※ PyTorch 에서 잰 값입니다(위 표와 같은 사정).
RF-DETR (2XL) 은 GroundingDINO (T) 보다 $63.5 - 62.3 = 1.2$ 점 높고, 지연 시간은 $309.9 \div 15.6 \approx 20$ 분의 1 입니다. 초록의 “+1.2 AP 이면서 20배 빠르다” 가 이 숫자입니다(1.2점은 미세 조정한 쪽의 값이고, 지연 시간은 측정 조건이 다르다는 단서가 붙습니다). N 크기에서는 D-FINE (N) 이 58.2 로, 미세 조정하지 않은 RF-DETR (N) 57.8 보다 높다는 것도 표에 그대로 나와 있습니다. 또 YOLO11 은 M 크기도 57.0 에 머무는데, 논문은 YOLO 계열이 모델을 키워도 RF100-VL 점수가 오르지 않는다고 보고합니다.
인스턴스 분할 쪽(논문 표 3)도 한 줄만 적어 둡니다. RF-DETR-Seg (N) 은 3.4밀리초에 마스크 AP 40.3 으로, 논문이 잰 YOLO11 분할 모델의 모든 크기를 앞섭니다. 자세한 것은 13장 에서 봅니다.
논문 수치와 README 수치
RF-DETR 은 지금도 개발 중인 공개 패키지(rfdetr)입니다. 그래서 저장소 README 의 표와 논문의 표가 조금 다른 곳이 있습니다. 이 튜토리얼이 확인한 README(2026년 11월)의 COCO AP 는 다음과 같습니다.
| 크기 | 논문 표 2 · 12 의 AP | README 의 AP |
|---|---|---|
| N | 48.0 | 48.4 |
| S | 52.9 | 53.0 |
| M | 54.7 | 54.7 |
| L | 56.5 | 56.5 |
차이는 0.1 – 0.4점으로 작습니다. 공개된 가중치가 논문을 쓴 뒤에 갱신되었을 수 있지만, 이 튜토리얼은 그 까닭을 확인하지 못했습니다.
그래서 이 튜토리얼에서 “논문의 수치” 라고 하면 늘 논문의 표 를 가리키고, 패키지를 직접 돌려 얻은 값은 14장 에서 따로 “실제로 잰 값” 으로 적습니다. 둘을 섞지 않습니다.
또 README 에 따르면 N · S · M · L 탐지 모델과 분할 모델 전부는 Apache 2.0 라이선스로, XL · 2XL 같은 더 큰 탐지 모델은 별도 패키지(rfdetr[plus])의 다른 라이선스로 제공됩니다. 실전에서 쓸 때 확인할 점입니다.
LW-DETR 에서 RF-DETR 로: 절제 실험 읽기
RF-DETR 은 LW-DETR 에서 여러 가지를 한꺼번에 바꿨습니다. 그러면 “무엇이 얼마나 도움이 되었는가” 가 궁금해집니다. 이것을 알아보려고 바꾼 점을 하나씩 넣거나 빼 가며 성능을 재는 실험을 절제 실험ablation study 이라고 합니다. 논문 표 5 가 그것으로, LW-DETR (M) 에서 출발해 한 줄에 한 가지씩 바꿔 RF-DETR (M) 에 이릅니다. 딥러닝 논문에서 가장 정보가 많은 표가 대개 절제 실험 표이니, 읽는 법을 익혀 둘 만합니다.
| 단계 | 바꾼 것 | 매개변수 | 지연 시간 (ms) | AP | 앞 줄과의 차이 |
|---|---|---|---|---|---|
| 0 | LW-DETR (M) — 출발점 | 28.2M | 4.4 | 52.6 | — |
| 1 | + 순한 학습 설정 | 28.2M | 4.4 | 51.6 | −1.0 |
| 2 | + DINOv2 백본 | 32.3M | 4.7 | 53.6 | +2.0 |
| 3 | + Objects365 사전 학습 추가 | 32.3M | 4.7 | 54.3 | +0.7 |
| 4 | + 가중치 공유 NAS 로 학습 | 32.3M | 4.7 | 54.6 | +0.3 |
| 5 | 패치 14 → 16, 해상도 560 → 640 | 32.3M | 4.7 | 54.4 | −0.2 |
| 6 | 해상도 640 → 576 | 32.2M | 4.0 | 53.6 | −0.8 |
| 7 | 윈도 4 → 2 | 32.2M | 4.3 | 54.3 | +0.7 |
| 8 | 디코더 3층 → 4층 | 33.7M | 4.4 | 54.6 | +0.3 |
그림 1-8 과 표를 왼쪽부터 한 계단씩 읽어 봅시다.
- 단계 1: 한 계단 내려갑니다(−1.0). 학습 설정을 LW-DETR 보다 순하게 바꿨습니다. 학습률을 낮추고(4e-4 → 1e-4), 프로젝터의 배치 정규화를 층 정규화로 바꾼 것 등입니다. 점수가 떨어지는데 왜 할까요? 논문의 답은 둘입니다. 층 정규화로 바꿔야 메모리가 작은 일반 GPU 에서도(여러 스텝의 기울기를 모아 갱신하는 방식으로) 학습할 수 있고, 낮은 학습률이 다음 단계에서 끼울 DINOv2 의 사전 지식을 덜 망가뜨립니다. 뒤의 계단을 오르기 위해 먼저 내려가는 계단 입니다.
- 단계 2: 가장 큰 계단(+2.0). 백본을 DINOv2 로 바꿉니다. 잃은 1점을 되찾고 1점을 더 얻습니다. 대신 백본이 12층으로 늘어 지연 시간이 4.4 에서 4.7밀리초가 됩니다. 논문 표 6 은 같은 조건에서 다른 사전 학습 백본(SigLIPv2, SAM2 의 Hiera)도 끼워 보았는데 DINOv2 가 가장 좋았다고 보고합니다.
- 단계 3: +0.7. Objects365 사전 학습을 더 오래 합니다. 학습률을 낮춰 최적화가 느려진 것을 메우는 구실이라고 논문은 설명합니다.
- 단계 4: +0.3. 학습 방식을 가중치 공유 NAS 로 바꿉니다. 모델 구성(패치 14, 해상도 560)은 그대로인데 점수가 오릅니다. 더 흥미로운 점은, 패치 크기 14 가 학습 때 돌린 손잡이 값의 목록에 들어 있지도 않았다 는 것입니다. 논문은 손잡이를 무작위로 돌리며 학습하는 것 자체가 데이터 증강처럼 모델을 튼튼하게 만든다고 풀고, 이를 “구조 증강(architecture augmentation)” 이라고 부릅니다.
- 단계 5: 지연 시간이 그대로인 까닭. 여기서부터는 다시 학습하지 않고 손잡이만 돌립니다. 패치를 14 에서 16 으로, 해상도를 560 에서 640 으로 바꾸면 한 변의 토큰 수가 $560 / 14 = 40$ 에서 $640 / 16 = 40$ 으로 같습니다. 그래서 지연 시간도 4.7밀리초 그대로이고 점수는 0.2점만 달라집니다. 앞 절에서 본 “토큰 수가 중요하다” 의 한 예입니다.
- 단계 6: 속도를 삽니다. 해상도를 576 으로 낮춰 토큰을 줄입니다. 지연 시간이 4.7 에서 4.0밀리초로 줄고 점수는 0.8점 떨어집니다.
- 단계 7 · 8: 남는 시간으로 정확도를 되삽니다. 윈도를 4 에서 2 로 줄이고(+0.7점, +0.3밀리초) 디코더를 4층으로 늘립니다(+0.3점, +0.1밀리초). 윈도를 줄이면 한 구역이 넓어져 계산은 늘지만 정보가 더 멀리 섞입니다.
도착점은 4.4밀리초에 54.6 AP 입니다. 출발점 LW-DETR (M) 과 지연 시간은 똑같고 점수는 2.0점 높습니다. 단계 2 에서 DINOv2 때문에 늘었던 0.3밀리초를 단계 5 – 8 의 손잡이 조정으로 되찾았습니다. 앞 절에서 “DINOv2 백본의 손해를 NAS 로 되찾는다” 고 한 말이 숫자로는 이런 뜻입니다.
- 순서에 따라 달라질 수 있습니다. 절제 실험의 “+2.0” 은 “이 순서로 쌓았을 때 그 계단의 높이” 입니다. 순서를 바꾸면 계단마다의 높이는 달라질 수 있습니다. 여러 변화는 서로 영향을 주기 때문입니다(예: 낮은 학습률은 DINOv2 와 함께일 때 뜻이 있습니다).
- 표 사이의 작은 어긋남. 표 5 의 마지막 줄(54.6)과 표 2 의 RF-DETR (M) (54.7)은 0.1점 다릅니다. 논문은 까닭을 밝히지 않습니다.
- 설명 사이의 어긋남. “순한 학습 설정” 의 내용으로 논문 본문은 “더 큰 배치” 를, 표 5 의 설명은 “더 작은 배치” 를 듭니다. 부록 A 는 배치 크기 128 로 LW-DETR 과 같다고 적었습니다. 이 튜토리얼은 어느 쪽이 맞는지 확인하지 못했으므로, 위에서는 세 곳이 함께 말하는 학습률과 정규화만 적었습니다.
이 튜토리얼이 쌓아 가는 순서
이 장에서는 낯선 낱말을 많이 지나쳤습니다. IoU, AP, 어텐션, 질의, 헝가리안 매칭, 변형 어텐션, 윈도 어텐션, 가중치 공유 NAS. 걱정하지 않아도 됩니다. 남은 장들은 이 낱말을 하나씩, 손으로 계산하고 코드로 돌려 가며 채워 넣는 과정입니다. 순서는 RF-DETR 을 바깥에서 안으로 뜯어보는 것이 아니라, 밑바닥 부품부터 하나씩 만들어 올려 마지막에 RF-DETR 이 되게 짰습니다.
1단계 · 기초 체력 (02 – 06장)
- 2장 박스와 IoU: 박스를 숫자 네 개로 적는 두 가지 방법, 두 박스가 얼마나 겹치는지 재는 IoU 와 그 개량형 GIoU. 탐지기의 모든 손실과 채점이 이 위에 섭니다.
- 3장 탐지기 채점: AP 와 mAP: 이 장의 표에 나온 AP 를 손으로 계산합니다. NMS 도 여기서 직접 구현해 봅니다.
- 4장 딥러닝 기초와 분류 손실: 신경망과 학습의 기초, 그리고 클래스 불균형을 다스리는 포컬 손실.
- 5장 어텐션과 Transformer: “토큰끼리 서로 참고한다” 를 숫자로 손계산합니다. 그림 1-7 의 절반이 이 연산입니다.
- 6장 Vision Transformer 와 DINOv2: 그림을 패치로 잘라 Transformer 에 넣는 법, 그리고 정답 없이 미리 배우는 법.
2단계 · DETR 계보 (07 – 09장)
- 7장 DETR: 집합 예측과 헝가리안 매칭. 도형 세상에서 NMS 없는 탐지기를 처음으로 만들고, 왜 학습이 느린지 직접 봅니다.
- 8장 Deformable DETR: 필요한 곳만 보는 변형 어텐션을 처음부터 구현합니다.
- 9장 실시간 DETR: RT-DETR 과 LW-DETR: 윈도 어텐션, 프로젝터 등 RF-DETR 이 물려받은 부품들.
3단계 · RF-DETR (10 – 13장)
- 10장 RF-DETR 의 구조: 그림 1-7 을 텐서 모양을 따라가며 한 칸씩 코드로 채웁니다.
- 11장 RF-DETR 의 학습: 손실 전체와 학습 요령. 도형 세상에서 미니 RF-DETR 을 학습시킵니다.
- 12장 가중치 공유 NAS: 손잡이를 돌려 가며 학습하고, 수백 개의 구성을 평가해 파레토 곡선을 직접 그립니다.
- 13장 RF-DETR-Seg: 분할 머리를 달아 도형의 마스크까지 예측합니다.
4단계 · 실전 (14 – 15장)
- 14장 실전: rfdetr 패키지: 공개된 진짜 RF-DETR 로 추론하고, 내 데이터로 미세 조정하고, 배포용으로 내보냅니다.
- 15장 부록: 막혔을 때의 점검표, 수식 모음, 용어집, 더 읽을 논문.
이 튜토리얼이 끝까지 지키려는 약속은 하나입니다. RF-DETR 의 모든 부품을 도형 세상에서 직접 만들어 돌려 본다. 진짜 RF-DETR 은 매개변수가 3천만 개가 넘고 COCO 로 학습하려면 GPU 여러 대가 필요하지만, 96×96 도형 그림용으로 줄인 “미니 RF-DETR” 은 노트북 GPU 한 장으로 십여 분이면 학습됩니다. 크기는 작아도 구조와 손실은 같은 원리입니다. 작은 것으로 원리를 손에 익힌 다음 14장에서 진짜를 만납니다. 다만 미니 실험의 결과와 논문이 COCO 에서 보고한 결과는 서로 다른 것이므로, 이 튜토리얼은 늘 “이 튜토리얼의 실험에서는” 과 “논문에서는” 을 나눠 적습니다.
- 객체 탐지는 그림 속 객체마다 박스와 클래스를 답하는 문제이고, 탐지기의 출력은 (박스, 클래스, 점수) 의 집합 $\{(b_i, c_i, s_i)\}$ 입니다. 개수가 그림마다 다르고 순서가 없습니다.
- 탐지를 어렵게 만드는 것은 개수 미정, 크기 · 위치의 다양함, 중복 예측, 클래스 불균형(대부분이 배경), 속도 다섯 가지입니다.
- 2단계 탐지기(R-CNN 계열)는 후보 영역을 뽑은 뒤 분류하고, 1단계 탐지기(YOLO · SSD)는 격자 · 앵커에서 한 번에 예측합니다. 둘 다 앵커와 NMS 같은 손으로 만든 부품에 기댑니다.
- DETR(2020)은 탐지를 집합 예측으로 보고 예측과 정답을 일대일로 짝지어, NMS 없이 종단 간으로 학습합니다. 느린 학습과 무거운 계산을 Deformable DETR, RT-DETR, LW-DETR 이 차례로 덜어 냈습니다.
- 실시간은 지연 시간(한 장에 걸리는 밀리초)으로 잽니다. 정확도와 지연 시간은 맞바꿈 관계이고, 다른 모델에게 지배당하지 않는 모델들을 이은 선이 파레토 곡선입니다.
- RF-DETR(2025, ICLR 2026)은 LW-DETR 에 DINOv2 백본을 끼우고, 다섯 손잡이(해상도 · 패치 크기 · 윈도 수 · 디코더 층 수 · 질의 수)를 돌려 가며 학습하는 가중치 공유 NAS 를 얹고, 지연 시간 측정을 표준화했습니다.
- 논문의 문제의식은 “특화 탐지기가 COCO 에 과하게 맞춰져 있다” 는 것이고, 그래서 COCO 와 함께 데이터셋 100개짜리 RF100-VL 로 평가합니다. 이것은 논문의 주장입니다.
- 논문 수치: RF-DETR (N) 2.3 ms 에 48.0 AP(D-FINE (N) 보다 +5.3), (2XL) 17.2 ms 에 60.1 AP. 다만 M 이상에서는 D-FINE 이 COCO AP 가 조금 더 높은 크기도 있습니다.
확인 문제
사과 세 개와 바나나 한 개가 놓인 사진이 있습니다. (가) 이미지 분류 (나) 객체 탐지 (다) 인스턴스 분할은 각각 무엇을 답으로 내놓나요? 답의 “개수” 가 사진에 따라 달라지는 것은 어느 것인가요?
답 보기
(가) “사과, 바나나가 있다” — 그림 전체에 대한 클래스. 몇 개인지, 어디인지는 답하지 않습니다. (나) 박스 4개(사과 3, 바나나 1)와 저마다의 클래스 · 점수. (다) 마스크 4개(사과 3, 바나나 1)와 저마다의 클래스 · 점수. 사과 셋을 서로 다른 인스턴스로 따로 칠합니다. 답의 개수가 사진마다 달라지는 것은 (나)와 (다)입니다. (가)는 클래스 수만큼의 고정된 출력입니다.
도형 세상(96×96)의 한 정답 박스가 $(c_x, c_y, w, h) = (0.25, 0.50, 0.50, 0.25)$ 입니다. 이 박스의 중심과 너비 · 높이를 픽셀로 바꾸고, 박스의 왼쪽 끝과 오른쪽 끝의 가로 좌표를 구해 보세요.
답 보기
96 을 곱합니다. 중심 $(0.25 \times 96,\; 0.50 \times 96) = (24, 48)$, 너비 $0.50 \times 96 = 48$, 높이 $0.25 \times 96 = 24$ 픽셀. 왼쪽 끝은 중심에서 너비의 절반을 뺀 $24 - 24 = 0$, 오른쪽 끝은 $24 + 24 = 48$ 입니다. 그림의 왼쪽 절반을 가로로 꽉 채운 납작한 박스입니다. (도형 세상의 실제 그림에서는 도형이 가장자리에서 조금 떨어지도록 만들기 때문에 이런 박스는 나오지 않습니다. 계산 연습용입니다.)
그림을 8×8 격자로 나누고 칸마다 후보를 하나씩 둡니다. 그림에 객체가 3개 있고 중심이 모두 다른 칸에 있다면, “없음” 이 정답인 후보는 몇 개이고 전체의 몇 % 인가요? 이런 상황에서 탐지기가 “전부 없음” 이라고만 답하면 후보 기준 정답률은 얼마인가요? 왜 이것이 문제인가요?
답 보기
후보는 $8 \times 8 = 64$ 개, 객체를 맡는 후보는 3개이므로 “없음” 은 $64 - 3 = 61$ 개, $61 / 64 \approx 95.3\%$ 입니다. “전부 없음” 이라고 답해도 후보의 95.3% 를 맞힙니다. 그러나 객체는 하나도 찾지 못했으니 탐지기로서는 쓸모가 없습니다. 학습이 이런 “쉬운 정답” 으로 쏠리지 않게 막아야 하는 것이 클래스 불균형 문제입니다(4장의 포컬 손실).
초당 60장을 찍는 카메라에 탐지기를 붙이려 합니다. (1) 그림 한 장에 쓸 수 있는 시간은 몇 밀리초인가요? (2) 탐지기 말고 다른 처리에 6밀리초가 든다면, 이 장의 “크기별 구성과 성능” 표에서 쓸 수 있는 가장 정확한 RF-DETR 은 어느 크기인가요? (3) 그 모델만 쉬지 않고 돌린다면 초당 몇 장을 처리하나요?
답 보기
(1) $1000 \div 60 \approx 16.7$ 밀리초. (2) 탐지기에 남는 시간은 $16.7 - 6 = 10.7$ 밀리초입니다. L 은 6.8밀리초로 들어가고 XL 은 11.5밀리초로 넘칩니다. 그러므로 L(56.5 AP)입니다. (3) $1000 \div 6.8 \approx 147$ 장. 단, 표의 지연 시간은 T4 GPU 에서 TensorRT FP16 으로 잰 값이므로 다른 장비에서는 직접 재야 합니다.
다음은 이 장의 표에서 가져온 다섯 모델의 (지연 시간 ms, COCO AP) 입니다. 파레토 경계 위에 있는 모델을 모두 고르고, 나머지는 어떤 모델에게 지배당하는지 말해 보세요.
YOLO11 (M) (5.1, 48.3) · RT-DETR (R18) (4.4, 49.0) · LW-DETR (M) (4.4, 52.6) · D-FINE (M) (5.4, 55.0) · RF-DETR (M) (4.4, 54.7)
답 보기
파레토 경계 위에 있는 것은 RF-DETR (M) 과 D-FINE (M) 입니다. RF-DETR (M) 은 다섯 가운데 가장 빠른 4.4밀리초에서 AP 가 가장 높습니다(54.7). D-FINE (M) 은 더 느리지만(5.4) AP 가 더 높으므로(55.0) RF-DETR (M) 에게 지배당하지 않습니다. RT-DETR (R18) 과 LW-DETR (M) 은 지연 시간이 같은 RF-DETR (M) 보다 AP 가 낮으므로 지배당합니다. YOLO11 (M) 은 RF-DETR (M) 보다 느리면서 AP 도 낮으므로 지배당합니다. (이 다섯 개 안에서의 이야기입니다. 다른 크기의 모델까지 넣으면 경계는 달라집니다.)
RF-DETR 논문은 COCO 에서 해상도 11가지, 패치 크기 7가지, 디코더 층 수 7가지(0 – 6층), 윈도 수 3가지, 질의 수 4가지의 조합을 모두 평가했다고 적었습니다. 조합은 모두 몇 가지인가요? 이것을 하나하나 따로 학습하지 않아도 되는 까닭을 한두 문장으로 설명해 보세요.
답 보기
$11 \times 7 \times 7 \times 3 \times 4 = 6468$ 가지입니다($11 \times 7 = 77$, $77 \times 7 = 539$, $539 \times 3 = 1617$, $1617 \times 4 = 6468$). 학습할 때 매 스텝마다 손잡이를 무작위로 돌려 가며 하나의 가중치 를 갱신했기 때문에, 그 가중치는 어느 조합으로 놓아도 쓸 만하게 동작합니다(가중치 공유 NAS). 그래서 학습이 끝난 뒤에는 조합마다 정확도와 지연 시간을 재기만 하면 됩니다. 자세한 것은 12장에서 다룹니다.
YOLO 같은 탐지기에는 NMS 가 필요한데 DETR 계열에는 필요 없는 까닭을, “학습할 때 정답을 예측에 어떻게 배정하는가” 의 차이로 설명해 보세요.
답 보기
격자 · 앵커 방식에서는 한 객체 근처의 여러 후보가 저마다 그 객체를 예측해도 학습 때 벌을 받지 않으므로(오히려 여러 후보에게 같은 정답을 맡기기도 합니다), 추론 때 한 객체에 예측이 여러 개 나옵니다. 그래서 뒤에서 규칙(NMS)으로 지워야 합니다. DETR 은 정답 하나를 딱 한 예측에만 일대일로 배정하고, 나머지 예측은 “객체 없음” 이 정답이 됩니다. 같은 객체를 겹쳐 예측한 질의는 벌을 받으므로, 학습이 끝나면 중복이 애초에 나오지 않습니다.
큰 그림을 잡았습니다. 이제 가장 밑바닥의 부품부터 시작합니다. 탐지기의 답은 박스이고, 박스가 맞았는지 틀렸는지를 말하려면 먼저 “두 박스가 얼마나 비슷한가” 를 숫자로 잴 수 있어야 합니다. 다음 장 박스와 IoU 에서 박스를 적는 법과 겹침을 재는 법을 손으로 계산하고 코드로 만들어 봅니다.