1. 寫在前面

目標(biāo)檢測(cè)到底是DETR好還是YOLO好？感覺也沒有一個(gè)明確的答案，YOLO在不停的平衡精度和效率，DETR也在不停的提高實(shí)時(shí)性。今天筆者為大家推薦一篇最新的DETR開源工作MS-DETR，通過一對(duì)一監(jiān)督和一對(duì)多監(jiān)督相結(jié)合的方式，提高DETR的訓(xùn)練效率。

下面一起來閱讀一下這項(xiàng)工作

2. 摘要

DETR通過迭代地生成基于圖像特征的多個(gè)候選目標(biāo)，并為每個(gè)真值目標(biāo)提升一個(gè)候選目標(biāo)，從而實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)。原始DETR中采用一對(duì)一監(jiān)督的傳統(tǒng)訓(xùn)練過程缺乏對(duì)目標(biāo)檢測(cè)候選的直接監(jiān)督。

我們旨在通過一對(duì)一監(jiān)督和一對(duì)多監(jiān)督相結(jié)合的方式，對(duì)候選生成過程進(jìn)行明確監(jiān)督，從而提高DETR的訓(xùn)練效率。我們的方法，即MS - DETR，簡單，并且對(duì)用于推理的主解碼器的對(duì)象查詢進(jìn)行一對(duì)多的監(jiān)督。與現(xiàn)有的一對(duì)多監(jiān)督的DETR變體(如Group DETR和Hybrid DETR )相比，我們的方法不需要額外的解碼器分支或?qū)ο蟛樵?。在我們的方法中，主解碼器的對(duì)象查詢直接受益于一對(duì)多的監(jiān)督，因此在對(duì)象候選預(yù)測(cè)方面具有優(yōu)勢(shì)。實(shí)驗(yàn)結(jié)果表明，我們的方法優(yōu)于相關(guān)DETR變體，如DN - DETR、Hybrid DETR和Group DETR，與相關(guān)DETR變體的結(jié)合進(jìn)一步提高了性能。

3. 效果展示

這篇文章的思想就是使用一對(duì)一監(jiān)督和一對(duì)多監(jiān)督相結(jié)合的混合監(jiān)督?；旌媳O(jiān)督會(huì)產(chǎn)生更好的檢測(cè)候選。Top：box真值。Middle：與基線匹配的前20個(gè)查詢的候選框。Bottom：使用MS - DETR從前20個(gè)查詢中選出候選框?？梢钥闯觯琈S - DETR比基線產(chǎn)生了更好的檢測(cè)候選。

4. 具體原理是什么？

混合監(jiān)督會(huì)產(chǎn)生比基線更低的一對(duì)一損失。x軸對(duì)應(yīng)epoch，y軸對(duì)應(yīng)一對(duì)一監(jiān)督的訓(xùn)練損失。虛線和實(shí)線分別對(duì)應(yīng)于Deformable DETR基線和MS - DETR的損失曲線。

不同架構(gòu)的差異。( a )原始DETR：采用一對(duì)一監(jiān)督的方式對(duì)其進(jìn)行訓(xùn)練。( b ) MS -- DETR：通過混合一對(duì)一和一對(duì)多監(jiān)督的方式進(jìn)行訓(xùn)練。這兩種監(jiān)督都施加在初級(jí)解碼器上。( c ) DETR組和DN - DETR組。引入了額外的并行譯碼器，并對(duì)額外的譯碼器進(jìn)行一對(duì)一的監(jiān)督。DETR和DN - DETR可能會(huì)使用更多的額外解碼器。(d) 混合DETR：增加了一個(gè)額外的并行譯碼器，并對(duì)額外的譯碼器施加一對(duì)多的監(jiān)督。

MS-DETR的具體實(shí)現(xiàn)。( a )對(duì)每個(gè)解碼器層的輸出對(duì)象查詢進(jìn)行一對(duì)一和一對(duì)多的監(jiān)督。( b )對(duì)每個(gè)稍作修改的解碼器層的輸出對(duì)象查詢進(jìn)行兩次監(jiān)督：首先執(zhí)行交叉注意力，然后執(zhí)行自注意力。( c )和( d )對(duì)內(nèi)部對(duì)象查詢進(jìn)行一對(duì)多監(jiān)督。cls11和box11是一對(duì)一監(jiān)督的class和box預(yù)測(cè)子，cls1m和box1m是一對(duì)多監(jiān)督的class和box預(yù)測(cè)子。

5. 和其他SOTA方法的對(duì)比

MS - DETR與一對(duì)多( O2M )監(jiān)督的其他方法在不同基線上的比較。MS - DETR一致地改進(jìn)了各種流行的DETR基線。

與其他方法相結(jié)合的對(duì)比， MS - DETR是現(xiàn)有O2M方法的一種補(bǔ)充方法。

6. 總結(jié)

這篇文章在原有一對(duì)一監(jiān)督的基礎(chǔ)上增加了一對(duì)多的監(jiān)督，用于DETR訓(xùn)練。主要特點(diǎn)是顯式地監(jiān)督了對(duì)象查詢。MS-DETR是對(duì)相關(guān)方法的補(bǔ)充，這些方法主要是修改交叉注意力結(jié)構(gòu)或使用額外的查詢或額外的解碼器來學(xué)習(xí)解碼器權(quán)重。

審核編輯：黃飛