1. 背景介紹

近年來，大規(guī)模預訓練后微調(diào)優(yōu)化方法在計算機視覺中取得了重大進展。一系列預訓練算法被設(shè)計出來，以學習特定領(lǐng)域的或任務感知的概念，以提升下游性能。就目標檢測而言，當前方法通常利用ImageNet來預訓練骨干網(wǎng)絡(luò)，采用面向分類的監(jiān)督。然而，與面向檢測的微調(diào)過程相比，這種預訓練方法存在三個差異，如圖1所示。

數(shù)據(jù):大多數(shù)預訓練方法是在單個以物體為中心的數(shù)據(jù)集上進行的，如ImageNet。但是，檢測數(shù)據(jù)集，例如COCO，通常由不同尺度和位置的多個物體組成。數(shù)據(jù)特征和領(lǐng)域上的差異可能導致預訓練偏離下游任務。

模型:由于檢測器的多樣性和復雜性，當前預訓練算法主要關(guān)注模型內(nèi)的部分模塊(例如骨干網(wǎng)絡(luò))。檢測器中的某些關(guān)鍵組件(例如RPN和回歸頭)仍然是隨機初始化的。

任務:現(xiàn)有預訓練方法僅將分類任務視為替代任務，未能捕獲包括建議生成、目標分配和框回歸在內(nèi)的與物體相關(guān)的位置上下文。

這些差異可能導致受限的結(jié)果、較差的泛化能力和較慢的收斂速度。

2. 相關(guān)知識補充

目標檢測。 當前的目標檢測算法可以根據(jù)不同的預測流程分為基于錨點、基于點和基于查詢的方法?；阱^點的方法在每個像素上生成多個具有預定義大小和尺度的錨點。它們通常通過交并比將訓練樣本劃分為正樣本和負樣本?；邳c的方法旨在找到與每個對象相對應的參考點，這可以是每個實例的中心點，預定義或自學習的關(guān)鍵點 。與基于錨點和基于點的方法中使用預定義的先驗知識不同，基于查詢的方法通過一組可學習的查詢來表示不同的對象。

自監(jiān)督預訓練。 自監(jiān)督學習充分利用了大量無標注數(shù)據(jù)來學習結(jié)構(gòu)化的數(shù)據(jù)特征，預訓練的權(quán)重被轉(zhuǎn)移到下游任務中以確保良好的初始化。已經(jīng)為無監(jiān)督預訓練提出了許多替代任務，例如特征聚類 ，著色，上下文預測，旋轉(zhuǎn)預測和圖像填充。一方面，對比學習通過最大化來自同一實例的不同視圖的相似度來捕獲良好的表征 ，在多個下游任務中取得了有競爭力的性能。另一方面，Mask Image Modeling (MIM)最近在自監(jiān)督學習中引起了越來越多的關(guān)注。MIM不需要特定的數(shù)據(jù)增強，并且對下游任務具有更強大的泛化能力。

目標檢測的自監(jiān)督預訓練。 盡管無監(jiān)督預訓練在目標檢測中顯示出了有競爭力的結(jié)果，但直接將圖像級預訓練知識轉(zhuǎn)移到密集級下游任務存在一系列不一致之處。為減小預訓練和微調(diào)之間的差距，一些方法通過探索不同視圖之間的局部特征相似性來提出密集級對比學習。一些研究人員發(fā)現(xiàn)僅預訓練骨干網(wǎng)絡(luò)是不夠的，他們嘗試預訓練其他常見模塊，如FPN 。然而，這些方法需要從頭開始進行大量的預訓練，檢測器中的其他關(guān)鍵模塊(如RetinaNet 中的回歸頭)仍然是隨機初始化的。另一方面，UP-DETR和DETReg 通過引入?yún)^(qū)域匹配和特征重構(gòu)替代任務來預訓練整個DETR樣式檢測器。盡管這些方法可以對整個模型進行充分的預訓練，但DETR定向的替代任務無法直接應用于其他檢測方法。相比之下，AlignDet實現(xiàn)了各種檢測器的高效充分的自監(jiān)督預訓練。

3. 方法詳解

最近的工作通過構(gòu)建無監(jiān)督預訓練替代任務來擴展“預訓練和微調(diào)”方法，與僅使用監(jiān)督預訓練的方法相比，這些方法取得了更高的性能。然而，與檢測過程相比，當前預訓練方法在數(shù)據(jù)、模型和任務上存在不一致之處，如圖1所示。盡管可以通過大規(guī)模標注數(shù)據(jù)集的訓練來緩解這些不一致，但它需要巨大的計算資源和手工標注成本。這些問題和局限激發(fā)我們提出AlignDet，一個通用的自監(jiān)督框架，用于減小預訓練和微調(diào)階段中的差異。

圖2 AlignDet的預訓練流程圖。監(jiān)督和自監(jiān)督預訓練都可以用于圖像域階段，以捕捉整體視覺概念。對于框域預訓練，首先采用選擇性搜索生成無監(jiān)督建議作為偽標簽，然后對每個建議進行擴充，構(gòu)建兩個具有不同尺度和變換的視圖。每個預測框用于構(gòu)建對比學習和協(xié)調(diào)相關(guān)損失，以適應檢測任務。

整個預訓練流程如圖2所示。在以下小節(jié)中，我們分別在第3.1節(jié)和第3.2節(jié)中介紹圖像域預訓練和框域預訓練。我們提供了偽代碼，以便更直觀地理解AlignDet流程，以及與其他方法在技術(shù)細節(jié)上的比較見補充材料。

3.1 圖像域預訓練

圖像域預訓練優(yōu)化骨干網(wǎng)絡(luò)，為后續(xù)的框域預訓練提取高層語義特征，如圖2左側(cè)的步驟1所示。一方面，給定圖像x，骨干網(wǎng)絡(luò)可以在完全監(jiān)督的設(shè)置下與分類器和分類類別進行預訓練。另一方面，最近出現(xiàn)的無監(jiān)督學習算法有助于通過大量無標注數(shù)據(jù)捕獲更普適的表征。以SimSiam 為例，從輸入圖像中構(gòu)造兩個視圖和，并采用不同的數(shù)據(jù)增強。骨干網(wǎng)絡(luò)可以通過最大化不同視圖的相似性來學習普適的表征，并且利用預測器和停止梯度用來防止模式崩潰。

圖像域預訓練通常在大規(guī)模的圖像分類數(shù)據(jù)集(如ImageNet)上進行，其中每個樣本主要包含一個或少數(shù)幾個主要物體位于圖像中心。這里存在一個差距，因為在預訓練過程無法訪問包含不同尺度和位置的多個物體目標數(shù)據(jù)集。此外，檢測頭仍然是隨機初始化的，回歸工作在此圖像域預訓練中也未明確學習到。為此，我們設(shè)計框域預訓練以減小這些差異。

3.2 框域預訓練

4. 結(jié)論

本文中，我們指出預訓練和微調(diào)階段在目標檢測中存在數(shù)據(jù)、模型和任務的差異，并提出了AlignDet來解決這些問題。AlignDet學習分類和回歸知識，實現(xiàn)高效針對所有模塊的預訓練。值得注意的是，AlignDet是第一個實現(xiàn)各種檢測器完全無監(jiān)督預訓練的框架。我們廣泛的實驗表明，AlignDet可以在各種設(shè)置下顯著提升檢測性能，包括不同的檢測器、骨干網(wǎng)絡(luò)、數(shù)據(jù)設(shè)置和微調(diào)計劃。我們相信我們的工作為目標檢測中的預訓練問題提供了有價值的洞見，并開辟了新的研究方向。




審核編輯：劉清