論文標(biāo)題：Universal Domain Adaptive Object Detection via Dual Probabilistic Alignment

論文地址：

https://arxiv.org/abs/2412.11443

代碼地址：

https://github.com/WeitaiKang/SegVG/tree/main

▲ 圖1. UniDAOD任務(wù)示例 （通用跨域目標(biāo)檢測(cè)）

目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺(jué)領(lǐng)域的核心任務(wù)，在閉集場(chǎng)景中已經(jīng)取得了顯著的進(jìn)展。然而，現(xiàn)有的方法通常假設(shè)類(lèi)別集合是固定的，并依賴于大量的標(biāo)注數(shù)據(jù)，這導(dǎo)致它們?cè)谔幚砜缬驍?shù)據(jù)時(shí)，特別是在源域與目標(biāo)域之間存在域偏移的情況下，泛化性能受限。例如，針對(duì)晴天數(shù)據(jù)訓(xùn)練的目標(biāo)檢測(cè)模型往往難以有效適應(yīng)霧天或其他場(chǎng)景條件下的場(chǎng)景變化。

為了應(yīng)對(duì)這一挑戰(zhàn)，域自適應(yīng)目標(biāo)檢測(cè)（Domain Adaptive Object Detection， DAOD）方法被提出。DAOD 的主要目標(biāo)是通過(guò)將源域的有標(biāo)簽數(shù)據(jù)遷移到目標(biāo)域的無(wú)標(biāo)簽數(shù)據(jù)上，從而緩解源域與目標(biāo)域之間分布不一致所帶來(lái)的性能下降問(wèn)題。

在源域和目標(biāo)域類(lèi)別集合相同的前提下，DAOD 能夠有效實(shí)現(xiàn)跨域遷移，并減少對(duì)大規(guī)模標(biāo)注數(shù)據(jù)的依賴，從而降低了高昂的數(shù)據(jù)標(biāo)注成本。然而，在開(kāi)放世界場(chǎng)景中，源域與目標(biāo)域之間可能會(huì)存在私有類(lèi)別（即目標(biāo)域包含源域未見(jiàn)過(guò)的類(lèi)別）。因此，傳統(tǒng)的 DAOD 方法受限于閉集假設(shè)，無(wú)法處理私有類(lèi)別的域?qū)R問(wèn)題，從而限制了其在開(kāi)放世界場(chǎng)景中的應(yīng)用。

為了解決這一問(wèn)題，通用域自適應(yīng)目標(biāo)檢測(cè)（Universal Domain Adaptive Object Detection， UniDAOD）方法被提出。UniDAOD 通過(guò)放寬類(lèi)別集合的閉集假設(shè)，能夠在沒(méi)有類(lèi)別先驗(yàn)信息的情況下實(shí)現(xiàn)源域與目標(biāo)域的跨域?qū)R，從而適應(yīng)包括閉集、部分集和開(kāi)放集等多種場(chǎng)景。此方法顯著提升了目標(biāo)檢測(cè)模型在開(kāi)放世界中的魯棒性和泛化能力，拓展了目標(biāo)檢測(cè)技術(shù)在更復(fù)雜和動(dòng)態(tài)場(chǎng)景中的應(yīng)用范圍。

現(xiàn)有UniDAOD模型的不足

現(xiàn)有的通用域自適應(yīng)目標(biāo)檢測(cè)（UniDAOD）方法的核心思想借鑒了域自適應(yīng)目標(biāo)檢測(cè)（DAOD）和通用域自適應(yīng)（UniDA）方法的范式。

具體而言，UniDAOD 方法結(jié)合了 DAOD 系列的基礎(chǔ)對(duì)齊方法，包括實(shí)例對(duì)齊與全局對(duì)齊，并借鑒了 UniDA 系列方法來(lái)挖掘源域和目標(biāo)域中的公共類(lèi)別樣本。在 UniDA 中，通過(guò)構(gòu)建概率閾值機(jī)制，域判別器的概率層面能夠篩選出公共類(lèi)別的樣本，從而實(shí)現(xiàn)源域與目標(biāo)域的對(duì)齊。

因此，現(xiàn)有的 UniDAOD 方法的基本流程通常包括以下步驟：

首先，區(qū)分源域和目標(biāo)域中的類(lèi)別，并將其劃分為公共類(lèi)別和私有類(lèi)別；

接著，去除私有類(lèi)別，僅保留公共類(lèi)別；

然后，針對(duì)這些公共類(lèi)別的特征進(jìn)行對(duì)齊，從而實(shí)現(xiàn)從開(kāi)放集場(chǎng)景到閉集場(chǎng)景的轉(zhuǎn)變。

在域判別器的設(shè)計(jì)上，UniDAOD 通過(guò)設(shè)定概率閾值來(lái)進(jìn)一步區(qū)分源域和目標(biāo)域中的公共類(lèi)別與私有類(lèi)別，從而達(dá)到更精確的對(duì)齊效果。

盡管 UniDAOD 方法在許多場(chǎng)景下表現(xiàn)良好，尤其是在處理從閉集場(chǎng)景到開(kāi)放集場(chǎng)景的轉(zhuǎn)變時(shí)，然而，直接使用 DAOD 和 UniDA 的方法結(jié)論，使得 UniDAOD 方法在開(kāi)放世界場(chǎng)景下仍然存在次優(yōu)化問(wèn)題。具體來(lái)說(shuō)，以下兩個(gè)問(wèn)題值得進(jìn)一步探索：

1. 全局特征與實(shí)例特征是否都對(duì)齊公共類(lèi)別特征？

2. 概率閾值是否在復(fù)雜的檢測(cè)任務(wù)中對(duì)不同特征都有效？

▲ 圖2. 域鑒別器中的概率的可視化。橫軸為訓(xùn)練迭代次數(shù)（×100），縱軸為域判別器的概率。

為了探索上述問(wèn)題，我們?cè)趫D 2 中對(duì)域判別器的概率進(jìn)行了可視化分析。圖 2 為源域（Source Domain）和目標(biāo)域（Target Domain）域鑒別器中的概率差異分析，分為全局級(jí)別（Global-level）和實(shí)例級(jí)別（Instance-level），在不同的域私有類(lèi)別占比（25%、50%、75%）下進(jìn)行評(píng)估。

在全局級(jí)別，圖 2（a） 中展示了隨著域私有類(lèi)別比例的增加，源域與目標(biāo)域之間的整體預(yù)測(cè)概率差異逐步擴(kuò)大，表現(xiàn)為兩條概率曲線之間的間距逐漸增大，反映出域私有類(lèi)別比例的提高顯著增強(qiáng)了域間的概率差異。

在實(shí)例級(jí)別圖 2（b） 中，呈現(xiàn)了實(shí)例目標(biāo)特征的概率在源域和目標(biāo)域中的概率差異。與全局級(jí)別相比，實(shí)例級(jí)別的概率差異更加顯著，即目標(biāo)實(shí)例特征的概率差異在源域和目標(biāo)域之間存在較大偏差。

此外，隨著域私有類(lèi)別比例的增加，實(shí)例級(jí)別的概率差異并未發(fā)生顯著變化，而是保持相對(duì)穩(wěn)定。全局級(jí)別的概率差異隨著私有類(lèi)別的增加而增加。

針對(duì)第一個(gè)問(wèn)題，現(xiàn)有的域自適應(yīng)目標(biāo)檢測(cè)（DAOD）方法假設(shè)域共享類(lèi)別集是已知的，并且在進(jìn)行域?qū)R時(shí)，假定全局特征和實(shí)例特征對(duì)齊的貢獻(xiàn)是相同的。也就是說(shuō)，全局特征和實(shí)例特征都應(yīng)該對(duì)齊共享類(lèi)別特征。然而，這與圖 2 中的結(jié)論相悖：全局特征傾向于對(duì)齊域私有類(lèi)別，而實(shí)例特征則更傾向于對(duì)齊域共享類(lèi)別。

針對(duì)第二個(gè)問(wèn)題，現(xiàn)有的 UniDA 方法通過(guò)使用閾值對(duì)樣本進(jìn)行篩選，但這依賴于穩(wěn)定的概率分布。在圖 2（a） 中，概率差異波動(dòng)較大，導(dǎo)致閾值難以有效篩選樣本；而在圖 2（b） 中，概率變化相對(duì)穩(wěn)定，因此閾值篩選樣本效果較好。不同的特征在概率分布上是異構(gòu)的。因此，現(xiàn)有基于閾值的范式難以在目標(biāo)檢測(cè)中有效適應(yīng)不同特征下的概率分布。

為了解決上述兩個(gè)問(wèn)題，我們通過(guò)公式推導(dǎo)（見(jiàn)圖 3）證明了在最小化標(biāo)簽函數(shù)期望的條件下，全局級(jí)別的特征傾向于對(duì)齊域私有類(lèi)別，而實(shí)例級(jí)別的特征則傾向于對(duì)齊域共享類(lèi)別。這一理論推導(dǎo)的結(jié)果與圖 2 中的實(shí)驗(yàn)現(xiàn)象高度一致，進(jìn)一步驗(yàn)證了我們模型假設(shè)的合理性。基于這一發(fā)現(xiàn)，接下來(lái)我們將引入雙概率建模方法，以實(shí)現(xiàn)異構(gòu)域分布下的樣本采樣和權(quán)重估計(jì)。

▲ 圖3. UniDAOD的泛化誤差上界

在全局特征層面，區(qū)域提議網(wǎng)絡(luò)（RPN）構(gòu)建了前景類(lèi)別 和背景類(lèi)別 的類(lèi)別空間。 表示標(biāo)簽函數(shù)。因此，域共享和域私有類(lèi)別標(biāo)簽函數(shù)的概率為：。

在實(shí)例特征層面，ROI頭部（ROI-head）構(gòu)建了前景域共享類(lèi)別（c）、域私有類(lèi)別（ ）和背景類(lèi)別（）的類(lèi)別空間，其中類(lèi)別數(shù)量 假設(shè)條件是大于 1 。因此，域共享和域私有類(lèi)別標(biāo)簽函數(shù)的概率可以表示為：

我們通過(guò)分析 P 以估計(jì)當(dāng)前特征標(biāo)簽函數(shù)的概率。全局特征層面最小化；

1. 當(dāng)滿足條件 （global-feature） （instance-feature） 時(shí)，域私有標(biāo)簽函數(shù)可以在全局特征層面最小化；

2. 當(dāng)滿足條件 （global-feature） （instance-feature） 時(shí)，域共享標(biāo)簽函數(shù)可以在實(shí)例特征層面最小化。

雙概率建模

▲ 圖4. 實(shí)例級(jí)別特征的概率分布與頻率建模

通過(guò)圖 3 中的理論分析，我們已經(jīng)明確了全局特征與實(shí)例特征在對(duì)齊過(guò)程中的不同作用，并揭示了域私有類(lèi)別與域共享類(lèi)別之間的關(guān)系。在此基礎(chǔ)上，雙概率建模方法能夠有效解決這些問(wèn)題。

具體而言，我們通過(guò)對(duì)全局特征和實(shí)例特征進(jìn)行正態(tài)分布建模，從而實(shí)現(xiàn)樣本的采樣與加權(quán)，進(jìn)而更好地進(jìn)行對(duì)齊。由于對(duì)抗訓(xùn)練中的數(shù)據(jù)概率分布近似正態(tài)分布，因此我們采用正態(tài)分布對(duì)全局特征和實(shí)例特征進(jìn)行建模，以進(jìn)行樣本的采樣與加權(quán)。

在圖 4（a） 中，左圖展示了多次對(duì)實(shí)例特征進(jìn)行采樣后的概率分布，結(jié)果表明這些特征的概率分布基本符合正態(tài)分布。因此，我們提出的一個(gè)直觀思路是通過(guò)正態(tài)分布建模概率，并剔除那些不符合正態(tài)分布的樣本。圖 4（b） 展示了我們的方法：首先計(jì)算樣本梯度的模長(zhǎng)，并將其劃分為不同的 bins，進(jìn)而建模高斯分布。

可以看到，位于分布邊緣之外的 bins 對(duì)應(yīng)的樣本是需要剔除的樣本。所有這些 bins 的總和代表了特征空間中距離特征質(zhì)心的采樣半徑，并且在對(duì)抗訓(xùn)練過(guò)程中，基于源域或目標(biāo)域數(shù)據(jù)的高斯分布，該半徑會(huì)動(dòng)態(tài)調(diào)整。

▲ 圖5. 全局級(jí)別特征的分布累計(jì)函數(shù)CDF

在全局特征層面，我們通過(guò)使用累計(jì)分布函數(shù)（Cumulative Distribution Function， CDF）來(lái)估計(jì)私有類(lèi)別的分布，從而避免因過(guò)度域?qū)R而導(dǎo)致的負(fù)遷移問(wèn)題。根據(jù)圖 2 的結(jié)論，私有類(lèi)別的增強(qiáng)概率通常偏離 0.5，因此在 CDF 上，私有類(lèi)別的數(shù)量與其對(duì)應(yīng)的分布值之間存在一定的關(guān)系。

為了避免直接將 CDF 作為權(quán)重進(jìn)行對(duì)齊所可能引發(fā)的過(guò)度域?qū)R問(wèn)題，我們計(jì)算源域和目標(biāo)域的 CDF，并采用正則化方法對(duì)其進(jìn)行調(diào)整。具體的 CDF 計(jì)算公式如下：

為了避免直接將 CDF 作為權(quán)重進(jìn)行對(duì)齊所導(dǎo)致的過(guò)度域?qū)R，我們對(duì)源域和目標(biāo)域的 CDF 值進(jìn)行正則化調(diào)整。具體來(lái)說(shuō)，我們?cè)O(shè)計(jì)了以下正則化形式作為域?qū)R的權(quán)重：

DPA模型框架

DPA 的模型設(shè)計(jì)思路主要來(lái)源于我們得到的公式（見(jiàn)圖 3）。在圖 6 中，DPA 包含三個(gè)定制模塊：全局級(jí)別域私有對(duì)齊（GDPA）、實(shí)例級(jí)別域共享對(duì)齊（IDSA）和私有類(lèi)別約束（PCC）。

為了最小化目標(biāo)域的域共享類(lèi)別的上限 ，DPA 包括 GDPA、IDSA 和 PCC，以優(yōu)化方程：

中的項(xiàng)。GDPA 最小化域私有類(lèi)別 域分布差異 ，適用于全局級(jí)特征；IDSA 最小化域共享類(lèi)別域分布差異 ，適用于實(shí)例級(jí)特征。此外，PCC 最大化目標(biāo)域的域私有類(lèi)別風(fēng)險(xiǎn)誤差 。

具體來(lái)說(shuō)，GDPA 利用全局級(jí)別采樣挖掘域私有類(lèi)別樣本并通過(guò)累積分布函數(shù)計(jì)算對(duì)齊權(quán)重來(lái)解決全局級(jí)別私有類(lèi)別對(duì)齊。IDSA 利用實(shí)例級(jí)別采樣挖掘域共享類(lèi)別樣本并通過(guò)高斯分布計(jì)算對(duì)齊權(quán)重來(lái)進(jìn)行域共享類(lèi)別域?qū)R以解決特征異質(zhì)性問(wèn)題。PCC 在特征和概率空間之間聚合域私有類(lèi)別質(zhì)心以緩解負(fù)遷移。

▲ 圖6. 本文所提出的DPA 框架示意圖

實(shí)驗(yàn)結(jié)果

我們?cè)谌齻€(gè)域自適應(yīng)場(chǎng)景（開(kāi)放集、部分集和封閉集）中，針對(duì)五個(gè)數(shù)據(jù)集對(duì)我們的DPA框架進(jìn)行了評(píng)估。這些數(shù)據(jù)集包括：Foggy Cityscapes、Cityscapes、Pascal VOC、Clipart1k 和 Watercolor。

我們?cè)谌娪蜃赃m應(yīng)場(chǎng)景（開(kāi)放集、部分集和封閉集）中，針對(duì)五個(gè)數(shù)據(jù)集對(duì)我們的DPA框架進(jìn)行了評(píng)估。這些數(shù)據(jù)集包括：Foggy Cityscapes、Cityscapes、Pascal VOC、Clipart1k 和 Watercolor。

在開(kāi)放集場(chǎng)景中，源域和目標(biāo)域均包含共享類(lèi)別和私有類(lèi)別樣本。我們引入了多個(gè)共享類(lèi)別比例 來(lái)構(gòu)建不同的共享類(lèi)別比例基準(zhǔn)，其中 和 分別表示源域和目標(biāo)域的類(lèi)別集合。在部分集場(chǎng)景中，源域的類(lèi)別集合是目標(biāo)域類(lèi)別集合的子集，或者反之亦然。在封閉集場(chǎng)景中，源域和目標(biāo)域的類(lèi)別集合完全相同。

開(kāi)放集場(chǎng)景中的性能結(jié)果

開(kāi)放集場(chǎng)景中的性能結(jié)果

部分集場(chǎng)景中的性能結(jié)果

封閉集場(chǎng)景中的性能結(jié)果

消融實(shí)驗(yàn)

可視化分析

為了比較所提方法與現(xiàn)有 DAOD 和 UniDAOD 方法在正遷移和負(fù)遷移方面的性能，我們?cè)趫D 7 中展示了 DAOD 和 UniDAOD 相對(duì)于僅使用源域模型的性能提升。

結(jié)果顯示，DAOD 方法存在顯著的負(fù)遷移，其中 DAF、MAF 和 HTCN 在類(lèi)別 0 上的平均精度（AP）分別下降約 2%、4% 和 1%。

相比之下，UniDAOD 方法有效緩解了負(fù)遷移，CODE 和 DPA 在類(lèi)別 4 上分別實(shí)現(xiàn)了約 3% 和 10% 的正遷移。這種基于類(lèi)別的性能分析證明了所提方法能夠有效應(yīng)對(duì)負(fù)遷移并增強(qiáng)正遷移效果。

▲ 圖7. 相較于Source-Only模型的類(lèi)別性能提升（類(lèi)別包括飛機(jī)、自行車(chē)、鳥(niǎo)、船和瓶子）。正遷移以綠色表示，負(fù)遷移以紅色表示。

▲ 圖8. 關(guān)于類(lèi)別對(duì)齊的定性分析，以平均概率差為指標(biāo)：（a） 全局特征對(duì)齊，（b） 實(shí)例特征對(duì)齊。橫軸表示訓(xùn)練迭代次數(shù)（×100），縱軸為域判別器的概率?；鶞?zhǔn)實(shí)驗(yàn)采用 Pascal VOC 到 Clipart1k 數(shù)據(jù)集（）。

我們進(jìn)一步分析了 DPA 框架在開(kāi)放集對(duì)齊中的概率差表現(xiàn)。如圖8（a） 所示，全局級(jí)別的平均概率差在 DPA 中更加顯著，這突顯了其在區(qū)分域私有類(lèi)別方面的有效性。相比之下，圖 8（b） 顯示實(shí)例級(jí)別的平均概率差較小，這表明 DPA 能更好地對(duì)齊域共享類(lèi)別。

此外，我們對(duì)全局域私有對(duì)齊進(jìn)行了權(quán)重定量分析（見(jiàn)圖 9）。隨著域私有類(lèi)別比例的增加，平均權(quán)重差也隨之增大，這表明對(duì)抗訓(xùn)練通過(guò)權(quán)重調(diào)整，自適應(yīng)地懲罰了與域私有類(lèi)別相關(guān)的特征。

▲ 圖9. 針對(duì)全局域私有特征的權(quán)重定量分析。橫軸表示訓(xùn)練迭代次數(shù)（×100），縱軸表示源域和目標(biāo)域的權(quán)重值。

總結(jié)

我們提出了一種用于通用域自適應(yīng)目標(biāo)檢測(cè)的 DPA 框架，包含兩種概率對(duì)齊方式。受理論視角啟發(fā)，我們?cè)O(shè)計(jì)了 GDPA 模塊，用于對(duì)齊全局私有樣本，以及 IDSA 模塊，用于對(duì)齊實(shí)例級(jí)域共享樣本。為應(yīng)對(duì)負(fù)遷移問(wèn)題，我們引入了 PCC 模塊，用于混淆私有類(lèi)別的可辨識(shí)性。

大量實(shí)驗(yàn)表明，在開(kāi)放集、部分集和封閉集場(chǎng)景中，DPA 框架顯著優(yōu)于現(xiàn)有的通用域自適應(yīng)目標(biāo)檢測(cè)方法。