本文介紹一篇我們發(fā)表于NeurIPS-2020的論文《Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID》，該工作提出自步對比學(xué)習(xí)框架及混合記憶模型，旨在解決無監(jiān)督及領(lǐng)域自適應(yīng)表征學(xué)習(xí)中數(shù)據(jù)無法被充分挖掘的問題。

這項工作在無監(jiān)督的目標(biāo)重識別任務(wù)上顯著地超越最先進(jìn)技術(shù)高達(dá)16.7%；領(lǐng)域自適應(yīng)的目標(biāo)重識別任務(wù)中，在無監(jiān)督的目標(biāo)域上超越最先進(jìn)技術(shù)高達(dá)5.0%，同時可以提升有監(jiān)督的源域性能高達(dá)6.6%。實(shí)驗(yàn)結(jié)果充分證明其廣泛的應(yīng)用場景及有效性：可被應(yīng)用于解決無監(jiān)督學(xué)習(xí)任務(wù)，也可被應(yīng)用于利用額外無監(jiān)督數(shù)據(jù)提升有監(jiān)督學(xué)習(xí)的任務(wù)。代碼和模型均已公開，方法也被收錄于OpenUnReID代碼庫。

背景簡介

近年來，在無監(jiān)督學(xué)習(xí)的浪潮下，無監(jiān)督及領(lǐng)域自適應(yīng)的目標(biāo)重識別任務(wù)也逐漸受到大家的關(guān)注，在剛剛過去的ECCV2020中這個方向所發(fā)表的論文就有十余篇。

目標(biāo)重識別（Object Re-ID），包括行人重識別、車輛重識別等，旨在跨攝像機(jī)檢索和追蹤目標(biāo)人物或車輛。重識別任務(wù)的關(guān)鍵之一是學(xué)習(xí)具有辨識性的特征，并在多樣的條件變化下保持魯棒性。在如今深度學(xué)習(xí)盛行的時代，大規(guī)模數(shù)據(jù)集推動了目標(biāo)重識別任務(wù)的快速發(fā)展，然而，領(lǐng)域差異及標(biāo)注數(shù)據(jù)的高消耗等都成為了部署重識別算法中無法忽視的問題。

領(lǐng)域自適應(yīng)的目標(biāo)重識別（Domain Adaptive Object Re-ID）旨在通過源域有標(biāo)注的數(shù)據(jù)和目標(biāo)域無標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練，從而在目標(biāo)域上取得較好的性能。這里區(qū)分一下一般分類任務(wù)上的領(lǐng)域自適應(yīng)，分類任務(wù)上的兩個領(lǐng)域的類別往往有部分或者全部的重疊，而重識別任務(wù)上的兩個領(lǐng)域，我們一般認(rèn)為類別完全沒有重復(fù)。

這是由于領(lǐng)域自適應(yīng)的重識別任務(wù)一般應(yīng)用在：將城市A訓(xùn)練的重識別模型應(yīng)用于城市B、將虛擬合成數(shù)據(jù)訓(xùn)練的重識別模型應(yīng)用于真實(shí)世界的場景等。在這些場景中，兩個領(lǐng)域間的類別一般很難存在重復(fù)。

無監(jiān)督的目標(biāo)重識別（Unsupervised Object Re-ID）與上述領(lǐng)域自適應(yīng)重識別非常相似，問題設(shè)置上的唯一區(qū)別在于沒有有標(biāo)簽的源域數(shù)據(jù)。這里著重區(qū)分一下目前很受關(guān)注的無監(jiān)督預(yù)訓(xùn)練（Unsupervised Pre-training）任務(wù)，存在兩點(diǎn)主要區(qū)別： 1）無監(jiān)督預(yù)訓(xùn)練任務(wù)從網(wǎng)絡(luò)隨機(jī)初始化開始，無監(jiān)督重識別任務(wù)從預(yù)訓(xùn)練好的網(wǎng)絡(luò)開始； 2）無監(jiān)督預(yù)訓(xùn)練的網(wǎng)絡(luò)需要經(jīng)過fine-tune才可以應(yīng)用在下游任務(wù)上，而無監(jiān)督重識別任務(wù)本身可以看作一個無監(jiān)督的下游任務(wù)，經(jīng)過訓(xùn)練的網(wǎng)絡(luò)可直接部署。 領(lǐng)域自適應(yīng)重識別任務(wù)的研究歷史較無監(jiān)督重識別任務(wù)而言較長一些，但本質(zhì)上這兩項任務(wù)是非常相似的。正如上文所述，領(lǐng)域自適應(yīng)重識別任務(wù)相較于無監(jiān)督重識別任務(wù)而言，只是在問題設(shè)置上多出了有標(biāo)簽的源域數(shù)據(jù)。 所以，大部分的算法也都可以通用，因?yàn)楹芏囝I(lǐng)域自適應(yīng)重識別算法只需要去除源域預(yù)訓(xùn)練的步驟，即可應(yīng)用于無監(jiān)督重識別任務(wù)上。該論文所介紹的方法在這兩項任務(wù)上也都取得了很不錯的結(jié)果。 下面，將先以領(lǐng)域自適應(yīng)重識別任務(wù)為例介紹方法，再講解如何應(yīng)用于無監(jiān)督重識別任務(wù)。

問題與動機(jī)

解決領(lǐng)域自適應(yīng)重識別任務(wù)的算法可以分為兩類，偽標(biāo)簽類和域轉(zhuǎn)換類，目前偽標(biāo)簽類可以獲得更好的性能，而偽標(biāo)簽類中的基于聚類的偽標(biāo)簽法較為有效，所以本文所基于的baseline是基于聚類的偽標(biāo)簽算法。

目前大部分基于聚類的偽標(biāo)簽算法（如SSG、MMT等）在訓(xùn)練上分為兩步：

第一步，在源域上利用有標(biāo)簽的源域數(shù)據(jù)進(jìn)行有監(jiān)督的預(yù)訓(xùn)練；

第二步，在預(yù)訓(xùn)練的模型基礎(chǔ)上，利用目標(biāo)域無標(biāo)簽的數(shù)據(jù)及其聚類產(chǎn)生的偽標(biāo)簽進(jìn)行fine-tune。

這樣的算法流程目前已經(jīng)可以獲得相對令人滿意的結(jié)果，但他們?nèi)匀淮嬖趦牲c(diǎn)缺陷：

1）在第二步的目標(biāo)域訓(xùn)練中忽略了源域數(shù)據(jù)（僅用于預(yù)訓(xùn)練），但我們認(rèn)為源域的數(shù)據(jù)由于具有真實(shí)準(zhǔn)確的標(biāo)簽，所以應(yīng)當(dāng)被充分利用；

2）在基于聚類的偽標(biāo)簽法中，往往沒有用到全部的目標(biāo)域無標(biāo)簽數(shù)據(jù)，因?yàn)榛诿芏鹊木垲悾ㄈ鏒BSCAN等）本身會產(chǎn)生聚類離群值（outlier），這些聚類離群值由于無法分配偽標(biāo)簽，所以被丟棄，不用于訓(xùn)練。

但我們認(rèn)為，這樣的聚類離群值往往正是那些值得挖掘的困難訓(xùn)練樣本。尤其在訓(xùn)練的早期，往往存在大量的聚類離群值，若簡單丟棄它們，訓(xùn)練樣本將大幅減少。

所以如何合理地挖掘所有可用的信息是提升性能的關(guān)鍵。如上圖所示，我們提出在訓(xùn)練中使用全部的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)，并利用一個混合記憶模型（Hybrid Memory）來提供監(jiān)督： 對于源域數(shù)據(jù)而言，監(jiān)督是他們真實(shí)的標(biāo)簽； 對于目標(biāo)域聚類內(nèi)的數(shù)據(jù)而言，監(jiān)督是他們的聚類標(biāo)簽； 對于目標(biāo)域的聚類離群值而言，他們每張圖本身被看作一個單獨(dú)的類，所以監(jiān)督是實(shí)例級的標(biāo)簽。 我們將所有的源域類、目標(biāo)域聚類、目標(biāo)域每個聚類離群值實(shí)例看成平等的類別。

自步對比學(xué)習(xí)框架

以下是我們所提出自步對比學(xué)習(xí)（Self-paced Contrastive Learning）框架，包括一個圖像特征編碼器（Encoder）和一個混合記憶模型（Hybrid Memory）。 核心是混合記憶模型在動態(tài)變化的類別下所提供的連續(xù)有效的監(jiān)督，以統(tǒng)一對比損失函數(shù)（Unified Contrastive Loss）的形式監(jiān)督網(wǎng)絡(luò)更新，實(shí)現(xiàn)起來非常容易，且即插即用。下文將具體介紹。

統(tǒng)一對比損失函數(shù)

類別原型（Class Prototype）可以理解為該類別中較為有標(biāo)志的特征，例如無偏分類器中的權(quán)重（Weights）。在這里，我們 使用源域真實(shí)類別的類質(zhì)心（Class Centroids）作為源域數(shù)據(jù)的類別原型{w}， 使用目標(biāo)域聚類的質(zhì)心（Cluster Centroids）作為聚類內(nèi)的目標(biāo)域數(shù)據(jù)的類別原型{c}， 使用目標(biāo)域聚類離群值的實(shí)例特征（Outlier Instance Features）作為無聚類的目標(biāo)域數(shù)據(jù)的類別原型{v}。 我們所提出的混合記憶模型可以實(shí)時提供這三種類別原型以作訓(xùn)練監(jiān)督，后文將具體介紹這三種類別原型的更新過程。

對于每一組輸入的mini-batch，同時包含源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)（我們在編碼器中使用Domain-specific BNs來消除不同領(lǐng)域數(shù)據(jù)間的域差異），他們需要與上述三種類別原型進(jìn)行比較。所以我們提出統(tǒng)一對比損失函數(shù)（Unified Contrastive Learning）：

該損失函數(shù)可以使得每個訓(xùn)練樣本靠近它所屬于的類別（包含源域真實(shí)類、目標(biāo)域聚類、目標(biāo)域無聚類實(shí)例），而遠(yuǎn)離其他類別。

舉例來說，對于一個來自源域的樣本，其對應(yīng)的正面原型（Positive Prototype）則是它真實(shí)類別所對應(yīng)的質(zhì)心（Class Centroids）；對于一個來自目標(biāo)域的樣本，若其在聚類內(nèi)，則正面原型為其所對應(yīng)的聚類質(zhì)心（Cluster Centroids）。

反之，若其不在聚類內(nèi)，為聚類離群值，則正面原型為該離群值所對應(yīng)的實(shí)例特征（Outlier Instance Features）。

其實(shí)，我們所設(shè)計的“混合記憶模型（Hybrid Memory）+統(tǒng)一對比損失函數(shù)（Unified Contrastive Loss）”與大家常用的“分類器（Classifier）+交叉熵?fù)p失函數(shù)（Cross-entropy Loss）”在工作機(jī)理上非常相似，可以簡單的認(rèn)為混合記憶模型是非參數(shù)化（Non-parametric）的分類器。

那么，為什么我們不用普通分類器來完成這一任務(wù)呢？

這是由于目標(biāo)域的聚類及聚類離群值在訓(xùn)練過程中動態(tài)變化（一般每個epoch前更新），無法使用固定的聚類ID及離群值實(shí)例ID訓(xùn)練分類器。如若在每次更新完ID后需要重置分類器，分類器由于無法連續(xù)更新，會導(dǎo)致性能較差。

有同學(xué)會問，以前的算法（如MMT），每個epoch重置分類器依然訓(xùn)練效果很好，這是為什么？

這是因?yàn)檫@些算法不使用聚類離群值進(jìn)行訓(xùn)練。試想，將每個聚類離群值也看做單獨(dú)的類加入分類器，而每個epoch只能遍歷到該類對應(yīng)的樣本一次（因?yàn)橐粋€離群值是一個類），那么，在類樣本數(shù)如此不平均的情況下，分類器幾乎得不到有效的訓(xùn)練，便會被重置。

我們所提出的統(tǒng)一對比損失函數(shù)與自監(jiān)督任務(wù)（如MoCo、SimCLR等）中常用的對比損失函數(shù)最主要的區(qū)別在于，我們同時考慮了三種不同的類別原型，而以前的對比損失函數(shù)只考慮實(shí)例級的類別原型。他們將所有樣本看作獨(dú)立的類，進(jìn)行實(shí)例區(qū)分（Instance Discrimination）訓(xùn)練，這樣的算法很大程度上忽略了類內(nèi)（Intra-class）關(guān)系，也就是同一ID的不同圖像間的聯(lián)系，故以前的對比損失函數(shù)不適用于重識別任務(wù)。

混合記憶模型

上文中，我們提到混合記憶模型（Hybrid Memory）實(shí)時提供三種不同的類別原型，那么，這三種類別原型是如何動態(tài)地在混合記憶模型中連續(xù)更新變化的呢？ 我們提出使用動量更新（Momentum Update），想必這個詞對大家來說并不陌生，在MoCo、Mean-teacher等模型中常有見到，簡單來說，就是以“參數(shù)= (1-動量)x新參數(shù)+動量x參數(shù)”的形式更新。在這里，我們針對源域和目標(biāo)域采取不同的動量更新算法，以適應(yīng)其不同的特性。

對于源域的數(shù)據(jù)而言，由于具有真實(shí)的類別，我們提出以類為單位進(jìn)行存儲。這樣的操作一方面節(jié)省空間，一方面在實(shí)驗(yàn)中也取得了較好的結(jié)果。我們將當(dāng)前mini-batch內(nèi)的源域特征根據(jù)類別算均值，然后以動量的方式累計到混合記憶模型中對應(yīng)的類質(zhì)心上去，詳見下圖。

對于目標(biāo)域的數(shù)據(jù)而言，我們提出全部以實(shí)例為單位進(jìn)行特征存儲，這是為了讓目標(biāo)域樣本即使在聚類和非聚類離群值不斷變化的情況下，仍然能夠在混合記憶模型中持續(xù)更新（Continuously Update）。

具體而言，我們將當(dāng)前mini-batch內(nèi)的目標(biāo)域特征根據(jù)實(shí)例的index累計到混合記憶模型對應(yīng)的實(shí)例特征上去。

那么，如何獲得目標(biāo)域的聚類質(zhì)心及離群值實(shí)例特征呢？

我們在混合記憶模型中，將同一聚類ID的特征做平均，即可獲得聚類質(zhì)心；而離群值的實(shí)例特征則直接從混合記憶模型中提取剩下的實(shí)例特征即可，如下圖。

由簡入難的自步學(xué)習(xí)

我們發(fā)現(xiàn)，由于聚類和聚類離群值都被看作平等且獨(dú)立的類，所以聚類的可靠性對訓(xùn)練的影響至關(guān)重要。由于網(wǎng)絡(luò)在訓(xùn)練的一開始對于圖像的辨別性較差，聚類的噪聲也較大。 所以我們借鑒自步學(xué)習(xí)（Self-paced Learning）的思想，先從最可靠的聚類開始，再逐步增加聚類，由簡入難。我們提出了一個聚類可靠性評價標(biāo)準(zhǔn)（Cluster Reliability Criterion），保留可靠的聚類，而將不可靠的聚類拆解回?zé)o聚類的離群值實(shí)例。我們所提出的聚類可靠性評價標(biāo)準(zhǔn)分為聚類獨(dú)立性（Cluster Independence）和聚類緊湊型（Cluster Compactness）。

聚類獨(dú)立性（Cluster Independence）體現(xiàn)為一個可靠的聚類應(yīng)當(dāng)具有良好的類間距離，通俗點(diǎn)來說，不能和附近的聚類“如膠似漆”。

我們提出，放寬聚類的標(biāo)準(zhǔn)，例如DBSCAN中的最小類內(nèi)距離，此時，如果該聚類與周圍的聚類融合成了一個大聚類、或者吸收了附近的離群值，那么我們認(rèn)為，該聚類的獨(dú)立性不太好。

我們使用一個IoU（Intersection over Union）公式來計算聚類的獨(dú)立性。

聚類緊湊型（Cluster Compactness）體現(xiàn)為一個可靠的聚類內(nèi)的樣本應(yīng)該相互靠近，具有良好的類內(nèi)距離。

類似的，我們提出，縮緊聚類的標(biāo)準(zhǔn)，此時，如果該聚類被拆解成了多個小聚類、或者拆出了一些聚類離群值，那么我們認(rèn)為，該聚類的緊湊型不太好。

我們使用另一個IoU公式來計算聚類的緊湊型，如上圖所示。

直觀地說，該聚類可靠性評價標(biāo)準(zhǔn)的出發(fā)點(diǎn)在于，一個可靠的聚類應(yīng)當(dāng)在多尺度的聚類環(huán)境下保持穩(wěn)定。從下圖訓(xùn)練的統(tǒng)計中可以看出，使用了聚類可靠性評價標(biāo)準(zhǔn)的模型（紅色線）相比較于未使用的模型（藍(lán)色線），無論是在聚類的數(shù)量還是質(zhì)量上，都離真實(shí)類別更近。

算法流程

以上，我們介紹了核心的模塊，我們梳理一下具體訓(xùn)練流程：

初始化（Initialization）：圖像編碼器（Encoder）的初始化一般使用ImageNet Pre-trained Weights，混合記憶模型（Hybrid Memory）的初始化使用初始的編碼器對所有的樣本進(jìn)行一次前向計算。

聚類和聚類離群值：在每個epoch前進(jìn)行聚類，并根據(jù)聚類可靠性評價標(biāo)準(zhǔn)（Cluster Reliability Criterion）進(jìn)行聚類的篩選，僅保留可靠的聚類，其余樣本均視作聚類離群值。

網(wǎng)絡(luò)和混合記憶模型的更新：在每個iteration中，首先利用編碼器對mini-batch的樣本進(jìn)行特征編碼，然后利用統(tǒng)一對比損失函數(shù)（Unified Contrastive Loss）進(jìn)行網(wǎng)絡(luò)的反向傳播更新，最后利用編碼的特征以動量更新（Momentum Update）的方式更新混合記憶模型（Hybrid Memory）。

無監(jiān)督重識別上的應(yīng)用

在一開始曾提到，該方法也可以被有效利用在無監(jiān)督重識別任務(wù)上，只需要將混合記憶模型和統(tǒng)一對比損失函數(shù)中有關(guān)源域的部分去掉即可。

無監(jiān)督重識別任務(wù)上的自步對比學(xué)習(xí)框架如下：

對應(yīng)的統(tǒng)一對比損失函數(shù)如下：

實(shí)驗(yàn)

由于自步對比學(xué)習(xí)框架中可以同時訓(xùn)練源域和目標(biāo)域的數(shù)據(jù)，所以訓(xùn)練是one-stage的，無需單獨(dú)的源域預(yù)訓(xùn)練步驟。實(shí)驗(yàn)中，我們針對多個真實(shí)及虛擬合成數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，在行人重識別和車輛重識別任務(wù)上都測試了該方法的有效性。

領(lǐng)域自適應(yīng)任務(wù)中，我們在無監(jiān)督的目標(biāo)域上均超越先前算法，在PersonX->MSMT17的任務(wù)上領(lǐng)先高達(dá)5.0%的mAP，這是由于在“虛擬合成->真實(shí)”的遷移任務(wù)中，由于聚類噪聲較大，產(chǎn)生的聚類離群值較多，所以我們所提出的充分挖掘所有樣本的方案所帶來的優(yōu)勢將更為突出。

除此之外，一項有趣的發(fā)現(xiàn)，VehicleID->VeRi-776與VehicleX->VeRi-776在目標(biāo)域上獲得幾乎相似的性能，這說明，在未來，隨著領(lǐng)域自適應(yīng)算法的不斷升級，可能我們再也不需要人為標(biāo)注的源域數(shù)據(jù)來作為輔助了，可以使用虛擬合成的數(shù)據(jù)予以代替。

以前的算法由于在目標(biāo)域的訓(xùn)練中忽視了源域數(shù)據(jù)，所以會無法避免地忘記源域的信息，而我們提出的方法對源域和目標(biāo)域數(shù)據(jù)進(jìn)行了聯(lián)合訓(xùn)練，在目標(biāo)域性能提升的同時，也提升了有監(jiān)督的源域性能。

可以看到，在MSMT17-Market-1501的遷移訓(xùn)練中，我們利用Market-1501的無標(biāo)簽數(shù)據(jù)大幅提升了MSMT17上的有監(jiān)督訓(xùn)練性能（+6.6%mAP）。這意味著，我們所提出的算法可以被用于利用無標(biāo)簽數(shù)據(jù)提升有監(jiān)督訓(xùn)練的任務(wù)。

同樣，在無監(jiān)督重識別任務(wù)上，我們大幅領(lǐng)先已有的算法，在Market-1501的benchmark上領(lǐng)先高達(dá)16.7%的mAP。

我們也將MoCo在無監(jiān)督重識別任務(wù)上進(jìn)行了復(fù)現(xiàn)，正如我們之前所介紹了，這類無監(jiān)督預(yù)訓(xùn)練任務(wù)的算法并不適用于無監(jiān)督的重識別任務(wù)，因?yàn)樗麄儗⑺械臉颖疽曌鳘?dú)立的類，忽視了重識別任務(wù)中最重要的類內(nèi)類間關(guān)系。

再強(qiáng)調(diào)一下，MoCo這類算法適用于無監(jiān)督預(yù)訓(xùn)練任務(wù)，在應(yīng)用于下游任務(wù)上時需要fine-tune，而無監(jiān)督重識別任務(wù)本身是一個下游任務(wù)。

有細(xì)心的同學(xué)可能會發(fā)現(xiàn)，剛剛展示的結(jié)果中沒有涉及DukeMTMC-reID數(shù)據(jù)集的實(shí)驗(yàn)，這是因?yàn)镈ukeMTMC-reID已經(jīng)官方下架，在AC的要求下，我們需要在論文的最終版本中刪去所有有關(guān)DukeMTMC-reID的實(shí)驗(yàn)結(jié)果。

但是DukeMTMC-reID是行人重識別相關(guān)任務(wù)中常用的數(shù)據(jù)集，所以為了方便大家未來進(jìn)行算法的調(diào)試和比較，我在這里也簡單展示一下DukeMTMC-reID相關(guān)的結(jié)果，更多的結(jié)果大家可以在我們arXiv的第一個版本（arxiv.org/abs/2006.0271）中找到。

總結(jié)

該文提出了一個簡單有效的自步對比學(xué)習(xí)框架，核心思想是利用多種不同形式的類別原型提供混合監(jiān)督，以實(shí)現(xiàn)對所有訓(xùn)練數(shù)據(jù)的充分挖掘。雖然本文只在目標(biāo)重識別任務(wù)上進(jìn)行了實(shí)驗(yàn)，但是提出的混合記憶模型及統(tǒng)一對比損失函數(shù)是即插即用的，有很大潛力在其他任務(wù)上取得較好的結(jié)果，歡迎大家嘗試。

這次NeurIPS的評審過程相當(dāng)刺激，從初審的7663到終審的5553，reviewers的降分起源對DukeMTMC-reID數(shù)據(jù)集的討論，最終這份工作也經(jīng)歷了NeurIPS今年特有的Ethics Review，起起落落，最終被AC撈起，感恩。可見，目前學(xué)術(shù)界對于數(shù)據(jù)集的隱私保護(hù)規(guī)范要求也越來越嚴(yán)格。

推薦大家在以后領(lǐng)域自適應(yīng)重識別工作中考慮采用合成數(shù)據(jù)集，如PersonX、VehicleX等，不僅可以避免不必要的麻煩，并且由于合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的域差異較大，算法上可以提shua升fen的空間也會較大。分類任務(wù)及分割任務(wù)上的領(lǐng)域自適應(yīng)往往采用合成數(shù)據(jù)作為源域，且這次VisDA-2020的比賽中，源域采用的也是合成數(shù)據(jù)集PersonX，可見合成數(shù)據(jù)到真實(shí)數(shù)據(jù)的自適應(yīng)任務(wù)備受關(guān)注。

責(zé)任編輯：lq