一、本文貢獻

1.網(wǎng)絡通過提取顯著性區(qū)域并融合這些區(qū)域特征，以同時學習局部和全局的特征2.通過混雜來自負例的注意力特征來增強網(wǎng)絡對于每個注意力區(qū)域的學習3.網(wǎng)絡得到了 SOTA 的結(jié)果

二、動機

細粒度分類任務與常規(guī)的分類問題不同，它希望分類器能夠看到不同類別之間的細微差異。當前流行的細粒度方法通常從兩個方面設計以洞察到更加細微的特征：“更有區(qū)分度的表征學習”與“定位特征顯著的部分”。然而，學習更有區(qū)分度的圖像表征本身就是有挑戰(zhàn)的，同時僅僅通過沒有監(jiān)督的分類信息也很難保證學習有顯著區(qū)別的部分的準確位置。

與現(xiàn)有方法不同，在本文中，作者主張從對比學習的角度解決上述的困境，并提出一種新穎的注意力對比學習網(wǎng)絡（ACLN）。該網(wǎng)絡旨在吸引來自同一類別的正對的表示，并排斥來自不同類別的負對的表示。為了實現(xiàn)這個目標，提出了一個配備兩個對比損失的對比學習模塊。具體來說，注意力生成器生成的關(guān)注區(qū)域分別與原始CNN特征作為正對，而不同圖像相應的不同注意力區(qū)域成負對。此外，最終的分類結(jié)果是通過一個協(xié)同學習模塊同時利用原始特征和注意力圖獲得的。該方法在四個基準數(shù)據(jù)集上進行了綜合實驗，我們的 ACLN 在這些數(shù)據(jù)集上優(yōu)于所有現(xiàn)有的 SOTA 方法。作者已經(jīng)將代碼開源： https://github.com/mpskex/AttentiveContrastiveLearningNetwork

三、方法

該方法主要分為了三個部分：

1.注意力生成器：用于生成需要關(guān)注的區(qū)域2.對比學習模塊：用于區(qū)分學習不同類別不同區(qū)域的特征3.注意力特征記憶：用于為對比學習進行采樣

該方法的總體框架可以參考下圖：

1.注意力生成器

其中 ? 代表元素之間相乘，? 代表矩陣乘法。α 和 β 可學習參數(shù)，用于平衡 兩種交互的比例。同時，為了讓注意力之間能夠相互分開，作者設計了簡單的對比損失函數(shù)來約束不同通道之間注意力生成的區(qū)別。

2.對比學習模塊

作者為了達成更高的準確率，設計了注意力對比學習模塊以強化分類器對于局部特征的敏感性。作者把融合特征當作正例的同時，將一些受到干擾的融合特征作為難負例。更確切地說，作者把在原有特征中雜糅一些顯著的且屬于其他類別的特征當作負例，認為這些特征受到了來自其他類別樣本特征的干擾。舉例來講，例如一張圖片 i 應該被分類為 A，這個分類結(jié)果是由 n 個關(guān)注區(qū)域共同判定得出的。如果從另一張屬于 B 類的圖像 j 中摘取一個關(guān)注區(qū)域的特征融合到 i 圖像的 （n-1） 個關(guān)注區(qū)域的特征中，那么網(wǎng)絡不應該把這個收到干擾的融合特征判別為類別 A。這樣做有兩個好處：

1.對于用來作為干擾的特征來說，這些特征需要包含足夠顯著且飽含信息的特征來干擾分類器判定為 A 的分類。

2.對于分類器而言，分類器需要更靈敏地識別這樣的離群點。這實際上也鼓勵了分類器在訓練中讓這些來自不同類別的關(guān)注區(qū)域特征分布在類別上更加松散。

在學習的過程中，作者設計了一個簡單的二分類判別器來區(qū)分融合特征中是否包含離群特征。首先，方法會將來自不同關(guān)注區(qū)域的特征拆散。之后，這些拆散的關(guān)注區(qū)域特征會根據(jù)類別信息隨機融合到異類中。最終這些特征會被送入判別器輸出最終的分類分數(shù)。判別器的目標是區(qū)分含有干擾和不含干擾的特征，從而使得學習到的特征在每個部分都能包含具有明顯語義的特征。

為了增加負樣本的多樣性，作者還設計了一個類似 Memory Bank 的機制來積累來自不同類別的特征。這些特征可以幫助網(wǎng)絡尋找更多更隨機的融合方式，使得難樣本構(gòu)建的邊界更加光滑。

如上圖所示，通過如此設計的對比學習機制，就能夠?qū)ふ乙粋€在特征空間更加緊致的分布。因為在實際數(shù)據(jù)集當中，數(shù)據(jù)在空間的分布可能都比較離散。如果在這樣的訓練數(shù)據(jù)中訓練，可能會遺漏很多本應該關(guān)注的信息，從而導致網(wǎng)絡不能獲得足夠的泛化性能。其現(xiàn)象就是網(wǎng)絡明明在訓練集中效果非常好，但是卻總是不能在測試集合上獲得更好的性能。

同時，在類別之間構(gòu)建負樣本能夠鼓勵特征分布在類別上能夠更加顯著。舉例來說，在左圖中如果同時拉開實線箭頭的距離，會比以同等速率來開虛線箭頭獲得的類別間距離更大。這樣我們也就通過構(gòu)建難樣本獲得了更大的類別間距離，使不同類別的特征更好被區(qū)分。

作者在使用對比學習機制之后，構(gòu)建了很多特征層面的難樣本。這些難樣本能夠讓分類器更加魯棒，一定程度上改善了模型的泛化性。

Result

模型在 Flowers-102 / CUB-200-2011 / Oxford Pets 數(shù)據(jù)集上都獲得了更好的成績。作者分別使用 ResNet-101 和 DenseNet 161 在公開測試集上評價，均高于當前的 SOTA 方法。

同時作者還設計了消融實驗，在使用注意力生成器、對比學習以及本文提出的關(guān)注區(qū)域特征融合方法的不同條件下，評價了網(wǎng)絡的性能。

來源：墨奇科技