Kaggle的座頭鯨識(shí)別挑戰(zhàn)比賽在最近落下帷幕，全球共2131個(gè)團(tuán)隊(duì)參加了比賽。

這是近期Kaggle上頗受歡迎的一次競(jìng)賽，常用的分類(lèi)方法無(wú)法處理大量的無(wú)標(biāo)注數(shù)據(jù)，只有對(duì)傳統(tǒng)的方法進(jìn)行創(chuàng)新，才能夠獲得高分。

下面文摘菌為大家介紹比賽中排名TOP10的團(tuán)隊(duì)如何完成比賽，以及其他幾只團(tuán)隊(duì)的相關(guān)經(jīng)驗(yàn)。

注：該團(tuán)隊(duì)由Vladislav Shakhray，Artsiom Sanakoyeu海德堡大學(xué)的博士組成,以及Kaggle Top-5 大神Pavel Pleskov。

本文作者Vladislav Shakhray，文摘菌對(duì)其編譯如下。

比賽鏈接:

https://www.kaggle.com/c/humpback-whale-identification

問(wèn)題描述

在比賽中，主要是構(gòu)建算法來(lái)識(shí)別圖像中的鯨魚(yú)個(gè)體，而難點(diǎn)在于訓(xùn)練樣本的嚴(yán)重不均衡以及存在近三分之一的無(wú)標(biāo)注數(shù)據(jù)。

訓(xùn)練數(shù)據(jù)中的同一條鯨魚(yú)的9張照片的示例

在超過(guò)2000個(gè)鯨魚(yú)類(lèi)別，只有一個(gè)訓(xùn)練樣本，這使得常用的分類(lèi)方法很難使用。更重要的是，無(wú)論鯨魚(yú)是否是新的種類(lèi)，這都是比賽的重要組成部分，結(jié)果證明這是非常重要的。

鯨魚(yú)種類(lèi)間照片數(shù)量差距很大

競(jìng)賽的衡量標(biāo)準(zhǔn)是MAP @ 5（平均精度為5），能夠?yàn)槊總€(gè)測(cè)試圖像提交最多5個(gè)預(yù)測(cè)。 我們?cè)跍y(cè)試集上的最高成績(jī)是0.959 MAP @ 5。

驗(yàn)證和初始設(shè)置

在本次比賽前幾個(gè)月，同一比賽的另一個(gè)版本在Kaggle上舉行，但是，正如競(jìng)賽發(fā)起人所指出的那樣，現(xiàn)在的版本包含更多清潔的數(shù)據(jù)。我們決定以多種方式利用之前比賽的成果和數(shù)據(jù)：

1.使用之前競(jìng)爭(zhēng)對(duì)手的數(shù)據(jù)，我們使用image hashing來(lái)收集超過(guò)2000個(gè)驗(yàn)證樣本。 當(dāng)我們稍后驗(yàn)證我們的成果時(shí)，這一方法非常重要。

2.我們從訓(xùn)練數(shù)據(jù)集中刪除了new_whale類(lèi)，因?yàn)樗辉谄湓刂g共享任何邏輯圖像特征。

3.有些圖像根本沒(méi)有對(duì)齊。 幸運(yùn)的是，在之前一版kaggle比賽的成功解決方案中有一個(gè)公開(kāi)可用的預(yù)訓(xùn)練邊界框模型。我們用它來(lái)檢測(cè)鯨魚(yú)周?chē)木_邊界框并相應(yīng)地裁剪圖像。

4.由于圖像的顏色不同，所有數(shù)據(jù)在訓(xùn)練前都轉(zhuǎn)換為灰色。

方法1：孿生神經(jīng)網(wǎng)絡(luò)Siamese Networks（Vladislav）

我們的第一個(gè)架構(gòu)是一個(gè)具有眾多分支架構(gòu)和自定義損失的孿生神經(jīng)網(wǎng)絡(luò)（Siamese Networks），其中包括許多卷積和密集層。 我們使用的分支架構(gòu)包括：

ResNet-18, ResNet-34, Resnet-50

SE-ResNeXt-50

Martin Piotte公開(kāi)分享的類(lèi)似ResNet的自定義分支

我們通過(guò)在每4個(gè)時(shí)期的分?jǐn)?shù)矩陣上求解線性分配問(wèn)題來(lái)使用顯著陰性（hard-negative mining）和顯著陽(yáng)性挖掘（hard- positive mining）。 在矩陣中添加了一些隨機(jī)化以簡(jiǎn)化訓(xùn)練過(guò)程。

使用漸進(jìn)式學(xué)習(xí)（Progressive learning），分辨率策略為229x229 - > 384x384 - > 512x512。 也就是說(shuō)，我們首先在229x229圖像上訓(xùn)練我們的網(wǎng)絡(luò)，幾乎沒(méi)有用正則化和更大的學(xué)習(xí)率。 在收斂之后，我們重置學(xué)習(xí)速率并增加正則化，從而再次對(duì)更高分辨率的圖像（例如384×484）訓(xùn)練網(wǎng)絡(luò)。

此外，由于數(shù)據(jù)的性質(zhì)，使用了大量增強(qiáng)，包括隨機(jī)亮度，高斯噪聲，隨機(jī)剪裁和隨機(jī)模糊。

此外，我們采用智能翻轉(zhuǎn)增強(qiáng)策略，極大地幫助創(chuàng)建了更多的訓(xùn)練數(shù)據(jù)。 具體地，對(duì)于屬于相同的鯨魚(yú)X，Y的每對(duì)訓(xùn)練圖像，我們創(chuàng)建了另外一個(gè)訓(xùn)練對(duì)翻轉(zhuǎn)（X），翻轉(zhuǎn)（Y）。 另一方面，對(duì)于每對(duì)不同的鯨魚(yú)，我們創(chuàng)建了另外三個(gè)例子：翻轉(zhuǎn)（X），Y，Y，翻轉(zhuǎn)（X）和翻轉(zhuǎn)（X），翻轉(zhuǎn)（Y）。

一個(gè)顯示隨機(jī)翻轉(zhuǎn)策略不適用于一對(duì)相同鯨魚(yú)照片的例子。 請(qǐng)注意當(dāng)我們翻轉(zhuǎn)圖片時(shí)，兩張圖片的翻轉(zhuǎn)效果不同，因?yàn)槲覀冴P(guān)心鯨魚(yú)尾部的寄生藻的位置。

使用Adam優(yōu)化器優(yōu)化模型，初始學(xué)習(xí)率為1e-4，接近訓(xùn)練結(jié)束時(shí)減少5倍。 批量大小設(shè)置為64。

模型是用Keras編寫(xiě)的。在單個(gè)2080Ti上花費(fèi)2-3天（取決于圖像分辨率），訓(xùn)練模型大約400-600個(gè)周期。

使用ResNet-50性能最佳的單一模型得分為0.929 LB。

方法2：度量學(xué)習(xí)Metric Learning（Artsiom）

我們使用的另一種方法是使用保證金損失進(jìn)行度量學(xué)習(xí)。 我們使用了許多ImageNet預(yù)訓(xùn)練的架構(gòu)，其中包括：

ResNet-50, ResNet-101, ResNet-152

DenseNet-121, DenseNet-169

這些網(wǎng)絡(luò)主要由448x448 - > 672x672策略逐步訓(xùn)練。

我們使用了Adam優(yōu)化器，在100個(gè)訓(xùn)練周期后將學(xué)習(xí)率降低了10倍。 我們還為整個(gè)訓(xùn)練使用批量大小為96的訓(xùn)練方法。

由Sanakoyeu，Tschernezki等人開(kāi)發(fā)的度量學(xué)習(xí)（metric learning）方法能夠讓成績(jī)迅速提升。

度量學(xué)習(xí)在CVPR 2019上發(fā)布，它所做的是每個(gè)周期它將訓(xùn)練數(shù)據(jù)以及嵌入層分成簇。在訓(xùn)練組塊和學(xué)習(xí)者之間建立雙射之后，模型分別訓(xùn)練它們，同時(shí)累積分支網(wǎng)絡(luò)的梯度。

代碼及文章鏈接：

https://github.com/CompVis/metric-learning-divide-and-conquer

由于巨大的種類(lèi)數(shù)量不平衡，我們使用了大量的增強(qiáng)，包括隨機(jī)翻轉(zhuǎn)，旋轉(zhuǎn)，變焦，模糊，光照，對(duì)比度，飽和度變化。 之后，計(jì)算查詢(xún)特征向量和列車(chē)庫(kù)特征向量之間的點(diǎn)積，并且選擇具有最高點(diǎn)積值的類(lèi)作為T(mén)OP-1預(yù)測(cè)。 隱含地幫助類(lèi)不平衡的另一個(gè)技巧是對(duì)屬于相同鯨魚(yú)id的火車(chē)圖像的特征向量進(jìn)行平均。

這些模型使用PyTorch實(shí)現(xiàn)，需要單個(gè)Titan Xp 2-4天（取決于圖像分辨率）來(lái)訓(xùn)練。 值得一提的是，具有DenseNet-169架構(gòu)表現(xiàn)最佳的單一模型得分為0.931LB。

方法3：特征分類(lèi)（Artsiom）

當(dāng)我和Artsiom聯(lián)手時(shí)，我們做的第一件事就是使用從我們所有模型中提取并連接（應(yīng)用PCA分析）的特征來(lái)訓(xùn)練分類(lèi)模型。

分類(lèi)的主要部分由兩個(gè)密集的層組成，其間會(huì)刪失信息。由于我們使用了預(yù)先計(jì)算的特征，因此模型訓(xùn)練得非?？?。

通過(guò)這種方法我們獲得了0.924 LB，并讓整個(gè)集合更富多樣性。

方法4：新鯨魚(yú)分類(lèi)（Pavel）

本次比賽最復(fù)雜的部分之一是正確分類(lèi)新鯨魚(yú)（大約30％的圖像屬于新類(lèi)別鯨魚(yú)）。

解決這個(gè)問(wèn)題的流行策略是使用一個(gè)簡(jiǎn)單的閾值。也就是說(shuō)，如果給定的圖像X屬于某個(gè)已知類(lèi)別鯨魚(yú)的最大概率小于閾值，則將其歸類(lèi)為新鯨魚(yú)。然而，我們認(rèn)為可能有更好的方法來(lái)解決這個(gè)問(wèn)題。

對(duì)于每個(gè)表現(xiàn)最佳的模型和集合，我們選取了TOP-4預(yù)測(cè)，按降序排序。然后，對(duì)于其他的每個(gè)模型，我們將他們的概率用于所選擇的這4個(gè)類(lèi)。目標(biāo)是根據(jù)這些特征來(lái)預(yù)測(cè)鯨魚(yú)是否屬于新類(lèi)別。

Pavel創(chuàng)建了一個(gè)非常強(qiáng)大的包含LogRegression，SVM，幾個(gè)k-NN模型和LightGBM的混合模型。這個(gè)混合模型在交叉驗(yàn)證中給出了0.9655 的ROC-AUC值，并且將LB得分提高了2％。

綜合

由我們的模型構(gòu)建混合模型相當(dāng)不容易。難度在于我的模型的輸出是非標(biāo)準(zhǔn)化概率矩陣（從0到1），而Artsiom提供的輸出矩陣由歐幾里德距離組成（范圍從0到無(wú)窮大）。

我們嘗試了許多方法將Artsiom的矩陣轉(zhuǎn)換為概率，其中包括：

1、類(lèi)似tSNE的轉(zhuǎn)換：

2、Softmax

3、通過(guò)應(yīng)用函數(shù)1 / (1 + distances)簡(jiǎn)單地反轉(zhuǎn)范圍

4、其他可以反轉(zhuǎn)矩陣范圍的函數(shù)

不幸的是，前兩種方法根本不起作用，而使用大多數(shù)函數(shù)將范圍剪切至[0,1]的結(jié)果大致相同。我們最終選擇在驗(yàn)證集上具有最高mAP @ 5的函數(shù)。

令人驚訝的是，最好的是1 / (1 + log(1 + log(1 + distances)))。

其他團(tuán)隊(duì)使用的方法

大衛(wèi)現(xiàn)在是Kaggle Grandmaster（等級(jí)為12），在Private LB上排名第四，并在Kaggle Discussions論壇上分享了他的解決方案。

https://www.kaggle.com/c/humpback-whale-identification/discussion/82356

他使用全分辨率圖像并使用傳統(tǒng)的關(guān)鍵點(diǎn)匹配技術(shù)，利用SIFT和ROOTSIFT。為了解決假陽(yáng)性問(wèn)題，大衛(wèi)訓(xùn)練了一個(gè)U-Net從背景分割鯨魚(yú)。有趣的是，他使用后期處理給只有一個(gè)訓(xùn)練樣本的類(lèi)別更多的機(jī)會(huì)躋身TOP-1預(yù)測(cè)。

我們也考慮過(guò)嘗試基于SIFT的方法，但我們確信它肯定會(huì)比頂級(jí)神經(jīng)網(wǎng)絡(luò)表現(xiàn)得差。

在我看來(lái)，我們能從中學(xué)會(huì)的是，永遠(yuǎn)不應(yīng)被深度學(xué)習(xí)的力量所蒙蔽，從而低估了傳統(tǒng)方法的能力。

單純分類(lèi)

由Dmytro Mishkin，Anastasiia Mishchuk和Igor Krashenyi組成的Pure Magic thanks radek團(tuán)隊(duì)（第7名），追求將metric learning（triplet loss）和分類(lèi)結(jié)合起來(lái)，正如Dmytro在他的文章中描述的那樣。

在訓(xùn)練分類(lèi)模型一段時(shí)間時(shí)，他們嘗試使用Center Loss來(lái)減少過(guò)擬合，并在應(yīng)用softmax之前進(jìn)行temperature scaling。在使用的眾多主干架構(gòu)中，最好的是SE-ResNeXt-50，它能夠達(dá)到0.955LB。

temperature scaling：

https://arxiv.org/pdf/1706.04599.pdf

他們的解決方案比這更加多樣化，我強(qiáng)烈建議你參考原文。

正如Ivan Sosin在文章中（他的團(tuán)隊(duì)BratanNet在本次比賽中排名第9）所述，他們使用了CosFace和ArcFace方法。下面是來(lái)自于原文：

Cosface和Arcface作為面部識(shí)別任務(wù)新近發(fā)現(xiàn)的SOTA脫穎而出。其主要思想是在余弦相似空間中將同類(lèi)的例子相互拉近并分開(kāi)不同的類(lèi)別。通常是分類(lèi)任務(wù)使用cosface或arcface，因此最終的損失函數(shù)是CrossEntropy

當(dāng)使用像InceptionV3或SE-ResNeXt-50這樣的較大主干網(wǎng)絡(luò)時(shí)，他們注意到了過(guò)擬合，因而他們切換到較輕量的網(wǎng)絡(luò)，如ResNet-34，BN-Inception和DenseNet-121。

文章鏈接：

https://www.kaggle.com/c/humpback-whale-identification/discussion/82427

該團(tuán)隊(duì)還使用了精心挑選的擴(kuò)充和眾多網(wǎng)絡(luò)修正方法，如CoordConv和GapNet。

他們方法中特別有趣的是他們處理新類(lèi)別鯨魚(yú)的方式。下面是原文：

一開(kāi)始我們就意識(shí)到必須對(duì)新鯨魚(yú)做一些處理，以便將它們納入訓(xùn)練中。簡(jiǎn)單的方法是給每個(gè)新鯨魚(yú)分配一個(gè)1/5004的可能屬于每一類(lèi)別的概率。在加權(quán)采樣方法的幫助下，它帶來(lái)了一些提升。

但后來(lái)我們意識(shí)到可以使用softmax預(yù)測(cè)來(lái)自于訓(xùn)練集中的新鯨魚(yú)。所以我們想到了distillation。我們選擇distillation代替?zhèn)?a target="_blank">標(biāo)簽，因?yàn)樾脉L魚(yú)的標(biāo)簽應(yīng)該與訓(xùn)練的標(biāo)簽不同，雖然它可能不是真的。

為了進(jìn)一步提升模型性能，我們將帶有偽標(biāo)簽的測(cè)試圖片添加到訓(xùn)練集中。最終，我們的單一模型可以通過(guò)snapshot ensembling達(dá)到0.958。不幸的是，以這種方式訓(xùn)練的ensembling并沒(méi)有在分?jǐn)?shù)上有任何的提高。也許是因?yàn)閭螛?biāo)簽和distillation造成的多樣性減少。

最后的思考

最后的排名

令人驚訝的是，盡管私人測(cè)試集占到全部測(cè)試集的近80％，但是最終結(jié)果幾乎沒(méi)有大的改變。我相信比賽的主辦方已經(jīng)提供了一個(gè)非常有趣的問(wèn)題，以及經(jīng)過(guò)很好地處理的數(shù)據(jù)。

這是我參加的第一場(chǎng)Kaggle比賽，毫無(wú)疑問(wèn)，它表現(xiàn)出了Kaggle比賽的有趣，迷人，激勵(lì)和教育性。我要祝賀由于這次比賽而成為Expert，Master和Grandmaster的人。我還要感謝ODS.ai社區(qū)提供的精彩討論和支持。

最后，我要再一次特別感謝我的隊(duì)友Artsiom Sanakoyeu和Pavel Pleskov，為我?guī)?lái)了一次難忘的Kaggle比賽經(jīng)歷。