編者按：子曰：“舉一隅不以三隅反，則不復(fù)也”。

人類從少量樣本中去思考，還能用這個(gè)做什么；而機(jī)器則是見到了上億的數(shù)據(jù)，卻希望下一個(gè)與之前的相似。

在機(jī)器學(xué)習(xí)領(lǐng)域中，隨著更多應(yīng)用場(chǎng)景的涌現(xiàn)，我們?cè)絹碓矫媾R著樣本數(shù)量不足的問題。因此，如何通過舉一反三的方式進(jìn)行小樣本學(xué)習(xí)，成為了一個(gè)重要的研究方向。

本文中，復(fù)旦大學(xué)的付彥偉教授，將介紹過去一年中小樣本學(xué)習(xí)領(lǐng)域的研究進(jìn)展。

文末，大講堂提供文中提到參考文獻(xiàn)的下載鏈接。

本次報(bào)告主要回顧one-shot learning，也可以稱為few-shot learning或low-shot learning領(lǐng)域最近的進(jìn)展。

首先，one-shot learning產(chǎn)生的動(dòng)機(jī)大家都比較了解?，F(xiàn)在在互聯(lián)網(wǎng)，我們主要用large-scale方法處理數(shù)據(jù)，但真實(shí)情況下，大部分類別我們沒有數(shù)據(jù)積累，large-scale方法不完全適用。所以我們希望在學(xué)習(xí)了一定類別的大量數(shù)據(jù)后，對(duì)于新的類別，我們只需要少量的樣本就能快速學(xué)習(xí)。

存在的問題一方面是知識(shí)缺失，另一方面是需要大量的訓(xùn)練樣本。第一點(diǎn)在本文中不做討論。

對(duì)于第二點(diǎn)，目前考慮的解決方法主要有兩個(gè)：

第一個(gè)是人能夠識(shí)別一個(gè)從沒有見過的物體，也就是zero-shot learning；

第二個(gè)是從已有任務(wù)中學(xué)習(xí)知識(shí)，將其應(yīng)用到未來模型訓(xùn)練中，可以認(rèn)為是一個(gè)遷移學(xué)習(xí)的問題。

那么我們?nèi)绾味xone-shot learning呢？ 它的目的是從一個(gè)或幾個(gè)圖像樣本中學(xué)習(xí)類別信息。但我們這里的one-shot learning并不限于一般圖像，也可以在文本，醫(yī)療圖像等特殊圖像，或者物理化學(xué)中的掃描圖像上進(jìn)行應(yīng)用。

One-shot learning的研究主要分為如下幾類：

第一類方法是直接基于有監(jiān)督學(xué)習(xí)的方法，這是指沒有其他的數(shù)據(jù)源，不將其作為一個(gè)遷移學(xué)習(xí)的問題看待，只利用這些小樣本，在現(xiàn)有信息上訓(xùn)練模型，然后做分類；

第二個(gè)是基于遷移學(xué)習(xí)的方法，是指有其他數(shù)據(jù)源時(shí)，利用這些輔助數(shù)據(jù)集去做遷移學(xué)習(xí)。這是我今年一篇綜述里提到的模型分類。

對(duì)于第一類直接進(jìn)行有監(jiān)督學(xué)習(xí)的方法，可以做基于實(shí)例的學(xué)習(xí)，比如KNN，以及非參數(shù)方法。

而基于遷移學(xué)習(xí)的one-shot learning，首先是基于屬性的學(xué)習(xí)，比如我們最早在做zero-shot learning的時(shí)候，會(huì)順便做one-shot learning，把特征投影到一個(gè)屬性空間，然后在這個(gè)屬性空間中既可以做one-shot learning，又可以做zero-shot learning，但是每個(gè)類別都需要屬性標(biāo)注，也就是需要額外的信息。最近的機(jī)器學(xué)習(xí)領(lǐng)域里，所討論one-shot learning一般不假設(shè)我們知道這些額外信息，大體上可以被分為meta-learning，或者metric-learning。 Meta-learning從數(shù)據(jù)中學(xué)習(xí)一種泛化的表示，這種泛化的表示可以被直接用于目標(biāo)數(shù)據(jù)上，小樣本的類別學(xué)習(xí)過程。Metric-learning從數(shù)據(jù)源中構(gòu)建一個(gè)空間。但是本質(zhì)上meta-learning和metric-learning還是有很多相似的地方。

接下來是數(shù)據(jù)增強(qiáng)，這其實(shí)是很重要也很容易被忽視的一點(diǎn)，可以有很多方法來實(shí)現(xiàn)：

第一，利用流信息學(xué)習(xí)one-shot模型，常見的有半監(jiān)督學(xué)習(xí)和transductive learning，探討的是如何用無標(biāo)簽數(shù)據(jù)去做one-shot learning。

第二，在有預(yù)訓(xùn)練模型時(shí)，用這些預(yù)訓(xùn)練模型進(jìn)行數(shù)據(jù)增強(qiáng)。

第三，從相近的類別借用數(shù)據(jù)，來增強(qiáng)訓(xùn)練數(shù)據(jù)集。

第四，合成新的有標(biāo)簽訓(xùn)練數(shù)據(jù)，用一些遙感里的方法，可以合成一些圖像，或者3d物體。

第五，用GAN來學(xué)習(xí)合成模型，比如最近用GAN來做personal ID和人臉相關(guān)研究。

第六，屬性引導(dǎo)的增強(qiáng)方法。具體大家可以在文章里進(jìn)行詳細(xì)了解。

首先基于遷移學(xué)習(xí)的方法，我們目前的實(shí)驗(yàn)結(jié)果顯示：大部分已經(jīng)發(fā)表的one-shot learning方法在miniImageNet數(shù)據(jù)集上的結(jié)果，比不過resnet-18的結(jié)果，這也是很微妙的一點(diǎn)。我們的代碼已經(jīng)放到github上，大家有興趣可以看一下。（如果我們的實(shí)驗(yàn)在什么地方有問題，歡迎大家給我發(fā)郵件）

下面簡(jiǎn)單介紹相關(guān)文章。首先是Wang Yuxiong的文章Learning to Learn: Model Regression Networks for Easy Small Sample Learning，他們用原數(shù)據(jù)構(gòu)建了很多模型庫，然后目標(biāo)數(shù)據(jù)直接回歸這些模型庫。具體就是在source class上訓(xùn)練一個(gè)regression network。對(duì)于大量樣本我們可以得到一個(gè)比較好的分類器。對(duì)于少量樣本我們可以得到一個(gè)沒那么好的分類器。這個(gè)regression network的目的就是把沒那么好的分類器映射成比較好的分類器。即，把一個(gè)分類器的權(quán)重映射到另一個(gè)分類器。

第二個(gè)是Matching Networks for One Shot Learning，這個(gè)文章很有意思，從標(biāo)題中就能讀出大概做了什么工作。對(duì)于一張圖片，我們訓(xùn)練一個(gè)matching network來提取它的feature。然后用一個(gè)簡(jiǎn)單的數(shù)學(xué)公式來判斷feature之間的距離。對(duì)于新的圖片，根據(jù)它與已知圖片的距離來進(jìn)行分類。這篇文章精巧地設(shè)計(jì)了訓(xùn)練的過程，來使得這個(gè)過程與測(cè)試時(shí)的過程一致。

第三是MAML，是與模型無關(guān)的meta-learning的方法，它主要側(cè)重于深度網(wǎng)絡(luò)的快速適應(yīng)。這篇文章的思想就是找到一個(gè)網(wǎng)絡(luò)最好的初始位置，這個(gè)初始位置被定義為：經(jīng)過幾個(gè)小樣本的調(diào)整后可以得到最好的表現(xiàn)。

第四個(gè)是Optimization as a model for few-shot learning，也是meta-learning的方法，將任務(wù)組織成一個(gè)最優(yōu)化的問題。這篇文章將梯度下降的過程與LSTM的更新相對(duì)比，發(fā)現(xiàn)它們非常相似。所以可以用LSTM來學(xué)習(xí)梯度下降的過程，以此使用LSTM來做梯度下降的工作。

第五個(gè)是meta networks，也是meta-learning方法。其中利用了少量樣本在基礎(chǔ)網(wǎng)絡(luò)中產(chǎn)生的梯度，來快速生成新的參數(shù)權(quán)重。

今年NIPS一篇prototypical network，主要是在matching networks的基礎(chǔ)上做了一些更改。它們給每一個(gè)類一個(gè)原型，樣本與類的距離就是樣本與原型的距離。然后選用歐氏距離替代了matching network的余弦距離。

今年CVPR的Learning to compare: Relation network for few-shot learning。簡(jiǎn)單來說就是用embedding module來提取feature。然后用relation module來輸出兩個(gè)feature之間的距離。一次來通過距離進(jìn)行分類選擇。

關(guān)于on-shot learning，還有其他參考文獻(xiàn)，可在文末的鏈接中下載。

下面簡(jiǎn)單介紹一下數(shù)據(jù)增強(qiáng)的相關(guān)文章。

上圖是我們今年的提交到ECCV的一個(gè)工作，用左邊的encoder-trinet把視覺特征映射到語義空間。因?yàn)檎Z義空間上有更豐富的信息，可以在語義空間上做數(shù)據(jù)擴(kuò)充（添加高斯噪聲和尋找最近鄰），再映射回視覺空間來得到更多的擴(kuò)充樣例。

ICCV2017這篇文章根據(jù)已有的圖像去生成新的圖像，然后做low-shot 視覺識(shí)別。具體來說，比如說你有三張圖片：一張是鳥，一張是鳥站在樹枝上，一張是猴子。那么你可以學(xué)習(xí)一個(gè)網(wǎng)絡(luò)讓它生成猴子站在樹枝上的圖片。本質(zhì)上是，想把一個(gè)類的變化遷移到另一個(gè)類上，以此來做數(shù)據(jù)擴(kuò)充。

這是去年在CVPR上發(fā)表的文章AGA，主要針對(duì)3D數(shù)據(jù)，把圖像投影到一個(gè)屬性空間做數(shù)據(jù)增強(qiáng)。這是一個(gè)few-shot learning方法。具體就是，給定幾張距離觀測(cè)者不同距離的桌子的照片，以及一張凳子的照片，讓機(jī)器學(xué)會(huì)如何去生成不同距離的凳子的照片，以此來做數(shù)據(jù)擴(kuò)充。

最后在 one-shot learning之上，我們還可能遇到一個(gè)問題，one-shot learning只關(guān)注目標(biāo)類別上的分類問題，我們希望學(xué)習(xí)到的模型對(duì)源數(shù)據(jù)類別也適用，否則將帶來一個(gè)問題，被稱為災(zāi)難性遺忘。

發(fā)表在PNAS的文章提出EWC 模型來解決這個(gè)問題。災(zāi)難性遺忘往往源于我們學(xué)習(xí)任務(wù)B的時(shí)候更新網(wǎng)絡(luò)，使得任務(wù)A做的沒那么好了。EWC提供了一種方法來計(jì)算權(quán)重對(duì)于任務(wù)A的重要性，把重要性引入到損失函數(shù)中，來避免更改會(huì)影響A效果的權(quán)重。

還有l(wèi)earning without forgetting這篇文章，也是側(cè)重于解決這個(gè)問題。簡(jiǎn)單來說就是拿到一個(gè)新任務(wù)后，我們會(huì)更新網(wǎng)絡(luò)。我們希望在更新網(wǎng)絡(luò)前后網(wǎng)絡(luò)沒有太大變化，所以我們添加一個(gè)loss來限制網(wǎng)絡(luò)更新前后對(duì)于這個(gè)新的任務(wù)輸出的特征不能有太大變化，也就是一個(gè)distill loss。

最后，小樣本學(xué)習(xí)還有很多可以研究的東西。目前的成果主要還是基于把已知類別的一些信息遷移到新的類別上?？赡芪磥砜梢試L試下更多的方向，比如利用無監(jiān)督的信息或者是半監(jiān)督的方法。