深度學習，有太多令人驚嘆的能力！從12年的圖像識別開始，深度學習的一個個突破，讓人們一次又一次的刷新對它的認知。然而，應用深度學習，一直有一個巨大的前提：大量標注數(shù)據(jù)。但是難道數(shù)據(jù)少，就享受不到深度學習帶來的紅利了么？近日來自卡內(nèi)基梅隆大學、亞馬遜研究院、加州理工學院的研究員，在人工智能頂級會議 UAI 上闡述了多種方法，嘗試緩解甚至解決數(shù)據(jù)稀疏對深度學習的影響。

主要方法

為了解決深度學習數(shù)據(jù)少，和數(shù)據(jù)稀疏， 目前業(yè)界的主流方法有一下5種：

數(shù)據(jù)增廣

半監(jiān)督學習

遷移學習

領域自適應

主動學習

下面，我們對這5種方式進行一個簡單的介紹，詳細的介紹.

數(shù)據(jù)增廣

數(shù)據(jù)增廣，主要是想，對現(xiàn)有的數(shù)據(jù)，添加噪聲等各種其他變換，從而產(chǎn)生一些有意義的數(shù)據(jù)，是的數(shù)據(jù)集增加，從而解決數(shù)據(jù)稀疏的問題，提升模型性能。 特別的，如圖所示，Zachary Lipton 介紹了近期他的一個工作：利用 GAN來做圖像數(shù)據(jù)增廣。

半監(jiān)督學習

半監(jiān)督學習的情形是指：我們擁有少量的標注樣本（圖中橘色部分）以及大量的未標注樣本（圖中藍色部分）。

半監(jiān)督學習，一般的思路是：在全部數(shù)據(jù)上去學習數(shù)據(jù)表示，在有標簽的樣本上去學習模型，用所有數(shù)據(jù)去加正則。

遷移學習

遷移學習，主要是想，在一個擁有大量樣本的數(shù)據(jù)(圖中藍色部分)上去學習模型，在改動較少的情況下，將學習到的模型遷移到類似的目標數(shù)據(jù)(圖中橘色部分)和任務上。

領域自適應

領域自適應，主要是想，在已有的標注數(shù)據(jù)p(x,y)上學習模型, 然后嘗試在另一個分布上q(x，y)上去做應用。

主動學習

主動學習，維護了兩個部分：學習引擎和選擇引擎。學習引擎維護一個基準分類器，并使用監(jiān)督學習算法對系統(tǒng)提供的已標注樣例進行學習從而使該分類器的性能提高，而選擇引擎負責運行樣例選擇算法選擇一個未標注的樣例并將其交由人類專家進行標注，再將標注后的樣例加入到已標注樣例集中。學習引擎和選擇引擎交替工作，經(jīng)過多次循環(huán)，基準分類器的性能逐漸提高，當滿足預設條件時，過程終止。