DeepMind的最新研究提出一種新的表示學習方法——對比預測編碼。研究人員在多個領(lǐng)域進行實驗：音頻、圖像、自然語言和強化學習，證明了相同的機制能夠在所有這些領(lǐng)域中學習到有意義的高級信息，并且優(yōu)于其他方法。

2013年，Bengio等人發(fā)表了關(guān)于表示學習（ representation learning）的綜述，將表示學習定義為“學習數(shù)據(jù)的表征，以便在構(gòu)建分類器或其他預測器時更容易提取有用的信息”，并將無監(jiān)督特征學習和深度學習的諸多進展納入表示學習的范疇。

今天，DeepMind在最新論文Representation Learning with Contrastive Predictive Coding中，提出一種新的表示學習方法——對比預測編碼（Contrastive Predictive Coding, CPC），將其應(yīng)用于各種不同的數(shù)據(jù)模態(tài)、圖像、語音、自然語言和強化學習，證明了相同的機制能夠在所有這些領(lǐng)域中學習到有意義的高級信息，并且優(yōu)于其他方法。

預測編碼思想

使用分層的可微模型以端到端的方式從標記數(shù)據(jù)中學習高級表示，這是人工智能迄今為止最大的成功之一。這些技術(shù)使得人工指定的特性在很大程度上變得多余，并且在一些真實世界的應(yīng)用中極大地改進了當前最優(yōu)的技術(shù)。但是，這些技術(shù)仍存在許多挑戰(zhàn)，例如數(shù)據(jù)效率、穩(wěn)健性或泛化能力。

改進表示學習需要一些不是專門解決單一監(jiān)督任務(wù)的特征。例如，當預訓練一個模型以進行圖像分類時，特征可以相當好地轉(zhuǎn)移到其他圖像分類域，但也缺少某些信息，例如顏色或計數(shù)的能力，因為這些信息與分類無關(guān)，但可能與其他任務(wù)相關(guān)，例如圖像描述生成（image captioning）。類似地，用于轉(zhuǎn)錄人類語音的特征可能不太適合于說話者識別或音樂類型預測。因此，無監(jiān)督學習是實現(xiàn)強健的、通用的表示學習的重要基石。

盡管無監(jiān)督學習很重要，但無監(jiān)督學習尚未得到類似監(jiān)督學習的突破：從原始觀察中建模高級表示仍然難以實現(xiàn)。此外，并不總是很清楚理想的表示是什么，以及是否可以在沒有對特定的數(shù)據(jù)模態(tài)進行額外的監(jiān)督學習或?qū)ｉT化的情況下學習這樣的表示。

無監(jiān)督學習最常見的策略之一是預測未來、缺失信息或上下文信息。這種預測編碼（predictive coding）的思想是數(shù)據(jù)壓縮信號處理中最古老的技術(shù)之一。在神經(jīng)科學中，預測編碼理論表明，大腦可以預測不同抽象層次的觀察。

最近在無監(jiān)督學習方面的一些工作已經(jīng)成功地利用這些概念，通過預測鄰近的單詞來學習單詞表示。對于圖像來說，從灰度或image patches的相對位置來預測顏色，也被證明是有用的。我們假設(shè)這些方法卓有成效，部分原因是我們預測相關(guān)值的上下文通常是有條件地依賴于相同的共享高級潛在信息之上。通過將其作為一個預測問題，我們可以自動推斷出這些特征與表示學習相關(guān)。

本文有以下貢獻：

首先，我們將高維數(shù)據(jù)壓縮成一個更緊湊的潛在嵌入空間，在這個空間中，條件預測更容易建模。

其次，我們在這個潛在空間中使用強大的自回歸模型來預測未來。

最后，我們依賴噪聲對比估計（Noise-Contrastive Estimation）損失函數(shù)，與在自然語言模型中學習詞嵌入的方法類似，允許對整個模型進行端到端的訓練。

對比預測編碼

圖1：對比預測編碼的概覽，即我們提出的表示學習方法。雖然圖中將音頻作為輸入，但是我們對圖像、文本和強化學習使用的是相同的設(shè)置。

圖1顯示了對比預測編碼模型的架構(gòu)。首先，非線性編碼器將輸入的觀察序列映射到潛在表示序列，可能具有較低的時間分辨率。接下來，自回歸模型概括潛在空間中所有，并生成一個上下文潛在表示。

我們不是直接用生成模型來預測未來的觀察。 相反，我們對密度比建模，保留了之間的交互信息，公式如下：

其中代表“成正比”。

在我們的實驗中，我們使用線性變換對每個步驟k進行不同的預測，也可以使用非線性網(wǎng)絡(luò)或遞歸神經(jīng)網(wǎng)絡(luò)。

4個不同領(lǐng)域的實驗：語音、圖像、NLP和強化學習

我們提出四個不同應(yīng)用領(lǐng)域的benchmark：語音、圖像、自然語言和強化學習。對于每個領(lǐng)域，我們訓練CPC模型，并通過線性分類任務(wù)或定性評估來探討“表示”（representations）所包含的內(nèi)容；在強化學習中，我們測量了輔助的CPC loss如何加速agent的學習。

語音（Audio）

對于語音，我們使用了公開的LibriSpeech數(shù)據(jù)集中100小時的子數(shù)據(jù)集。雖然數(shù)據(jù)集不提供原始文本以外的標簽，但我們使用Kaldi工具包獲得了強制對齊的通話序列，并在Librispeech上預訓練模型。該數(shù)據(jù)集包含來自251個不同說話者的語音。

圖2：10個說話者子集的音頻表示的t-SNE可視化。每種顏色代表不同的說話者。

圖3：在語音波形中預測未來1到20個潛在步驟的對比損失，正樣本預測的平均精度。該模型最多預測未來200 ms，因為每一步包含10ms的音頻。

圖像（Vision）

在視覺表示實驗中，我們使用ImageNet數(shù)據(jù)集。我們使用ResNet v2 101架構(gòu)作為圖像編碼器來提取CPC表示（該編碼器沒有經(jīng)過預訓練）。在無監(jiān)督訓練后，訓練一個線性層以測量ImageNet標簽的分類精度。

圖4：圖像實驗中對比預測編碼的可視化

圖5：每一行都顯示了激活CPC架構(gòu)的某個神經(jīng)元的image patches

表3：ImageNet top-1無監(jiān)督分類結(jié)果。

表4：ImageNet top-5無監(jiān)督分類結(jié)果。

表3和表4顯示了與state-of-the-art相比，CPC模型在ImageNet top-1和top-5的分類精度。盡管相對領(lǐng)域不可知，但CPC模型在top-1相比當前最優(yōu)模型的精度提高了9％，在top-5的精度提高了4%。

自然語言

在自然語言實驗中，我們首先在BookCorpus 數(shù)據(jù)集上學習我們的無監(jiān)督模型，并通過對一組分類任務(wù)使用CPC表示來評估模型作為通用特征提取器的能力。

對于分類任務(wù)，我們使用了以下數(shù)據(jù)集：我們使用以下數(shù)據(jù)集：電影評論情緒（MR），客戶產(chǎn)品評論（CR），主觀性/客觀性，意見極性（MPQA）和問題類型分類 （TREC）。

表5：五種常見NLP基準的分類精度。

評估任務(wù)的結(jié)果如表5所示。

強化學習

最后，我們評估了DeepMind Lab 在3D環(huán)境下的五種強化學習的無監(jiān)督學習方法：rooms_watermaze，explore_goal_locations_small，seekavoid_arena_01，lasertag_three_opponents_small和rooms_keys_doors_puzzle。

在這里，我們采用標準的batched A2C agent作為基本模型，并添加CPC作為輔助損失。 學習的表示對其未來觀察的分布進行編碼。

圖6：五個DeepMind Lab任務(wù)的強化學習結(jié)果。黑色:batched A2C基線，紅色：添加輔助對比損失

如圖6所示，在10億幀的訓練后，對于5個游戲中的4個，agent的表現(xiàn)有明顯提高。

結(jié)論

在本文中，我們提出了對比預測編碼（CPC），這是一種用于提取緊湊潛在表示以對未來觀測進行編碼的框架。CPC將自回歸建模和噪聲對比估計與預測編碼的直覺相結(jié)合，以一種無監(jiān)督的方式學習抽象表示。

我們在多個領(lǐng)域測試了這些表現(xiàn)形式：音頻、圖像、自然語言和強化學習，并在用作獨立特征時實現(xiàn)了強大的或最優(yōu)的性能。訓練模型的簡單性和低計算要求，以及在強化學習領(lǐng)域與主要損失一起使用時令人鼓舞的結(jié)果，都展現(xiàn)了無監(jiān)督學習令人興奮的發(fā)展，并且這種學習普遍適用于更多數(shù)據(jù)模態(tài)。