在尋求人類(lèi)智能人工智能的過(guò)程中，Meta將賭注押在了自監(jiān)督學(xué)習(xí)上。

Meta的首席人工智能科學(xué)家Yann LeCun并沒(méi)有忘記他的遠(yuǎn)大目標(biāo)，即使在談到此時(shí)此地的具體步驟時(shí)也是如此 —— “我們想建造像動(dòng)物和人類(lèi)一樣學(xué)習(xí)的智能機(jī)器，”LeCun在一次采訪中告訴IEEE Spectrum。

近幾年，Meta發(fā)表了一系列關(guān)于AI系統(tǒng)自監(jiān)督學(xué)習(xí)（self-supervised learning，SSL）的論文。而SSL與監(jiān)督學(xué)習(xí)相反，在監(jiān)督學(xué)習(xí)中，人工智能系統(tǒng)從標(biāo)記的數(shù)據(jù)集學(xué)習(xí)（標(biāo)簽充當(dāng)教師，在人工智能系統(tǒng)檢查其工作時(shí)提供正確答案）。LeCun經(jīng)常談到他堅(jiān)信SSL是人工智能系統(tǒng)的必要先決條件，人工智能系統(tǒng)可以構(gòu)建“世界模型”，因此可以開(kāi)始獲得類(lèi)似人類(lèi)的能力，例如理性、常識(shí)，以及將技能和知識(shí)從一個(gè)環(huán)境轉(zhuǎn)移到另一個(gè)環(huán)境的能力。目前的新論文展示了一個(gè)稱(chēng)為掩碼自動(dòng)編碼器（masked auto-encoder，MAE）的自監(jiān)督系統(tǒng)如何從非常零散和不完整的數(shù)據(jù)中重建圖像、視頻甚至音頻。雖然MAE并不是一個(gè)新概念，但Meta已經(jīng)將這項(xiàng)工作擴(kuò)展到了新的領(lǐng)域。

LeCun說(shuō)，通過(guò)找出如何預(yù)測(cè)靜態(tài)圖像、視頻或音頻序列中的缺失數(shù)據(jù)，MAE系統(tǒng)必須構(gòu)建一個(gè)世界模型。他說(shuō)：“如果它能預(yù)測(cè)視頻中會(huì)發(fā)生什么，它就必須了解世界是三維的，一些物體是無(wú)生命的，不會(huì)自己移動(dòng)，其他物體是有生命的，更難預(yù)測(cè)，直到能夠預(yù)測(cè)有生命的人的復(fù)雜行為?！?一旦人工智能系統(tǒng)有了一個(gè)精確的世界模型，它就可以使用該模型來(lái)規(guī)劃行動(dòng)。

“智力的本質(zhì)是學(xué)會(huì)預(yù)測(cè)，”LeCun說(shuō)。雖然他并沒(méi)有聲稱(chēng)Meta的MAE系統(tǒng)接近人工通用智能，但他認(rèn)為這是重要的一步。

并不是每個(gè)人都同意Meta研究人員在人類(lèi)智能水平的正確道路上。，圖靈獎(jiǎng)得主LeCun，Geoffrey Hinton，和Yoshua Bengio還因?yàn)樯疃?a href="http://www.brongaenegriffin.com/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)的發(fā)展而備受贊譽(yù)，Yoshua Bengio有時(shí)還與LeCun就人工智能的重大思想進(jìn)行友好的辯論。在給IEEE Spectrum的一封電子郵件中，Bengio闡述了他們目標(biāo)中的一些差異和相似之處。

“我真的不認(rèn)為我們目前的方法（自我監(jiān)督或不自我監(jiān)督）足以彌合人類(lèi)水平的智力差距，”Bengio寫(xiě)道。他補(bǔ)充說(shuō)，要真正將最先進(jìn)的技術(shù)推向更接近人類(lèi)規(guī)模的人工智能，需要在該領(lǐng)域取得“質(zhì)的進(jìn)步”。

雖然他同意LeCun的觀點(diǎn)，即對(duì)世界進(jìn)行推理的能力是智力的關(guān)鍵要素，但Bengio的團(tuán)隊(duì)并不專(zhuān)注于能夠預(yù)測(cè)的模型，而是那些能夠以自然語(yǔ)言形式呈現(xiàn)知識(shí)的模型。他指出，這樣一個(gè)模型“將允許我們結(jié)合這些知識(shí)來(lái)解決新問(wèn)題、進(jìn)行反事實(shí)模擬或研究可能的未來(lái)”。Bengio的團(tuán)隊(duì)開(kāi)發(fā)了一種新的神經(jīng)網(wǎng)絡(luò)框架，該框架具有比LeCun更為模塊化的特性，LeCun的團(tuán)隊(duì)正在進(jìn)行端到端學(xué)習(xí)（學(xué)習(xí)初始輸入階段和最終輸出結(jié)果之間的所有步驟的模型）。

The transformer craze

Meta的MAE工作建立在一種稱(chēng)為transformers的神經(jīng)網(wǎng)絡(luò)架構(gòu)的趨勢(shì)上。Transformers最初被應(yīng)用于自然語(yǔ)言處理，在自然語(yǔ)言處理中，它使谷歌的BERT和OpenAI的GPT-3等模型的性能大幅提升。Meta AI研究員Ross Girshick表示，transformers在語(yǔ)言方面的成功使計(jì)算機(jī)視覺(jué)社區(qū)的人們?cè)谧约旱念I(lǐng)域“狂熱地工作，試圖復(fù)制這些結(jié)果”。

Meta的研究人員并不是第一個(gè)成功地將transformers應(yīng)用于視覺(jué)任務(wù)的人；Girshick說(shuō)，谷歌對(duì)視覺(jué)轉(zhuǎn)換器（Vision Transformer，ViT）的研究啟發(fā)了Meta團(tuán)隊(duì)。他告訴Spectrum：“通過(guò)采用ViT架構(gòu)，它消除了阻礙一些想法實(shí)驗(yàn)的障礙?！?/p>

Girshick與Meta合著了關(guān)于MAE系統(tǒng)的第一篇論文，該論文涉及靜態(tài)圖像。它的訓(xùn)練類(lèi)似于BERT和其他語(yǔ)言transformers的訓(xùn)練。這樣的語(yǔ)言模型顯示了巨大的文本數(shù)據(jù)庫(kù)，其中有一小部分文字缺失或“被屏蔽”。這些模型試圖預(yù)測(cè)缺失的單詞，然后揭開(kāi)缺失的文本，這樣模型就可以檢查它們的工作，調(diào)整它們的參數(shù)，然后用新的文本塊重試。Girshick解釋說(shuō)，為了對(duì)視覺(jué)進(jìn)行類(lèi)似的處理，研究小組將圖像分割成小塊，掩蓋一些小塊，并要求MAE系統(tǒng)預(yù)測(cè)圖像中缺失的部分。

該團(tuán)隊(duì)的突破之一是認(rèn)識(shí)到，掩蓋大部分圖像可以獲得最佳效果，這language transformers的關(guān)鍵區(qū)別在于，在language transformers中，可能有15%的文字可能被掩蓋。Girshick說(shuō)：“語(yǔ)言是一個(gè)極其密集和高效的交流系統(tǒng)。每個(gè)符號(hào)都有很多含義。但圖像是來(lái)自自然界的信號(hào)，它們的構(gòu)造并不是為了消除冗余。這就是為什么我們?cè)趧?chuàng)建JPG圖像時(shí)可以很好地壓縮東西。”

?

Girshick解釋說(shuō)，通過(guò)掩蓋圖像中75%以上的補(bǔ)丁，他們消除了圖像中的冗余，否則會(huì)使任務(wù)變得過(guò)于瑣碎，無(wú)法進(jìn)行訓(xùn)練。他們的兩部分MAE系統(tǒng)首先使用編碼器學(xué)習(xí)訓(xùn)練數(shù)據(jù)集中像素之間的關(guān)系，然后解碼器盡最大努力從屏蔽版本重建原始圖像。完成此訓(xùn)練方案后，還可以對(duì)編碼器進(jìn)行微調(diào)，以執(zhí)行分類(lèi)和目標(biāo)檢測(cè)等視覺(jué)任務(wù)。

“最終我們感到興奮的原因是我們?cè)趯W(xué)習(xí)轉(zhuǎn)移到下游任務(wù)中看到的結(jié)果，”Girshick說(shuō)。當(dāng)使用編碼器進(jìn)行物體識(shí)別等任務(wù)時(shí)，他說(shuō)：“我們看到了非?？捎^的收益；它們移動(dòng)了指針?！彼赋觯瑪U(kuò)展模型可以帶來(lái)更好的性能，這對(duì)于未來(lái)的模型來(lái)說(shuō)是一個(gè)很有希望的跡象，因?yàn)镾SL“有可能在不需要手動(dòng)注釋的情況下使用大量數(shù)據(jù)”。

全力以赴學(xué)習(xí)大量未經(jīng)處理的數(shù)據(jù)集可能是Meta改善SSL結(jié)果的策略，但這也是一種越來(lái)越有爭(zhēng)議的方法。人工智能倫理研究人員，如Timnit Gebru，已經(jīng)提請(qǐng)注意大型語(yǔ)言模型學(xué)習(xí)的未經(jīng)處理的數(shù)據(jù)集中固有的偏見(jiàn)，有時(shí)會(huì)帶來(lái)災(zāi)難性的后果。

Self-supervised learning in video and audio

在用于視頻的MAE系統(tǒng)中，屏蔽遮擋了高達(dá)95%的每個(gè)視頻幀，因?yàn)閹g的相似性意味著視頻信號(hào)比靜態(tài)圖像具有更多冗余。Meta研究員Christoph Feichtenhofer表示，MAE方法在視頻方面的一大優(yōu)勢(shì)是，視頻通常具有很高的計(jì)算要求。但是，通過(guò)屏蔽高達(dá)95%的每一幀，MAE減少了高達(dá)95%的計(jì)算成本，他說(shuō)。

這些實(shí)驗(yàn)中使用的剪輯只有幾秒鐘長(zhǎng)，但Feichtenhofer說(shuō)，在更長(zhǎng)的視頻上訓(xùn)練人工智能系統(tǒng)是“一個(gè)非?；钴S的研究課題”。想象一下，他說(shuō)，一個(gè)虛擬助理有你家的視頻，可以告訴你一個(gè)小時(shí)前把鑰匙放在哪里了。

更直接地說(shuō)，人們可以想象，圖像和視頻系統(tǒng)對(duì)于在Facebook和Instagram上進(jìn)行內(nèi)容調(diào)節(jié)所需的分類(lèi)任務(wù)都很有用，F(xiàn)eichtenhofer說(shuō)，“完整性”是一種可能的應(yīng)用。“我們肯定是在和產(chǎn)品團(tuán)隊(duì)談判，”他說(shuō)，“但這是一個(gè)非常新的項(xiàng)目，我們還沒(méi)有任何具體的項(xiàng)目。”

對(duì)于音頻MAE工作，該團(tuán)隊(duì)表示很快將發(fā)布在arXiv預(yù)印本服務(wù)器上，Meta AI團(tuán)隊(duì)找到了一種巧妙的方法來(lái)應(yīng)用掩蔽技術(shù)。他們將聲音文件轉(zhuǎn)換成頻譜圖，即信號(hào)中頻率頻譜的視覺(jué)表示，然后掩蓋這些圖像的部分內(nèi)容進(jìn)行訓(xùn)練。重建的音頻令人印象深刻，盡管該模型目前只能處理幾秒鐘的剪輯。

從事音頻系統(tǒng)工作的Bernie Huang說(shuō)，潛在的應(yīng)用包括分類(lèi)任務(wù)，通過(guò)填充數(shù)據(jù)包丟失時(shí)丟失的音頻來(lái)幫助IP語(yǔ)音通話，或者找到更有效的壓縮音頻文件的方法。

Meta一直在進(jìn)行人工智能攻勢(shì)、開(kāi)源研究，例如這些MAE模型，并為人工智能社區(qū)提供了一個(gè)經(jīng)過(guò)預(yù)訓(xùn)練的大型語(yǔ)言模型，用于研究目的。但批評(píng)人士指出，盡管在研究方面具有如此開(kāi)放性，Meta并沒(méi)有將其核心商業(yè)算法用于研究那些控制新聞提要、推薦和廣告投放的算法?！　?/p>