語(yǔ)言作為人們與生俱來(lái)的能力，能幫助人們傳遞很多重要的信息。正因?yàn)槿祟惇?dú)特的語(yǔ)言能力，人類才具有特殊性。這也是人工智能至今仍在艱難突破的技術(shù)桎梏。

究其原因，世界上有千萬(wàn)種不同的語(yǔ)言和方言，既有共通之處，又各自獨(dú)立不同。此外，每個(gè)詞匯和句子還會(huì)給人一種語(yǔ)義，而這個(gè)語(yǔ)義對(duì)每個(gè)人的反饋又各不相同。語(yǔ)言的復(fù)雜性給機(jī)器學(xué)習(xí)帶來(lái)了挑戰(zhàn)。

比如，那么對(duì)于同一個(gè)語(yǔ)義，不同語(yǔ)言和方言對(duì)應(yīng)反饋都可能有差異，甚至對(duì)于不同環(huán)境成長(zhǎng)的同一語(yǔ)言人群以及同一個(gè)人在不同年齡段和不同情緒狀態(tài)下的反饋都可能不同。

近日，斯坦福大學(xué)人工智能實(shí)驗(yàn)室（SAIL）發(fā)表博客，介紹了其兩篇 ACL 2020 論文。這兩項(xiàng)研究立足于近段時(shí)間 BERT 等神經(jīng)語(yǔ)言模型的突破性成果，指出了一個(gè)頗具潛力的新方向：使用語(yǔ)言解釋來(lái)輔助學(xué)習(xí) NLP 乃至計(jì)算機(jī)視覺(jué)領(lǐng)域的任務(wù)。

簡(jiǎn)單來(lái)說(shuō)，就是針對(duì)自然語(yǔ)言處理（NLP）和計(jì)算機(jī)視覺(jué)領(lǐng)域的多種高難度任務(wù)，他們首先用語(yǔ)言解釋這些任務(wù)，然后使用深度神經(jīng)網(wǎng)絡(luò)模型來(lái)學(xué)習(xí)這些語(yǔ)言解釋，進(jìn)而幫助解決這些任務(wù)。

事實(shí)上，BERT 等現(xiàn)代深度神經(jīng)語(yǔ)言模型已經(jīng)顯現(xiàn)出解決多項(xiàng)語(yǔ)言理解任務(wù)的潛力。因此，SAIL 在這兩篇論文中提出使用神經(jīng)語(yǔ)言模型來(lái)緩解這些基本問(wèn)題。這些神經(jīng)語(yǔ)言模型或以確定相關(guān)領(lǐng)域內(nèi)語(yǔ)言解釋為目標(biāo)，或使用了可以解讀語(yǔ)言解釋的通用型“知識(shí)”來(lái)進(jìn)行預(yù)訓(xùn)練。

第一篇論文研究了如何使用語(yǔ)言解釋來(lái)構(gòu)建文本分類器，即使用自然語(yǔ)言解釋來(lái)幫助解決單個(gè)任務(wù)。基于此，研究人員提出了 ExpBERT 模型，其使用了針對(duì)文本蘊(yùn)涵任務(wù)訓(xùn)練的 BERT 模型，BERT 在這一過(guò)程中輸出的特征可替代上述語(yǔ)義解析器提供的指示特征。

第二篇論文提出一種名為語(yǔ)言塑造型學(xué)習(xí)（Language Shaped Learning／LSL）的方法，即在訓(xùn)練時(shí)使用語(yǔ)言解釋，則可以促使模型學(xué)習(xí)不僅對(duì)分類有用的表征，而且該表征還能用于預(yù)測(cè)語(yǔ)言解釋。

語(yǔ)言之精妙彰顯了人類之精巧，人工智能想要克服語(yǔ)言的技術(shù)桎梏依然還有漫長(zhǎng)的路要走，但研究已在路上。在人工智能獲得語(yǔ)言能力前，社會(huì)也將對(duì)其技術(shù)進(jìn)行謹(jǐn)慎的設(shè)計(jì)，這也是科技時(shí)代下必然要面對(duì)的問(wèn)題。

責(zé)任編輯：haq