有意思的是，這個(gè)回答，來(lái)自O(shè)penAI開發(fā)的預(yù)訓(xùn)練語(yǔ)言模型——GPT-3，這個(gè)可以跟人類對(duì)線、創(chuàng)作小說(shuō)、編吉他譜的AI，著實(shí)在硅谷火了一把。

很難想象，2017年的ANI（弱人工智能，比如你手機(jī)上的Siri），智商測(cè)試的結(jié)果只有47，相當(dāng)于一個(gè)六歲孩子的水平。

無(wú)疑，像GPT-3這樣的AGI（強(qiáng)人工智能）才是下一代AI的未來(lái)。

那實(shí)現(xiàn)從ANI到AGI跨越的關(guān)鍵是什么呢？——算力。GPT-3的高智商，很大程度上得益于算力的提升，它的參數(shù)量是1750 億，足足是 GPT-2 的 116 倍。

不過(guò)，麻省理工學(xué)院的研究人員最近發(fā)出了算力警告：深度學(xué)習(xí)正在逼近計(jì)算極限。

深度學(xué)習(xí)的阻礙——算力

現(xiàn)代計(jì)算機(jī)的計(jì)算能力以及可用于饋送算法的大量數(shù)據(jù)，的確讓我們步入了AI開發(fā)的新高度。不過(guò)，還不夠。

根據(jù)MIT的一項(xiàng)研究，深度學(xué)習(xí)的進(jìn)展非常依賴算力的增長(zhǎng)。他們斷言，必須發(fā)明革命性的算法才能更有效地使用深度學(xué)習(xí)方法。

研究人員分析了預(yù)印本服務(wù)器Arxiv.org上的1058篇論文和其他基準(zhǔn)資料，以理解深度學(xué)習(xí)性能和算力之間的聯(lián)系，主要分析了圖像分類、目標(biāo)檢測(cè)、問(wèn)題回答、命名實(shí)體識(shí)別和機(jī)器翻譯等領(lǐng)域兩方面的計(jì)算需求:

1、每一網(wǎng)絡(luò)遍歷的計(jì)算量，或給定深度學(xué)習(xí)模型中單次遍歷(即權(quán)值調(diào)整)所需的浮點(diǎn)運(yùn)算數(shù)。

2、訓(xùn)練整個(gè)模型的硬件負(fù)擔(dān)，用處理器數(shù)量乘以計(jì)算速度和時(shí)間來(lái)估算。

結(jié)論顯示，訓(xùn)練模型的進(jìn)步取決于算力的大幅提高，具體來(lái)說(shuō)，計(jì)算能力提高10倍相當(dāng)于3年的算法改進(jìn)成果。

換言之，算力提高的背后，其實(shí)現(xiàn)目標(biāo)所隱含的計(jì)算需求——硬件、環(huán)境和金錢等成本將變得無(wú)法承受。

計(jì)算中有一個(gè)稱為摩爾定律的概念，它假定計(jì)算能力每?jī)赡攴环?。OpenAI最近發(fā)布的一項(xiàng)研究表明，AI訓(xùn)練中使用的計(jì)算能力每3到4個(gè)月翻一番，這大大提高了我們習(xí)慣的標(biāo)準(zhǔn)進(jìn)度。自2012年以來(lái)，人工智能要求計(jì)算能力增加300,000倍，而按照摩爾定律，則只能將AI提升7倍。

人們從來(lái)沒(méi)有想到過(guò)芯片的算力會(huì)有到達(dá)極限的一天，至少?gòu)膩?lái)沒(méi)有想到芯片算力極限會(huì)這么快到來(lái)。

深度學(xué)習(xí)的未來(lái)

關(guān)于提升算力，我們先把目光投向那些研究AI的大廠。

谷歌團(tuán)隊(duì)去年開發(fā)的一種翻譯算法，大約需要運(yùn)行12,000個(gè)專用芯片。據(jù)一些估計(jì)，通過(guò)云租用這么多的計(jì)算機(jī)功能將花費(fèi)多達(dá)300萬(wàn)美元。

谷歌的高層們轉(zhuǎn)念一想，這成本也太大了，這么下去不是個(gè)辦法。于是他們搞起了“量子至上”，并開發(fā)了一種能夠解決計(jì)算問(wèn)題的量子處理器——Sycamore，計(jì)算能力相當(dāng)于一臺(tái)超級(jí)計(jì)算機(jī)的10,000多倍。

再看看IBM，谷歌在量子計(jì)算領(lǐng)域的最大競(jìng)爭(zhēng)對(duì)手之一，當(dāng)然也不甘示弱。IBM自己的Summit之類的超級(jí)計(jì)算機(jī)可以在兩步內(nèi)完成與Sycamore處理器相同的計(jì)算，僅需半天而不是10,000年。

雖然與谷歌的處理器完成任務(wù)大約需要三分半鐘的時(shí)間相比，差距還是比較大的。但在深度學(xué)習(xí)領(lǐng)域取得如此大的進(jìn)展，量子計(jì)算是條出路。

在這些大廠相互“廝殺血拼”的時(shí)候，吃瓜群眾大都心存疑慮：深度學(xué)習(xí)，或者說(shuō)機(jī)器學(xué)習(xí)，未來(lái)到底在何方？

2020年是至關(guān)重要的一年，這將為AI領(lǐng)域下一個(gè)十年的創(chuàng)新定下基調(diào)并繼續(xù)保持現(xiàn)有的勢(shì)頭。以下是五個(gè)新興AI和機(jī)器學(xué)習(xí)的趨勢(shì)：

1）數(shù)字?jǐn)?shù)據(jù)監(jiān)管

在當(dāng)今世界，數(shù)據(jù)就是一切。各種技術(shù)的出現(xiàn)推動(dòng)了數(shù)據(jù)的補(bǔ)充。無(wú)論是汽車工業(yè)還是制造業(yè)；數(shù)據(jù)正以前所未有的速度生成。但是問(wèn)題是，“所有數(shù)據(jù)都相關(guān)嗎？”

好了，為了解開這個(gè)謎團(tuán)，可以部署機(jī)器學(xué)習(xí)，因?yàn)樗梢酝ㄟ^(guò)設(shè)置云解決方案和數(shù)據(jù)中心來(lái)對(duì)任意數(shù)量的數(shù)據(jù)進(jìn)行排序。它僅根據(jù)數(shù)據(jù)的重要性過(guò)濾數(shù)據(jù)并調(diào)出功能數(shù)據(jù)，同時(shí)保留廢料。這樣，可以節(jié)省時(shí)間，組織也可以管理支出。

2020年，將產(chǎn)生大量數(shù)據(jù)，并且行業(yè)將要求機(jī)器學(xué)習(xí)對(duì)相關(guān)數(shù)據(jù)進(jìn)行分類以提高效率。

2）語(yǔ)音協(xié)助中的機(jī)器學(xué)習(xí)

語(yǔ)音助手在行業(yè)中占相當(dāng)大的比例。Siri，Cortana，Google Assistant和Amazon Alexa是智能個(gè)人助理的熱門示例。

機(jī)器學(xué)習(xí)與人工智能相結(jié)合，可以以最高的準(zhǔn)確性幫助處理操作。因此，機(jī)器學(xué)習(xí)將幫助行業(yè)輕松完成復(fù)雜而重要的任務(wù)，同時(shí)提高生產(chǎn)率。

到2020年，不斷增長(zhǎng)的研究與投資領(lǐng)域?qū)⒅饕性谔蕴ㄖ圃O(shè)計(jì)的機(jī)器學(xué)習(xí)語(yǔ)音幫助上。

3）有效營(yíng)銷

營(yíng)銷是每個(gè)企業(yè)在激烈的競(jìng)爭(zhēng)中生存的重要因素。它在推動(dòng)預(yù)期結(jié)果的同時(shí)提升了業(yè)務(wù)的存在性和可見(jiàn)性。但是，利用現(xiàn)有的多個(gè)營(yíng)銷平臺(tái)，甚至要證明業(yè)務(wù)存在，就變得具有挑戰(zhàn)性。

但是，如果一家企業(yè)足夠成功，可以從現(xiàn)有用戶數(shù)據(jù)中提取模式，那么就非常有希望制定成功且有效的營(yíng)銷策略。為了分析數(shù)據(jù)，可以使用機(jī)器學(xué)習(xí)來(lái)挖掘數(shù)據(jù)并評(píng)估研究方法以獲得更有益的結(jié)果。

在未來(lái)一段時(shí)間內(nèi)，人們高度期望采用機(jī)器學(xué)習(xí)來(lái)定義有效的營(yíng)銷策略。

4）網(wǎng)絡(luò)安全的發(fā)展

網(wǎng)絡(luò)安全一直是熱門話題，黑客每天創(chuàng)建大量的惡意軟件樣本，借助計(jì)算機(jī)、網(wǎng)絡(luò)、程序和數(shù)據(jù)中心，向企業(yè)或政府發(fā)動(dòng)攻擊。

值得慶幸的是，我們擁有機(jī)器學(xué)習(xí)技術(shù)，可通過(guò)自動(dòng)執(zhí)行復(fù)雜任務(wù)并自行檢測(cè)網(wǎng)絡(luò)攻擊來(lái)提供多層保護(hù)。不僅如此，機(jī)器學(xué)習(xí)還可以擴(kuò)展為對(duì)網(wǎng)絡(luò)安全漏洞做出反應(yīng)并減輕損害。它可以自動(dòng)響應(yīng)網(wǎng)絡(luò)攻擊，而無(wú)需人工干預(yù)。

展望未來(lái)，機(jī)器學(xué)習(xí)將用于高級(jí)網(wǎng)絡(luò)防御計(jì)劃中，以控制并保存損害。

5）可解釋的人工智能-Explainable AI

XAI-可解釋的人工智能是另一個(gè)正在討論的未來(lái)AI趨勢(shì)。如今在許多行業(yè)和用例中，機(jī)器學(xué)習(xí)方法得出的結(jié)果不容易解釋。例如，數(shù)據(jù)科學(xué)家有時(shí)可能難以理解導(dǎo)致AI做出特定決定的原因，更不用說(shuō)向其他人（例如客戶）解釋了。XAI的概念是一種AI，它可以解釋自己的決策過(guò)程，它源于能夠解釋算法的推理方式的需要，因?yàn)樗€可以改進(jìn)算法并避免錯(cuò)誤。

XAI開發(fā)的主要障礙是神經(jīng)網(wǎng)絡(luò)大多不那么容易解釋，因?yàn)楦鲗臃祷貦?quán)重矩陣。已經(jīng)有一些想法正在實(shí)施，例如權(quán)重矩陣的熱圖可以改善神經(jīng)網(wǎng)絡(luò)的可解釋性?？梢钥隙ǖ氖?，未來(lái)幾年將在這一領(lǐng)域進(jìn)行更多的研究。

深度學(xué)習(xí)的誤區(qū)

目前，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理與自然科學(xué)領(lǐng)域均展開了大規(guī)模的應(yīng)用。一方面，深度學(xué)習(xí)有著比其他機(jī)器學(xué)習(xí)算法更加優(yōu)秀的普適性；另一方面，這種普適性是以更高的時(shí)間與空間復(fù)雜度為代價(jià)的。

作為一名算法工程師，需要做的不僅僅是關(guān)注算法的可行性，還需要關(guān)注算法本身的復(fù)雜度。算法的普適性使深度學(xué)習(xí)算法具有了比其他機(jī)器學(xué)習(xí)算法更加寬廣的想象空間，而這也對(duì)相關(guān)從業(yè)者提出了更高的要求，因?yàn)樾枰私舛鄠€(gè)學(xué)科的內(nèi)容。

深度學(xué)習(xí)內(nèi)容涉及的統(tǒng)計(jì)和幾何內(nèi)容是相對(duì)復(fù)雜的知識(shí)體系。初學(xué)者缺乏一個(gè)合適的實(shí)現(xiàn)過(guò)程與理論描述方式，在進(jìn)行深入學(xué)習(xí)時(shí)，往往會(huì)有以下誤區(qū)：

第一個(gè)誤區(qū)是對(duì)所有算法均試圖以圖形方式去理解或者尋找一種形象的方式去解釋。這種方式并不可取，因?yàn)槌鯇W(xué)者應(yīng)當(dāng)把精力放于公式之上，這對(duì)于算法實(shí)現(xiàn)和定量思維方式的建立都是十分重要的。

第二個(gè)誤區(qū)是試圖理解每一個(gè)公式，使學(xué)習(xí)過(guò)程無(wú)法繼續(xù)進(jìn)行。初學(xué)者應(yīng)當(dāng)先建立知識(shí)框架，也就是了解每一種算法之間的關(guān)系與內(nèi)在設(shè)計(jì)思路，在此之上再進(jìn)行對(duì)公式的理解。

第三個(gè)誤區(qū)是太過(guò)強(qiáng)調(diào)機(jī)器學(xué)習(xí)庫(kù)。機(jī)器學(xué)習(xí)庫(kù)本身僅是輔助，更多的工作需要依賴于對(duì)算法的理解。在深入理解之后就會(huì)發(fā)現(xiàn)，幾乎所有的機(jī)器學(xué)習(xí)庫(kù)，比如PyTorch、Caffe等，均是十分相近的。

要解決這些問(wèn)題，就要將精力集中于幾個(gè)部分。比如在數(shù)學(xué)基礎(chǔ)部分將主要精力放在理解什么是機(jī)器學(xué)習(xí)以及矩陣相關(guān)的概念；在深度神經(jīng)網(wǎng)絡(luò)部分希望讀者更加關(guān)注于建模思路；深度學(xué)習(xí)建模思路是相近的，理解它有助于快速遷移至其他項(xiàng)目任務(wù)之中。

《深度學(xué)習(xí)算法和實(shí)踐》力求以統(tǒng)一的數(shù)學(xué)語(yǔ)言詳細(xì)而完整地描述深度學(xué)習(xí)理論，內(nèi)容上側(cè)重于與應(yīng)用相關(guān)的重點(diǎn)算法與理論，特別是算法預(yù)測(cè)過(guò)程。每一章的寫作過(guò)程盡量避免使用圖形，取而代之的是詳細(xì)的公式描述，這使讀者初讀本書時(shí)可能有些許障礙。但習(xí)慣了公式之后就會(huì)發(fā)現(xiàn)，圖形會(huì)使我們的理解出現(xiàn)偏差，同時(shí)無(wú)法進(jìn)行實(shí)現(xiàn)，而公式則沒(méi)有這個(gè)問(wèn)題。每一章都盡量對(duì)理論有完整的公式推演過(guò)程 ，供讀者熟悉理論知識(shí)。同時(shí)，在章節(jié)最后會(huì)對(duì)公式進(jìn)行實(shí)現(xiàn)，以幫助讀者在進(jìn)行理論學(xué)習(xí)的同時(shí)通過(guò)實(shí)踐快速學(xué)握算法。
編輯：hfy