機器學(xué)習(xí)已然無處不在。它藏身于很多智能設(shè)備中，一部智能手機、一個智能音響、線上購物娛樂的一個個APP里……它像是虛擬世界和物理世界的“縫合者”，用算法和數(shù)據(jù)試圖“猜透”人心。

各大廠商對機器學(xué)習(xí)的熱情越來越高，對算法、算力和數(shù)據(jù)提出新的要求，尤其是對算力需求的激增，進一步催生相關(guān)芯片和專用設(shè)備的蓬勃創(chuàng)新，而在后摩爾時代，這種創(chuàng)新或?qū)⒊蔀橥黄扑懔O限的關(guān)鍵。

數(shù)據(jù)“喂”大的機器智能

什么是機器學(xué)習(xí)？簡單來說，機器學(xué)習(xí)使用算法在數(shù)據(jù)中發(fā)現(xiàn)模式，然后使用一個能識別這些模式的模型對新的數(shù)據(jù)進行預(yù)測。

由此可見，數(shù)據(jù)是讓一個算法從實驗室走到物理世界的關(guān)鍵。數(shù)據(jù)量、數(shù)據(jù)多樣性以及規(guī)?；摹⒊杀究煽康臄?shù)據(jù)來源渠道等都是影響最終結(jié)果的關(guān)鍵要素。其中，有一項關(guān)鍵的工作需要大量的人力參與——數(shù)據(jù)的社會化標注?！澳撤N意義上，機器永遠離不開人類?！卑涅i（Appen）中國產(chǎn)品總監(jiān)張童皓對集微網(wǎng)表示。澳洲公司Appen成立于1996年，多年來一直是AI產(chǎn)業(yè)鏈中比較靠前的數(shù)據(jù)節(jié)點來為客戶提供服務(wù)，業(yè)務(wù)涉及提供圖像、文本、語音、音頻、視頻及其他數(shù)據(jù)收集和標注服務(wù)。

眾所周知，神經(jīng)網(wǎng)絡(luò)是當前人工智能發(fā)展的基石技術(shù)。“神經(jīng)網(wǎng)絡(luò)的專長就是在像素點里面嘗試著取出一系列的關(guān)鍵點，而這些關(guān)鍵點是由人工標注出來的?！睆埻┱f，“如果你丟給機器一堆無規(guī)則的隨機圖片，它永遠都不知道這個圖片里面有人?！?/p>

隨著AI應(yīng)用要求的不斷提升，訓(xùn)練的難度和對數(shù)據(jù)的要求也隨之提升。張童皓告訴集微網(wǎng)，他們曾經(jīng)為配合一家手機客戶的一項算法訓(xùn)練提供數(shù)據(jù)服務(wù)，拍攝全世界各地不同經(jīng)度、不同緯度的月亮照片。“如果采用在一個國家的不同地方所觀察到的月亮，而不是在全球各個地方實地觀察，那么其標注的數(shù)據(jù)一旦應(yīng)用于全世界數(shù)據(jù)中，錯誤的數(shù)據(jù)將會給后續(xù)一系列應(yīng)用帶來錯誤的結(jié)果。”目前Appen的平臺上有超過100萬名參與人工智能數(shù)據(jù)收集、標注的人員，他們來自全球130個國家或地區(qū)的7萬多個地方，涵蓋180 多種語言和方言。

機器對數(shù)據(jù)的“胃口”越來越越大。以谷歌的BERT為例，這是該公司2018年建立并用于其搜索引擎的AI語言模型，它具有超過3.5億個內(nèi)部參數(shù)，使用33億個文字單詞進行了訓(xùn)練，大部分來自在線的維基百科。而研究人員稱，如果可以用更大的數(shù)據(jù)量，比如300億個單詞訓(xùn)練一個系統(tǒng)，那么它的性能顯然將更好。而更多的數(shù)據(jù)意味著需要更多的計算能力來處理這一切。

算力需求激增 催生芯片創(chuàng)新

據(jù)《經(jīng)濟學(xué)人》統(tǒng)計，從2012年到2018年，用于訓(xùn)練大型模型的計算能力已增長了30萬倍，并且約每三個半月翻一番。值得注意的是，支持這一發(fā)展速度需要的遠不止摩爾定律所能實現(xiàn)的改進。更何況如今正值摩爾定律走向枯竭之際，如何不斷提升系統(tǒng)性能以滿足人工智能訓(xùn)練的需求？后摩爾時代的AI革命顯然需要新的顛覆——從計算架構(gòu)開始，做算法、硬件和軟件的共同優(yōu)化變得尤為關(guān)鍵。

對算力需求的激增，也進一步催生AI專用芯片和專用設(shè)備的蓬勃發(fā)展，并促使芯片層面的多種創(chuàng)新。

張童皓也觀察到了芯片技術(shù)和機器學(xué)習(xí)之前的相互影響。他指出，基于機器學(xué)習(xí)的芯片架構(gòu)發(fā)展，已經(jīng)從最初的硬件通用化到場景定制化服務(wù)，“很多AI行業(yè)的領(lǐng)頭羊在特定芯片模組上的投入，都是在服務(wù)AI場景化落地?！?/p>

比如，蘋果的自研芯片里有一個專門用于機器學(xué)習(xí)的處理器——神經(jīng)引擎，它和CPU、GPU一起處理機器學(xué)習(xí)所需要的大量的運算。據(jù)蘋果公司全球副總裁葛越在今年上海的世界人工智能大會上透露，該神經(jīng)引擎每秒鐘可以完成高達五萬億次的運算。此外，谷歌自行設(shè)計了TPU（張量處理單元）芯片，百度自行開發(fā)的AI芯片“昆侖”。英特爾則在去年12月以20億美元收購了以色列公司哈瓦那實驗室（Habana Labs），該公司的云端AI推理芯片已經(jīng)商用。成立于2016年的英國公司Graphcore則正在開發(fā)一種新型處理器——IPU（intelligent processing unit，智能處理器），可以幫助加速機器智能產(chǎn)品和服務(wù)的開發(fā)，該公司2019年的估值已達到20億美元。

此類創(chuàng)新將變得越來越重要，因為AI引發(fā)的計算能力需求的激增正值摩爾定律逐漸枯竭之際——在過去50年里，傳統(tǒng)數(shù)字計算機的性能按照摩爾定律一路提升——集成電路（微芯片）的容量大約每18-24個月翻一番。如今，數(shù)字計算機性能的發(fā)展速度似乎正在放慢。

突破摩爾定律的嘗試

摩爾定律和馮諾依曼架構(gòu)的瓶頸在算力需求激增之下日益凸顯。尋找新的替代方案突破蠻力計算變得尤為重要。

復(fù)旦大學(xué)信息學(xué)院研究員、新氦類腦智能首席科學(xué)家鄒卓教授指出，摩爾定律的挑戰(zhàn)在于——無法承受的能耗密度，原子尺度的尺寸、制程、器件的不穩(wěn)定性和偏差，以及比例縮小并沒有帶來實質(zhì)性的性能提升，高昂的研發(fā)和制造成本。與此同時，馮諾依曼計算架構(gòu)不斷抵近極限，即內(nèi)存的讀取速度和芯片的處理速度漸漸難以實現(xiàn)同步。

量子計算是一種解決方式——利用量子力學(xué)的反直覺特性來大幅加速某些類型的計算。比如，微軟研究院量子架構(gòu)與計算小組負責(zé)人提出一種稱為葛洛沃算法（Grover‘s algorithm）的量子計算技術(shù)，該技術(shù)有望大大提高計算速度。因為關(guān)于機器學(xué)習(xí)的一種思考方式是將其視作優(yōu)化問題，即計算機試圖在數(shù)百萬個變量之間折中取舍，以求出誤差盡可能小的解

另一種思路則是從生物學(xué)中得到啟發(fā)。這個領(lǐng)域以大腦的神經(jīng)網(wǎng)絡(luò)架構(gòu)為基礎(chǔ)開發(fā)下一代計算機。神經(jīng)形態(tài)計算聚焦脈沖神經(jīng)網(wǎng)絡(luò)（spiking neural network，SNN）被業(yè)界稱作第三代神經(jīng)網(wǎng)絡(luò)

“生物是很高效的計算系統(tǒng)?！编u卓指出，借助類腦技術(shù)大規(guī)模并行、事件驅(qū)動、實施環(huán)境交互、感算存緊密耦合協(xié)同等特點，開發(fā)能夠如人腦般感知、傳遞、處理和運用信息的智能芯片與系統(tǒng)，有望突破摩爾定律以及馮諾依曼架構(gòu)的瓶頸。

“像人腦一樣的存算一體，打破了傳統(tǒng)馮諾依曼架構(gòu)存儲計算分離的架構(gòu)，這是類腦計算的核心突破?！毙潞ゎ惸X智能企業(yè)戰(zhàn)略總監(jiān)程韞韻對集微網(wǎng)解釋，存算一體的模式，即把內(nèi)存和計算單元兩者作為一個單元，不會因計算任務(wù)的架構(gòu)復(fù)雜化而功耗激增，這也讓計算耗電和散熱兩大難題找到了新的方向。

Facebook內(nèi)部做過一項統(tǒng)計，其AI負責(zé)人曾透露，該公司那些最大型的模型進行一輪訓(xùn)練可能需要耗費數(shù)百萬美元的電力。相比之下，同樣的情況人腦消耗的能量可能僅需其千分之一。

看起來，這似乎在突破蠻力計算上充滿潛力，近年來不少科技公司也都涉足研究“神經(jīng)形態(tài)”芯片。

2011年，IBM發(fā)布了TrueNorth芯片。2014年TrueNorth更新了第二代，功耗達到了平方厘米消耗20毫瓦，印證了類腦芯片的低功耗價值，也在一些AI任務(wù)上印證了類腦芯片的實際工作能力。緊隨其后的是英特爾。2017年，英特爾發(fā)布了類腦芯片Loihi，其擁有13萬個人造突觸。2019年7月，英特爾又發(fā)布了首個大規(guī)模神經(jīng)形態(tài)計算系統(tǒng)Pohoiki Beach。該系統(tǒng)由64塊Loihi組合而成，可以在自動導(dǎo)航、陸續(xù)規(guī)劃等需要高效執(zhí)行的AI任務(wù)中帶來高于GPU的功耗和處理能力。此外，高通也開發(fā)過名為Zeroth的類腦芯片。中國業(yè)界在該領(lǐng)域也加緊投入，如浙大的“達爾文”芯片、清華的“天機”芯片等都已在路上。其中清華的“天機”芯片作為全球首款異構(gòu)融合類腦芯片去年登上了《自然》（Nature）雜志封面。

但需要指出的是，這一切都尚未成熟。量子計算的應(yīng)用落地還面臨很多工程設(shè)計問題。類腦智能層面，一方面科學(xué)家仍然不完全了解大腦究竟是怎么工作的，另一方面適配類腦計算的架構(gòu)、算法、編程方案等等也處在廣泛的空白期。

顯然，找到繞開比特編程和摩爾定律的替代方案，并使之從實驗室步入現(xiàn)實世界，還有很長的路要走。
責(zé)任編輯:tzh