在本文中，我將討論專為機(jī)器學(xué)習(xí)/人工智能應(yīng)用開發(fā)的硬件，以及該領(lǐng)域的機(jī)遇。并簡要介紹英偉達(dá)是如何在機(jī)器學(xué)習(xí)硬件領(lǐng)域?qū)崿F(xiàn)近乎壟斷的地位，以及為什么幾乎沒有人能成功挑戰(zhàn)它。

在過去的10年中，專用于機(jī)器學(xué)習(xí)應(yīng)用的硬件研究迅猛發(fā)展，硬件與機(jī)器學(xué)習(xí)棧的每個部分都有關(guān)系。這種硬件可加速訓(xùn)練和推理，減少延遲時間，降低功耗，并降低這些設(shè)備的零售成本。當(dāng)前通用的機(jī)器學(xué)習(xí)硬件解決方案是英偉達(dá)GPU，這使得英偉達(dá)在市場上占據(jù)主導(dǎo)地位，并使其估值超越英特爾。

隨著前景廣闊的研究不斷涌現(xiàn)，英偉達(dá)繼續(xù)通過出售GPU和它的專有CUDA工具箱來主導(dǎo)這個領(lǐng)域。不過，我認(rèn)為有四個因素將挑戰(zhàn)英偉達(dá)的統(tǒng)治地位，并且最快今年，也肯定會在2~3年內(nèi)改變機(jī)器學(xué)習(xí)硬件的格局。

這個領(lǐng)域的學(xué)術(shù)研究正在成為主流。摩爾定律已死。隨著它的消亡，“技術(shù)和市場力量正在將計算推向相反的方向，使得計算機(jī)處理器不再是通用的，而是更加專業(yè)化的?！保ǔ鎏帲┩顿Y人和創(chuàng)始人都認(rèn)識到，人工智能不僅能開辟新的領(lǐng)域，而且能增加他們的預(yù)算。人工智能產(chǎn)生的碳排放量過高，而且越來越高。我們需要讓計算更加節(jié)能。

背景

下面是典型的機(jī)器學(xué)習(xí)管道的樣子：

對于大多數(shù)數(shù)據(jù)科學(xué)工作流而言，在訓(xùn)練和部署大型模型之前，通用芯片，如CPU，就已經(jīng)足夠了。GPU在“深度學(xué)習(xí)”（涉及視覺和自然語言處理等任務(wù)的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)）中幾乎總是必不可少的。為深度學(xué)習(xí)提供GPU工作站的LambdaLabs公司估計，包括英偉達(dá)的頂級GPU集群在內(nèi)，訓(xùn)練GPT-3的費(fèi)用大約為460萬美元。

使用GPU的主要優(yōu)點(diǎn)是，與傳統(tǒng)CPU相比，GPU可以并行地執(zhí)行計算，數(shù)據(jù)吞吐量更高。計算過程中，機(jī)器學(xué)習(xí)的核心計算部分是矩陣乘法，并行運(yùn)行時能大大提高運(yùn)算速度。專有的英偉達(dá)CUDA提供了API和工具，以便開發(fā)者可以利用這種并行化。像TensorFlow和PyTorch這樣的流行庫將其抽象出來，其中一行代碼會自動檢測GPU，然后利用CUDA后端。若要設(shè)計一種新的算法或庫，需要利用并行計算的優(yōu)勢，CUDA提供的工具會使這一工作更加簡單。

上世紀(jì)90年代初，英偉達(dá)作為一家視頻游戲公司起家，希望能提供能快速繪制3D圖像的圖像芯片。它在這一業(yè)務(wù)上取得了成功，在與另一家顯卡制造商AMD的不斷交鋒中，始終如一地制造出一些最強(qiáng)大的GPU。巧合的是，同樣的圖形硬件竟然成了深度學(xué)習(xí)騰飛不可或缺的因素。CUDA讓英偉達(dá)比其他GPU更有優(yōu)勢。

2006年，英偉達(dá)發(fā)布了第一個CUDA工具包，它提供了一個API，可以讓使用GPU變得非常簡單。3年后，2009年，斯坦福大學(xué)人工智能教授吳恩達(dá)及其合作者發(fā)表了一篇題為《使用圖形處理器的大規(guī)模無監(jiān)督式深度學(xué)習(xí)》（Large-scaleDeepUnsupervisedLearningusingGraphicsProcessors）的論文，指出如果GPU用于訓(xùn)練，大規(guī)模的深度學(xué)習(xí)就有可能實(shí)現(xiàn)。

一年后，吳恩達(dá)和斯坦福大學(xué)的另一位教授，GoogleX的共同創(chuàng)始人，SebastianThrun，向拉里·佩奇提出了在谷歌成立深度學(xué)習(xí)研究團(tuán)隊的想法，該團(tuán)隊后來成為GoogleBrain。伴隨著GoogleBrain的崛起和“Imagenet時刻”的到來，英偉達(dá)的GPU已經(jīng)成為人工智能/機(jī)器學(xué)習(xí)行業(yè)事實(shí)上的計算標(biāo)準(zhǔn)。如需更多信息，請參閱這篇文章《新的英特爾：英偉達(dá)如何從驅(qū)動視頻游戲到革新人工智能》（TheNewIntel：HowNvidiaWentFromPoweringVideoGamesToRevolutionizingArtificialIntelligence）。

概述：現(xiàn)狀

英偉達(dá)憑借其GPU在深度學(xué)習(xí)硬件領(lǐng)域占據(jù)主導(dǎo)地位，這在很大程度上要?dú)w功于CUDA。據(jù)福布斯報道，“2019年5月，前四大云計算供應(yīng)商在97.4%的基礎(chǔ)設(shè)施即服務(wù)（IaaS）計算實(shí)例類型中部署了英偉達(dá)GPU，并配備了專用加速器”。面對競爭，它也沒有坐以待斃。

谷歌早在2015年就開發(fā)了專門為神經(jīng)網(wǎng)絡(luò)開發(fā)的人工智能加速器芯片TPU。在其作為特定領(lǐng)域加速器的狹義用例中，TPU比GPU更快，也更便宜，但在谷歌的GCP生態(tài)系統(tǒng)中，TPU被隔離起來，僅有TensorFlow和PyTorch支持（其他庫需要自己編寫TPU編譯器）。

AWS正在對自己的芯片下賭注，尤其是機(jī)器學(xué)習(xí)。到目前為止，AWSInferentia芯片似乎是最成功的。這在很大程度上取決于開發(fā)者從CUDA切換到亞馬遜Inferentia和其他芯片的工具包的難易程度。

2019年12月，英特爾以20億美元的價格收購了HabanaLabs，這是一家以色列公司，為訓(xùn)練和推理工作負(fù)載制造芯片和硬件加速器。英特爾的投資似乎得到了回報，上個月，AWS宣布將提供運(yùn)行Habana芯片的新EC2實(shí)例，“與當(dāng)前基于GPU的EC2實(shí)例相比，為機(jī)器學(xué)習(xí)工作負(fù)載提供高達(dá)40%的價格性能”。英特爾還推出了新的XeonCPU系列，它認(rèn)為可與英偉達(dá)的GPU競爭。

Xilinx是一家發(fā)明FPGA的上市公司，最近又涉足人工智能加速器芯片領(lǐng)域，2020年10月被AMD收購。

對人工智能計算能力的需求正在加速。

變化與機(jī)遇

正如我在上面提到的，我的設(shè)想是，到2021年及以后，英偉達(dá)的主導(dǎo)地位將會受到越來越多的挑戰(zhàn)和侵蝕。造成這種情況的原因有四個：

1.學(xué)術(shù)研究變成真正的產(chǎn)品

學(xué)術(shù)界和工業(yè)界研究人員創(chuàng)立的一些初創(chuàng)公司已經(jīng)開始研究機(jī)器學(xué)習(xí)專用硬件，而且還有更多的開發(fā)空間。在這個領(lǐng)域發(fā)表的論文并不只是提出理論上的保證，它還展示了真正的硬件原型，這些原型實(shí)現(xiàn)了比商業(yè)可用選項更好的指標(biāo)。（實(shí)例1、實(shí)例2和實(shí)例3）

芯片和硬件加速器的種類很多，每一種都有其蓬勃發(fā)展的研究社區(qū)。簡單地列舉一些：

專用集成電路（ASIC）。谷歌TPU和AWSInferentia都是ASIC的例子。ASIC產(chǎn)品的研發(fā)和生產(chǎn)成本可能高達(dá)5000萬美元，但是復(fù)制產(chǎn)品的邊際成本通常很低。ASIC可以被設(shè)計成低功耗的，而且不會對性能有太大的影響。

現(xiàn)場可編程邏輯門陣列（FPGA）。FPGA對于高頻交易者來說已稀松平常，但在機(jī)器學(xué)習(xí)方面的例子包括微軟的Brainwave和英特爾的Arria。單個FPGA的生產(chǎn)成本較低，但多個FPGA的生產(chǎn)邊際成本要高于ASIC。

神經(jīng)形態(tài)計算。該領(lǐng)域試圖對人腦的生物結(jié)構(gòu)進(jìn)行建模，并將其轉(zhuǎn)換成硬件。盡管神經(jīng)形態(tài)學(xué)的思想可以追溯到20世紀(jì)80年代，但該領(lǐng)域仍處于起步階段。在《自然》上有一篇很好的綜述性論文。

更多內(nèi)容請參閱此項調(diào)查報告《機(jī)器學(xué)習(xí)加速芯片綜述》（SurveyofMachineLearningAccelerators），并關(guān)注ISCAS。

使用上述研究結(jié)果的一些有前途的初創(chuàng)公司：

Blaize于2019年宣稱已經(jīng)開發(fā)出一種完全可編程的低功耗處理器，可實(shí)現(xiàn)10倍的低延遲，并且“系統(tǒng)效率最高可提高60%”。

SambaNovaSystems是由斯坦福大學(xué)教授和甲骨文前高管創(chuàng)立的初創(chuàng)公司，由谷歌風(fēng)投和英特爾資本出資組建。它剛剛宣布了一項新產(chǎn)品，該產(chǎn)品是一個“完整、集成的軟件和硬件系統(tǒng)平臺，可以對從算法到芯片的數(shù)據(jù)流進(jìn)行優(yōu)化”。

Graphcore是一家英國初創(chuàng)公司，由紅杉、微軟、寶馬和DeepMinds創(chuàng)始人領(lǐng)投。

2.摩爾定律已死，但無論如何，專用硬件都是未來趨勢

摩爾定律預(yù)測，集成電路上的晶體管數(shù)量每兩年就會增加一倍。自20世紀(jì)70年代以來，這在經(jīng)驗(yàn)上一直是正確的，并且是我們從那時起所看到的技術(shù)進(jìn)步的代名詞：個人計算革命、傳感器和攝像頭的改進(jìn)、移動設(shè)備的興起，以及為人工智能提供充足資源的崛起，凡是你能想到的一切。唯一的問題是，摩爾定律即將結(jié)束，如果它還沒有結(jié)束的話?！翱s小芯片的難度越來越大，這已經(jīng)不是什么秘密了，而且這樣做的好處也今非昔比了。去年，英偉達(dá)的創(chuàng)始人黃仁勛直言不諱地認(rèn)為，‘摩爾定律已不再可能了’?！薄督?jīng)濟(jì)學(xué)人》（TheEconomist）寫道。

麻省理工學(xué)院經(jīng)濟(jì)學(xué)家NeilThompson在《麻省理工科技評論》（MITTechnologyReview）上解釋說：“軟件和專業(yè)架構(gòu)方面的進(jìn)步現(xiàn)在將開始有選擇地針對特定的問題和商業(yè)機(jī)會，對那些有充足資金和資源的人有利，而不是像摩爾定律那樣‘水漲船高’，通過提供速度更快、成本更低的芯片來普及?！币恍┤?，包括Thomspon在內(nèi)的，都認(rèn)為，“這是一個消極的發(fā)展，因?yàn)橛嬎阌布㈤_始分裂為“‘快車道’應(yīng)用和‘慢車道’應(yīng)用程序，前者使用功能強(qiáng)大的定制芯片，而后者則被卡在使用通用芯片上，而且其進(jìn)展緩慢?！?/p>

對于這個問題，分布式計算常常是一種解決方案：讓我們使用功能更少、成本更低的資源，但要使用大量的資源。但是，就連這種方案也越來越昂貴（更別提分布式梯度下降算法的復(fù)雜性了）。

那么，接下來會發(fā)生什么呢？2018年，CMU的研究人員在《自然》上發(fā)表了一篇論文，題為《摩爾定律末期的科學(xué)研究政策》（ScienceandresearchpolicyattheendofMoore’slaw），該論文指出，私營部門將重點(diǎn)放在短期盈利上，這使得摩爾定律很難找到通用的繼承者。他們呼吁公私合作，共同創(chuàng)造計算硬件的未來。

雖然我并不反對公私合作（給予他們更多的權(quán)利），但我認(rèn)為未來的計算硬件將是專用芯片的集合，當(dāng)它們協(xié)同工作時，它們比現(xiàn)在的CPU更能勝任通用任務(wù)。我相信蘋果向自己的芯片過渡是朝著這個方向邁出的一步，這證明了軟硬件集成系統(tǒng)將優(yōu)于傳統(tǒng)芯片。特斯拉也在自動駕駛中采用了自己的硬件。我們需要的是大量的新玩家涌入硬件生態(tài)系統(tǒng)，這樣專業(yè)芯片的好處就可以實(shí)現(xiàn)大眾化，并分布在昂貴的筆記本電腦、云服務(wù)器和汽車之外。（我敢說……是時候打造了嗎？）

3.創(chuàng)始人和投資者擔(dān)心成本上漲

AndreessenHorowitz的MartinCasado和MattBornstein在去年年初發(fā)表了一篇題為《人工智能的新業(yè)務(wù)（及其與傳統(tǒng)軟件的區(qū)別》（TheNewBusinessofAI（andHowIt’sDifferentFromTraditionalSoftware））的文章，他們認(rèn)為人工智能的業(yè)務(wù)與傳統(tǒng)軟件是不同的。說到底，一切都與利潤有關(guān)?！霸朴嬎慊A(chǔ)設(shè)施對人工智能公司來說是一個巨大的成本，有時甚至是隱性成本”。正如我所提到的那樣，訓(xùn)練人工智能模型可能需要花費(fèi)數(shù)千美元（如果你是OpenAI，你就得花數(shù)百萬美元），但成本并不止于這些。人工智能系統(tǒng)必須得到持續(xù)監(jiān)控和改進(jìn)。如果你的模型是“離線”訓(xùn)練的，那么它很容易出現(xiàn)概念漂移，即現(xiàn)實(shí)世界中的數(shù)據(jù)分布隨著時間的推移與你訓(xùn)練的數(shù)據(jù)發(fā)生變化。這種情況可能是自然發(fā)生的，也可能是對抗性的，比如當(dāng)用戶試圖欺騙信用風(fēng)險算法時。出現(xiàn)這種情況時，就必須對模型進(jìn)行再訓(xùn)練。

對于降低概念漂移和創(chuàng)建與現(xiàn)有模型具有相同性能保證的更小的模型有一些積極的研究，但這是另一篇文章的主題。同時，該行業(yè)也正在推進(jìn)更大的模型和更大的計算支出。更便宜、更專業(yè)的人工智能芯片無疑會降低這些成本。

4.訓(xùn)練大型模型有助于氣候變化

由馬薩諸塞大學(xué)阿默斯特分校進(jìn)行的一項研究發(fā)現(xiàn)，訓(xùn)練一個現(xiàn)成的自然語言處理模型所產(chǎn)生的碳排放量相當(dāng)于從舊金山飛往紐約的一次航班。在三大云計算供應(yīng)商中，只有谷歌的數(shù)據(jù)中心超過50%的能源來自可再生能源。

但我認(rèn)為，我不必列出我們?yōu)槭裁匆獪p少人工智能的碳排放。我想說的是，現(xiàn)有的芯片耗電量過大，而且研究表明，其他類型的硬件加速器，如FPGA和超低能耗芯片（如谷歌TPUEdge），對于機(jī)器學(xué)習(xí)和其他任務(wù)來說，可以更加節(jié)能。

即使是地理也會影響到人工智能的碳排放。斯坦福大學(xué)的研究人員估計，“在主要依賴頁巖油的愛沙尼亞舉行一次會議，其產(chǎn)生的碳排放量是在魁北克舉行的會議的30倍，而魁北克主要依靠水力發(fā)電?！?/p>

已露端倪

我已經(jīng)提到了人工智能的硬件，但是人工智能的硬件怎么樣？谷歌最近申請了一項專利，該專利是關(guān)于一種利用強(qiáng)化學(xué)習(xí)來確定跨多個硬件設(shè)備的機(jī)器學(xué)習(xí)模型操作的位置的方法。這項專利背后的研究人員之一是AzaleaMirhoseini，她在GoogleBrain負(fù)責(zé)機(jī)器學(xué)習(xí)硬件/系統(tǒng)的登月計劃。
責(zé)任編輯人：CC