多核計(jì)算芯片領(lǐng)域國(guó)際權(quán)威Kunle Olukotun教授：解讀用摩爾定律擴(kuò)展機(jī)器學(xué)習(xí)性能

4月18日，由鯤云科技協(xié)辦的2018全球人工智能應(yīng)用創(chuàng)新峰會(huì)在深圳落下帷幕，一場(chǎng)聚焦于人工智能落地應(yīng)用的高端峰會(huì)暫告一段落。而峰會(huì)所傳達(dá)的最新科研成果和前沿思想?yún)s在持續(xù)發(fā)酵。

峰會(huì)上，鯤云邀請(qǐng)到了來(lái)自全球人工智能各個(gè)領(lǐng)域的權(quán)威大咖進(jìn)行個(gè)人演講，分享他們的最新觀點(diǎn)。本文所分享的《摩爾定律對(duì)機(jī)器學(xué)習(xí)的性能提升》，便是由其中一位大咖——Kunle Olukotun教授帶來(lái)的。

Kunle Olukotun是斯坦福大學(xué)教授，Afara芯片創(chuàng)始人，UltraSPARC T1 芯片架構(gòu)師。是多核計(jì)算芯片領(lǐng)域國(guó)際權(quán)威。

在他的演講中，Kunle Olukotun教授介紹了DAWN（數(shù)據(jù)分析的下一步）項(xiàng)目。 其中包括一系列用于開(kāi)發(fā)機(jī)器學(xué)習(xí)加速器的算法，方法和工具。這些加速器可由具有特定領(lǐng)域知識(shí)但沒(méi)有硬件或機(jī)器學(xué)習(xí)背景的人員開(kāi)發(fā)。通過(guò)忽略多核鎖定; 低精度算術(shù);并行編程語(yǔ)言和設(shè)計(jì)空間探索，該項(xiàng)目幫助提供高性能，高生產(chǎn)力和高效率的機(jī)器學(xué)習(xí)實(shí)現(xiàn)。

Kunle Olukotun 教授

今天非常高興跟大家講一下“用摩爾定律擴(kuò)展機(jī)器學(xué)習(xí)性能”，我們這個(gè)項(xiàng)目的名字叫做下一階段的數(shù)據(jù)分析。

機(jī)器學(xué)習(xí)的興起

最近在影像識(shí)別、自然語(yǔ)言處理的進(jìn)步，都是由機(jī)器學(xué)習(xí)所驅(qū)動(dòng)的。這些應(yīng)用已經(jīng)在整個(gè)社會(huì)產(chǎn)生了非常重大的影響，我們覺(jué)得未來(lái)可能會(huì)出現(xiàn)自動(dòng)駕駛的汽車，另外有一些更個(gè)性化的藥物，比如根據(jù)基因序列產(chǎn)生出來(lái)的。它的藥物作用是專門為你的基因所創(chuàng)造出來(lái)的。還可以進(jìn)行醫(yī)療的診斷和預(yù)測(cè)。預(yù)測(cè)的質(zhì)量有可能比醫(yī)生預(yù)測(cè)的質(zhì)量更高，所以機(jī)器學(xué)習(xí)有非常大的潛力。

開(kāi)發(fā)高質(zhì)量的機(jī)器學(xué)習(xí)應(yīng)用，非常具有挑戰(zhàn)性。前景非常好，但要開(kāi)發(fā)應(yīng)用程序卻非常具有挑戰(zhàn)性。這需要我們有深入的機(jī)器學(xué)習(xí)的知識(shí)、定制的工具以及這些要素如何組合以實(shí)現(xiàn)高性能的系統(tǒng)。

DAWN 提案

我們研究的項(xiàng)目包括什么？只要有數(shù)據(jù)以及某一個(gè)領(lǐng)域?qū)I(yè)的知識(shí)，我們可以使任何人建立起自己的產(chǎn)品級(jí)機(jī)器學(xué)習(xí)產(chǎn)品。這也意味著這樣的人不需要有機(jī)器學(xué)習(xí)方面博士學(xué)位，也沒(méi)有必要成為一個(gè)DB系統(tǒng)的專家，更不需要理解最新的硬件。如果不了解最新硬件，不具備這方面的情況下，機(jī)器學(xué)習(xí)可以怎么樣做呢？

20世紀(jì)80年代的機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)在20世紀(jì)80年代，這里顯示的是例如影像識(shí)別或者自然語(yǔ)言處理任務(wù)的準(zhǔn)確度以及它跟你對(duì)于機(jī)器學(xué)習(xí)的算法所提供的數(shù)據(jù)規(guī)模的關(guān)系。

80年代，當(dāng)我們第一次討論機(jī)器學(xué)習(xí)時(shí)，大家知道怎么樣建立起一個(gè)多層神經(jīng)網(wǎng)絡(luò)。那個(gè)時(shí)代，一個(gè)普通的算法表現(xiàn)反倒更好，機(jī)器學(xué)習(xí)表現(xiàn)沒(méi)有那么好。因?yàn)闄C(jī)器學(xué)習(xí)需要更多計(jì)算、更加復(fù)雜的模型。當(dāng)然，機(jī)器學(xué)習(xí)有了這些之后，就能超過(guò)傳統(tǒng)的算法。這就是為什么現(xiàn)在對(duì)于機(jī)器學(xué)習(xí)有那么多高期望。

軟件 1.0 vs 軟件 2.0

換句話說(shuō)，在說(shuō)到軟件2.0，就是實(shí)現(xiàn)的一個(gè)概念，軟件1.0大家都懂，先寫代碼，寫完之后還要理解某一個(gè)領(lǐng)域，再把這個(gè)領(lǐng)域的專業(yè)知識(shí)進(jìn)行應(yīng)用。這樣就可以做一個(gè)算法出來(lái)，然后可以把這個(gè)算法放到一個(gè)系統(tǒng)中。但軟件2.0就不一樣了。2.0你要做一個(gè)模型，就是一個(gè)神經(jīng)網(wǎng)絡(luò)，然后要把一些數(shù)據(jù)放到一個(gè)神經(jīng)網(wǎng)絡(luò)的架構(gòu)中。軟件2.0中最重要的一點(diǎn)是訓(xùn)練的數(shù)據(jù)量和能夠訓(xùn)練一個(gè)非常復(fù)雜的神經(jīng)網(wǎng)絡(luò)的能力。這是要看計(jì)算能力了。訓(xùn)練數(shù)據(jù)就是編程2.0的關(guān)鍵。

訓(xùn)練數(shù)據(jù)的機(jī)遇和挑戰(zhàn)

我現(xiàn)在想跟大家說(shuō)一下訓(xùn)練數(shù)據(jù)。我們經(jīng)常說(shuō)訓(xùn)練數(shù)據(jù)就是新時(shí)代的石油。如果你想要做一些全新的基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)，就需要訓(xùn)練數(shù)據(jù)，也必須要標(biāo)簽。你要知道這是一個(gè)貓，那是一只狗，那是一部車。如果這是很簡(jiǎn)單的貼標(biāo)簽，那網(wǎng)上隨便誰(shuí)都可以做。但如果要看一個(gè)非常復(fù)雜的圖像，比如診斷一個(gè)人有沒(méi)有患癌，就需要一個(gè)專家。

呼吸管主要想法

這種訓(xùn)練數(shù)據(jù)的獲得就更加難。傳統(tǒng)訓(xùn)練的另外一個(gè)問(wèn)題是，標(biāo)簽是靜態(tài)的。但其實(shí)你要解決的問(wèn)題不同，可能把這個(gè)標(biāo)簽改變了。但這個(gè)訓(xùn)練數(shù)據(jù)不會(huì)進(jìn)行進(jìn)化。我們做model時(shí)就在想怎么樣才能更加容易更加高層次的生成訓(xùn)練數(shù)據(jù)，讓我們更加容易的創(chuàng)造更多的訓(xùn)練數(shù)據(jù)。我們叫做弱監(jiān)督，不再給很多標(biāo)簽，而是有更多的噪音輸入，給它們進(jìn)行訓(xùn)練。

整個(gè)系統(tǒng)看起來(lái)像是這樣的，用一個(gè)標(biāo)簽功能。比如你看到這個(gè)化學(xué)物品，可能這個(gè)人得了那種病，就可以生成一系列標(biāo)簽功能，再把它跟數(shù)據(jù)合成。這樣就可以去噪音，可以知道哪個(gè)標(biāo)簽是比較好用的，哪個(gè)標(biāo)簽成功率是90%，哪個(gè)標(biāo)簽只有50%的正確率。在基于有概率的標(biāo)簽，就能夠做一個(gè)噪聲感知的判別模型。

我們的目標(biāo)是希望能夠用這個(gè)創(chuàng)建應(yīng)用程序。比如這是一個(gè)知識(shí)庫(kù)，我們想做的事情是讓這個(gè)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練變得更加容易，希望讓這個(gè)訓(xùn)練的數(shù)據(jù)更加容易。解決方案就是創(chuàng)造另外一個(gè)全新的神經(jīng)網(wǎng)絡(luò)模型。如果要讓我們更加容易的做這個(gè)神經(jīng)網(wǎng)絡(luò)，讓軟件2.0做得更加容易，要做更多神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，要做更多計(jì)算。

機(jī)器學(xué)習(xí)受計(jì)算限制

這個(gè)機(jī)器訓(xùn)練模型是受到計(jì)算能力所限制的。百度的工程師說(shuō)可能需要讓計(jì)算性能改善100倍。我們?cè)趺醋龅?？比如這個(gè)微處理器的改善，這是在過(guò)去40年微處理器改善的趨勢(shì)，我的研究團(tuán)隊(duì)參加了這個(gè)研究。在這里會(huì)看到最頂層的是摩爾定律。每隔18月或者2年處理器性能會(huì)翻一番。但這個(gè)單線程的性能已經(jīng)達(dá)到一個(gè)頂點(diǎn)，主要是因?yàn)楣牡膯?wèn)題，因?yàn)楣氖怯邢拗频?。這就限制了我們進(jìn)行計(jì)算的能力。

當(dāng)然，這也就影響了隨之的表現(xiàn)以及影響了整個(gè)行業(yè)。這個(gè)行業(yè)就在一個(gè)芯片上多放一些核，就能有效使用能耗，不需要一個(gè)芯片把所有的事都做了。我也參與到這個(gè)多核的技術(shù)研發(fā)中。說(shuō)到能耗和性能時(shí)，可以說(shuō)這個(gè)能耗是效率乘性能就等于整個(gè)能耗。你就會(huì)知道功率是固定的，但你想要做的事情是希望它的性能可以改善，性能改善就可以訓(xùn)練更加復(fù)雜的神經(jīng)網(wǎng)絡(luò)的模型。

每年機(jī)器學(xué)習(xí)Arxiv論文

但問(wèn)題是軟件的算法也沒(méi)有在原地踏步。這就給我們看到Arxiv的論文，在過(guò)去十幾年，關(guān)于機(jī)器學(xué)習(xí)的論文的增長(zhǎng)，它的增長(zhǎng)是比摩爾定律更快。我們看到有多新的想法不斷創(chuàng)造出來(lái)，但是我們沒(méi)有辦法去執(zhí)行這些好的想法。

要懂執(zhí)行這些算法的硬件，我們需要的時(shí)間更加長(zhǎng)，它比軟件算法的改善需要的時(shí)間更長(zhǎng)。你的Arxiv設(shè)計(jì)時(shí)間大概需要兩年。運(yùn)用在Arxiv的想法在它做完時(shí)就已經(jīng)過(guò)時(shí)了，因?yàn)樵O(shè)計(jì)時(shí)間那么長(zhǎng)。

所以我們必須找一個(gè)更加靈活的方法解決這個(gè)問(wèn)題。我們到現(xiàn)在還不知道到底是要讓這個(gè)通用的機(jī)器設(shè)計(jì)怎么進(jìn)行設(shè)計(jì)，而且現(xiàn)在的機(jī)器視覺(jué)想做的東西可能跟自然語(yǔ)言不一樣，跟決策也不一樣。比如商業(yè)決策或者其他地方的決策，也是不一樣的。我們當(dāng)然想要加快機(jī)器學(xué)習(xí)的速度，希望它們至少能夠增加100倍。另外我們也希望讓它每瓦特的性能提高，讓我們可以在TB甚至PB上的大數(shù)據(jù)用實(shí)時(shí)/交互式機(jī)器學(xué)習(xí)。我們也可以開(kāi)發(fā)一個(gè)神經(jīng)架構(gòu)。

關(guān)鍵問(wèn)題和方法

現(xiàn)在最重要最核心的問(wèn)題是怎么樣在得到每一瓦類ASIC性能同時(shí)又能得到處理器一般的靈活性。這看起來(lái)是互相矛盾的，但我覺(jué)得有解決方法。我們必須要同時(shí)改善算法、編程語(yǔ)言、編譯器和硬件架構(gòu)。

硬件感知的機(jī)器學(xué)習(xí)算法可以改善效率，舊的計(jì)算模型也是前人開(kāi)發(fā)出來(lái)的，他們要決定人來(lái)開(kāi)發(fā)算法，計(jì)算是確定性的，因?yàn)檫@個(gè)人必須要知道到底怎么樣去進(jìn)行調(diào)試。但在軟件2.0應(yīng)用的底層模型是基于神經(jīng)網(wǎng)絡(luò)的，他們是根據(jù)概率的機(jī)器模型，是由數(shù)據(jù)進(jìn)行訓(xùn)練的。而且技術(shù)很有意思，它們不需要是確定的，也不需要永遠(yuǎn)都是100%正確的，只需要在統(tǒng)計(jì)學(xué)上正確就可以了。既然它只需要統(tǒng)計(jì)學(xué)上正確，那我們有很多機(jī)會(huì)來(lái)改善它的性能，可以使用基礎(chǔ)性的計(jì)算模型來(lái)改善。

方法一：硬件感知機(jī)器學(xué)習(xí)算法，可顯著提高效率

現(xiàn)在說(shuō)說(shuō)用什么樣的方法、算法做這個(gè)模型。它是改善或者最小化一個(gè)損失模型或者所謂的Loss function。我們有很多數(shù)據(jù)或者訓(xùn)練的例子，可能有數(shù)以十億計(jì)的數(shù)據(jù)，其中有很多不同的機(jī)器與學(xué)習(xí)的方法，能夠做分類或者深度學(xué)習(xí)等等。我們最重要的進(jìn)行優(yōu)化的方法是大家可能都熟悉的隨機(jī)梯度下降。我們看著一個(gè)例子，就可以估計(jì)漸變。反過(guò)來(lái)，也可以看到某一個(gè)模型點(diǎn)，然后就可以推到一個(gè)訓(xùn)練集的數(shù)據(jù)點(diǎn)。有很多次迭代，最終得到最優(yōu)化的模型，可以通過(guò)非常小的程序迭代來(lái)進(jìn)行改善。

這個(gè)迭代的機(jī)器學(xué)習(xí)是有兩種效率需要看。

1、統(tǒng)計(jì)學(xué)效率，我們到底需要做多少次迭代才能得到最高質(zhì)量的訓(xùn)練結(jié)果

2、硬件效率，每次迭代需要多長(zhǎng)時(shí)間。我們進(jìn)行訓(xùn)練的總時(shí)間，是越低越好、越少越好，但我們需要進(jìn)行一個(gè)取舍和衡量。

我們是不是要改善一個(gè)硬件效率，讓統(tǒng)計(jì)效率稍微低一點(diǎn)。隨機(jī)梯度下降法的核心是可能有數(shù)十億個(gè)小的步驟。你可以問(wèn)一個(gè)問(wèn)題，我們能不能夠并行做一個(gè)事情。這看起來(lái)是一個(gè)順序的算法，但可以并行做。怎么樣并行做？我在教我的學(xué)生時(shí)，你在放你的數(shù)據(jù)時(shí)，必須要鎖了它，所以做一個(gè)已經(jīng)編碼的SGD。但鎖了之后發(fā)現(xiàn)它做得沒(méi)有那么好，因?yàn)榧恿烁嗵幚砥鲿r(shí)會(huì)變得更加慢。

另外一件事情是低精度。低精度使用的能量能源會(huì)低了，另外存儲(chǔ)的內(nèi)容也會(huì)下降。也能夠把你所需要的帶寬盡量降低。既然你可以同時(shí)并行的處理計(jì)算更多信息。比如有8字節(jié)數(shù)據(jù)而不是16字節(jié)或者32字節(jié)的數(shù)據(jù)，也能增加吞吐量。這是我們經(jīng)常要做的，比如在TPU、FPGA都在用。它最大的問(wèn)題是準(zhǔn)確性會(huì)降低。剛才說(shuō)要做判斷，低準(zhǔn)確性是可以的。我們以前覺(jué)得訓(xùn)練至少需要16位的準(zhǔn)確性。但我們做了一個(gè)高準(zhǔn)確率低精度，我們能夠隨著更接近最佳值時(shí)把它的漸變變得更加小，我們?cè)谥饾u靠近中心。

方法二：編寫一個(gè)機(jī)器學(xué)習(xí)程序并在所有這些體系結(jié)構(gòu)上高效運(yùn)行

加速器上可以有更好的效率，我們把機(jī)器學(xué)習(xí)的算法映射到加速器上，可以看到這些機(jī)構(gòu)，它們也有一個(gè)編程模式。比如說(shuō)有集群信息、GPU、FPGA。我們有一個(gè)算法，如果想進(jìn)行有效的訓(xùn)練，需要在硬件的架構(gòu)上進(jìn)行實(shí)現(xiàn)。我們對(duì)于這個(gè)算法的描述以及有效的執(zhí)行之間，是有一條鴻溝的。

因此，我們可不可以編寫一個(gè)機(jī)器學(xué)習(xí)程序，它能夠在這些體系結(jié)構(gòu)上都高效運(yùn)用。這樣就可以填補(bǔ)這個(gè)鴻溝了。我們把這個(gè)叫做適定于特定情況的語(yǔ)言?，F(xiàn)在有AI的應(yīng)用，把不同領(lǐng)域的語(yǔ)言結(jié)合起來(lái)，他們專注于這個(gè)應(yīng)用不同的組成部分。比如有一個(gè)比較稠密或者稀疏的算法，還有算法中的關(guān)系。比如你的重點(diǎn)是不是圖像的算法。

總的來(lái)說(shuō)，有各個(gè)不同領(lǐng)域的語(yǔ)言，把它結(jié)合起來(lái)，你怎么樣把它組合起來(lái)。我們可以使用一個(gè)Delite DSL框架，可以在不同領(lǐng)域進(jìn)行應(yīng)用。我們有一個(gè)Delite DSL框架，把它叫做OptiML。這里有一些綠點(diǎn)，我們希望把它們分成群，有藍(lán)色的X。首先把每一個(gè)樣本分配到最近的平均值，計(jì)算到當(dāng)前平均值的距離。將每一個(gè)群集移動(dòng)到分配給他們的點(diǎn)的平均值。在這里有一個(gè)高層次的描述，可以在多核集群GPU上進(jìn)行應(yīng)用，甚至是FPGA。

我們看一下TensorFlow，也是注重于機(jī)器學(xué)習(xí)的，也使用了很多OptiML中使用的想法，它也是高性能適用于不同領(lǐng)域的語(yǔ)言。這里有一個(gè)高度抽象化，它比TensorFlow做得更好，而且同樣給出描述。我們需要以這個(gè)領(lǐng)域?yàn)橹鞯恼Z(yǔ)言，就意味著需要不同的架構(gòu)，所以就是Delite。任何人想開(kāi)發(fā)以特定領(lǐng)域?yàn)榛A(chǔ)的語(yǔ)言，我們希望這個(gè)工作變得更加容易。我們?cè)谶@當(dāng)中有一個(gè)嵌入在Scala中的DSL和IR。

除此之外，我們?cè)诶^續(xù)改善機(jī)器學(xué)習(xí)，我們看到現(xiàn)在在做什么事情，也要看未來(lái)怎么做。怎么使用比較低的精度，稀疏性也是比較有意思的，很多開(kāi)發(fā)者在關(guān)注稀疏新的神經(jīng)網(wǎng)絡(luò)模型。我們想要這個(gè)東西是比較靈活性的，加速性也是可編程的。這是為什么我們?cè)谟肍PGA，這個(gè)架構(gòu)現(xiàn)在受到越來(lái)越多的注意力。

對(duì)于分層控制也一樣，在控制模板中也定義了哪些程序是要有加速器加速的，所以必須有加速器的范圍。另外也需要有方法進(jìn)行嵌套，怎么樣進(jìn)行合適的嵌套。最終用Spatial語(yǔ)言寫了SGD，我們有自定義語(yǔ)言做加速器范圍、內(nèi)存分配，非常明確的內(nèi)存?zhèn)鬏敺椒ê吞荻扔?jì)算。這是非常高層級(jí)的，讓開(kāi)發(fā)者能很容易的進(jìn)行定義。

現(xiàn)在的問(wèn)題是FPGA總的表現(xiàn)怎么樣，這張圖給大家看到了，在不同的芯片中，全部把它們標(biāo)準(zhǔn)化成28納米，CPU在左邊，能耗效率是1-10。專用的硬件是右邊，有效率大概是1000-10000，CPU是最靈活和最能夠編譯的，專用的硬件是不可以進(jìn)行編碼，但我們會(huì)發(fā)現(xiàn)專用的硬件比一個(gè)GPU的效率高1000倍。GPU比CPU大概好10倍。

但我們看看能不能夠在維持FPGA的靈活性的方法，但讓編碼性更加靠近CPU，能耗更加靠近GPU和FPGA。這就是一個(gè)變形模式的可重構(gòu)架構(gòu)，這是一個(gè)空間表示，可以關(guān)注到這個(gè)架構(gòu)，以跟FPGA相似的方式進(jìn)行理解。這里有PCU和PMU，模式記憶單元和模式計(jì)算單元。一個(gè)是更看帶寬的，帶寬能以不同方法配置滿足這個(gè)程序的需要。另外可以把它們組合到一起來(lái)滿足你們所需要的空間運(yùn)用。

我們做了這個(gè)之后，如果跟25納米的這個(gè)比較一下，它的性能能夠改善95倍，每瓦的能耗能改善77倍。但我們能做很多事，這要看架構(gòu)到底怎么做，它看起來(lái)是怎么樣的，怎么樣進(jìn)行一個(gè)平衡。性能和能耗的取舍怎么樣，還有可編程性的取舍。這是我們最關(guān)注的東西和我們現(xiàn)在在做的事。我們非常希望軟件定義的硬件架構(gòu)，能夠更加節(jié)省能耗，同時(shí)也能夠更加可編程，比FPGA的表現(xiàn)更加好一些。

總 結(jié)

我總結(jié)一下，我們的確覺(jué)得能一石二鳥(niǎo)，什么都能有，功率能做得很好，性能做得好，可編程性也非常高，但需要做全棧的方法，要綜合整合的方法做，需要算法，比如Hogwild和HALP，在語(yǔ)言和編譯器方面也需要進(jìn)行改善，讓它們更好的更有效的進(jìn)行執(zhí)行。原有的語(yǔ)言是不夠的，需要高層級(jí)專門面向加速器的抽象語(yǔ)言，才能更好的理解這個(gè)域相關(guān)的語(yǔ)言和我們所需要的代表加速器的語(yǔ)言。我們需要一個(gè)中間的形式，就好象Spatial。

（本文來(lái)自鯤云科技微信號(hào)，多核計(jì)算芯片領(lǐng)域國(guó)際權(quán)威Kunle Olukotun教授在AI領(lǐng)域聲名卓著，希望小編上傳后可以分享給更多的工程師，方便大家了解國(guó)際AI技術(shù)最新發(fā)展趨勢(shì)。）