8月底，華為發(fā)布最新全球首款商用7nm AI芯片：麒麟980，在六個方面達(dá)到了世界第一。在9月20日的世界人工智能峰會上，華為麒麟AI首席科學(xué)家芮祥麟發(fā)表演講，詳細(xì)介紹了麒麟980的架構(gòu)設(shè)計(jì)和性能提升，指出對算子的支持和開放是移動AI架構(gòu)開發(fā)的關(guān)鍵。華為的HiAI平臺可以將硬件復(fù)雜度對用戶屏蔽，讓不懂機(jī)器學(xué)習(xí)的人也實(shí)現(xiàn)自己的應(yīng)用。

華為于8月底重磅發(fā)布的AI芯片麒麟980在幾個方面做到了全球第一：全球首款商用7nm手機(jī)SoC芯片；全球首款Cortex-A76 Based CPU；全球首款雙核NPU；全球首款Mali-G76 GPU；全球首款1.4Gbps Cat.21 Modem；全球首款支持2133MHz LPDDR4X的手機(jī)SoC芯片。

9月20日，在北京國家會議中心舉辦的AI World 2018世界人工智能峰會上，華為麒麟AI首席科學(xué)家芮祥麟博士發(fā)表了題為《麒麟980：移動AI的發(fā)動機(jī)》的演講。

芮祥麟博士詳細(xì)介紹了麒麟980芯片的設(shè)計(jì)和性能提升，以及麒麟980的融合能力開放架構(gòu)中非常重要的HiAI Foundation。HiAI Foundation能力向搭載麒麟970，麒麟980的華為手機(jī)全部開放，具有強(qiáng)大的計(jì)算能力、多框架支持、更加豐富的算子和更加方便快捷的集成等優(yōu)勢。

在目前數(shù)據(jù)隱私保護(hù)情況下，很多事情實(shí)際上無法單獨(dú)由云上的計(jì)算力完成，必須要在端側(cè)完成。

這是非常復(fù)雜的多目標(biāo)的優(yōu)化問題，存在能耗、內(nèi)存上的限制，而且在各種場景下有不同的需求。華為的一個主要目的就是能夠在端側(cè)開發(fā)出很好的芯片，能夠?qū)⒈M量多的處理能力在端側(cè)完成，在最大程度上提升用戶體驗(yàn)。

以下是芮祥麟博士的演講內(nèi)容:

芮祥麟：大家好，我是華為麒麟AI的首席科學(xué)家芮祥麟，很榮幸參加AI World 2018大會，跟大家一起分享一些成果。

從芯片的角度出發(fā)，我選擇的題目是《Mobile AI發(fā)動機(jī)：麒麟980》。

在現(xiàn)在這個時刻講這個題目，挑戰(zhàn)很大。一年前，華為麒麟970 AI芯片是第一個開發(fā)出來，也是第一個產(chǎn)品化的。過去一段時間內(nèi)，各大企業(yè)在AI芯片上的投入風(fēng)起云涌，但我們相信，新一代麒麟980芯片仍然是領(lǐng)先群雄的。

我想先回顧一下去年推出麒麟970之后整個市場的反應(yīng)，確實(shí)有質(zhì)疑聲，但絕大部分都是相當(dāng)正面的評價，也有一些客戶提出了比較好的建議。我們根據(jù)市場和合作伙伴的反饋，進(jìn)一步對芯片進(jìn)行改良和升級，就是今天給大家介紹的麒麟980。

麒麟980:六項(xiàng)世界第一，不同CPU配置滿足動態(tài)需求

前一段時間已經(jīng)有很多媒體報道，麒麟980在幾個方面做到了世界第一：全球首款7納米SoC芯片，全球首款基于Cortex A76 CPU定制開發(fā)，全球首款雙核NPU，全球首款商用Mali G76 GPU，全球率先支持LTE Cat.21，峰值下載速率達(dá)到1.4Gbps，全球首款可以支持LPDDR4X顆粒，最高主頻達(dá)到2133Mhz。

CPU是8核，不同大小的核適合各個不同的需求，NPU是雙核的。其他包括Modem、DDR，還有ISP，整個設(shè)計(jì)工程相當(dāng)復(fù)雜，這是大批一流專家共同努力的成果。

從麒麟920開始，到950、970、980，這是一個不斷成長的過程，麒麟980集成了69億晶體管，芯片面積持續(xù)縮小，晶體管密度持續(xù)提升。這樣做是為了能夠在非常有限的面積內(nèi)降低能耗，提高計(jì)算力。

在芯片方面，CPU是由兩個高性能的超大核，兩個高能效的大核，加上四個高能效的小核一起協(xié)作。在應(yīng)用方面，播放音樂只需打開CPU的小核，在社交應(yīng)用場景用高能效的大核加上三個小核。進(jìn)入重負(fù)載的游戲場景，就需要八個核都要用上。

針對不同的場景，比如音樂、導(dǎo)航、通話或拍照，我們動員了各個不同的核，這是一個基于能耗、響應(yīng)速度、內(nèi)存應(yīng)用的復(fù)雜考量，是我們的工程師優(yōu)化的結(jié)果。

可以看到，全球首款7納米SoC芯片上，在各方面都有了很大提升，相比麒麟920，晶體管密度提高了6.8倍，性能方面提高了2.5倍，能效方面提高了4倍。

以圖像識別速度為例，我們比友商1、友商2提高很多，基本上可以說快了3倍。在AI性能方面，跟友商的芯片比起來，用Resnet4或Inception V3測試參考，無論能效還是性能方面都有很大的提升。計(jì)算力方面，我們用三個場景來進(jìn)行比較，物體識別、實(shí)時圖像處理，實(shí)時分割。

麒麟970可以做輪廓、圖片以及一些粗略的分割，但是在麒麟980可以做得更細(xì)致，對整個姿態(tài)、形狀、細(xì)節(jié)能夠做到很好的視頻處理，在分割方面也更精準(zhǔn)。

圖中最底層是整個SoC布局，如何基于SoC布局提供更好的能力？在ISP方面，我們能夠提供低延遲的視頻處理流水線和高質(zhì)量圖象處理流水線，這些流水線可以執(zhí)行一些基本的AI任務(wù)，在視頻方面，可以進(jìn)行人體關(guān)節(jié)檢測識別，還有姿態(tài)識別。

圖片方面的任務(wù)更多，文本識別、圖像超分、圖像降噪、RGB還原等。在視頻方面，可以執(zhí)行主體識別、區(qū)域分割、主體摳圖，這些提供了一些基礎(chǔ)的能力模塊，能夠高效支撐AR SLAM，做到視頻流姿態(tài)提取、地圖重建等。這些功能不只是我們自己用，也通過API開放給第三方?？梢灾С值谌降腁R APP、視頻APP和圖片APP。

開放架構(gòu)支持自定義算子，提升芯片集成調(diào)動能力

這張圖上，最底層是SoC結(jié)構(gòu)，有很好的傳感器處理，DDK是我們的庫，還有API，配合攝像頭，可以提供Camera DDK，做到前光、暗光、高動態(tài)、高分辨率，在AR DDK方面提供 SLAM算子加速、人臉建模、跟蹤能力等1000多個能力。我們有33個API，147個算子支持。

算子支持非常關(guān)鍵，各個框架的算子都很多，我們支持147個算子，而且支持更開放的能力，支持自定義算子，并將這些算子和硬件特性實(shí)現(xiàn)很好地適配。同樣都叫算子，比如LSTM，當(dāng)映射到芯片層面上時，如何能夠最大化地發(fā)揮芯片的計(jì)算力，做到最大化地降低能耗、響應(yīng)迅速，這些都是要仔細(xì)思考的問題。我們在算子層面的開放更快、更有彈性，適配性更強(qiáng)。

整個軟件棧的最底層是我們的SoC，上面是驅(qū)動器，這里面有調(diào)度系統(tǒng)，可以發(fā)揮集成調(diào)度能力，以及CPU、GPU、DSP、NPU的綜合能力。這有點(diǎn)像機(jī)器學(xué)習(xí)中所謂“集成學(xué)習(xí)”，也就是執(zhí)行各種架構(gòu)的芯片的集成調(diào)度能力。它支持谷歌的在線推理，也支持離線推理。

這兩個模型各有優(yōu)缺點(diǎn)。根據(jù)使用場景以及模型的復(fù)雜度的不同，我們做到二者都能夠支持。當(dāng)然，也會支持一些通用框架，比如Caffe、TensorFlow各個應(yīng)用，提供端到端的開發(fā)工具鏈，即集成開發(fā)環(huán)境，同時支持很方便的編譯器和顯示工具。

每個不同結(jié)構(gòu)的處理器都能夠發(fā)揮作用，NPU專門針對張量計(jì)算。我們的核可以快速處理特殊指令集、特殊結(jié)構(gòu)，能夠很快地處理高維度的張量運(yùn)算。如果把一個算法拆開，事實(shí)上到了芯片層面，就只剩下張量運(yùn)算、矢量運(yùn)算、標(biāo)量運(yùn)算。矢量運(yùn)算多半用于圖象處理以及大規(guī)模的并行處理，標(biāo)量運(yùn)算通常是處理一些控制指令集，邏輯控制，和一些通用的運(yùn)算。

比如要估算模型的生命周期，實(shí)現(xiàn)從模型產(chǎn)生到模型格式的自動轉(zhuǎn)換，就可以生成一個離線模型，它的執(zhí)行效率會更高，運(yùn)算速度更快，可以加載到NPU上面做各種運(yùn)算。

跟CPU相比，以NPU為驅(qū)動的處理架構(gòu)的整個性能提升了25倍，整個能效提高了50倍，甚至在整個NPU和CPU混合調(diào)度情況下，也能有非常好的收益。在算子的支持方面，我們至少在AI芯片的級別上還保持領(lǐng)先，經(jīng)過一年的積累，整個算子的豐富度、復(fù)雜度，每顆算子的性能都提升了很多。

HiAI Foundation：讓不懂機(jī)器學(xué)習(xí)的用戶實(shí)現(xiàn)自己的應(yīng)用

我們的HiAI開放架構(gòu)已經(jīng)走了一年，去年這個時候是麒麟970配合Mate10發(fā)布，經(jīng)過一年的努力，我們對于整個生態(tài)，對于端側(cè)AI框架需求有了更深的體驗(yàn)，我們會繼續(xù)走下去。

我們的目標(biāo)是：第一，希望能夠設(shè)計(jì)出更好的芯片，增加算力。第二，希望能夠?qū)τ脩羝帘卧O(shè)計(jì)方案的硬件復(fù)雜度，也就是說，使用很簡單的接口，讓不太懂機(jī)器學(xué)習(xí)的客戶也能調(diào)用接口，實(shí)現(xiàn)他們自己的應(yīng)用。

如果客戶對機(jī)器學(xué)習(xí)有一定接觸，可以利用我們的接口很快搭建出一個模型及其訓(xùn)練優(yōu)化方案，這些都是我們希望能夠通過HiAI平臺實(shí)現(xiàn)的目標(biāo)。

整個計(jì)算在手機(jī)上面可以做到姿態(tài)識別、對象跟蹤，這些都不是在云上計(jì)算的，而是將整個模型搬到端側(cè)來實(shí)現(xiàn)，模型大小適中，處理速度很快，我們?yōu)榇艘哺械椒浅ｒ湴粒覀€人也參與過一些模型的構(gòu)建。

最后說一說我們?yōu)槭裁慈绱藢Ｗ㈤_發(fā)AI芯片。在目前數(shù)據(jù)隱私保護(hù)形勢下，很多事情無法單獨(dú)由云上的計(jì)算力完成，必須要在端側(cè)去完成。這是非常復(fù)雜的多目標(biāo)的優(yōu)化問題。

這往往要面對能耗和內(nèi)存的雙重限制，面對各種場景下的不同需求。比如在車載應(yīng)用中要求響應(yīng)速度很快，對各種圖片和視頻的處理精確度要求比較高，在聲音方面，降噪的要求就非常高，如何能夠利用GAN的方式去把聲紋和內(nèi)容分開，這中間往往牽扯到個人隱私。

我們的主要目的是要在端側(cè)方面開發(fā)出高性能的芯片，將盡量多的處理過程在端側(cè)完成，爭取提供最好的用戶體驗(yàn)。