1971年，第一顆劃時(shí)代的大規(guī)模集成電路產(chǎn)品Intel4004出現(xiàn)，它使用MOSFET集成電路技術(shù)，采用10μm工藝，集成了2300個(gè)MOSFET。雖然這顆IC僅僅集成了2300個(gè)晶體管，但它標(biāo)志著人類大規(guī)模集成電路時(shí)代正式開(kāi)啟，而且它開(kāi)辟了一條提升IC性能的路徑——同樣面積下，要提升性能就要集成更多晶體管，要集成更多晶體管只要升級(jí)工藝就可以實(shí)現(xiàn)。

自此之后，人類一直就享用著IC工藝升級(jí)帶來(lái)的紅利。根據(jù)Intel的創(chuàng)始人之一戈登·摩爾（GordonMoore）提出的摩爾定律：集成電路上可容納的晶體管數(shù)目，約每隔18個(gè)月便會(huì)增加一倍，性能也將提升一倍。50 年來(lái)，IC工藝在摩爾定律的指導(dǎo)下飛速發(fā)展，我們也一直在享用工藝技術(shù)升級(jí)帶來(lái)的好處——性能升級(jí)，功耗降低，尺寸越來(lái)越小。

但是，當(dāng)工藝scaling到10nm以下時(shí)，由于工藝復(fù)雜度大幅度提升，摩爾定律已經(jīng)趨緩。2018年11月，AMD CTO發(fā)表言論認(rèn)為摩爾定律已經(jīng)減緩；6月份美國(guó)舉辦的DAC大會(huì)上，著名計(jì)算機(jī)領(lǐng)域?qū)＜?018圖靈獎(jiǎng)獲得者David Patterson（開(kāi)源CPU RISC-V發(fā)明人之一）也明確認(rèn)為摩爾定律已經(jīng)減緩；而且，英特爾自己的10nm工藝連續(xù)跳票，不能按時(shí)交付新工藝芯片。這些言行都說(shuō)明，依靠半導(dǎo)體工藝升級(jí)帶來(lái)IC器件性能提升，已經(jīng)不可能再像以前那樣繼續(xù)維持高速提升了，那該如何提升處理器性能？尤其是提升人工智能的處理效率?

架構(gòu)創(chuàng)新是出路，AI時(shí)代需要專用處理單元

David Patterson 認(rèn)為現(xiàn)在是計(jì)算機(jī)系統(tǒng)架構(gòu)的黃金時(shí)代，單靠工藝升級(jí)難以實(shí)現(xiàn)大的性能突破，未來(lái)處理器必須從架構(gòu)上尋求出口。

而根據(jù)業(yè)內(nèi)眾多半導(dǎo)體專家的觀點(diǎn)，異構(gòu)架構(gòu)是未來(lái)IC發(fā)展的必由之路。*** 半導(dǎo)體產(chǎn)業(yè)協(xié)會(huì)理事長(zhǎng)盧超群博士（Nicky Lu）就認(rèn)為，異構(gòu)集成設(shè)計(jì)系統(tǒng)架構(gòu)（HIDAS, Heterogeneous Integration Design Architecture System）將大量促進(jìn)IC創(chuàng)新，要提升IC性能就要集成新的異質(zhì)單元。 同理，對(duì)于目前熱門的人工智能處理需求來(lái)說(shuō)，通過(guò)工藝升級(jí)CPU或者GPU、DSP、FPGA都不是好辦法，更合理的方案是就集成人工智能處理單元。

人工智能到底需要一種什么樣的處理單元？想要尋找答案，我們可以回頭看看GPU的發(fā)展歷程。

1962年，麻省理工學(xué)院的博士伊凡?蘇澤蘭發(fā)表的論文以及他的畫(huà)板程序奠定了計(jì)算機(jī)圖形學(xué)的基礎(chǔ)。在隨后的近20年里，計(jì)算機(jī)圖形學(xué)在不斷發(fā)展，但是當(dāng)時(shí)的計(jì)算機(jī)卻沒(méi)有配備專門的圖形處理芯片，圖形處理任務(wù)都是CPU來(lái)完成的。

1999年8月，NVIDIA公司發(fā)布了一款代號(hào)為NV10的圖形芯片Geforce 256。Geforce 256是圖形芯片領(lǐng)域開(kāi)天辟地的產(chǎn)品，因?yàn)樗堑谝豢钐岢鯣PU概念的產(chǎn)品。Geforce 256所采用的核心技術(shù)有“T&L”硬件、立方環(huán)境材質(zhì)貼圖和頂點(diǎn)混合、紋理壓縮和凹凸映射貼圖、雙重紋理四像素256位渲染引擎等?！癟&L”硬件的出現(xiàn)，讓顯示芯片具備了以前只有高端工作站才有的頂點(diǎn)變換能力，同時(shí)期的OpenGL和DirectX 7都提供了硬件頂點(diǎn)變換的編程接口，GPU的概念因此而出現(xiàn)。由此開(kāi)始，CPU、GPU 才正式確立了各自的屬性和工作內(nèi)容。

從結(jié)構(gòu)上來(lái)說(shuō)，CPU和GPU不同之處體現(xiàn)在他們處理任務(wù)的方式不同。CPU由專為串行任務(wù)而優(yōu)化的幾個(gè)核心組成；GPU則由數(shù)以千計(jì)的更小、更高效的核心組成，這些核心專為同時(shí)處理多任務(wù)而設(shè)計(jì)。稍微深入一點(diǎn)來(lái)講，CPU和GPU的不同，是因?yàn)樗鼈兊氖姑煌PU需要很強(qiáng)的通用性來(lái)處理各種不同的數(shù)據(jù)類型，同時(shí)又要邏輯判斷，又會(huì)引入大量的分支跳轉(zhuǎn)中斷的處理，這使CPU的內(nèi)部結(jié)構(gòu)異常復(fù)雜。而GPU需要處理的則是類型高度統(tǒng)一、相互依賴的大規(guī)模數(shù)據(jù)和不需要被打斷的計(jì)算環(huán)境。因此，GPU和CPU就呈現(xiàn)出非常不同的架構(gòu)。

從GPU的發(fā)展來(lái)看，它的出現(xiàn)在于首先要應(yīng)對(duì)新的處理需求——圖形處理，其次是要以不同于CPU的架構(gòu)來(lái)完成處理效率最大化。這兩點(diǎn)對(duì)人工智能處理也有借鑒意義：首先，人工智能處理是不同于CPU和GPU的新處理需求；其次，人工智能處理需要新的架構(gòu)，因?yàn)闊o(wú)論CPU、GPU還是FPGA都不是最好的架構(gòu)，尤其是在手機(jī)領(lǐng)域FPGA更不適合。

我們知道，手機(jī)是消費(fèi)電子中最大的品類，在工藝、封裝、集成、架構(gòu)方面都走在行業(yè)最前沿，它的技術(shù)也在引導(dǎo)著整個(gè)半導(dǎo)體行業(yè)的發(fā)展。一方面，手機(jī)SoC使用最新的工藝制程；另外一方面，手機(jī)也是對(duì)功耗、面積特別敏感的產(chǎn)品品類。用CPU，GPU這些面向傳統(tǒng)指令計(jì)算、浮點(diǎn)運(yùn)算的計(jì)算單元，去執(zhí)行以張量計(jì)算為主的AI運(yùn)算，效率和能效都不能達(dá)到最好，同時(shí)隨著傳統(tǒng)半導(dǎo)體工藝制程不斷逼近極限，如果還用摩爾定律的增長(zhǎng)紅利去滿足日益提升的AI運(yùn)算量，代價(jià)會(huì)越來(lái)越高。

另外，AI的框架、算法和網(wǎng)絡(luò)模型發(fā)展也非?？欤绻捎肅PU，GPU適配日新月異的AI框架和算子，軟件適配等工作也非常繁多，這不僅為開(kāi)發(fā)者帶來(lái)更高的開(kāi)發(fā)成本，更同時(shí)加大了產(chǎn)品上市的時(shí)間成本。如果采用FPGA，雖然人工智能的處理效率會(huì)大大提升，但是FPGA的面積和功耗都不適合集成在手機(jī)平臺(tái)；如果采用DSP，雖然有一定的靈活性，但是效能還不是最大。因此，借鑒GPU的發(fā)展，從最優(yōu)能效角度考慮，手機(jī)平臺(tái)需要集成專用的NPU，讓專業(yè)的器件干專業(yè)的事情。

專用NPU性能強(qiáng)勁，麒麟芯片引領(lǐng)端側(cè)AI應(yīng)用潮流

毫無(wú)疑問(wèn)，手機(jī)平臺(tái)需要專用的NPU。在這方面，華為大膽嘗試，在2017年9月率先推出了集成專用NPU處理單元的麒麟970。麒麟 970采用了創(chuàng)新的HiAI移動(dòng)計(jì)算架構(gòu)，能夠用更少的能耗更快地完成AI計(jì)算任務(wù)。實(shí)際對(duì)比顯示：性能上，NPU 是 CPU 的 25 倍，是GPU 的 6.25 倍（25/4）；能效比上，NPU 更是達(dá)到了 CPU 的 50 倍，GPU 的 6.25 倍（50/8）。

實(shí)測(cè)中，麒麟 970 的 NPU 每分鐘可以識(shí)別出 2005 張照片，而在沒(méi)有NPU的情況下每分鐘只能識(shí)別 97 張，優(yōu)勢(shì)對(duì)比非常明顯。

麒麟970是史上首個(gè)在端側(cè)實(shí)現(xiàn)人工智能推理應(yīng)用的手機(jī)芯片平臺(tái)。筆者在芯片發(fā)布之初就判斷，華為將憑借這個(gè)新的計(jì)算平臺(tái)領(lǐng)先高通的驍龍平臺(tái)，并將在人工智能應(yīng)用方面，幫助華為手機(jī)與其他手機(jī)拉開(kāi)至少4個(gè)月的領(lǐng)先期。事實(shí)果真如此，麒麟970開(kāi)啟了端側(cè)人工智能應(yīng)用的新篇章，并助力華為Mate10手機(jī)率先實(shí)現(xiàn)了拍照?qǐng)鼍白R(shí)別、翻譯等人工智能應(yīng)用，引領(lǐng)了整個(gè)智能手機(jī)的AI應(yīng)用大潮。

2018年9月，華為在2018德國(guó)柏林消費(fèi)電子展（IFA）上正式發(fā)布麒麟980處理器。麒麟980在AI方面有了更大的突破：首度采用了雙核NPU，提供147個(gè)算子，人工智能算力大幅度提升；每分鐘識(shí)別4500張圖片，識(shí)別速度相比上一代提升120%，遠(yuǎn)高于業(yè)界同期水平。

麒麟980的發(fā)布，標(biāo)志著華為在端側(cè)人工智能領(lǐng)域的成熟與進(jìn)步。獨(dú)立的雙核NPU處理單元讓麒麟980在人臉識(shí)別、物體識(shí)別、物體檢測(cè)、圖像分割、智能翻譯等AI場(chǎng)景下應(yīng)用更流暢。例如華為Mat 20系列可實(shí)現(xiàn)多人姿態(tài)實(shí)時(shí)識(shí)別，實(shí)時(shí)幀率高達(dá)30 FPS，無(wú)論是表演節(jié)奏感極強(qiáng)的舞蹈，還是在鏡頭前快速跑步，麒麟980都能夠?qū)崟r(shí)繪制出人體的關(guān)節(jié)和線條?？梢哉f(shuō)，麒麟980再次引領(lǐng)了全球端側(cè)AI應(yīng)用的潮流。

另外，基于獨(dú)立的NPU處理單元，華為從麒麟970開(kāi)始就推出了HUAWEI HiAI。HiAI是面向移動(dòng)終端的AI能力開(kāi)放平臺(tái)，是專門為了配合NPU進(jìn)行開(kāi)發(fā)的第三方開(kāi)發(fā)者平臺(tái)，能夠給開(kāi)發(fā)者提供AI計(jì)算庫(kù)以及API，并且能夠便捷地編寫APP上的AI應(yīng)用。

HUAWEI HiAI能力開(kāi)放平臺(tái)分為三層架構(gòu)，除了我們熟知的HUAWEI HiAI Foundation的運(yùn)算能力、HUAWEI HiAI Engine端側(cè)應(yīng)用能力，還有海量的HUAWEI HiAI service服務(wù)能力。此外，HiAI能夠讓開(kāi)發(fā)者快速遷移模型，并且對(duì)于普通APP開(kāi)發(fā)者來(lái)說(shuō)，HiAI會(huì)提供已封裝好的語(yǔ)音識(shí)別等技術(shù)，開(kāi)發(fā)者能夠直接應(yīng)用。

HUAWEI HiAI堪稱是一個(gè)開(kāi)發(fā)人工智能APP的神器，能幫助小白用戶迅速開(kāi)發(fā)出AI應(yīng)用，而且能用上麒麟芯片的NPU能力。開(kāi)發(fā)者可以利用這個(gè)開(kāi)放架構(gòu)開(kāi)發(fā)新的人工智能應(yīng)用，并通過(guò)華為認(rèn)證后集成進(jìn)麒麟平臺(tái)。這是超越APP應(yīng)用的新機(jī)制，開(kāi)放的架構(gòu)讓華為率先擁有了大量編外人工智能開(kāi)發(fā)者，這也意味著麒麟平臺(tái)可以集成大量第三方的人工智能算法和應(yīng)用。

如今，專用NPU在人工智能領(lǐng)域的應(yīng)用已成燎原之勢(shì)。筆者觀察到，業(yè)界其他芯片廠商也在采用這樣的獨(dú)立NPU架構(gòu)，例如蘋果A12、聯(lián)發(fā)科的P系列平臺(tái)等。在安防領(lǐng)域，獨(dú)立NPU已經(jīng)推動(dòng)智能安防發(fā)展，一些IP公司也開(kāi)發(fā)出了專用NPU IP如Imagination的PowerVR 2NX NNA加速器、PowerVR 3NX NNA等。反之，某些沒(méi)有集成獨(dú)立NPU的芯片平臺(tái)，依舊在通過(guò)CPUGPU和DSP進(jìn)行人工智能運(yùn)算，不但增加了功耗，影響其他運(yùn)算任務(wù)的處理，還加大了第三方人工智能算法和應(yīng)用接入的難度。

目前，人工智能已成人類的一項(xiàng)通用技術(shù)。人類會(huì)用AI技術(shù)和理念去解決現(xiàn)在和未來(lái)的問(wèn)題， AI也必將會(huì)與更多產(chǎn)業(yè)應(yīng)用結(jié)合，從而改變所有行業(yè)，更將改變每個(gè)組織。人工智能在語(yǔ)音識(shí)別、圖像識(shí)別、工業(yè)、汽車自動(dòng)駕駛、農(nóng)業(yè)、AR、VR等領(lǐng)域的應(yīng)用潛力無(wú)限，而華為麒麟系列芯片在端側(cè)人工智能領(lǐng)域的探索處于全球領(lǐng)先，華為手機(jī)卓越的人工智能應(yīng)用體驗(yàn)也應(yīng)證了專用NPU架構(gòu)的選擇是非常明智和正確的，期待華為在這個(gè)領(lǐng)域的探索更深入，帶給我們更多驚喜。