經(jīng)常有朋友問，“為什么認(rèn)為眾核異構(gòu)計(jì)算是必然趨勢(shì)呢？”。實(shí)際上這個(gè)問題在業(yè)內(nèi)已經(jīng)是共識(shí)了，所以本文希望從更淺顯的角度來解釋這個(gè)問題。

首先，需要解釋“為什么當(dāng)下正處于算力大爆炸時(shí)代”

> 越強(qiáng)大的人工智能，需要以越強(qiáng)的算力為基礎(chǔ)。

1）這如同互聯(lián)網(wǎng)時(shí)代的爆發(fā)，是建立在龐大的云服務(wù)器集群為前提。這些服務(wù)器向用戶提供視頻/圖片/文字內(nèi)容的海量訪問需求。而人工智能時(shí)代，算力建設(shè)成為新基建的基礎(chǔ)建設(shè)。

2）以目前人臉識(shí)別、視頻結(jié)構(gòu)化這種深度學(xué)習(xí)算法舉例，實(shí)際上我們已經(jīng)在云端推理和訓(xùn)練投入大量的計(jì)算資源，服務(wù)于公共安全、門禁、金融系統(tǒng)等領(lǐng)域，也成為了Intel、AMD和英偉達(dá)新的營(yíng)收增長(zhǎng)點(diǎn)。而，正在獲得突破性進(jìn)展的領(lǐng)域，對(duì)算力的需求將更大：例如自動(dòng)駕駛、醫(yī)藥研發(fā)、量化交易、基因工程、知識(shí)圖譜、數(shù)字孿生、工業(yè)軟件、智慧城市等領(lǐng)域。

>算力時(shí)代，行業(yè)競(jìng)爭(zhēng)的決定因素是“算力+算法”。

1）以金融市場(chǎng)博弈為例，以前決定各方成敗的是否擁有“最強(qiáng)的大（人）腦”，10個(gè)、100個(gè)、還是1000優(yōu)秀交易員。而正在到來的時(shí)代是，你方是否擁有最優(yōu)秀的算法+更強(qiáng)的算力，決定了你方能處理的信息維度，數(shù)據(jù)規(guī)模，從而擁有更準(zhǔn)確的預(yù)測(cè)和最快的決策速度。

2）和傳統(tǒng)的商業(yè)世界一樣，服務(wù)質(zhì)量和速度將決定一個(gè)公司的成敗。在未來這些優(yōu)勢(shì)將自于“不斷演進(jìn)的算法”和“更強(qiáng)大的算力基建投入”。一個(gè)國(guó)家在數(shù)字經(jīng)濟(jì)的優(yōu)勢(shì)，也將來自于此。

> 算力時(shí)代，科研領(lǐng)域競(jìng)爭(zhēng)的決定因素是“算力+高端科研人才”。

1）這里以Google的Summit超算集群和DeepMind所帶來的科研突破舉例：

a. 攻克生物學(xué)界50年來的重大難題——蛋白質(zhì)折疊預(yù)測(cè)；

b. 在第一性原理分子動(dòng)力學(xué)中引入機(jī)器學(xué)習(xí)的模擬方法將模擬的時(shí)間尺度提高了至少1000倍，體系規(guī)模提升至少100倍（2020年戈登貝爾獎(jiǎng).賈偉樂）；

c.QMCPACK利用Summit，使得研究體系可以包含數(shù)百個(gè)原子，為研究更實(shí)用的超導(dǎo)體提供極大的幫助；

d. 為“戰(zhàn)勝”癌癥，需要研究基因、生物標(biāo)記物與環(huán)境之間隱藏(目前未知)的關(guān)系。融合已有的健康數(shù)據(jù)、非結(jié)構(gòu)數(shù)據(jù)如文本型的報(bào)告、醫(yī)學(xué)影像等，利用機(jī)器學(xué)習(xí)算法，在Summit上對(duì)美國(guó)的癌癥群體進(jìn)行更全面的分析；

e. 利用Summit，可以確定人類蛋白和細(xì)胞系統(tǒng)的功能、協(xié)同和進(jìn)化的模式。這些模式可以幫助研究臨床表型、疾病的可見性狀（例如老年癡呆癥、心臟病和成癮）的形成，并為藥物發(fā)現(xiàn)過程提供支持；

f. 利用Summit,FLASH可以進(jìn)行長(zhǎng)達(dá)數(shù)千倍時(shí)間內(nèi)對(duì)多達(dá)12倍的元素種類進(jìn)行高分辨率的模擬。

算力大爆炸，正在為科研領(lǐng)域取得顛覆性成果提供算力保障。反之，如果我們今天的高性能計(jì)算水平仍停留在十年前的水平，今天所見的激動(dòng)人心的技術(shù)突破幾乎是不可能的。

2）以上的例證希望說明兩個(gè)問題：第一，國(guó)家需要建設(shè)更強(qiáng)大的超算集群，科研人員才有可能在前沿領(lǐng)域取得突破性研究成果。小米加步槍能取得勝利的可能性幾乎為零，由此知識(shí)產(chǎn)權(quán)的布局依然將受制于人。第二，以前稱之為超算，今天已經(jīng)稱之為智算，其原因是HPC+AI正在成為新的研究范式，即科學(xué)計(jì)算融合深度學(xué)習(xí)算法。

3 ）在軍事領(lǐng)域，我們也看到了多傳感器、多數(shù)據(jù)鏈融合，利用深度學(xué)習(xí)算法提升戰(zhàn)場(chǎng)智能化水平；還有如密碼學(xué)對(duì)于通訊的意義；空氣動(dòng)力學(xué)對(duì)于大裝備的意義等等。

4）可以遇見，未來在國(guó)家重點(diǎn)實(shí)驗(yàn)室、科研院所、985/211高校將迎來智算建設(shè)的新高潮。原因？因?yàn)榭蒲腥藛T主要就在這些地方。

> 區(qū)塊鏈、量子霸權(quán)、元宇宙等概念，背后都將是以龐大的算力為依托。

那么，如何獲得更強(qiáng)大的算力呢？

> 一直以來，行業(yè)依托于半導(dǎo)體工藝、制程以及Chiplet最先進(jìn)的封裝技術(shù)，在時(shí)鐘速度、集成密度、片上集成方法可以獲得更高的算力。然而硅基芯片工藝達(dá)到3nm后，摩爾定律是否將失效？所以今天大家開始在研究“后摩爾時(shí)代”。

> 計(jì)算機(jī)架構(gòu)的演進(jìn)，是另外一種重要手段。

1）傳統(tǒng)手法：cache增加，指令集擴(kuò)展，協(xié)處理器，多核等。例如，為了增加x86的多媒體處理能力，于是有了MMX擴(kuò)展指令集；為了兼顧功耗、成本和視頻編解碼性能，有了專門的H.264/265協(xié)處理器IP，這里就不再贅述了。

2）專用處理器：CPU在通用計(jì)算領(lǐng)域的角色無可替代，目前的主要指令集有x86（Intel、AMD、海光等少數(shù)幾家），arm（有鈔能力的公司都可以買來解決計(jì)算芯片設(shè)計(jì)的主要問題，鈔票越多能買到越強(qiáng)的IP授權(quán)，指令集授權(quán)則更貴），RISC-V（開源指令集，后起之秀）。但CPU面對(duì)一些大規(guī)模、并行運(yùn)算時(shí)已經(jīng)顯得力不從心、成本也劃不來。所以出現(xiàn)了GPU，NPU，DPU這類專用計(jì)算處理器，GPU擅長(zhǎng)圖像處理，NPU擅長(zhǎng)深度學(xué)習(xí)算法處理，DPU擅長(zhǎng)數(shù)據(jù)處理。講到GPU、NPU、DPU這三個(gè)名詞，實(shí)際上這個(gè)體系非常復(fù)雜，無法用類似CPU三種指令集這樣去簡(jiǎn)單概述，在這個(gè)領(lǐng)域各家芯片的架構(gòu)差異、標(biāo)稱性能都非常大，用萬馬奔騰比較合適。在這個(gè)領(lǐng)域目前最優(yōu)秀者無疑是英偉達(dá)，追趕者內(nèi)心的壓力是巨大的。要不是中美貿(mào)易戰(zhàn)的大背景，我想業(yè)者還是投資領(lǐng)域，誰能敢奢望去挑戰(zhàn)？

3）片上的眾核異構(gòu)：CPU單核計(jì)算性能提升已經(jīng)越來越不能滿足應(yīng)用對(duì)計(jì)算性能需求、功耗的控制、成本的控制的需求，所以“片上眾核異構(gòu)”應(yīng)勢(shì)興起。這帶來了許多的優(yōu)勢(shì)，共享內(nèi)存、各計(jì)算單元之間實(shí)現(xiàn)更高速的數(shù)據(jù)通訊、均衡的功耗控制。最近熱炒的Apple M1/M1 pro/M1 Max是一個(gè)很好的范例。

4）整機(jī)的異構(gòu)計(jì)算，是以CPU板卡為主，在機(jī)箱內(nèi)增加各種專用的計(jì)算板卡，以增強(qiáng)服務(wù)器在某些特定領(lǐng)域的計(jì)算能力。例如插上GPU板卡增強(qiáng)服務(wù)器的圖像處理能力，插上NPU板卡增加服務(wù)器的深度學(xué)習(xí)算法的處理能力，插上GPGPU板卡增加科學(xué)計(jì)算的處理能力，CPU+存儲(chǔ)卡+NPU卡就是我們經(jīng)常聽到的“近存計(jì)算”。

如何駕馭和挖掘算力？

我們正在擁有越發(fā)強(qiáng)大和越發(fā)復(fù)雜的計(jì)算硬件，另外一邊是復(fù)雜而龐大的高性能計(jì)算應(yīng)用軟件體系（科學(xué)計(jì)算、各種深度學(xué)習(xí)算法、各種運(yùn)行框架runtime等），一些是已經(jīng)成熟而知名的軟件，另外一些是正處于青春期的各種算法和創(chuàng)新應(yīng)用。那么，應(yīng)該如何將這兩者能融合起來呢？這個(gè)事情是簡(jiǎn)單還是復(fù)雜的呢？

1）如果硬件和軟件無法融合，那么硬件性能將被白白浪費(fèi)掉。比方說你投了5nm的芯片，在計(jì)算許多場(chǎng)景時(shí)可能還比不過別人28nm時(shí)代的速度和效率，更糟糕的情況是出現(xiàn)計(jì)算精度不夠，或者完全不支持某些成熟軟件的運(yùn)行。（計(jì)算精度？我的卡可是支持FP32的，這里可能大家有所不知，如果是加減乘除這種四則運(yùn)算當(dāng)然不會(huì)有什么問題，但如果讓求解三角函數(shù)，反三角函數(shù)，雙曲函數(shù)等，這些都是軟件算法在另外一個(gè)層面決定了計(jì)算精度和計(jì)算速度。||更深一點(diǎn)層面，計(jì)算并行優(yōu)化決定了許多算法和工業(yè)軟件是否能運(yùn)行在GPU、NPU這類專用處理器，沒有這部分工作，這些加速卡將毫無用處。NVIDIA在這方面軟件投入了海量的資金、長(zhǎng)期的時(shí)間和優(yōu)秀的人才，我國(guó)的計(jì)算硬件的短板已經(jīng)顯現(xiàn)出來的。

2）如果持續(xù)創(chuàng)新的算法與軟件，無法與已經(jīng)投入的硬件進(jìn)行適配和融合，那么這些硬件資產(chǎn)的價(jià)值將被白白浪費(fèi)掉了。近一步而言，硬件資產(chǎn)一旦投入，就無法變化。但算法和軟件是高速發(fā)展和發(fā)散性的，如何讓客戶的硬件資產(chǎn)持續(xù)發(fā)揮價(jià)值，這需要算力基礎(chǔ)軟件棧進(jìn)行更長(zhǎng)期和持續(xù)的工作。遺憾的是，我看到許多智算/超算平臺(tái)的政府規(guī)劃文件，里面并沒有為此去單列預(yù)算出來。從商業(yè)角度而言，硬件商本質(zhì)就是賣硬件的，那么誰將應(yīng)該為此提供長(zhǎng)期的費(fèi)用呢？我們更是低估了這個(gè)層面的難度以及持續(xù)投入。

3）如果我們用“云存儲(chǔ)的投資建設(shè)”邏輯來對(duì)照“算力的投資建設(shè)”邏輯，這必然會(huì)走入誤區(qū)。云存儲(chǔ)是一個(gè)相對(duì)于簡(jiǎn)單業(yè)務(wù)場(chǎng)景，單調(diào)而成熟的技術(shù)體系。“存與不存，硬盤就在哪里！” vs "算與不算，算力就在哪里！” 這背后是完全不同的技術(shù)邏輯。

> 算力基礎(chǔ)軟件棧是“越發(fā)強(qiáng)大和越發(fā)復(fù)雜的計(jì)算硬件”與“復(fù)雜而龐大的高性能計(jì)算應(yīng)用軟件體系”的技術(shù)橋梁。其主要包括數(shù)學(xué)庫(kù)、算子庫(kù)、科學(xué)計(jì)算庫(kù)、求解器等，還包括AI和異構(gòu)計(jì)算框架/或叫引擎，編程語(yǔ)言/編譯器。我國(guó)由于歷史原因，以前缺乏對(duì)處理器領(lǐng)域的投資，所以這個(gè)層面的基礎(chǔ)軟件技術(shù)積累幾乎為零，人才儲(chǔ)備也幾乎為零。形象地說，計(jì)算大芯片是一棟大廈的地基，那么算力基礎(chǔ)軟件棧是先進(jìn)計(jì)算的第一層，是大堂，是服務(wù)中心所在。

“2022年3月30日，國(guó)際計(jì)算機(jī)協(xié)會(huì)（ACM）宣布Jack Dongarra為2021年ACM 圖靈獎(jiǎng)獲得者，以表彰他在數(shù)值算法和庫(kù)方面的開創(chuàng)性貢獻(xiàn)，這些貢獻(xiàn)使高性能計(jì)算軟件在四十多年里能夠跟上硬件的指數(shù)式改進(jìn)?！?/p>

> 軟件生態(tài)的意義。生態(tài)的意義主要在于兩方面，一是，讓應(yīng)用開發(fā)者不需要過多考慮硬件平臺(tái)的差異性，便捷地使用算力，專注于研究自己所需要解決的問題；二是，讓應(yīng)用開發(fā)者形成的軟件資產(chǎn)，可以直接部署和運(yùn)行在各種異構(gòu)計(jì)算的平臺(tái)。圍繞算力時(shí)代，整個(gè)行業(yè)仍有很遠(yuǎn)的路要走，巨頭也只是提前了一點(diǎn)在積極布局，例如Intel的OneAPI，AMD的Rocm，NVIDIA的CUDA等等。作為國(guó)產(chǎn)自主可控的發(fā)展理念，我們?nèi)杂袡C(jī)會(huì)去追趕并超越，我們應(yīng)該如何應(yīng)對(duì)呢？

結(jié)束語(yǔ)：這個(gè)行業(yè)里，因?yàn)楦鞣N原因故意忽略/隱瞞基礎(chǔ)計(jì)算軟件棧的難度和價(jià)值，這其實(shí)并不利于整個(gè)計(jì)算產(chǎn)業(yè)鏈的健全和健康發(fā)展。