隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，高性能計算的主要應用從傳統(tǒng)的科學與工程計算為主逐步演變?yōu)橐詳?shù)據(jù)處理為核心，這給傳統(tǒng)高性能計算機體系結(jié)構(gòu)帶來巨大挑戰(zhàn)的同時，也使高通量計算應運而生。文章從應用特征出發(fā)闡述了高通量計算與傳統(tǒng)高性能計算的差別，并探討了高通量計算的基礎(chǔ)理論、關(guān)鍵技術(shù)，以及中國科學院在高通量計算核心芯片及系統(tǒng)領(lǐng)域的研究成果；以期通過高通量計算機關(guān)鍵技術(shù)的研究與突破，為緩解我國核心芯片“卡脖子”的問題，以及為構(gòu)建智能萬物互聯(lián)時代的新型高性能計算平臺作出貢獻。

近年來，隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，互聯(lián)網(wǎng)每天產(chǎn)生的數(shù)據(jù)量呈爆炸式增長。以幾個典型公司為例：淘寶網(wǎng)每天交易達數(shù)千萬筆，其單日數(shù)據(jù)產(chǎn)生量超過?50?TB；百度每天大約要處理?200?億次搜索請求，處理數(shù)據(jù)量達數(shù)百?PB；騰訊網(wǎng)日覆蓋人數(shù)超過?1.5?億，騰訊視頻月總播放量達?800?億次；Facebook?注冊用戶超過?20?億，每月上傳的照片達數(shù)百億張。根據(jù)國際數(shù)據(jù)公司（IDC）預測，到?2025?年，全球需要管理的數(shù)據(jù)量將超過?160?ZB。如何有效對這些數(shù)據(jù)進行加工將成為一大難題。

在這種背景下，高性能計算的主流應用也從傳統(tǒng)的以科學與工程計算為主，逐步演變成以數(shù)據(jù)處理為核心。然而，由于網(wǎng)絡應用及軟件技術(shù)的不同，需要處理的數(shù)據(jù)格式和產(chǎn)生速度也各不相同。更甚的是，諸如微博、團購、“秒殺”等網(wǎng)絡應用的出現(xiàn)，給大規(guī)模數(shù)據(jù)的實時處理及?QoS（服務質(zhì)量）提出了更高的要求。因此，互聯(lián)網(wǎng)技術(shù)的普及應用帶來的種種新特性給當前的高性能處理器芯片和計算機系統(tǒng)帶來了巨大的挑戰(zhàn)。

我們都知道，芯片和系統(tǒng)是信息產(chǎn)業(yè)發(fā)展和安全的根基，盡管我國的信息服務行業(yè)發(fā)展繁榮，但支撐我國信息行業(yè)的核心設施卻嚴重受制于人，特別是關(guān)鍵芯片和核心系統(tǒng)等方面依然面臨“卡脖子”的相關(guān)問題。當前國內(nèi)數(shù)據(jù)中心的中央處理器（CPU）芯片市場幾乎被美國的?Intel?和?AMD?兩家公司全部瓜分，而加速器芯片則主要由美國的?NVIDIA?公司壟斷。核心技術(shù)的缺失，使得我國整個信息產(chǎn)業(yè)面臨著嚴重的產(chǎn)業(yè)安全問題，尤其是當前中美經(jīng)貿(mào)摩擦愈演愈烈，唯有科技自主方可不受制于人。

中國科學院計算技術(shù)研究所早在?10?年前就前瞻性地啟動了高通量計算機的研究工作。經(jīng)過多年的科研積累，目前已經(jīng)在核心芯片、計算機系統(tǒng)等方面形成了諸多創(chuàng)新成果，并已開始逐步投入產(chǎn)業(yè)應用。

什么是高通量計算機

高性能計算在傳統(tǒng)的科學與工程計算類應用中的特點包括：任務單一，負載變化不頻繁，單個任務計算量大，以及計算局部性好。而高通量計算在數(shù)據(jù)中心的應用則主要面向互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等新興場景，其特點是：任務多樣，單個任務往往具有流式計算特征；計算量相對不大，但任務的并發(fā)數(shù)量及數(shù)據(jù)規(guī)模巨大；以及處理要求具有實時性。

傳統(tǒng)高性能計算機的研制目標是提高速度，即縮短單個并行計算任務的運行時間；而數(shù)據(jù)中心類應用系統(tǒng)的目標是高通量，即提高單位時間內(nèi)任務或數(shù)據(jù)處理的吞吐量。這種以“算得多”為性能指標的高性能計算機被稱為高通量計算機。如果給高通量計算機一個定義，那么可以這么描述：高通量計算機是適用于互聯(lián)網(wǎng)大數(shù)據(jù)等新興應用負載特征的、在強時間約束下能夠全局可控地處理高并發(fā)請求的新型高性能計算機。其核心特點是對并發(fā)性、實時性和確定性的保障。

高通量計算機和傳統(tǒng)的高性能計算機在目標應用、計算特征和設計目標等方面都存在明確的區(qū)別（表?1）。然而，由于高性能計算由來已久，目前主流的通用計算機和高端計算系統(tǒng)的發(fā)展都深受其影響，這也使得當前數(shù)據(jù)中心主流的計算系統(tǒng)在針對網(wǎng)絡服務這種高并發(fā)、強實時的高通量應用時表現(xiàn)出諸多不足。為了進一步理解高通量應用對計算機體系結(jié)構(gòu)的需求，我們基于當前主流的高性能服務器（采用Intel Xeon CPU）對典型高通量應用進行了測試，并且發(fā)現(xiàn)了以下一些問題。

緩存資源浪費。CPU上的共享緩存（cache）缺失率很高，這說明高通量應用與傳統(tǒng)高性能計算應用的數(shù)據(jù)訪問特征有明顯區(qū)別，傳統(tǒng)的多級緩存設計并不適合。從面積和功耗的角度來衡量的話，共享緩存作用不大，但卻占用了大量的片上面積（在?Intel?的主流服務器芯片中，片上存儲所占面積通常高達?30%?以上），產(chǎn)生了大量的功耗。

內(nèi)存帶寬利用率低。CPU?在?70%?以上使用率時的壓力測試下，內(nèi)存帶寬的有效使用率通常也不到?10%。這說明，在高通量應用負載下，傳統(tǒng)計算機體系結(jié)構(gòu)設計下的內(nèi)存帶寬并沒有得到有效利用。

服務質(zhì)量難以保障。當增加任務的并發(fā)負載，使得?CPU?利用率維持在較高水平時，我們發(fā)現(xiàn)應用的完成時間迅速拉長，也即系統(tǒng)的尾延遲明顯增大，從而導致延遲敏感應用大量失效。因此，在傳統(tǒng)服務器系統(tǒng)上，要想獲得好的用戶體驗，必須把硬件利用率維持在較低水平。

通過上述實驗結(jié)果我們可以看到，現(xiàn)有的高性能計算機系統(tǒng)的設計并不能很好地滿足高通量應用的新特性。因此，需要開展新型的高通量計算體系結(jié)構(gòu)的研究。

高通量計算基礎(chǔ)理論

與傳統(tǒng)高性能計算以高速度為設計目標相比，高通量計算的核心是追求高通量，即算得多。具體包括?3?個核心要素，即高吞吐、高利用率、低延遲。

高吞吐。是指單位時間完成的任務數(shù)或者響應的請求數(shù)要多。對于互聯(lián)網(wǎng)應用場景來說，數(shù)據(jù)中心的一個核心挑戰(zhàn)是要實時響應海量的并發(fā)用戶請求。以?2018?年天貓“雙?11”全球狂歡節(jié)為例，其實時數(shù)據(jù)處理峰值超過?6?億條/秒，支付成功峰值超過?30?萬筆/秒，數(shù)據(jù)中心必須充分挖掘各種并行性以應對如此巨大的實時并發(fā)處理需求。

高利用率。是指計算機系統(tǒng)中的核心部件（如?CPU、存儲器、網(wǎng)絡等）的利用率要高。當前大型數(shù)據(jù)中心通常包括數(shù)十萬臺甚至百萬臺服務器，建設資金則高達數(shù)十億甚至百億美元。然而，為了確保用戶的服務質(zhì)量，現(xiàn)有數(shù)據(jù)中心不得不將利用率控制在較低水平，因此整體利用率情況很不理想。公開數(shù)據(jù)顯示，2013?年谷歌數(shù)據(jù)中心的平均?CPU?利用率只有30%，而其他互聯(lián)網(wǎng)公司運營的數(shù)據(jù)中心的利用率甚至比該值還要低?？梢娫诂F(xiàn)有的架構(gòu)下，要做到既能實時滿足用戶處理需求，同時又能達到高的利用率，是非常困難的。

低延遲。指用戶請求的響應時間要短?；ヂ?lián)網(wǎng)上的大部分在線服務具有明顯的實時交互特征，數(shù)據(jù)中心必須確保在給定的實時性約束條件滿足的情況下返回結(jié)果，否則會導致服務的失效。比如一些圖像識別或者語音翻譯之類的人工智能（AI）應用場景，通常要求響應時間在毫秒級別，這對于當前的計算機系統(tǒng)來講是一個巨大挑戰(zhàn)。

圖片源自xinhuanet.com

針對上述高吞吐、高利用率、低延遲的設計需求，我們提出一個基于“系統(tǒng)熵”的通量分析模型?。系統(tǒng)熵主要受延遲的不確定性（波動情況）、資源利用率和吞吐量?3?個因素影響。簡單來講，系統(tǒng)熵與延遲的波動幅度成正比，與資源利用率以及系統(tǒng)吞吐量成反比。因此，延遲波動越大，系統(tǒng)熵越大；資源利用率越高、吞吐量越大，則系統(tǒng)熵越小。類似于“熱力學熵”的用法，我們通過“系統(tǒng)熵”可以反映計算機系統(tǒng)中的易擾動程度或者不確定性。

“熵者，傷也?！备哽叵到y(tǒng)往往開銷大、成本高。相比于高熵系統(tǒng)，低熵系統(tǒng)具有更優(yōu)的可預測性，能達到更高的效率、更低的成本，也更受用戶青睞。曾有人問美國能源部副部長斯蒂文?·?庫寧（Steven Koonin），為什么電能如此受到人們的喜愛？他回答道，因為電力是一種低熵能源。前文提到，為了確保用戶服務質(zhì)量，現(xiàn)有的數(shù)據(jù)中心的?CPU?平均利用率很低，一旦利用率提高，其負載性能的波動幅度將迅速增大。因此，當前數(shù)據(jù)中心計算系統(tǒng)仍然是高熵系統(tǒng)。而高通量計算機的核心目標就是要降低系統(tǒng)熵，也即降低系統(tǒng)的不確定性；以及通過高通量計算機實現(xiàn)提高系統(tǒng)利用率和任務吞吐量的同時，避免應用的性能波動。

高通量計算關(guān)鍵技術(shù)

針對高通量計算高吞吐、高利用率、低延遲的需求，我們需要把當前計算機體系結(jié)構(gòu)的設計從“速度導向”轉(zhuǎn)向“通量導向”，從而確保計算機系統(tǒng)在滿足高吞吐、低延遲的同時還能達到高利用率。針對上述目標，中國科學院計算技術(shù)研究所在高通量計算機研制過程中提出了一系列關(guān)鍵技術(shù)，包括高通量眾核體系結(jié)構(gòu)、高通量片上數(shù)據(jù)通路、標簽化體系結(jié)構(gòu)等。

高通量眾核體系結(jié)構(gòu)

針對高通量應用中的海量并發(fā)處理需求，我們提出了?Godson-T?眾核處理器體系結(jié)構(gòu)，以實現(xiàn)任務的高吞吐。相比于傳統(tǒng)多核處理器，Godson-T?采用眾核架構(gòu)提供豐富的并發(fā)處理能力，并在片上網(wǎng)絡、片上存儲、同步模型和通信機制等方面采用創(chuàng)新性的設計方法，以實現(xiàn)任務的高吞吐和低延遲。

易擴展片上網(wǎng)絡。Godson-T?采用易擴展的二維網(wǎng)格片上網(wǎng)絡，同時支持擁塞感知和能耗感知的動態(tài)路由算法以實現(xiàn)高并發(fā)場景下的片上網(wǎng)絡負載均衡，進而確保網(wǎng)絡通信的低延遲。

細粒度可配置片上存儲。Godson-T?的片上存儲支持細粒度可配置，從而更好地適配高通量場景下復雜的數(shù)據(jù)訪問模式，降低延遲。

快速同步機制。我們設計了片上同步管理結(jié)構(gòu)，支持基于數(shù)據(jù)流的核間細粒度快速同步，相比傳統(tǒng)的基于內(nèi)存的同步機制，性能可獲得數(shù)量級的提升。

可編程數(shù)據(jù)通信機制。Godson-T?提出了可編程數(shù)據(jù)傳輸引擎結(jié)構(gòu)，可以快速實現(xiàn)數(shù)據(jù)的水平（片上處理器核之間）和垂直（從內(nèi)存到片上存儲）搬運，實現(xiàn)了數(shù)據(jù)通信的低延遲。

Godson-T?眾核處理器結(jié)構(gòu)受到國際同行的廣泛關(guān)注，2011?年，處理器領(lǐng)域的知名期刊《微處理器報告》（Microprocessor Report）對?Godson-T?的研究成果進行了專門文章報道，并將其選入?2011?年全球十大服務器處理器之一。

高通量片上數(shù)據(jù)通路

“通量導向”的處理器數(shù)據(jù)通路設計也是確?！案咄掏隆⒌脱舆t”的關(guān)鍵，我們借鑒城市交通管理的思路開展設計。高通量計算在結(jié)構(gòu)特征、資源管理、調(diào)度策略等方面都非常類似于城市交通管理，兩者的核心特征都是高通量，即在單位時間內(nèi)完成盡可能多的處理請求，并保證?QoS，表?2?給出了兩者的類比情況。

針對應用的新特點，高通量數(shù)據(jù)通路重點在最基本的數(shù)據(jù)讀取、數(shù)據(jù)傳輸（訪存通路）和數(shù)據(jù)處理3個環(huán)節(jié)進行了創(chuàng)新。

數(shù)據(jù)讀取環(huán)節(jié)。針對應用中的大量細粒度訪存需求，設計了基于硬件的訪存請求收集表，通過對大量細粒度訪存的收集并批量處理，同時通過時間敏感的收集窗口控制機制，避免長延遲導致的任務失效。

數(shù)據(jù)傳輸環(huán)節(jié)。針對大量細粒度訪存的需求，提出了高密度路網(wǎng)的設計，從而提高片上網(wǎng)絡的利用率和吞吐量。支持動態(tài)通路調(diào)整，能根據(jù)數(shù)據(jù)傳輸?shù)膲毫?，動態(tài)調(diào)整傳輸通路配置，提高通路利用率。此外，通過直連快速網(wǎng)絡保障關(guān)鍵數(shù)據(jù)通路的低延遲。

數(shù)據(jù)處理環(huán)節(jié)。提出了硬件支持的全局實時任務調(diào)度機制，將任務按照優(yōu)先級及剩余裕度時間進行調(diào)度，有效保障任務的?QoS；同時避免對時間裕度不足的失效任務進行調(diào)度，從而確保硬件資源的合理利用。

標簽化體系結(jié)構(gòu)

為了在高吞吐、低延遲的同時還能實現(xiàn)高利用率，我們提出了標簽化馮?·?諾依曼體系結(jié)構(gòu)（Labeled von Neumann Architecture，LvNA；圖?1）。LvNA?的主要思想，是在經(jīng)典馮?·?諾依曼體系結(jié)構(gòu)之上增加一套基于標簽機制的可編程接口，使得總線與共享硬件部件支持“DIP”能力，即?D—區(qū)分（Distinguishing）、I—隔離（Isolation）、P—優(yōu)先化（Prioritizing），從而降低計算機系統(tǒng)內(nèi)部因資源競爭造成的干擾。

D屬性標簽機制。在?LvNA?中，標簽將依附于所有的數(shù)據(jù)訪問請求中，用于標識該請求來源于哪一個應用（或應用類別），并隨著數(shù)據(jù)訪問請求一同在整個計算機系統(tǒng)中傳播。這樣，總線和共享硬件部件就可以通過檢查數(shù)據(jù)訪問請求的標簽來對不同應用（或應用類別）的請求進行區(qū)分，從而支持區(qū)分屬性（D?屬性）。

I屬性標簽機制。總線和共享硬件部件可以在對數(shù)據(jù)訪問請求進行來源區(qū)分的基礎(chǔ)上，對請求所訪問的空間資源（如緩存、內(nèi)存地址空間等）進行隔離，減緩或消除因為空間資源的共享沖突帶來的干擾，從而支持隔離屬性（I?屬性）。

P屬性標簽機制。總線和共享硬件部件可以在對數(shù)據(jù)訪問請求進行來源區(qū)分的基礎(chǔ)上，對請求所使用的性能資源（如隊列、帶寬等）進行優(yōu)先化，減緩或消除因為性能資源的共享沖突帶來的干擾，從而支持優(yōu)先化屬性（P?屬性）。

基于上述標簽機制，控制邏輯按照預先設定的規(guī)則，以標簽為依據(jù)對相應的數(shù)據(jù)訪問請求實施不同的性能調(diào)控策略。這些性能調(diào)控策略是軟件可編程的，并且可以做到比傳統(tǒng)操作系統(tǒng)的性能調(diào)控更為細粒度，從而對延遲敏感型應用會有更優(yōu)的性能調(diào)控效果。

LvNA?對硬件的增強并不改動現(xiàn)有指令的語義，因此對軟件系統(tǒng)沒有侵入性，可以做到無須修改操作系統(tǒng)和應用程序。此外，LvNA?不依賴于處理器流水線結(jié)構(gòu)的改動，因而可以適用于任意處理器。

高通量計算核心芯片、系統(tǒng)及應用

為了驗證高通量計算機在核心芯片和系統(tǒng)等方面的核心技術(shù)，中國科學院計算技術(shù)研究所先后研制了高通量眾核處理器——DPU-m、標簽化體系結(jié)構(gòu)——“火苗”，以及高通量計算機系統(tǒng)——“金剛”等，并開展實際應用。

DPU-m高通量眾核處理器

我們完成了?DPU-m?高通量眾核處理器芯片（圖?2）的設計和流片，芯片基于?TSMC?40?nm?工藝，主要面向互聯(lián)網(wǎng)高通量視頻處理需求。與數(shù)據(jù)處理領(lǐng)域的主流芯片?Intel?的相同工藝芯片相比，能效提升達?20?余倍。

目前，基于自主技術(shù)構(gòu)建的高通量處理系統(tǒng)在國內(nèi)外均已開展部署。在國內(nèi)已經(jīng)進入國家計算機網(wǎng)絡與信息安全管理中心、中國移動、中國聯(lián)通等重要高通量網(wǎng)絡數(shù)據(jù)監(jiān)管與分析領(lǐng)域，有效保障了國家信息安全。在國外也已經(jīng)累計部署數(shù)千節(jié)點，服務于國家“一帶一路”倡議。

“火苗”標簽化體系結(jié)構(gòu)原型系統(tǒng)

“火苗”原型系統(tǒng)（圖?3）是依據(jù)?LvNA?實現(xiàn)的?FPGA?原型系統(tǒng)，包括?8?個節(jié)點；基于?SiFive?公司?freechips?項目的開源?SoC?實現(xiàn)?Rocketchip，并在其基礎(chǔ)上加入了標簽化的基礎(chǔ)設施以及應用標簽的控制平面。該系統(tǒng)已整體達到國際先進水平（美國加州大學伯克利分校于?2018?年?6?月發(fā)布同類平臺），標簽化功能處于國際領(lǐng)先水平。目前，“火苗”原型系統(tǒng)已對外開放，被中國科學院深圳先進技術(shù)研究院、清華大學、北京大學、天津大學、大連理工大學、華為海思公司、美國?Clemson?大學等用于前沿研究與產(chǎn)品研發(fā)。

“金剛”高通量計算機

2018?年?10?月，中國科學院計算技術(shù)研究所聯(lián)合北京中科睿芯科技有限公司在中國計算機大會（CNCC）上發(fā)布了首臺高通量計算機系統(tǒng)——“金剛”（圖?4），該系統(tǒng)集成了該所相關(guān)團隊在高通量處理器、高通量系統(tǒng)、高通量軟件及應用等領(lǐng)域的一系列創(chuàng)新技術(shù)，以高吞吐、高利用率、低延遲的特性滿足數(shù)據(jù)中心基礎(chǔ)設施建設的新需求，在高并發(fā)音視頻處理、深度學習等典型應用場景相比傳統(tǒng)服務器獲得數(shù)量級的能效提升。目前，隨著高通量計算機系統(tǒng)的成功研制，高通量計算技術(shù)將逐步應用到國民經(jīng)濟主戰(zhàn)場，貢獻于國計民生。

高通量計算中心建設

當前，城市公共計算基礎(chǔ)設施仍以超算中心和云計算中心為主。超算中心采用的是傳統(tǒng)高性能計算架構(gòu)，其核心是“算得快”；以交通工具做類比的話，對應的是飛機，其特點就是速度快、完成時間短。而云計算中心的核心是面對多樣化的計算需求實現(xiàn)“算得省”，對應交通工具中的汽車，汽車可以在絕大部分出行場景中都達到成本低和利用率高的目的。然而，飛機和汽車都存在一個明顯的局限性：雖然，在流量較低的情況下，兩者都能確保較好的服務質(zhì)量；但是，一旦交通負載快速上升時，就容易造成擁塞，導致完成時間急劇增長，難以保障服務質(zhì)量。而高通量計算的核心就是要突破上述局限性，在高負載的情況下實現(xiàn)“算得多”，類似于高鐵。高鐵是目前交通工具中，在高負載、高利用率前提下依然能有效保障用戶服務質(zhì)量的最佳方案。

隨著用戶出行需求的多樣化，交通運輸體系也在不斷發(fā)展完善。類似地，隨著應用需求的不斷變化，未來城市公共計算基礎(chǔ)設施也需要不斷發(fā)展和完善。面對未來千億級別端設備帶來的新需求，需要提供更高通量、更高智能、更高確定性、更低延遲和更低功耗的計算與傳輸能力，而高通量計算中心無疑將扮演著越來越重要的角色。

中國科學院計算技術(shù)研究所正在開展高通量計算中心的建設，按照規(guī)劃，第一步將先建設1—2個高通量計算的示范中心，然后在全國重點城市開展高通量計算中心建設，逐步實現(xiàn)高通量計算技術(shù)與新興產(chǎn)業(yè)的無縫融合。目前，第一個城市高通量計算中心已經(jīng)選址江蘇省鹽城市并已開展建設，由中國科學院計算技術(shù)研究所團隊負責高通量計算中心的整體方案設計、核心設備研制和日常運營。鹽城高通量計算中心將重點支持高通量視頻處理和人工智能加速，作為服務鹽城智能產(chǎn)業(yè)升級的核心公共研發(fā)平臺。

總結(jié)及建議

經(jīng)過長期的努力突破，我國在高性能計算機研制方面已經(jīng)取得一系列令人矚目的成果。然而我們也看到，不管是傳統(tǒng)超算中心，還是新興互聯(lián)網(wǎng)數(shù)據(jù)中心，核心芯片受制于人的現(xiàn)象仍然非常嚴重。

為了確保我國信息產(chǎn)業(yè)的安全可持續(xù)發(fā)展，有必要以高通量計算等新興應用場景作為突破口，加強核心芯片和計算系統(tǒng)的自主研發(fā)和產(chǎn)業(yè)應用，逐步打造自主可控的產(chǎn)業(yè)生態(tài)。為此，本文提出以下建議。

政策方面，政府明確以高通量計算等為代表的新興技術(shù)的戰(zhàn)略定位。一方面，加強以芯片和系統(tǒng)為代表的核心技術(shù)專項設置和科研投入；另一方面，加大國家相關(guān)部門在高通量計算相關(guān)信息基礎(chǔ)設施工程的布局和建設，針對國產(chǎn)化自主核心技術(shù)在全國挑選重點城市開展試點和驗證。

產(chǎn)業(yè)方面，整合高通量計算相關(guān)優(yōu)勢科研單位、高校及企業(yè)，推進相關(guān)產(chǎn)業(yè)聯(lián)盟的構(gòu)建。推動以高通量視頻處理、人工智能等為代表的行業(yè)應用優(yōu)先導入產(chǎn)業(yè)生態(tài)。此外，針對國家“一帶一路”倡議，積極探索核心技術(shù)產(chǎn)品的出口應用，擴大國際影響力。