對于每個多家的超算系統(tǒng)來說，能占據(jù)TOP500超算榜單的前十是一項極大的榮譽。然而隨著美國、日本、歐洲與中國的E級超算計劃紛紛提上日程，超算系統(tǒng)功耗墻的問題也開始顯現(xiàn)，一臺E級超算系統(tǒng)帶來的功耗已經(jīng)再也無法被忽視了。而早在2013年開始發(fā)布的榜單GREEN500，則開始按能效比進行排名，為的就是鼓勵各國各廠商開始高能效比的超算設計。

國產(chǎn)超算面臨的功耗問題

在面臨功耗墻的挑戰(zhàn)時，國內(nèi)超算又是如何解決的呢？這個問題尤其困擾著排名前列的幾大研究型超算，比如國家并行計算機工程技術研究中心研制的神威太湖之光超級計算機。畢竟如果只拼性能，不看功耗，與超算的設計理念其實是背道而馳的。

我們看前十的超算中，乃至前100的超算中，基本都是采購AMD、英特爾和英偉達的硬件，再交由HPE、聯(lián)想、浪潮等廠商打造整個超算系統(tǒng)。這對于不涉及生產(chǎn)制造的一些研究中心來說，可以說是一個投入大成本但省去麻煩的選擇。對于他們來說，在功耗上也能收獲好處，那就是這些硬件廠商往往已經(jīng)在設計之初考慮到了低功耗，而且也有完備的電源、功耗管理方案。

但這些方案對于我國的研究型超算來說就不太適用了，且不說國內(nèi)各大超算中心已經(jīng)進入實體清單，根本買不到這些處理器。再者此類方案也無法套用在自研的神威太湖之光上系統(tǒng)上，因為這臺超算所用的不是商業(yè)組件，也不是傳統(tǒng)的x86多核架構(gòu)，而是申威26010處理器的眾核架構(gòu)。

申威26010處理器在開發(fā)之初就用上了低功耗設計，比如其結(jié)構(gòu)就是通過集成眾多核心來提升性能，降低單核最高工作頻率的要求，從而避免了躥升的功率。而且在眾核架構(gòu)下，其核心還支持深度睡眠、淺睡眠和低功耗等運行模式，避免了無工作負載的核心帶來額外的功耗。除了邏輯部分以外，其緩存、I/O也都采用了低功耗的設計，使得整個260核處理器的峰值功耗只有不到300W。

但單靠芯片上的低功耗設計是沒法將整個超算系統(tǒng)的能效提上去的，從最新一期的GREEN500榜單中，就展現(xiàn)了我國的超算在能效上明顯已經(jīng)開始落后于人了。使用申威26010處理器的神威太湖之光在TOP500的性能排行榜上排名第六，但在GREEN500上卻只有61名的成績。

同樣的還有天河2號，這臺超算作為曾經(jīng)的驕傲，如今仍在TOP500上占據(jù)了第九的席位，但在GREEN500上就已經(jīng)落到百余名之后了。難不成國內(nèi)的頂尖超算真的就無法高性能與低功耗兼得嗎？

下一代E級神威和E級天河

這兩臺超算背后的團隊并不是沒有發(fā)現(xiàn)功耗問題，而他們將解決這些挑戰(zhàn)的手段都放在了下一代E級的超算開發(fā)上。在7月份的《計算機學報》中，國家并行計算機工程技術研究中心的幾名研究院發(fā)布了神威E級原型機所用到的功耗管理技術。而這一次，E級的神威系統(tǒng)用上了軟硬協(xié)同的多層級功耗管理，包括從基礎設施、編譯和細粒度上開展功耗優(yōu)化。

神威E級原型機換上了全新的申威26010+眾核處理器，同樣是4個運算控制核心+256個運算核心的260核配置。在神威的E級原型機上，兩個處理器構(gòu)成一個節(jié)點，整個系統(tǒng)由512個節(jié)點構(gòu)成，峰值性能達到了3.13PFlops。

神威E級原型機用上了低功耗編譯優(yōu)化技術，基于硬件低功耗指令，通過指令調(diào)度/指令插樁，針對低功耗循環(huán)優(yōu)化和調(diào)度優(yōu)化，來節(jié)能降耗，從測試結(jié)果來看，降低了10%的功耗。不僅是芯片，神威E級原型機還用上了節(jié)點級、作業(yè)級乃至系統(tǒng)級的功耗管理。比如在節(jié)點層面上，如果計算陣列無任務時，系統(tǒng)會選擇斷開陣列時鐘，實現(xiàn)陣列睡眠，節(jié)約節(jié)點功耗的63%。

至于基礎設施上的節(jié)能，還是在供電和冷卻上，文章中只提到了供電系統(tǒng)上的節(jié)能優(yōu)化，比如利用系統(tǒng)功耗量化監(jiān)測來完成高效電能變換等。而冷卻系統(tǒng)上的優(yōu)化我們已經(jīng)在神威太湖之光上看到了一部分，那就是增加水泵變頻器等自動化控制系統(tǒng)，實時調(diào)整輸出保證高速運轉(zhuǎn)。

至于E級的下一代天河超算“天河3號”，其實也早已通過原型機/驗證系統(tǒng)在能效上展現(xiàn)了不錯的成績，但并不是通用計算，而是大數(shù)據(jù)圖計算。在今年六月公布的大數(shù)據(jù)圖計算能效比排名Big Data Green Graph500上，天河E級原型機系統(tǒng)提交的新成績再度打破紀錄，奪下了第一名的位置，甚至是在同樣的核心數(shù)量下，超過了第一次提交成績近50%。

僅僅只是高能效還不夠？

接著，我們來聊聊另一個超算的能耗問題，此次我會不以在GREEN500并列第一第二的Frontier單機柜/超算系統(tǒng)為例，而是帶大家看看排名第三，但硬件架構(gòu)與Frontier基本一致的歐洲超算LUMI，之所以選擇這臺超算，也是因為它在功耗管理上有著一些獨到之處。

LUMI配備了AMD第三代EPYC 64核CPU和Instinct MI250X GPU，與Frontier相同，但在規(guī)模上還是不比后者。這臺由歐洲高性能計算聯(lián)盟（EuroHPC）和LUMI聯(lián)盟成員國出資打造的機器，將能效比做到了51.6GFlops/W的高度，略遜于52.227GFlops/W的Frontier，但這個第三名已經(jīng)足以自證實力了。

固然這些超算的能效比和PUE（數(shù)據(jù)中心能源效率指標）結(jié)果都相當驚艷，但如今圍繞這一榜單的爭論也開始出現(xiàn)，那就是供給超算系統(tǒng)的能源究竟從哪來？究其緣由，我們之所以想要提高超算的能效比，就是為了不斷減少其龐大系統(tǒng)帶來的碳足跡。但設想一下，如果一臺超算擁有極高的能效比，但其能源卻是完全來自煤電，這樣的話在減少碳足跡上起到的作用可以說微乎其微了，而這也是LUMI這臺超算區(qū)別于其他超算的地方。
LUMI超算選擇了芬蘭的卡亞尼市的一家舊造紙廠廢棄后的棕地開建，這是因為對于嚴寒的北歐國家來說，如果重新選擇一塊綠地的話，短暫的夏日會使得建設時間縮短，進而拖慢項目進度，況且建設本身也是一個高碳排放的過程。還有一個原因，那就是該地區(qū)已經(jīng)接入了芬蘭國家電網(wǎng)的線路，可以為他們實現(xiàn)100%的純水電供應，最高可達1000多MW，不僅如此，LUMI還有來自風電場的額外饋電線路。

除去可再生能源，LUMI也能將散發(fā)的多余熱量出售給卡亞尼市，單靠LUMI的廢熱，就能解決卡亞尼市周邊20%的區(qū)域供熱，還能多賺一筆，降低了運營的凈成本。如果只算超算運營的話，LUMI超算甚至可以看成是“負碳足跡”的，這也是歐洲本土能源發(fā)展多年來的成果，LUMI在享受其能源福利的同時，也對本地的能源供應做出了貢獻。

寫在最后

固然通過以上這些信息，讓我們對未來國內(nèi)E級超算的能效比有了信心。不過以上這些還只是基于原型機實現(xiàn)的能效比提升，多個節(jié)點組成的超算系統(tǒng)由于引入了額外的功耗，而且性能也不是單純的線性提升，所以在能耗比上還是會有些許下降的，這點從Frontier和富岳兩臺超算上也能看出。

單機柜的Frontier TDS在GREEN500上排名第一，能效比達到了62.684GFlops/W，而整個Frontier 超算系統(tǒng)位列第二，能效比降為52.227GFlops/W，能效比有了16.7%的下降。而富岳的A64FX原型機在2020榜單上的能效比為16.285GFlops/W，而整個富岳超算的能效比為14.665GFlops/W，降低了10%左右。雖然下降的幅度不多，但相較整個超算系統(tǒng)整年的功耗來看，還是相當龐大的。

再者就是能源供給上的改造，無論是濟南超算中心，還是天津超算中心，都可以先在超算項目上先行開展光伏、風能等可再生綠色能源的供電改造，為下一代神威、天河在基礎設施的節(jié)能減碳上做好鋪墊。