本文由半導體產(chǎn)業(yè)縱橫（ID：ICVIEWS）編譯自semiengineering

由于人工智能和分解而加速的性能改進正在推動計算前沿的重大變革。

由于人工智能的普及，超級計算機和高性能計算機變得越來越難以區(qū)分，這推動了商業(yè)和科學應用性能的巨大提升，也給兩者帶來了類似的挑戰(zhàn)。雖然超級計算和高性能計算 (HPC) 的目標一直很相似（超快處理速度），但它們所服務的市場卻截然不同。超級計算機（例如Top 500 榜單上的超級計算機）通常是科學和學術計算的展示，其性能通常以百億億次浮點運算來衡量。另一方面，HPC 的目標是更傳統(tǒng)的應用，使用高帶寬內(nèi)存、快速處理器間通信和每秒大量浮點運算 (FLOPS)。但隨著對 AI 訓練和推理的關注，這些計算架構之間的相似性正在增加。“從根本上講，HPC 基于高帶寬內(nèi)存訪問、快速且低延遲的處理器間通信以及大量單精度和雙精度 FLOPS，”Eliyan 首席架構師 Paul Hylander 解釋道。“在過去 20 年中，HPC 一直依靠基于服務器的計算，因為 HPC 的容量不足以證明其本身需要專用網(wǎng)絡、處理和內(nèi)存開發(fā)?，F(xiàn)在，隨著大量資金投入 AI 計算，人們重新重視更高帶寬的內(nèi)存、更高帶寬的網(wǎng)絡和更好的散熱解決方案——以及更重要的，芯片解決方案，以便能夠擴展每個節(jié)點的計算量?！?/p>

如今，超級計算機可以分為兩大類。Arteris 產(chǎn)品管理總監(jiān) Ashley Stevens 表示：“有些超級計算機純粹基于處理器，包括配備加速器的超級計算機，通常是 GPU 等。有些問題的代碼可以追溯到幾年前。有些甚至可以追溯到 20 世紀 60 年代的科學領域，如核建模等，而且只能在通用計算機上運行。但還有一類問題比較新，可以重新編碼以在加速器系統(tǒng)上運行。因此，目前，性能最高的系統(tǒng)和最節(jié)能的系統(tǒng)將配備加速器，通常是 GPU?！本唧w來說，超級計算機之所以成為超級計算機，是因為它包含一個具有一致互連的節(jié)點，以及一個節(jié)點到節(jié)點互連，因此它們可以相互通信?！巴ǔＪ褂孟鬟f接口 (MPI)，”史蒂文斯說?！耙虼?，有辦法將問題拆分為多個節(jié)點，在兩個節(jié)點之間使用 MPI，或者有時使用遠程 DMA (rDMA)，其中一臺計算機可以將數(shù)據(jù) DMA 傳輸?shù)搅硪慌_計算機。這就是超級計算機的定義。它們具有系統(tǒng)間通信?！?/p>

混合策略

AI 對超級計算和 HPC 都產(chǎn)生了深遠的影響。過去五年來，異構環(huán)境中 CPU 和 GPU 的集成發(fā)生了重大變化。GPU 曾經(jīng)主要用于游戲和比特幣挖礦，現(xiàn)在已成為加速 AI 計算任務的必備工具。GPU 如此受歡迎的原因在于其可擴展性。

Alphawave Semi ASIC IP 解決方案總監(jiān) Shivi Arora 表示：“一切都歸結(jié)于系統(tǒng)所包含的內(nèi)核數(shù)量。這取決于您是面向 HPC 數(shù)據(jù)中心，還是關注 DPU/CPU 類型的市場。HPC 和超級計算機都朝著同一個方向發(fā)展。系統(tǒng)上可以安裝的 CPU 數(shù)量決定了您要支持的市場?！边@種混合搭配的粒度為混合系統(tǒng)打開了大門，結(jié)合了經(jīng)典計算、超級計算甚至量子計算，以滿足各種應用程序的性能、可靠性和安全性需求。是德科技流程和數(shù)據(jù)管理總經(jīng)理兼業(yè)務部負責人 Simon Rance 表示：“總體而言，超級計算正在不斷發(fā)展。但量子計算也正在真正獲得發(fā)展勢頭。

在高數(shù)學類型的計算應用中（需要以非?？?、激進的速度進行計算），我們看到越來越多的超級計算進入量子計算。這是量子計算現(xiàn)在真正強大的領域。當它處理來自各種來源的信息時，例如對于人工智能來說，試圖理解它試圖實時處理的內(nèi)容，這就是我們看到的超級計算的自然演變?！比欢?，這加劇了一些常見的挑戰(zhàn)。IBM 高性能計算全球負責人 CT Rusert 表示：“當我們對比 5 年前和現(xiàn)在的超級計算機時，會發(fā)現(xiàn)它們?nèi)〉昧梭@人的進步。我們的超級計算機能夠以前所未有的速度進行百億億次級的建模計算，而 5 年前我們還做不到這一點。這也帶來了挑戰(zhàn)。隨著我們成為一個更加注重能源和效率的社會，有了這些超級計算機，我們?nèi)绾巫屗鼈兏?jié)能呢？”

如今，這些挑戰(zhàn)已經(jīng)跨越到兩個計算領域，人工智能對更多馬力提出了無盡的需求，以訓練多模型并解決龐大而復雜的計算問題。Cadence 戰(zhàn)略與新業(yè)務集團總監(jiān) Rob Knoth 表示：“人工智能工廠的概念，即消費和生產(chǎn)代幣，是一項計算密集型的研究。它正像野火一樣蔓延，推動整個生態(tài)系統(tǒng)發(fā)生變化，包括人們對超級計算機的看法、消費設備中可接受的計算量、汽車中的計算規(guī)模、人形機器人或無人機的計算規(guī)模。需要大量的計算，而每種計算對功率計算、熱范圍、電網(wǎng)連接的要求都不同。它能在無需充電的情況下走動或飛行多長時間？“超級計算機”這個詞因人工智能而改變，以及它如何改變?nèi)斯ぶ悄埽@真是令人著迷、美麗、可怕和鼓舞。超級計算機的規(guī)模使我們能夠制作這些新前沿模型，制作這些多模式模型，能夠開始談論物理人工智能，談論制造一個可維修的人形機器人所需的后果，以及它與汽車中的芯片或新數(shù)據(jù)中心中的芯片有何不同?！?/p>

關鍵推動因素

這種融合的核心是技術進步，例如高帶寬內(nèi)存、不同芯片內(nèi)部和之間的高帶寬通信以及可大規(guī)模擴展的基于小芯片的解決方案。所有這些都是滿足人工智能需求的關鍵，因為人工智能需要強大的計算能力來訓練多模態(tài)模型和執(zhí)行推理任務?！霸谀甓瘸売嬎愦髸希^去五到七年來一直在討論融合這個話題，” Rambus研究員、杰出發(fā)明家 Steven Woo 表示?！皬淖罡邔哟蝸砜?，如果你看看 500 強榜單中的頂級超級計算機，你會發(fā)現(xiàn)它們不僅配備了傳統(tǒng) CPU（例如英特爾或 AMD 的 CPU），還配備了大量來自英偉達或 AMD 的顯卡或 AI 引擎。如果你從高層次看這些專門的 AI 集群，你會發(fā)現(xiàn)它們并沒有什么不同。至于 AI 引擎與傳統(tǒng) CPU 的比例，這將根據(jù)超級計算機或 AI 集群的構成而變化。

但如果從 30,000 英尺的高度來看，它們非常相似。然后你會開始意識到人們在超級計算領域運行的許多基準測試在這些 AI 超級集群上也能很好地運行，反之亦然，因此這引發(fā)了更多關于融合的討論?！笆欠裥枰幸活悊为毜臋C器專門服務于超級計算市場？同時，人工智能是否變得如此基礎以至于這兩者正在融合在一起？”這種融合也帶來了挑戰(zhàn)。由于超級計算機消耗大量電力，因此能源效率和可持續(xù)性是主要問題。冷卻系統(tǒng)和先進的封裝技術對于管理熱封套和確保高效電力輸送必不可少。此外，數(shù)據(jù)移動的成本已經(jīng)高于計算成本，因此需要采用新方法來最大限度地減少數(shù)據(jù)傳輸并提高整體系統(tǒng)效率。人工智能中的許多技術驅(qū)動因素都進入了超級計算機，反之亦然。“如果你看看超級計算機項目，你會發(fā)現(xiàn)它們大多是由國家推動的，”Woo 說?！懊绹捻椖看蠹s每 10 年運行一次。大約每五年左右，就會有一臺新的超級計算機問世。因此，五年的時間用于研究和思考原型和其他東西，五年的時間用于執(zhí)行以構建機器。三個最大的超級計算機項目包括一個由美國贊助的項目，日本一直贊助一個非常大的項目，然后中國有自己的項目。美國上一次做的超級計算機項目被稱為 Exascale 項目。美國傳統(tǒng)上表示下一個標準將比之前的機器性能高 1,000 倍，它被稱為 Exascale。此外，美國政府與工業(yè)界合作，為學術界和工業(yè)界提供大量投資資金來開發(fā)新技術，然后這些技術進入超級計算機。它們也進入了商業(yè)產(chǎn)品?！?/p>

人工智能也有助于縮小超級計算機和 HPC 之間的性能差距?！癗VIDIA 的 Grace Blackwell 去年問世，Rubin 將于今年問世，因此您可以看到這一年的性能進步令人驚嘆。兩者都是極其重要的技術驅(qū)動因素，但人工智能目前似乎處于更快的發(fā)展周期。機器之間的目標不一定像超級計算機程序那樣崇高，超級計算機程序的目標是性能提高 1,000 倍。在人工智能中，很難逐年做到這一點，但它們確實每一代都取得了巨大的進步?！?/p>

數(shù)據(jù)移動的挑戰(zhàn)

超級計算發(fā)展面臨的另一個壓力是數(shù)據(jù)移動?！笆嗄陙?，人們已經(jīng)充分認識到數(shù)據(jù)移動是一個大問題。Exascale 計劃進行了大量研究，并且有一些很棒的演示，如果你只是遵循技術發(fā)展曲線，你會發(fā)現(xiàn)數(shù)據(jù)移動的成本比計算成本更高，”Woo 說?！爱敃r有一些預測，以及經(jīng)過深思熟慮和非常清晰的研究，它們得出結(jié)論，這將是一個問題。有幾種方法可以解決這個問題。要么把組件放得更近，要么想辦法制造現(xiàn)在人們所說的超級芯片。”

過去，問題在于光罩?！靶酒叽缰荒苓@么大。但現(xiàn)在他們正在尋找方法來超越這個尺寸，將多個光罩大小的芯片拼接在一起，現(xiàn)在它們彼此緊挨著，所以如果你從五英尺外看，它看起來就像一個大芯片，它們連接在一個基板上，”Woo 解釋道。“所有這些都是由先進封裝和業(yè)界一直在研究的基于 HBM 等技術實現(xiàn)的。人工智能、高性能計算和超級計算之間存在著良性互動，其中物理原理沒有改變，問題很大，它們之間有細微的差別，但數(shù)據(jù)移動已被證明是最大的問題之一。你可以從邏輯上說，‘我們不要把數(shù)據(jù)移動太遠’，但這又帶來了行業(yè)必須解決的其他挑戰(zhàn)，比如熱問題。你如何處理熱問題？我們知道液體冷卻注定會在未來幾年成為主流。另一個挑戰(zhàn)是電力輸送。我如何將所有的功率、電流和電壓集中到這個相對較小的區(qū)域？我們以前不常這樣做。這并不是說我們做不到。這更像是尋找經(jīng)濟的方法。你如何以一種非常易于制造的方式來做到這一點？”

所有這些也帶來了一些復雜的分區(qū)挑戰(zhàn)，因為距離會影響獲得結(jié)果的時間。“我們現(xiàn)在擁有如此強大的處理計算能力，但我們現(xiàn)在面臨著處理器之間的延遲問題，以及處理和顯示或?qū)崟r返回結(jié)果的問題，”Keysight 的 Rance 說?！斑@是我們從超級計算發(fā)展而來的一部分。這不僅僅是一臺超級計算機在計算一些東西。它是信息共享，并將其帶回，然后在一毫秒內(nèi)做出決定?！?/p>

準確性現(xiàn)在是個問題

而人工智能又帶來了另一個問題。與傳統(tǒng)計算不同，人工智能是概率性的。結(jié)果基于分布，而分布并不總是完全準確的。這在超級計算中是不可接受的。

“它需要不同的精度，”Arteris 的 Stevens 說。“在科學計算中，通常使用雙精度 64 位，偶爾使用 32 位。但這些 AI 東西可能只使用 8 位或 16 位。OpenAI 顯然是 AI，而不是傳統(tǒng)的超級計算機類型的應用程序，但運行多年前的代碼是有要求的。最近很多都是 AI 訓練。我過去參與的事情更多是嘗試以良好的性能運行 60 年代的舊 Fortran 代碼。今天，最高效的機器是帶有加速器的機器，因為一般來說，硬件越專業(yè)，效率就越高。它越通用，效率就越低。GPU 只適合某些東西。如果某些代碼是用 Fortran 編寫的，那么完成它并不容易。即使它們支持，雖然它們支持 IEEE 浮點，但它們不一定支持普通計算機支持的所有不同模式和極端情況。因此，它們適用于某些類型的問題，但不一定適用于所有類型的問題。我們現(xiàn)在看到的可能是越來越多的專業(yè)化，尤其是在人工智能領域。你已經(jīng)看到了這一點，人們更專注于一個特定的問題，而不是更通用的計算。這使得它更有效率。”

不僅僅是技術除了技術層面，“超級計算機”一詞還具有重要的文化和啟發(fā)價值。它代表著技術的最前沿，是下一代工程師和科學家的燈塔。

“超級計算機不僅僅與工程有關，”Cadence 的 Knoth 說道。“在超級計算大會上，很多人會告訴你‘超級計算機’的確切科學定義，但我認為這并不重要。‘超級計算機’這個詞對于科學交流比對于科學更重要。它具有力量，因為它隨著時間而變化。房間里有 ENIAC 的照片，然后人們從口袋里掏出手機說，‘我這里有它?！裕瑢ξ襾碚f，超級計算機這個詞在文化和激勵背景下比在技術背景下更重要。超級計算機有助于激勵下一代工程師。它們是一個有助于使我們的工作民主化以幫助其他人了解工程領域正在發(fā)生的事情的術語。超級計算機揭示了最前沿的事物。我們要去哪里？我們?yōu)槭裁匆?？我們正在解決哪些真正酷的問題？與許多擺在你面前的東西相比，他們是開拓者?！?/p>

能源效率和可持續(xù)性的作用

隨著超級計算和 HPC 系統(tǒng)的不斷發(fā)展，能源效率和可持續(xù)性已成為關鍵考慮因素。這些系統(tǒng)的巨大計算能力需要大量的能源。

為了解決這些問題，研究人員和工程師正在開發(fā)新技術和新方法，以提高超級計算和 HPC 系統(tǒng)的能源效率。這包括使用先進的冷卻系統(tǒng)來管理熱包絡并降低能耗。此外，他們還在努力優(yōu)化這些系統(tǒng)的設計和架構，以最大限度地降低功耗并提高整體效率。

很多人認為 HPC 和超級計算面臨的最大挑戰(zhàn)是能耗和功耗?！芭e個最壞的例子，微軟、OpenAI 和軟銀宣布的星際之門系統(tǒng)將需要 5 千兆瓦的電力，”Arteris 的史蒂文斯說?！斑@比英國或美國的任何核電站都要大，盡管世界上也有一些這么大的核電站。在其他國家，典型的核反應堆大約為 1 或 1.5 千兆瓦，因此星際之門將需要其中的三個。建造一座核電站至少需要 10 年。到那時他們還在建造同樣的東西嗎？我們這個行業(yè)的發(fā)展非?？?，所以你可以想象為它建造一個發(fā)電站。你的目標可能不是你 10 年后最終做的事情。最大的挑戰(zhàn)之一是功耗。目前頂級超級計算機需要大約 30 兆瓦的電力，有些甚至更多。近 15 年前，我曾參與過一項關于富岳超級計算機的研究。當時，人們認為極限是 10 兆瓦。但現(xiàn)在我們的系統(tǒng)耗電量是 30 兆瓦的三倍，而且他們計劃建造一座千兆瓦級的發(fā)電廠。因此，能源效率將變得非常重要。計算性能的極限實際上是能耗，而這一點尚未得到真正考慮?！?/p>

以不同方式將各個部件組合在一起

超級計算機為大規(guī)模異構集成鋪平了道路。小芯片概念將這種方法帶到了封裝級別。

Alphawave Semi 的 chiplet 首席產(chǎn)品線經(jīng)理 Sue Hung Fung 表示：“我們現(xiàn)在將所有這些不同的東西都放在一個封裝中。這只是一個被分解的大型單片芯片。然后我們將所有這些都放入一個封裝中，這是一個系統(tǒng)級封裝，我們正在為 AI/ML 構建這些東西，因為我們看到數(shù)據(jù)中心中大量數(shù)據(jù)的巨大驅(qū)動力，并為 AI 進行 LLM 訓練和推理。根據(jù)我們在計算中放入的內(nèi)核類型，我們可以從中獲得什么樣的性能。這將特定于該應用程序用例，取決于內(nèi)核的類型，取決于您使用多少個內(nèi)核?！边@是一臺超級計算機，還是一臺高性能計算機？還是介于兩者之間？答案并不總是顯而易見的，而且隨著給定時間內(nèi)計算量的不斷增加，答案也變得越來越不明顯。