從短期來講，大模型革新每個行業(yè)、每個應用，編程范式發(fā)生了前所未有的變化，而就長期而言，大模型驅(qū)動的計算架構正在發(fā)生演化。未來究竟將如何演進？微軟亞洲研究院副院長楊懋博士特此撰文，深入計算機系統(tǒng)為我們帶來了更大規(guī)模、更分布式、更智能化的方向。

“大模型的不斷涌現(xiàn)和下一代人工智能需求的迅速增長，促使我們加速對傳統(tǒng)計算機系統(tǒng)的革新。同時，構建于大規(guī)模高性能計算機系統(tǒng)之上的現(xiàn)代人工智能技術也為未來計算機系統(tǒng)的研究帶來了無限的機遇。創(chuàng)新超級計算機系統(tǒng)、重塑云計算、重構分布式系統(tǒng)，將是實現(xiàn)計算機系統(tǒng)自我革新的三個重要方向。”?? ——楊懋，微軟亞洲研究院副院長

在計算機科學的諸多細分研究領域之中，計算機系統(tǒng)研究可能是最兼具“古典”與“摩登”特質(zhì)的研究方向。說它古典，是因為計算機系統(tǒng)的雛形可以追溯到古代的算盤、算籌、數(shù)據(jù)表等計算工具，其發(fā)展遠遠早于軟硬件、云計算、人工智能等技術的研究；至于摩登的一面，大數(shù)據(jù)、云計算等現(xiàn)代技術又促進了計算機系統(tǒng)的不斷進化。傳統(tǒng)計算機系統(tǒng)研究領域，如分布式系統(tǒng)理論和實踐、編譯優(yōu)化、異構計算等成果，已在當今的大模型時代大放異彩。同時，以大規(guī)模 GPU 集群為代表的高性能計算機系統(tǒng)也推動人工智能實現(xiàn)了質(zhì)的飛躍。

然而，隨著人工智能技術更新迭代速度的加快，我們也愈發(fā)清晰地看到傳統(tǒng)計算機系統(tǒng)面臨著新的挑戰(zhàn)：當前的 GPU 集群在規(guī)模和效率上，已經(jīng)難以滿足新一代人工智能模型的訓練和服務的需求，而現(xiàn)有的云計算和移動計算系統(tǒng)平臺，也需要從服務傳統(tǒng)的計算任務向服務智能應用轉(zhuǎn)變。

面對這一系列挑戰(zhàn)，我們意識到構建于大規(guī)模高性能計算機系統(tǒng)之上的現(xiàn)代人工智能技術，將為計算機系統(tǒng)的研究帶來無限的機遇。因此，計算機系統(tǒng)的革新也勢必要從這三個方向展開：

創(chuàng)新超大規(guī)模計算機系統(tǒng)以支持未來人工智能的發(fā)展；

重構云計算這一重要的 IT 基礎平臺；

設計前沿的分布式系統(tǒng)，以適應更廣泛的分布式智能需求。

01.?大規(guī)模和更高效的計算機系統(tǒng)是下一代人工智能發(fā)展的基石

強化學習領域的創(chuàng)始人之一 Rich Sutton 曾說過，“從 70 年的人工智能研究中可以總結出的最重要的經(jīng)驗是，最大化利用計算能力是最有效，也是最有優(yōu)勢的方法。從長遠來看，唯一重要的事情就是利用好算力。” 超級計算機系統(tǒng)作為當前最有效的計算力“源力”，是現(xiàn)代人工智能成功的重要基石。然而，在基于超級計算機系統(tǒng)構建大規(guī)模 GPU 集群的過程中，系統(tǒng)的可靠性、通信效率和總體性能優(yōu)化成為制約大模型訓練性能上限的關鍵問題。因此，我們需要創(chuàng)造一個更高性能、更高效率的基礎架構和系統(tǒng)，以推動下一代人工智能的發(fā)展。

過去五年中，我們從體系結構、網(wǎng)絡通信、編譯優(yōu)化和上層系統(tǒng)軟件等多個角度，開展了計算機系統(tǒng)的創(chuàng)新研究，為人工智能基礎架構的演化提供了有力支持。例如，我們推出了能夠跨多個加速器執(zhí)行集體通信算法的微軟集體通信庫 MSCCL[1]，以及有助于開發(fā)大規(guī)模深度神經(jīng)網(wǎng)絡模型的高性能 MoE（Mixture of Experts，混合專家）庫 Tutel[2]。這些研究成果為包括大語言模型訓練及推理在內(nèi)的各種人工智能任務提供了高效的支持。

超級計算機系統(tǒng)不能僅依靠傳統(tǒng)系統(tǒng)方法來實現(xiàn)革新，而是要利用人工智能實現(xiàn)創(chuàng)新和演進。這也是微軟亞洲研究院正在探索的研究方向，我們認為人工智能的新能力將為解決傳統(tǒng)計算機系統(tǒng)問題提供新視角，包括更智能和高效地優(yōu)化復雜系統(tǒng)的性能，更快速和智能的問題診斷，以及更便捷的部署和管理。 人工智能與系統(tǒng)結合將為計算系統(tǒng)設計帶來新的范式。從芯片設計、體系結構創(chuàng)新、編譯優(yōu)化到分布式系統(tǒng)設計，人工智能可以成為系統(tǒng)研究者的智能助手，甚至承擔大部分工作。

在人工智能的協(xié)助下，系統(tǒng)研究者可以將更多精力用于更大規(guī)模系統(tǒng)的整體設計，關鍵模塊和接口的抽象，以及系統(tǒng)整體的演進路線。比如，對于人工智能編譯系統(tǒng)的設計，我們推出了 Welder、Grinder 等編譯器[3]，可以更專注于模型結構、編譯系統(tǒng)和底層硬件之間的關系和抽象，而更多具體的編譯優(yōu)化搜索算法和實現(xiàn)可以由人工智能輔助完成。這些新的系統(tǒng)研究范式將成為構建更大規(guī)模和更高效的人工智能基礎架構的真正基石。

基于統(tǒng)一切塊（tile）抽象的四個核心 AI 編譯技術

02.?以智能化為內(nèi)核，重塑云計算系統(tǒng)

“操作系統(tǒng)管理著計算機的資源和進程，以及所有的硬件和軟件。計算機的操作系統(tǒng)讓用戶在不需要了解計算機語言的情況下與計算機進行交互?！边@是我們對計算機系統(tǒng)的最初理解。 但是，隨著以 GPU、HBM（高帶寬存儲器）、高速互聯(lián)網(wǎng)絡為代表的分離式（Disaggregation）服務器架構逐漸取代傳統(tǒng)以 CPU 為中心的服務器，人工智能智能體（AI Agent）和大模型成為云計算平臺的主流服務，深度學習算法逐漸替代傳統(tǒng)服務核心算法，云計算這個始于本世紀初的最重要的 IT 基礎系統(tǒng)也需要重塑自身。 傳統(tǒng)云計算領域的研究方向，如虛擬機（VM）、微服務（Microservices）、計算存儲分離、彈性計算等，在人工智能時代下需要被重新定義和發(fā)展。

虛擬化技術需要在分離式架構的背景下進行重新設計；

微服務及其相關云計算模塊需要為 AI Agent 和大語言模型構建高效且可靠的服務平臺；

數(shù)據(jù)隱私和安全需要成為云計算系統(tǒng)創(chuàng)新的核心要素。

所有這些變革創(chuàng)新都要服務于云計算系統(tǒng)的智能化（Cloud + AI）。

一方面，大規(guī)模異構計算系統(tǒng)在云端的普及為傳統(tǒng)大規(guī)模系統(tǒng)提供了新的計算平臺；

另一方面，深度學習特別是大模型的發(fā)展為傳統(tǒng)大規(guī)模系統(tǒng)的內(nèi)在算法設計和實現(xiàn)提供了嶄新的思路。

以搜索系統(tǒng)為例，我們基于異構計算系統(tǒng)和深度學習方法對搜索系統(tǒng)進行了創(chuàng)新，從 Web Scale 的矢量搜索系統(tǒng) SPANN[4]到最新的 Neural Index 索引系統(tǒng) MEVI[5]的設計，這些創(chuàng)新不僅極大提升了搜索和廣告系統(tǒng)的性能，也為未來信息檢索系統(tǒng)提供了新的范式。類似的創(chuàng)新也發(fā)生在數(shù)據(jù)庫系統(tǒng)、科學計算系統(tǒng)等領域。 云計算系統(tǒng)不僅為人工智能的發(fā)展提供了保障，其自身和構建其上的大規(guī)模系統(tǒng)服務也將受益于人工智能技術，從而實現(xiàn)持續(xù)演進。未來的云計算平臺也將成為新一代人工智能基礎架構的關鍵組成部分。

03.?分布式系統(tǒng)將是分布式智能的關鍵基礎設施

“人類的智能不單存在于人類的頭腦中，還廣泛分布在整個物理世界、社會活動和符號體系中——這就是‘分布式智能’?！泵绹J知科學家 Roy Pea 在 1993 年發(fā)表的一篇論文“Distributed Cognition: Toward a New Foundation for the Study of Learning”中提出了分布式智能（Distributed cognition）的概念，為我們提供了一種新的視角來理解人工智能系統(tǒng)與社會以及環(huán)境之間的相互作用。

目前，大模型的技術鏈條，從訓練到推理都依賴于云計算中心。但我們相信，智能廣泛存在于分布式環(huán)境中，未來的智能計算也必然存在于任意的分布式環(huán)境中。 人類和物理世界的交互、基于符號系統(tǒng)的交流，都是智力活動的體現(xiàn)。在未來，這些智力活動應該能被大模型更好地感知和學習，人們也可以在任意終端更實時地獲取人工智能模型的能力。這種泛在的相互感知和不斷演進的能力，將是未來分布式系統(tǒng)研究的重點之一。 那么，如何支持智能技術在更分布式的場景下發(fā)展？我們需要考慮在由云端、邊緣端和設備組成的廣泛計算平臺中，如何更好地進行人工智能計算。除了傳統(tǒng)的模型稀疏化、壓縮等優(yōu)化模型推理性能的技術外，更為關鍵的是要克服大模型等算法在邊緣端運行時遇到的挑戰(zhàn)，如實時性和可靠性等基礎問題。為此，我們推出了 PIT[6]、MoFQ[7]等多種移動端模型量化、稀疏化以及運行時優(yōu)化的技術。

另外，對于邊緣計算平臺和設備，硬件和推理算法的創(chuàng)新也至關重要，這將從根本上革新端側(cè)的推理方式，比如利用基于查找表（Lookup Table）等全新的計算范式來提升端側(cè)推理效率， 包括 LUT-NN[8]等技術。 我們還與多個不同的機器學習團隊緊密合作，使學習算法可以更好地從任意信號（Signals）中捕捉智能。除了傳統(tǒng)的多模態(tài)模型，我們也在尋找更簡潔和內(nèi)在一致的模型結構和學習算法，可以從任意信號中進行學習。我們也在探索更優(yōu)的模型結構和算法，這些模型應當更稀疏、更高效，且具有良好的可擴展性，能夠有效地支持自學習和實時更新。 未來，智能將融入廣泛的分布式環(huán)境中，而創(chuàng)新的分布式系統(tǒng)將是分布式智能的關鍵基礎設施，也是人類社會獲得更實時、更可靠的人工智能交互能力的前提。

04.?未來的計算機系統(tǒng)將自我進化

未來的計算機系統(tǒng)研究將是一個持續(xù)自我革新的過程。這不僅意味著計算機系統(tǒng)需要不斷進化來滿足未來人工智能發(fā)展的需求，也意味著計算機系統(tǒng)本身將更加智能化，并具備自我演化的能力。

過去幾年的變革創(chuàng)新讓我們窺見了些許未來的樣貌。然而，從基礎架構、云計算平臺到分布式智能化，人工智能時代的計算機系統(tǒng)研究領域，還有很多新的可能性等待我們?nèi)ヌ剿?。當然，我堅信那些更加智能、更強大的助手和工具，一定會在未來的研究道路上給我們帶來尚未被發(fā)現(xiàn)，但又足以令人興奮的驚喜。

作者簡介

楊懋博士現(xiàn)任微軟亞洲研究院副院長，領導微軟亞洲研究院在計算機系統(tǒng)和網(wǎng)絡領域的研究工作。于 2006 年加入微軟亞洲研究院，主要從事分布式系統(tǒng)、搜索引擎系統(tǒng)和深度學習系統(tǒng)的研究、設計與實現(xiàn)。同時領導團隊在計算機系統(tǒng)、計算機安全、計算機網(wǎng)絡、異構計算、邊緣計算和系統(tǒng)算法等方向進行關鍵技術研究。團隊及個人在 OSDI、SOSP、NSDI、SIGCOMM、ATC 等計算機系統(tǒng)和網(wǎng)絡的頂級會議上持續(xù)發(fā)表多篇論文。團隊在研究的同時還注重與實際計算機和網(wǎng)絡系統(tǒng)的演進結合，與 Azure 云計算、Bing 搜索引擎系統(tǒng)、Windows 操作系統(tǒng)、SQL Server 數(shù)據(jù)庫系統(tǒng)以及多個開源社區(qū)密切合作。楊博士同時還是中國科學技術大學博士生導師，擁有北京大學計算機體系結構專業(yè)博士學位以及哈爾濱工業(yè)大學碩士和學士學位。

審核編輯：黃飛

?