DeepSeek的崛起，不僅因其巨大成就，更因其高效性而在AI行業(yè)引起了震動(dòng)。雖然大家的關(guān)注重點(diǎn)大都放在DeepSeek僅花費(fèi)了560萬美元的訓(xùn)練成本，而OpenAI花費(fèi)超過1億美元，但其中更深層次的關(guān)注點(diǎn)在于這一效率突破揭示了傳統(tǒng)分布式計(jì)算范式與AI工作負(fù)載獨(dú)特需求之間的根本不匹配。

AI技術(shù)浪潮對(duì)基礎(chǔ)設(shè)施選型帶來了深層挑戰(zhàn)：當(dāng)前廣泛部署的分布式計(jì)算架構(gòu)本質(zhì)上仍是為解決20世紀(jì)的大規(guī)模數(shù)據(jù)處理問題而設(shè)計(jì)，卻承擔(dān)著運(yùn)行21世紀(jì)AI工作負(fù)載的重任。DeepSeek的突破性實(shí)踐揭示了一個(gè)關(guān)鍵命題——業(yè)界需要從根本上重新思考如何實(shí)現(xiàn)AI的分布式計(jì)算，其影響將遠(yuǎn)遠(yuǎn)超出訓(xùn)練成本的范疇。

分布式計(jì)算與AI發(fā)展不匹配

傳統(tǒng)的分布式計(jì)算是基于一些假設(shè)而設(shè)計(jì)的，而這些假設(shè)在人工智能時(shí)代已不復(fù)存在。不妨想想經(jīng)典的 MapReduce 范式，它徹底改變了大數(shù)據(jù)處理：它擅長處理高度并行的問題，即數(shù)據(jù)可以清晰地分區(qū)，并且計(jì)算在很大程度上是獨(dú)立的。然而，Transformer 架構(gòu)展現(xiàn)出了截然不同的計(jì)算模式。

Transformer 訓(xùn)練在注意力計(jì)算過程中涉及密集的、all-to-all的通信模式。每個(gè) token 都可能關(guān)注其他所有 token，從而產(chǎn)生隨序列長度平方增長的通信需求。這與傳統(tǒng)分布式系統(tǒng)處理良好的稀疏、分層通信模式截然相反。注意力機(jī)制的全局依賴性意味著，在傳統(tǒng)分布式工作負(fù)載中行之有效的“分而治之”策略在AI中變得適得其反。

再看內(nèi)存訪問模式，問題更為嚴(yán)重。傳統(tǒng)的分布式計(jì)算假設(shè)計(jì)算可以與數(shù)據(jù)共存，從而最大限度地減少網(wǎng)絡(luò)流量——這是自集群計(jì)算早期以來一直指導(dǎo)系統(tǒng)設(shè)計(jì)的原則。但Transformer 架構(gòu)需要在海量參數(shù)空間（有時(shí)甚至高達(dá)數(shù)千億個(gè)參數(shù)）中頻繁同步梯度更新。由此產(chǎn)生的通信開銷可能會(huì)占據(jù)總訓(xùn)練時(shí)間的大部分，這也解釋了為什么增加更多 GPU 往往會(huì)帶來的收益遞減，而非設(shè)計(jì)良好的分布式系統(tǒng)所預(yù)期的線性擴(kuò)展。

DeepSeek 效率革命的經(jīng)驗(yàn)教訓(xùn)

DeepSeek 的成就不僅在于其巧妙的算法，更在于其架構(gòu)選擇能夠更好地契合 AI 工作負(fù)載的特性。其混合專家 (MoE) 方法通過使計(jì)算再次稀疏化，從根本上改變了分布式計(jì)算方程。MoE 架構(gòu)并非要求每個(gè) GPU 都處理所有參數(shù)，而是在每次計(jì)算中僅激活模型的子集，從而顯著降低了通信需求。

更有趣的是，DeepSeek 強(qiáng)調(diào)“蒸餾”和強(qiáng)化學(xué)習(xí)，而非傳統(tǒng)的監(jiān)督微調(diào)，這表明它正在轉(zhuǎn)向更高效的通信訓(xùn)練范式。與監(jiān)督學(xué)習(xí)相比，基于獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)可以比需要跨所有節(jié)點(diǎn)緊密同步標(biāo)記訓(xùn)練數(shù)據(jù)的監(jiān)督學(xué)習(xí)更自然地分布。但更深層次的教訓(xùn)并非關(guān)于具體的技術(shù)，而是關(guān)于如何將AI工作負(fù)載與分布式系統(tǒng)協(xié)同設(shè)計(jì)，而不是強(qiáng)迫AI工作負(fù)載適應(yīng)現(xiàn)有的分布式計(jì)算模式。這代表著我們需要從根本上對(duì)分布式系統(tǒng)設(shè)計(jì)思維方式進(jìn)行轉(zhuǎn)變。

重新思考分布式人工智能系統(tǒng)：三個(gè)核心原則

如果從頭開始為AI工作負(fù)載設(shè)計(jì)分布式計(jì)算，會(huì)是什么樣子？總的來說可以歸納為以下三個(gè)原則：

1. 異步優(yōu)先設(shè)計(jì)：傳統(tǒng)參數(shù)服務(wù)器假設(shè)同步更新以保持一致性，這一原則借鑒自數(shù)據(jù)庫系統(tǒng)，在數(shù)據(jù)庫系統(tǒng)中，正確性至關(guān)重要。但AI訓(xùn)練本身對(duì)某些不一致性具有魯棒性；即使梯度過時(shí)，模型也能收斂。采用有限異步可以顯著降低通信開銷，同時(shí)保持訓(xùn)練效率。這不僅僅關(guān)乎最終一致性，而是設(shè)計(jì)能夠容忍并從受控不一致性中受益的系統(tǒng)。

2. 分層通信模式：AI 原生的分布式系統(tǒng)應(yīng)該利用 Transformer 架構(gòu)中自然的層級(jí)結(jié)構(gòu)，而非扁平的all-to-all通信。層內(nèi)注意力模式與跨層依賴關(guān)系不同，這為多層通信優(yōu)化提供了機(jī)會(huì)。我們需要能夠理解這些計(jì)算依賴關(guān)系并相應(yīng)地優(yōu)化通信的分布式系統(tǒng)。

3. 自適應(yīng)資源分配：與資源需求可預(yù)測的傳統(tǒng)工作負(fù)載不同，AI 訓(xùn)練表現(xiàn)出階段依賴性行為。早期訓(xùn)練側(cè)重于學(xué)習(xí)基本模式，對(duì)通信精度的要求低于后期的微調(diào)階段。分布式系統(tǒng)應(yīng)該在整個(gè)訓(xùn)練過程中調(diào)整其通信策略和資源分配，而不是將其視為靜態(tài)工作負(fù)載。

基礎(chǔ)設(shè)施投資悖論

業(yè)界目前應(yīng)對(duì) AI 擴(kuò)展挑戰(zhàn)的措施，例如 Stargate 宣布的 5000 億美元基礎(chǔ)設(shè)施投資，基本上都遵循著“大同小異”的策略：更大的 GPU 集群、更快的互連速度、更高的內(nèi)存帶寬。雖然有必要，但這種策略治標(biāo)不治本，就像在高速公路上增加車道，卻不解決交通信號(hào)燈的配時(shí)問題。

如果目前的趨勢持續(xù)下去，AI訓(xùn)練可能會(huì)在幾十年內(nèi)消耗掉全球相當(dāng)一部分電力。但能源消耗不僅僅取決于操作次數(shù)，它很大程度上受到數(shù)據(jù)移動(dòng)的影響。在對(duì)節(jié)能分布式系統(tǒng)的研究過程中可以觀察到，數(shù)據(jù)移動(dòng)通常比計(jì)算本身消耗的能量高出幾個(gè)數(shù)量級(jí)。更好的分布式計(jì)算架構(gòu)可以最大限度地減少不必要的通信，從而實(shí)現(xiàn)大量的能源節(jié)約，使AI的發(fā)展更具可持續(xù)性。

跨層優(yōu)化：尚未開發(fā)的前沿

最有前景的方法涉及跨層優(yōu)化，而傳統(tǒng)系統(tǒng)在維護(hù)抽象邊界時(shí)會(huì)避免使用這種優(yōu)化。例如，現(xiàn)代 GPU 支持混合精度計(jì)算，但分布式系統(tǒng)很少能夠智能地利用這一能力。梯度更新可能不需要與前向傳播相同的精度，這意味著精度感知通信協(xié)議有機(jī)會(huì)將帶寬需求降低 50% 或更多。

同樣，從谷歌的TPU到新興的神經(jīng)形態(tài)芯片，AI專用硬件的興起也帶來了新的分布式計(jì)算挑戰(zhàn)。這些架構(gòu)通常具有不統(tǒng)一的內(nèi)存層次結(jié)構(gòu)和專用互連，無法清晰地映射到傳統(tǒng)的分布式計(jì)算抽象上。我們需要新的分布式系統(tǒng)設(shè)計(jì)，能夠利用這些硬件特定的優(yōu)化，同時(shí)保持可移植性。

從傳統(tǒng)的基于網(wǎng)格的分布式計(jì)算架構(gòu)（左）到AI原生的流暢互連系統(tǒng)設(shè)計(jì)（右）的演變?？梢暬@示幾何節(jié)點(diǎn)從僵化的層級(jí)模式演變?yōu)獒槍?duì)AI工作負(fù)載通信模式優(yōu)化的自適應(yīng)、密集連接的類神經(jīng)架構(gòu)。

展望：后 GPU 時(shí)代

或許最重要的是，我們目前以 GPU 為中心的 AI 基礎(chǔ)設(shè)施觀念可能只是暫時(shí)的。隨著我們?cè)絹碓浇咏柖珊偷羌{德縮放定律的極限，未來很可能屬于專用的異構(gòu)計(jì)算架構(gòu)。量子-經(jīng)典混合系統(tǒng)、神經(jīng)形態(tài)處理器和光學(xué)計(jì)算平臺(tái)將需要全新的分布式計(jì)算范式。

在這個(gè)過渡中成功的組織將不是那些擁有最多GPU的組織，而是那些最理解如何為AI工作負(fù)載編排復(fù)雜的、異構(gòu)的分布式系統(tǒng)的組織。DeepSeek的效率突破只是一個(gè)開始，它表明，架構(gòu)創(chuàng)新并非僅僅是原始計(jì)算能力，仍然是AI進(jìn)步的關(guān)鍵。

隨著AI行業(yè)日趨成熟，超越了當(dāng)前“投入更多計(jì)算”的階段，分布式系統(tǒng)的基本原則——一致性、可用性、分區(qū)容錯(cuò)性和效率，將決定哪些方法能夠持續(xù)發(fā)展。未來的道路需要我們摒棄對(duì)傳統(tǒng)分布式計(jì)算模式的執(zhí)著，擁抱專為 AI 工作負(fù)載優(yōu)化的設(shè)計(jì)。這不僅僅是一個(gè)優(yōu)化問題，更是對(duì)如何為 AI 優(yōu)先的世界構(gòu)建分布式系統(tǒng)的根本性反思。

*本文轉(zhuǎn)自SDNLAB，編譯自 CACM Blog，作者：Akshay Mittal。

原文鏈接：https://cacm.acm.org/blogcacm/rethinking-distributed-computing-for-the-ai-era/