我們現(xiàn)在使用的 GPU 服務(wù)器可能很快就會告別風冷散熱。舉個例子，目前的風冷系統(tǒng)可能占據(jù) 8U 機架空間，如果在前方部署 8 塊 SSD，充足的氣流可確保所有設(shè)備均在規(guī)格要求范圍內(nèi)運行。而在新推出的服務(wù)器中，由于標配液冷系統(tǒng)，同樣的 8 路 GPU 配置所占空間已縮減至 2U。1突然之間，機箱之內(nèi)已經(jīng)沒有足夠?qū)挸ǖ目臻g來從容部署 8 塊 SSD 了。這 8 塊 SSD 只能擠在一個狹小的空間內(nèi)，熱量聚集，溫度很快上升，如果不能及時排出，很容易引發(fā)問題。

面對這一新現(xiàn)實，美光開始進行液冷 SSD 設(shè)計。存儲設(shè)備必須主動接入冷卻回路，不能被動等待。采用 E1.S（9.5 毫米）外形規(guī)格的美光 9650 NVMeSSD，正是美光為了上述目的從零開始打造的新一代液冷 SSD 產(chǎn)品。

在本博客中，我會詳細介紹液冷技術(shù)對 SSD 的重要性、冷板散熱的工作原理，以及為何 9650 SSD 的單面架構(gòu)是實現(xiàn)高效冷板接觸的理想設(shè)計。

有關(guān)散熱效率的數(shù)學計算

在我們的技術(shù)簡報中，我們針對配備 32 塊 NVMe SSD（每塊功耗 25W，總功耗 800W）的服務(wù)器，在兩種溫度場景下進行了建模。對于風扇驅(qū)動的氣流和泵驅(qū)動的液冷系統(tǒng)，我們使用了標準的傳熱方程，并結(jié)合了與實際相符的效率假設(shè)。我們模擬了兩種情況：一種情況下，數(shù)據(jù)中心環(huán)境溫度與 SSD 溫度相差 11.1°C，另一種情況溫差較小，為 8.3°C。如果溫差較大，風冷的效率會提高，這也意味著風冷系統(tǒng)對數(shù)據(jù)中心環(huán)境溫度的變化更為敏感。

圖 1：風冷散熱需要 38-81W 功耗才能帶走 32 塊 SSD 產(chǎn)生的熱量；而液冷系統(tǒng)僅需 0.4-1.4W 即可完成相同任務(wù)——功耗降低了約 98%

冷板可將高導熱性金屬塊和高速流動的冷卻液放在盡可能靠近熱源的位置，而風冷系統(tǒng)只能在插滿 SSD 的硬盤托架上方向 SSD 吹送空氣。液冷系統(tǒng)既能降低組件溫度，又能大幅減少將熱量從服務(wù)器中排出所需的能耗。

而且，液冷系統(tǒng)還能擴展。Vertiv 的一份案例研究跟蹤了四種數(shù)據(jù)中心配置（液冷采用率逐步增加）。2當液冷比例從 0% 提升至 75%，設(shè)施總能耗降低了 10.7%！這不僅包括計算功耗，還涵蓋了所有其他方面：暖通空調(diào)、風扇、照明，等等。

圖 2：隨著液冷采用率從 0% 升至 75%，數(shù)據(jù)中心總能耗下降了 10.7%（來源：Vertiv）

SSD 冷板散熱工作原理

冷板是一種經(jīng)過機械加工的金屬塊，內(nèi)部帶有微通道，通過熱界面材料 (TIM) 安裝在 SSD 外殼上。水-乙二醇等冷卻液流過冷板，直接從器件上吸收熱量，然后將熱量輸送到設(shè)施的冷卻回路中。

新設(shè)計普遍采用帶彈簧的冷板，并配備盲插式快速斷開集合管。拔出 SSD 后，冷卻液管路會自動斷開。將替換件插入到位，它們就會重新連接。這種設(shè)計完全保留了熱插拔維護能力，對企業(yè)級和超大規(guī)模部署而言，這種能力是不可或缺的。

圖 3：SSD 冷板組件的橫截面圖，展示了冷卻液流動、冷板、熱界面材料 (TIM)，以及搭載了控制器、DRAM 和 NAND 的印刷電路板 (PCB)

美光 9650 NVMe PCIe 6.0 SSD：

專為液冷設(shè)計

在傳統(tǒng) SSD 設(shè)計中，控制器、DRAM 和 NAND 等發(fā)熱器件分散在 PCB 的兩個面上。如果冷板只接觸其中一側(cè)，另一側(cè)的熱量就必須穿過 PCB 板才能傳導至冷板。這種設(shè)計會增加熱阻，降低散熱效率，并導致各 NAND 芯片的溫度出現(xiàn)差異。諸如雙冷板、加厚外殼和輔助散熱片等解決方案，不僅會增加成本和復雜性，而且無法從根本上解決問題。這是一個磁盤層面的設(shè)計問題，而非系統(tǒng)層面的散熱管路架設(shè)問題。

圖 4：概念設(shè)計——傳統(tǒng)的雙面 E1.S 設(shè)計與美光 9650 SSD 的單面液冷優(yōu)化設(shè)計

美光 9650 SSD 采用了一種創(chuàng)新方案。從上面的示意圖中，您可能已經(jīng)注意到了——我們將大約 90% 的發(fā)熱器件集中在 PCB 的一側(cè)，而傳統(tǒng)設(shè)計中這一比例僅為大約 60%。這種創(chuàng)新設(shè)計，只需搭配一塊冷板，便可讓整個散熱架構(gòu)開始工作，并具備以下優(yōu)勢：

冷板直接接觸：在主要發(fā)熱表面上覆蓋一層均勻的傳熱界面，最大限度降低熱阻

更均勻一致的 NAND 溫度：芯片間溫差減小，從而提升耐用性和可靠性

充分釋放 PCIe 6.0 速度：即使在更高帶寬和功耗下，散熱性能仍可與搭配液冷系統(tǒng)的上一代 PCIe 5.0 SSD 相媲美

標準 E1.S 外形規(guī)格：兼容現(xiàn)有 9.5 毫米 EDSFF 液冷機箱，支持熱插拔

對系統(tǒng)層的影響

磁盤層的設(shè)計固然重要，但這種設(shè)計的真正價值在于為系統(tǒng)層帶來的回報。當 SSD 能夠主動接入液冷回路，而非依賴流過自身的氣流時，系統(tǒng)設(shè)計師便獲得了從未擁有過的全新選擇：

存儲區(qū)域內(nèi)風扇數(shù)量減少（或者完全取消）：可以減少為磁盤散熱的風扇數(shù)量，或者完全取消風扇，從而節(jié)省功耗并降低噪音。

更高的每服務(wù)器 SSD 密度：沒有了氣流間距限制，可以在更小的機架空間內(nèi)放置更多磁盤。

對于持續(xù)運行的 AI 工作負載，熱特性更可預測：液冷系統(tǒng)消除了因 GPU、CPU 和存儲設(shè)備共享氣流而產(chǎn)生的溫度波動。

這些優(yōu)勢，并非停留在理論上。臺達電子等生態(tài)系統(tǒng)合作伙伴已經(jīng)開始出貨 集成 SSD 冷板的全液冷服務(wù)器平臺。3美光 9650 支持這些平臺，其 E1.S（9.5 毫米）外形規(guī)格專為冷板環(huán)境設(shè)計。ASHRAE TC 9.9 發(fā)布的工業(yè)環(huán)境熱指南定義了數(shù)據(jù)處理設(shè)備的允許溫度范圍?，而液冷技術(shù)可確保即使在高磁盤密度下，設(shè)備的運行溫度也低于建議限值。

還有一個很容易被忽視的因素：效率倍增。人們通常從散熱余量角度來討論液冷技術(shù)，但該技術(shù)的更大益處體現(xiàn)在每瓦性能上。當數(shù)據(jù)中心不再因高轉(zhuǎn)速風扇而消耗電力，并且降低了系統(tǒng)級散熱開銷時，這些節(jié)約下來的電力就能轉(zhuǎn)而供其他資源使用。憑借液冷架構(gòu)，9650 在能效方面較前幾代產(chǎn)品顯著提升，這不僅有助于實現(xiàn)可持續(xù)發(fā)展目標，還可直接降低總擁有成本。

展望未來

在高密度 AI 基礎(chǔ)設(shè)施中，SSD 液冷系統(tǒng)正逐漸成為必備配置。Uptime Institute 的《2024 年全球數(shù)據(jù)中心調(diào)查報告》指出，約 20% 的運營商正在部署或計劃部署液冷系統(tǒng)。?美光 9650 采用的單面架構(gòu)專為冷板接觸而設(shè)計，能讓 SSD 液冷系統(tǒng)充分發(fā)揮作用。

還有一點：當我們?yōu)?SSD 營造出更適宜的工作環(huán)境溫度時，我們便有可能獲得更高的控制器時鐘頻率、寫入吞吐量，以及持續(xù)穩(wěn)定的工作負載性能。美光正在朝著這一目標努力，敬請期待。

1Vertiv，《液冷技術(shù)對數(shù)據(jù)中心能耗的影響》，2024 年。以案例研究方式追蹤了四種數(shù)據(jù)中心配置（液冷采用率從 0% 到 75%），結(jié)果表明設(shè)施總能耗可降低 10.7%。

2臺達電子，《數(shù)據(jù)中心液冷解決方案》，2024–2025 年。臺達提供全液冷服務(wù)器平臺，集成的冷板可為 CPU、GPU 和存儲設(shè)備散熱。另請參見：Dell PowerEdge XE9680L、HPE ProLiant DL384 以及 Supermicro 等液冷 GPU 服務(wù)器平臺。

3ASHRAE TC 9.9，《數(shù)據(jù)處理環(huán)境熱指南》，第 5 版，2021 年。定義了數(shù)據(jù)中心內(nèi) IT 設(shè)備運行環(huán)境的建議級別 (A1–A4) 以及允許溫度范圍。

4Uptime Institute，《2024 年全球數(shù)據(jù)中心調(diào)查報告》。該報告稱，約 20% 的數(shù)據(jù)中心運營商正在部署或積極規(guī)劃液冷基礎(chǔ)設(shè)施。

本文作者

Ryan Meredith

數(shù)據(jù)中心工作負載工程總監(jiān)