數(shù)據(jù)中心的熱設計何時變得如此重要？

　　在過去三四年的時間里，為了應對來自銀行、醫(yī)院、政府部門、電信運營商和各類托管機構不斷增長的信息存儲和傳輸需求，數(shù)據(jù)中心的應用在全球范圍內(nèi)如雨后春筍般蓬勃發(fā)展。數(shù)據(jù)中心的功率載荷（以及相應的散熱）足跡也與日俱增，截至2020年，來自數(shù)據(jù)中心的溫室氣體排放量預期將超過航空業(yè)排放量 。數(shù)據(jù)中心現(xiàn)已消耗全美約 2% 的總電力，并且還在以約 12% 的年復合增長率增長。

　　在數(shù)據(jù)中心的運營成本中，散熱占據(jù)了重要部分。因此，人們越來越關注如何最大限度降低數(shù)據(jù)中心的能源使用，從而降低運營成本。數(shù)據(jù)中心設計一貫的目標是，確保維持盡可能低，換言之，接近于一（即 1.0）的能源使用效率 （PUE）。

　　數(shù)據(jù)中心的熱設計何時變得至關重要？

　　服務器機架的功率密度與日俱增，從幾年前的每機架約 1-3 KW 增加至目前的每機架 24-30 KW。熱問題是多種故障的源頭，因此，必須確保服務器和交換機保持冷卻狀態(tài)。特別是，電子產(chǎn)品的故障率隨溫度的上升急劇升高，與此同時，較大的溫度變化給焊點帶來的高熱應力也成為了另一個故障源。隨著數(shù)據(jù)中心提供的可靠率日益受到重視，它已成為人們關注的焦點問題之一。反過來，它也促使人們更加重視數(shù)據(jù)中心的監(jiān)控和報告，以確保數(shù)據(jù)設備不會發(fā)生故障。

　　監(jiān)控和報告對運營中的數(shù)據(jù)中心而言非常重要。對于具有當前服務器功率水平的新建數(shù)據(jù)中心，以及對原有空間進行改造或?qū)F(xiàn)有機架中的舊服務器置換為新服務器等情形而言，由于功率密度遠高于從前，因此出現(xiàn)熱故障的可能性更高。如果需要達到數(shù)據(jù)中心的設計容量，經(jīng)過 CFD 仿真驗證的熱設計將是不可或缺的。

　　數(shù)據(jù)中心設計

　　1： 始于數(shù)據(jù)大廳設計之時

　　考慮數(shù)據(jù)中心熱設計的最佳時機是在建置前階段（旨在實現(xiàn)綠色環(huán)保建筑）。這意味著從一開始就可以考慮以下事項：

　　■ 整體 HVAC 系統(tǒng)，例如采用高架地板設計、管線散熱方法、共用或單體機架通氣管、專用機架散熱裝置、吊頂裝置等

　　■ 確定 HVAC 系統(tǒng)后，考慮鋪線和管道布置

　　■ 對機房空調(diào) （CRAC） 和其他散熱裝置、單獨的服務器和／或機架、冗余設備等實施熱交換方法

　　請注意，改造和故障排除也可以并且應該使用 CFD 模型進行處理，因為其中一些改動的成本可能非常高，譬如從高架地板改為管線散熱等。使用 CFD 可確保針對傳統(tǒng)數(shù)據(jù)中心做出明智的選擇，并在實際實施更改之前通過仿真方法加以確認。

　　遵循以上建議，Mentor Graphics Corporation 在 Wilsonville 和 Shannon 設立的地區(qū)自有數(shù)據(jù)中心的 PUE 現(xiàn)已達到約 1.15 到 1.2。針對全球范圍內(nèi)的 PUE 值分布，目前還沒有可用的真實數(shù)據(jù)，但許多數(shù)據(jù)中心的PUE 高達 3.0 甚至更高，而事實上，1.6 的 PUE 是完全可以實現(xiàn)的。勞倫斯伯克利國家實驗室完成的測量表明，被測的 22 家數(shù)據(jù)中心的 PUE 值介于 1.3 到 3.0 范圍以內(nèi)。

　　2： 構建簡單的數(shù)據(jù)大廳模型

　　包含各種關鍵特性，例如整體結(jié)構、高架地板（如果有）、空氣調(diào)節(jié)／散熱裝置、機架／服務器、大型架空地板堵塞（如果有）和通風地板（如果有）等。以下是使用 FloTHERM 提供的一個小型數(shù)據(jù)中心模型。該模型可用于教學用途，或作為構建另一個數(shù)據(jù)中心模型的起點。

　　圖 1：FloTHERM V10 附帶的傳統(tǒng)高架地板數(shù)據(jù)中心模型

　　3： 從 CAD 導入數(shù)據(jù)

　　可以從 CAD 模型或 DXF 文件導入數(shù)據(jù)中心設計，或者通過使用 FloTHERM FloXML 架構核查來自 DCIM 或類似軟件的合適數(shù)據(jù)來導入數(shù)據(jù)中心設計。對于后一種情形，我們稍后將會進行詳細討論。如果需要，可以將項目替換為合適的 FloTHERM SmartPart 或庫表示。

　　4： 使用智能化數(shù)據(jù)中心元器件模型

　　FloTHERM 提供用于 CRAC 裝置以及多孔板、散熱機、機架和服務器的各種 SmartPart。SmartPart 表示中內(nèi)置的智能可提供更高的準確度。例如，Rack SmartPart 可正確地考慮機架及機架內(nèi)服務器的空氣分層。通過定義合適的“網(wǎng)格約束”等方法可以添加合適的網(wǎng)格，以確保在分析過程中始終使用足夠的網(wǎng)格來表示網(wǎng)格。FloTHERM 中的“模式”功能在定義重復的機架和／或通風地板行方面非常有用。

　　圖 2：FloTHERM 中的 Cooler SmartPart 構建對話框

　　在模型的這一初始版本中，可使用每個機架相對簡單的表示來輕松確定數(shù)據(jù)中心的相對性能。特別是，機架將作為單個構造塊使用 FloTHERM Rack SmartPart 進行建模，同時還具備適當?shù)墓?，以及通過機架的流量或機架入口和出口之間的氣流溫升。類似地，可使用 Perforated Plate SmartPart，通過簡單的壓降與速度表示來對通風地板進行建模。

　　5： 考慮備選設計

　　此階段的目標是探索盡可能多的設計選擇，以便從中選出最合適的數(shù)據(jù)大廳設計。這取決于多個因素，包括：

　　■ 數(shù)據(jù)中心內(nèi)的機架功率密度及其分布。盡管機架往往是根據(jù)功能或功率密度聚集到一起的，但空間內(nèi)的散熱要求可能差異很大，并且可能需要補充散熱。

　　■ 可供設計使用的空間框架。例如，在機架上使用通氣管可能需要當前用于鋪線、照明的高規(guī)格基板面。

　　最簡單的選擇是使用開放式機架通道，并且使用單獨的通風地板或管線式散熱機來為機架提供冷空氣。此布置通常在“熱空氣”和／或“冷空氣”設計中使用，其中的機架行出口或入口彼此相對。但是，從環(huán)境中排放的熱空氣很容易繞過散熱基礎設施并被吸回到機架中。于是就會降低散熱效果，導致需要遠超過所需數(shù)量的散熱裝置才能使 IT 設備保持足夠低的溫度，PUE 也會因此相對較高。

　　可采用多種策略來改進數(shù)據(jù)大廳的熱設計，例如：

　　■ 冷通道隔離

　　■ 熱通道隔離

　　■ 管線式散熱裝置

　　■ 后艙門換熱器

　　■ 專用機架散熱裝置，例如液體散熱

　　■ 吊頂式 HVAC 系統(tǒng)

　　■ 專用機架通氣管／排放管道

　　■ 搭配 CRAC 裝置的蒸發(fā)式自由空氣散熱

　　圖 3：帶專用機架通氣管的吊頂式 HVAC 系統(tǒng)

　　使用 CFD 可以快速、有效地評估上述所有選擇。

　　6： 研究不同的運營情形

　　CFD 可用于對數(shù)據(jù)中心填充過程中發(fā)生的條件變化進行建模。盡管數(shù)據(jù)中心通常是根據(jù)功能或功率密度進行填充的，但在群體坡道效應和預期生命周期方面仍采用不同的策略。例如，數(shù)據(jù)中心可能有大量需要在指定時段內(nèi)填充的擴展空間。

　　在容量較低時，一些散熱策略會導致 PUE 高于其他策略，因此應尋求能夠在數(shù)據(jù)中心的設計壽命內(nèi)提供最低總能耗的設計。使用 CFD 可確保散熱策略與數(shù)據(jù)中心容量高效匹配，以及確定填充數(shù)據(jù)中心容量的最佳方法，從而最大限度降低終生運營成本。

　　同理，不同的操作條件也可作為基準模型迭代加以考慮，例如，在資產(chǎn)利用率較低時，散熱裝置的功率載荷（及相應的熱載荷）、流量和操作等條件所發(fā)生的變化。CFD 還可用于研究使用指定的散熱策略時可應用于各個機架的最大功率，以幫助了解數(shù)據(jù)中心設計將如何配合未來的更高功率服務器，等。CFD 還可用于確定設備故障造成的影響，例如，由于 CRAC 設備故障導致重要位置發(fā)生的隨時間變化的（瞬態(tài)）溫度響應。

　　7： 使用捕捉指數(shù)來判斷設計適應性

　　捕捉指數(shù) （CI） 為數(shù)據(jù)中心設計提供了一項重要工具。在確定設計優(yōu)劣時，數(shù)據(jù)中心內(nèi)的溫度分布并不總是最有效的方法，因此，有時可能無法為設計人員提供實施改進方面的指導。特別是，溫度分布是數(shù)據(jù)中心設計的“癥狀”而非“根源”。

　　可使用兩種形式的捕捉指數(shù)：冷通道 CI 和熱通道 CI.二者通常都表示為百分比。兩種指數(shù)越接近 100%，散熱系統(tǒng)的性能就越接近于“理想”情形。您可隨時使用此數(shù)據(jù)針對不同的備選設計制表，從而實現(xiàn)快速、輕松的比較。

　　圖 4：熱通道和冷通道捕捉指數(shù)的計算示例

　　8： 最大限度縮短模型運行時間

　　利用 FloTHERM 獨有的局域化網(wǎng)格技術，用戶可實現(xiàn)快速仿真周轉(zhuǎn)時間。

　　圖 5：通過機架展示局域化網(wǎng)格的傳統(tǒng)數(shù)據(jù)中心設計。

　　局域化網(wǎng)格可防止出現(xiàn)網(wǎng)格“膨脹”現(xiàn)象，即小型網(wǎng)格單元不必要地延伸至幾何形狀以外的環(huán)境空氣中。由于該功能可以更清晰地分離粗網(wǎng)格區(qū)域和細網(wǎng)格區(qū)域，因此非常適合數(shù)據(jù)中心應用。假定這些網(wǎng)格線在所有三個方向膨脹，并且總網(wǎng)格數(shù)為所有三個方向的單元數(shù)量乘積，則通過使用此技術可大幅減少單元數(shù)目。

　　機架散熱、CRAC／散熱機工作條件等典型的變量擾動對于數(shù)據(jù)中心內(nèi)的總氣流和溫度分布造成的影響相對較小。因此，數(shù)據(jù)中心應用非常適合使用現(xiàn)有“基準”模型的結(jié)果作為后續(xù)分析的起點，以便縮短解決方案時間，因為這樣可以減少研究不同操作情形所需的迭代次數(shù)，并且在布局發(fā)生變化時也能起到作用。

　　最后，F(xiàn)loTHERM V10 中并行處理器求解器的速度提升似乎特別適合數(shù)據(jù)中心應用，與前一版本相比，某些情況下的速度提升超過 10 倍。

　　9： 使用命令中心來優(yōu)化數(shù)據(jù)中心設計

　　命令中心包含的實驗和優(yōu)化設計功能是標準 FloTHERM 軟件的一部分，利用該功能，用戶可以優(yōu)化數(shù)據(jù)中心設計。例如，用戶可優(yōu)化通過 CRAC 裝置的流量，使得特定機架或機架陣列獲得需要的入口溫度。

　　圖 6 顯示了訪問流量變量的命令中心對話框示例。請注意，其中還提供了 CRAC 容量等其他變量。

　　圖 6：展示訪問來自數(shù)據(jù)中心示例情形的 CRAC 裝置變量的示例對話框

　　數(shù)據(jù)中心試運行

　　10： 創(chuàng)建基于電子表格的前端

　　利用 FloTHERM 軟件中包含的 FloXML 架構，無需實際打開 FloTHERM 即可創(chuàng)建／運行數(shù)據(jù)中心模型或?qū)ζ溥M行后處理。因此，它非常適合非專家級 CFD 用戶，例如被要求為某項數(shù)據(jù)中心設計排除故障的現(xiàn)場工程師。

　　數(shù)據(jù)可直接輸入到電子表格中，或者通過第三方源（例如包含機架物理尺寸、功率耗散等分析所需信息的 DCIM 軟件工具）進行求解。然后，此可配置電子表格前端可創(chuàng)建 FloXML 定義，而該定義本身就是一個可隨時求解（通過命令行）的 FloTHERM 模型。

　　然后可使用免費下載的 FloVIZ 軟件查看結(jié)果，將其傳回到后處理工具或捕捉到電子表格中。圖 7 中的示例顯示了此過程，圖 8 中則顯示了 FloXML 文件自身的一個示例。自 V10 版本以后，此類電子表格和FloXML 文件示例將隨 FloTHERM 軟件一同安裝。

　　圖 7：基于 Excel 的 CFD 分析過程和結(jié)果后處理

　　圖 8：數(shù)據(jù)中心案例的 XML 架構示例

　　數(shù)據(jù)中心運營

　　11： 對變更通知單產(chǎn)生的影響進行仿真

　　在運營期間，任何時候在收到增加新 IT 資產(chǎn)或移動現(xiàn)有資產(chǎn)的變更通知單時，都可以在實施變更之前，通過在以上創(chuàng)建的電子表格中進行必要的更改，來對變更給數(shù)據(jù)中心總體運營帶來的影響進行檢查。在使用邊界機房空調(diào) （CRAC） 裝置的傳統(tǒng)設計中，由于數(shù)據(jù)中心內(nèi)總氣流模式的改變，引入新資產(chǎn)或移動現(xiàn)有資產(chǎn)可能會對遠程位置的設備造成無法預料的后果。其他散熱策略即便在回流、分層和旁路方面具有卓越的性能，但在設備散熱方面同樣面臨挑戰(zhàn)。

　　結(jié)束語

　　傳統(tǒng)的邊界 CRAC 裝置布局側(cè)重于機房級設計，之后才會考慮其中包含的機架和設備。近期的設計方法（例如通道隔離），特別是液體散熱機架，則側(cè)重于單獨設備的散熱，而忽視了整個機房／冷通道的空氣散熱需求。兩種情形都假定數(shù)據(jù)大廳內(nèi)的氣流環(huán)境能夠適應從試運行到滿載荷運行所用的散熱方法。

　　我們主張采用整體方法。在此方法中，散熱策略在數(shù)據(jù)中心設計期間經(jīng)過 CFD 仿真驗證，從一開始便可滿足此業(yè)務目標，并且在試運行和運營期間，通過使用 CFD 來確保資產(chǎn)部署在面對不斷變化的業(yè)務需求和不斷增長的設備能耗背景下，仍可實現(xiàn)符合設計容量的利用率。