摘要： 在十萬卡集群與萬億參數(shù)模型時代，基礎(chǔ)設(shè)施的穩(wěn)定性直接決定了模型訓(xùn)練的邊際成本。當(dāng)單次訓(xùn)練成本高達千萬美元時，監(jiān)控系統(tǒng)不再是簡單的報警，而是衡量算力價值的精算師?；谝痪€智算運維實踐，探討如何打破數(shù)據(jù)中心、服務(wù)器與網(wǎng)絡(luò)之間的數(shù)據(jù)壁壘，構(gòu)建具備業(yè)務(wù)感知能力的下一代智算監(jiān)控體系。

一、 核心痛點：為什么傳統(tǒng)監(jiān)控在智算時代失效了？

在通用計算時代，我們習(xí)慣用 SLA 來衡量穩(wěn)定性。但在 AI 大模型訓(xùn)練場景下，這個指標(biāo)失效了。大模型訓(xùn)練是木桶效應(yīng)的極致放大，傳統(tǒng)監(jiān)控的局限性暴露：

木桶效應(yīng)帶來的全局脆弱性 在一個擁有 數(shù)萬張 GPU 的集群中，通常采用并行策略進行訓(xùn)練。此時，任意一張 GPU 的顯存出現(xiàn) ECC 錯誤，或是任意一根光纖的抖動導(dǎo)致數(shù)據(jù)重傳，都會引發(fā)整個集群訓(xùn)練的停滯。局部微小故障，即意味著全局算力的癱瘓。

煙囪式架構(gòu)導(dǎo)致的可觀測性盲區(qū) 傳統(tǒng)的監(jiān)控是割裂的：動環(huán)團隊只看水溫和電壓，網(wǎng)絡(luò)團隊只管端口狀態(tài)與帶寬，系統(tǒng)團隊只盯 CPU 負載和磁盤 IO。當(dāng)訓(xùn)練速度無故下降 10% 時，三個團隊的監(jiān)控面板全綠，能夠自證清白，但業(yè)務(wù)受損的根因卻無從查起。

智算監(jiān)控的下半場，必須打破這種割裂，實現(xiàn)面向訓(xùn)練/推理任務(wù)的可觀測性。

二、 理念重塑：構(gòu)建以 訓(xùn)練/推理 為中心的監(jiān)控體系

打破煙囪，核心是構(gòu)建一個以訓(xùn)練/推理任務(wù)為頂點，向下穿透所有軟硬件層級。監(jiān)控體系需要在以下四個維度實現(xiàn)升維突破：

監(jiān)控對象的升維：從資源池到 訓(xùn)練/推理 的任務(wù) 摒棄孤立的 GPU 利用率、網(wǎng)絡(luò)帶寬等傳統(tǒng)指標(biāo)。確立以 單次訓(xùn)練/推理 迭代時間為新黃金指標(biāo)，并將其精準(zhǔn)拆解為計算、通信、數(shù)據(jù)加載、排隊等各階段耗時。

端到端追蹤：跨層級的關(guān)聯(lián) 為每一次訓(xùn)練/推理迭代生成全局唯一的追蹤 ID，貫穿任務(wù)調(diào)度、單卡計算到跨節(jié)點網(wǎng)絡(luò)通信的全鏈路。通過毫秒級的時間同步與統(tǒng)一的元數(shù)據(jù)（任務(wù)、Pod、GPU、交換機端口、機架、電源），實現(xiàn)跨層根因定位。

告警機制的升維：從故障阻斷到性能劣化告警 不再局限于 端口 Down、GPU 宕機等硬性故障。新一代告警需聚焦性能劣化：迭代時間 P99 線同比增加 10%、集群有效算力利用率（MFU）微降 5%。這需要依托動態(tài)基線與 AI 算法，在性能受損初期精準(zhǔn)捕獲異常。

預(yù)測與推演：基于數(shù)字孿生的前置風(fēng)控 基于歷史數(shù)據(jù)，構(gòu)建硬件退化（如 GPU 顯存壽命、光模塊光衰）與訓(xùn)練/推理 性能波動的關(guān)聯(lián)模型。在進行作業(yè)調(diào)度或網(wǎng)絡(luò)拓撲變更前，可在數(shù)字孿生系統(tǒng)中進行仿真推演，預(yù)測其對全局訓(xùn)練/推理效率的影響。

三、 底層重構(gòu)：物理層的核心技術(shù)架構(gòu)

在萬卡集群中軟硬件的邊界正在模糊。監(jiān)控必須深入芯片寄存器、光電信號微觀層面。

1. 算力層：深入芯片內(nèi)部的健康探針

隨著新一代芯片架構(gòu)的演進，單臺服務(wù)器內(nèi)部已是一個復(fù)雜的拓撲網(wǎng)絡(luò)。

靜默錯誤的捕獲與預(yù)測： 傳統(tǒng)監(jiān)控只看 Crash。智能監(jiān)控必須深入 GPU 寄存器，監(jiān)控單比特錯誤的翻轉(zhuǎn)速率。雖然 SBE 會被 ECC 糾正，但其高頻出現(xiàn)往往是雙比特錯誤（DBE）的前兆。結(jié)合 Xid Errors 與 Row Remap 計數(shù)，構(gòu)建 GPU 健康度衰退模型。

片間互聯(lián)的可觀測性： 在高速 SerDes 鏈路中，信號完整性至關(guān)重要。需重點關(guān)注 NVLink Replay Error 和 Recovery Data Error。如果發(fā)現(xiàn)某條鏈路 Replay 次數(shù)異常，即便表層監(jiān)控顯示帶寬打滿，其實際有效吞吐量可能已經(jīng)崩盤。

2. 網(wǎng)絡(luò)層：微秒級擁塞與光鏈路的預(yù)測性維護

在 RDMA/RoCEv2 網(wǎng)絡(luò)中，網(wǎng)絡(luò)質(zhì)量不僅取決于交換機，更取決于光。

光鏈路的預(yù)測性維護： 400G/800G 光模塊對溫度和電壓極度敏感。監(jiān)控不能停留在 有光/無光狀態(tài)，深挖 Pre-FEC BER。當(dāng)其呈現(xiàn)線性惡化趨勢時，系統(tǒng)應(yīng)在徹底損壞前，自動通知調(diào)度器排空該節(jié)點，實現(xiàn)無感運維。

擁塞的精細化鑒別： 面對 PFC Storm 與 CNP，監(jiān)控系統(tǒng)具備識別能力：精準(zhǔn)識別這是因為接收端處理慢導(dǎo)致的反壓，還是網(wǎng)絡(luò)多打一造成的擁塞，并完成修復(fù)。

3. 基礎(chǔ)設(shè)施層：算力與環(huán)境的深度綁定

當(dāng)機柜功率密度突破 100kW，液冷與電網(wǎng)監(jiān)控正式成為算力監(jiān)控的一部分。

精細化熱點追蹤： 建立進出水溫差與流速的實時關(guān)聯(lián)。若某 CDU 回流水溫正常但流速下降，且對應(yīng) GPU 溫度飆升，系統(tǒng)應(yīng)迅速預(yù)警過濾器堵塞或局部漏液風(fēng)險。

功耗與算力的時序?qū)R： 將 PDU 電流波形與 GPU Kernel Launch 活動進行微秒級對齊。這一極致的監(jiān)控能力，能敏銳捕捉到電源模塊的瞬態(tài)響應(yīng)不足，從而識別出導(dǎo)致 GPU 莫名降頻的隱性原因。

四、 產(chǎn)品設(shè)計：告別報警風(fēng)暴，走向智能自愈

智算監(jiān)控的核心價值在于提供 MTTI（Mean Time To Innocence，平均自證清白時間） 和精準(zhǔn)的 RCA（Root Cause Analysis，根因分析）。

拓撲感知的全景交互圖

痛點： 告警顯示 Switch-A Port-3 丟包，運維人員還需對照表核對受影響的服務(wù)器。

設(shè)計： 產(chǎn)品需內(nèi)置動態(tài)物理拓撲圖數(shù)據(jù)庫。點擊任意報警節(jié)點，系統(tǒng)立刻高亮受影響的計算節(jié)點、正在運行的任務(wù)流水號以及物理光纖編號，實現(xiàn)所見即所得。

專家經(jīng)驗代碼化：自動化的故障確診 系統(tǒng)需將資深運維專家的排障邏輯沉淀為判定樹。

當(dāng)監(jiān)控同時捕獲 某節(jié)點 RDMA 帶寬波動 + 同時間段 PCIe AER 錯誤增多+ 該 GPU 溫度異常偏高。

系統(tǒng)自動判定為 Riser 卡接觸不良或過熱，直接輸出 RCA 結(jié)論并生成工單建議重新插拔/更換該槽位 Riser 卡，而不是向用戶發(fā)送三條毫無關(guān)聯(lián)的獨立告警。

五、 結(jié)語：監(jiān)控即算力

在 AI Infra 領(lǐng)域，監(jiān)控系統(tǒng)正在經(jīng)歷從單純 Observer 向 Controller 的演進。未來的智算監(jiān)控，將通過 eBPF 技術(shù)深潛內(nèi)核， Telemetry 毫秒級抓取交換機狀態(tài)，海量底層傳感器感知。

智算監(jiān)控下半場的本質(zhì)，是將視角從資源供應(yīng)商徹底切換到訓(xùn)練/推理 任務(wù)消費者。它要求整個體系必須能精確回答一個問題：

我的萬卡集群，此刻每一分錢的硬件投資，究竟轉(zhuǎn)化出了多少有效的訓(xùn)練/推理 的吞吐量

為了給出答案必須打通從底層芯片、光電鏈路、液冷機柜，到上層并行策略、任務(wù)編排的數(shù)據(jù)孤島。這不僅僅是一個運維基礎(chǔ)設(shè)施的升級，更是一項運營 AI 生產(chǎn)力的系統(tǒng)性工程。

審核編輯 黃宇