作者：Laura Peters

文章來源：https://semiengineering.com/identifying-sources-of-silent-data-corruption/

在大型數(shù)據(jù)中心，靜默數(shù)據(jù)錯誤（SDE，Silent Data Errors）正引發(fā)廣泛擔(dān)憂 —— 這類錯誤會在系統(tǒng)內(nèi)傳播，對 AI 訓(xùn)練任務(wù)等長時間運(yùn)行的程序造成嚴(yán)重影響。

從技術(shù)角度看，靜默數(shù)據(jù)錯誤（又稱靜默數(shù)據(jù)損壞-SDC，Silent Data Corruption）本身并不常見。但在由數(shù)千臺服務(wù)器組成的集群中（這些服務(wù)器搭載數(shù)百萬臺高利用率運(yùn)行的處理器芯片），這類破壞性事件卻變得十分普遍。盡管任務(wù)模式測試正捕獲更多靜默數(shù)據(jù)錯誤，但事實(shí)證明，要檢測出所有數(shù)據(jù)損壞錯誤，其復(fù)雜程度遠(yuǎn)超預(yù)期 ——這需要對設(shè)計(jì)、制造、可測試性設(shè)計(jì)（DFT）、測試流程，以及軟硬件運(yùn)維環(huán)節(jié)進(jìn)行針對性調(diào)整。

新思科技（Synopsys）工程架構(gòu)總監(jiān) Jyotika Athavale指出：“當(dāng)受影響的器件處理數(shù)據(jù)時，若無意中導(dǎo)致所處理數(shù)據(jù)出現(xiàn)未被察覺的錯誤，便會引發(fā)靜默數(shù)據(jù)損壞。例如，受影響的中央處理器（CPU）可能在完全沒有數(shù)據(jù)損壞提示的情況下，對數(shù)據(jù)進(jìn)行錯誤計(jì)算。如今，計(jì)算密集型機(jī)器學(xué)習(xí)算法需在數(shù)萬個節(jié)點(diǎn)上執(zhí)行，這類數(shù)據(jù)損壞可能在不觸發(fā)任何警報(bào)的情況下破壞整個數(shù)據(jù)集，而解決此類問題往往需要數(shù)月時間，進(jìn)而帶來巨額成本損失。此外，該問題的復(fù)雜性與規(guī)模也使其難以通過主動措施防范；更關(guān)鍵的是，芯片生產(chǎn)周期較長，針對靜默數(shù)據(jù)損壞（SDC）的修復(fù)方案可能需要數(shù)年時間才能在新硬件中落地?！?/p>

靜默數(shù)據(jù)錯誤的棘手之處在于，其并非源于單一來源或單一機(jī)制。普迪飛（PDF Solutions ）首席技術(shù)官 Andrzej Strojwas 表示：“靜默數(shù)據(jù)損壞（SDC）的潛在根本原因繁多。有人認(rèn)為最可能的誘因是測試疏漏，但許多此類故障只有在實(shí)際應(yīng)用環(huán)境中被觸發(fā)后才會顯現(xiàn)。例如，由于嚴(yán)苛的容差要求和形形色色的布局模式，晶體管層面可能存在漏電這類系統(tǒng)性缺陷。測試過程中可能遺漏對特定模式的敏感性檢測，進(jìn)而演變?yōu)榭煽啃詥栴}。此外，器件老化也是重要因素，會導(dǎo)致閾值電壓發(fā)生變化。不過，通過適當(dāng)?shù)臏y試結(jié)構(gòu)設(shè)計(jì)，這些問題都可得到有效應(yīng)對?！?/p>

靜默數(shù)據(jù)損壞（SDC）可能發(fā)生在硅片全生命周期的任何階段，這也是業(yè)界采用多種硅生命周期管理方法應(yīng)對此類錯誤的核心原因。

西門子 EDA（Siemens）旗下 Tessent 部門工程副總裁Janusz Rajski解釋道：“要消除早期失效現(xiàn)象，必須通過壓力測試加速器件老化。生產(chǎn)階段則需采用高質(zhì)量、確定性的測試方法，同時在系統(tǒng)內(nèi)也需執(zhí)行相同的測試流程。部分企業(yè)會在核心閑置時開展測試，也有企業(yè)將其作為預(yù)防性維護(hù)措施，按周或按月定期執(zhí)行，但無論哪種方式，系統(tǒng)內(nèi)的測試都會非常全面 —— 這無疑是一項(xiàng)重大變革?！?/p>

（圖 1：器件全生命周期內(nèi)的半導(dǎo)體故障率。來源：西門子EDA ）

Janusz Rajski補(bǔ)充道：“靜默數(shù)據(jù)損壞（SDC）是個亟待解決的嚴(yán)重問題。多家企業(yè)發(fā)布的數(shù)據(jù)顯示，每 1000 臺服務(wù)器中，約有 1 臺可能受到此類問題影響。顯然，在任務(wù)關(guān)鍵型或安全關(guān)鍵型應(yīng)用中，其影響會更為嚴(yán)重。超大規(guī)模數(shù)據(jù)中心最先發(fā)現(xiàn)這一問題，正是因?yàn)槠涮幚砥鲾?shù)量龐大，但實(shí)際上其他領(lǐng)域也存在類似情況?！?/p>

在測試層面，工程師們也在深入研究芯片架構(gòu)優(yōu)化方向。愛德萬測試（Advantest）應(yīng)用研究與技術(shù)副總裁Ira Leventhal表示：“我們需要一種我稱之為‘架構(gòu)感知測試’的方法 —— 因?yàn)樵谶壿嬓酒?，只有特定的?jì)算單元才有可能將故障傳播至整個網(wǎng)絡(luò)。因此，核心思路也就變成了‘將特定測試向量聚焦于核心的這些關(guān)鍵區(qū)域’—— 不僅要采用傳統(tǒng)掃描測試并核驗(yàn)結(jié)果，還需將部分功能測試整合到自動測試設(shè)備（ATE）的測試環(huán)節(jié)中?！?/p>

測試越接近任務(wù)模式，就越容易捕獲靜默數(shù)據(jù)錯誤導(dǎo)致的故障結(jié)果。

Ira Leventhal指出：“我們可在 93k 測試工具上使用 LinkScale 卡，通過高速接口開展掃描測試，本質(zhì)上是讓器件按照實(shí)際任務(wù)模式的運(yùn)行邏輯工作。這種情況下，無需像系統(tǒng)級測試那樣運(yùn)行全套測試場景，只需聚焦核心的特定區(qū)域，通過特定方式驅(qū)動器件運(yùn)行，即可觸發(fā)靜默數(shù)據(jù)損壞（SDC）問題。這在異構(gòu)集成場景中尤為重要 —— 我們需在芯片級發(fā)現(xiàn)所有潛在問題，確保芯片具備抵御靜默數(shù)據(jù)損壞的能力。這類措施能幫助我們在問題管控中占據(jù)主動。”

然而，即便在測試環(huán)節(jié)占據(jù)主動，企業(yè)也逐漸意識到，解決靜默數(shù)據(jù)損壞（SDC）問題真正需要的是整個供應(yīng)鏈的協(xié)同。盡管器件制造商、測試企業(yè)與可測試性設(shè)計(jì)（DFT）提供商之間的合作已催生出更完善的篩選與緩解方案，但隨著器件和系統(tǒng)復(fù)雜度不斷提升，靜默數(shù)據(jù)錯誤問題只會愈發(fā)嚴(yán)峻，因此行業(yè)仍需長期策略支撐。例如，Meta 正探索如何提升應(yīng)用對靜默數(shù)據(jù)損壞的容錯能力。Meta 工程總監(jiān)斯里Sriram Sankar表示：“我們正在推進(jìn)一項(xiàng)長期工作，旨在改進(jìn)并推廣具備內(nèi)在抗靜默數(shù)據(jù)損壞（SDC）能力的架構(gòu)解決方案與設(shè)計(jì)模式?！?/p>

鑒于整個供應(yīng)鏈解決靜默數(shù)據(jù)損壞（SDC）問題的緊迫性，OCP啟動了 “服務(wù)器組件彈性工作流” 項(xiàng)目，參與者包括AMD、安謀Arm、谷歌Google、英特爾Intel、微軟Microsoft、Meta 和英偉達(dá)NVIDIA等多家企業(yè)。去年 6 月，該項(xiàng)目為六個以解決靜默數(shù)據(jù)錯誤（SDE）為目標(biāo)的研究項(xiàng)目提供了資金支持。

其他企業(yè)也認(rèn)為，這一領(lǐng)域需要研究界的深度參與。谷歌工程總監(jiān)Rama Govindaraju在近期的小組討論中表示：“僅依靠過往的方法，無法顯著推動問題的解決進(jìn)程。 這一領(lǐng)域需要更多創(chuàng)新性研究，因?yàn)樗枰娴慕鉀Q方案，且必須引入新想法、創(chuàng)新性思路。靜默數(shù)據(jù)損壞（SDC）是個極其復(fù)雜的問題，需要開發(fā)大量研究成果和端到端解決方案?！?/strong>

追溯靜默數(shù)據(jù)損壞（SDC）的根源，需從設(shè)計(jì)階段著手。新思科技杰出架構(gòu)師Adam Cron指出：“我們曾交流過的一家芯片設(shè)計(jì)企業(yè)表示，即便是設(shè)計(jì)錯誤，也可能成為靜默數(shù)據(jù)錯誤（SDE）的來源。硅后驗(yàn)證工具可為多線程應(yīng)用生成邊界情況工作負(fù)載；隨后，在制造測試和現(xiàn)場測試階段，借助硅后激勵器可在硅片層面發(fā)現(xiàn)設(shè)計(jì)錯誤。這些測試也可用于仿真和驗(yàn)證環(huán)節(jié)，以判斷設(shè)計(jì)邏輯是否存在問題。但有時，只有借助實(shí)際流片的硅片，才能發(fā)現(xiàn)這些特殊錯誤。”

Adam Cron特別強(qiáng)調(diào)，流片制造的實(shí)際硅片對于識別新故障（尤其是新工藝節(jié)點(diǎn)下的故障）至關(guān)重要：“內(nèi)存有時需要針對新工藝的內(nèi)建自測試（BiST）算法，以發(fā)現(xiàn)這些新的缺陷特征。通過流片制造實(shí)際硅片，是防范特定設(shè)計(jì)風(fēng)格或物理布局方案日后演變?yōu)殪o默數(shù)據(jù)錯誤（SDE）的有效保障?！?/p>

目前，半導(dǎo)體行業(yè)在兩方面取得了顯著進(jìn)展：一是通過測試更有效地篩選缺陷，二是通過軟件管控靜默數(shù)據(jù)錯誤（SDE）造成的損害。然而，設(shè)計(jì)中的 “邊際性”（marginality）和工藝中的變異性，可能是靜默數(shù)據(jù)損壞（SDC）的核心誘因，且這類誘因極難察覺。有些潛伏性缺陷能通過所有測試和檢查，但一旦處于實(shí)際應(yīng)用環(huán)境中，就可能在現(xiàn)場發(fā)生故障。

泰瑞達(dá)（Teradyne）技術(shù)與營銷總監(jiān)Nitza Basoco解釋道：“就靜默數(shù)據(jù)錯誤（SDE）而言，某些知識產(chǎn)權(quán)（IP）模塊可能存在邊際性問題，但在‘零時刻’（time zero，即出廠時）仍可通過測試。然而，當(dāng)信號路徑與環(huán)境條件呈現(xiàn)特定組合時，這類邊際性缺陷可能演變?yōu)殛P(guān)鍵性缺陷。而且，由于缺陷對多種因素的組合敏感，其是否會導(dǎo)致故障具有不確定性。”

盡管傳統(tǒng)測試是在故障發(fā)生后進(jìn)行檢測，但部分策略已轉(zhuǎn)向預(yù)防導(dǎo)向。proteanTecs 聯(lián)合創(chuàng)始人兼首席技術(shù)官 Evelyn Landman表示：“我們專注于預(yù)測這些故障 —— 如今，一個主要問題是，這些故障會反饋給設(shè)備供應(yīng)商，而供應(yīng)商需投入巨額資源進(jìn)行故障分析。在很多情況下，他們無法復(fù)現(xiàn)故障，導(dǎo)致‘未發(fā)現(xiàn)故障’（no trouble found，簡稱 NTF）率居高不下。我們的核心目標(biāo)是從源頭避免故障發(fā)生。我們發(fā)現(xiàn)，在未采用我們方法的案例里，部分退回的故障芯片存在缺陷，而通過我們的方法本可提前發(fā)現(xiàn)這些問題?！?/p>

例如，借助對漏電流敏感的專用工藝監(jiān)視器，結(jié)合模型可預(yù)測每顆芯片的預(yù)期漏電流。若實(shí)際漏電流超過預(yù)期值，即表明可能存在導(dǎo)致靜默數(shù)據(jù)錯誤的缺陷。

第二種方法是通過遙測監(jiān)視器追蹤時序余量 —— 時序余量的變化是預(yù)測故障的關(guān)鍵指標(biāo)。時序余量變化可能由多種因素引起，例如連接松動導(dǎo)致金屬線電阻升高，或特征粗糙度導(dǎo)致晶體管計(jì)算速度變慢。

時序延遲還與故障傳播路徑密切相關(guān)：若時序延遲沿短路徑傳播，微小延遲可能不會被察覺；若沿較長的關(guān)鍵路徑傳播，即便微小延遲也可能導(dǎo)致故障。然而，所有這些監(jiān)視器都會占用硅片面積，產(chǎn)生成本開銷。尤其是在先進(jìn)工藝節(jié)點(diǎn)下，器件可集成的傳感器數(shù)量有限，一旦空間耗盡便無法再增加。因此，遙測傳感器的部署必須經(jīng)過周密規(guī)劃，優(yōu)先部署在最關(guān)鍵的位置。

靜默數(shù)據(jù)錯誤發(fā)生率上升的部分原因，可能與芯片處于高壓力運(yùn)行模式的時間增加有關(guān)。

Nitza Basoco指出：“系統(tǒng)級芯片（SoC）的設(shè)計(jì)初衷并非使其以最高電壓、最高頻率、高功耗狀態(tài) 24 小時不間斷運(yùn)行 —— 原本設(shè)計(jì)的高負(fù)載運(yùn)行時長本就較短。但如今，芯片大部分時間都處于高壓力環(huán)境中，因此故障風(fēng)險(xiǎn)顯著升高。我們需要明確芯片的實(shí)際運(yùn)行工況，并調(diào)整相關(guān)設(shè)計(jì)或運(yùn)行參數(shù)，以確保這些器件在與認(rèn)證環(huán)境差異極大的工況下，仍能保持較長的使用壽命?！?/p>

Ira Leventhal提出了靜默數(shù)據(jù)損壞的三大管控方法：“在靜默數(shù)據(jù)損壞問題的管控方面，我們有三種核心手段 —— 檢測錯誤、降低錯誤發(fā)生率、構(gòu)建缺陷容錯系統(tǒng)。這三種手段必須同時采用。我把它比作通信領(lǐng)域的問題應(yīng)對邏輯：我們從不期望通信鏈路絕對可靠，因此始終會執(zhí)行錯誤檢查。若系統(tǒng)檢測到錯誤，便會啟動重試機(jī)制 —— 這是預(yù)期的運(yùn)行模式?！?/p>

此外，針對靜默數(shù)據(jù)損壞（SDC）的測試并非孤立進(jìn)行。Adam Cron補(bǔ)充道：“任何用于檢測缺陷組件的設(shè)計(jì)結(jié)構(gòu)，都有助于發(fā)現(xiàn)那些故障時會‘靜默失效’的器件。目前尚無專門針對靜默數(shù)據(jù)錯誤的工具，但任何可反映硅片整體質(zhì)量狀況的特征都十分有用。例如，將工藝監(jiān)視器與異常值檢測分析技術(shù)相結(jié)合，可幫助篩選出可能在現(xiàn)場出現(xiàn)問題的芯片?！?/p>

由于 Meta、谷歌等企業(yè)已找到通過軟件管控靜默數(shù)據(jù)錯誤的方法，行業(yè)對這類錯誤的警報(bào)聲已有所緩和。Nitza Basoco 提醒道：“目前，問題已得到初步控制，但如果靜默數(shù)據(jù)錯誤（SDE）的發(fā)生率上升到現(xiàn)有管控措施或臨時應(yīng)對方案無法應(yīng)對的程度，行業(yè)必須提前做好準(zhǔn)備?！?/p>

行業(yè)也在積極針對多芯片組件采取預(yù)防措施。Janusz Rajski表示：“適用于 3D 集成電路（3D-IC）的可測試性設(shè)計(jì)（DFT）架構(gòu)正逐步形成，該架構(gòu)會將靜默數(shù)據(jù)損壞錯誤和設(shè)計(jì)規(guī)模不斷擴(kuò)大的問題納入考量。測試壓縮并非新技術(shù)，但在這些核心中的應(yīng)用已非常普遍。其次，流掃描網(wǎng)絡(luò)（可實(shí)現(xiàn)打包數(shù)據(jù)在不同核心間的傳輸）已應(yīng)用于大多數(shù)大型設(shè)計(jì)，能以極高速度傳輸數(shù)據(jù)。我們還在開發(fā) iJTAG 技術(shù)，以支持對大量儀器進(jìn)行并行編程。在去年的國際測試會議（ITC）上，我們推出了在線測試（in-system test）技術(shù)，該技術(shù)可提供確定性測試能力，尤其適用于關(guān)注靜默數(shù)據(jù)錯誤或有特定可靠性、可用性與可維護(hù)性（RAS）需求的客戶。最后，還需借助監(jiān)視器掌握工藝邊界（如工藝 - 電壓 - 溫度（PVT）邊界），部署時序裕量傳感器、路徑傳感器等結(jié)構(gòu)傳感器，同時將傳感器讀數(shù)與測試結(jié)果進(jìn)行關(guān)聯(lián)分析?！?/p>

PDF

結(jié)語

盡管通過可測試性設(shè)計(jì)（DFT）、工藝監(jiān)視器和更全面的測試流程，制造和測試階段捕獲的靜默數(shù)據(jù)錯誤數(shù)量不斷增加，但在識別靜默數(shù)據(jù)錯誤（SDE）的所有根本原因、降低其造成的影響，以及防止其在數(shù)據(jù)中心內(nèi)部傳播方面，行業(yè)仍有很長的路要走。

盡管如此，領(lǐng)先企業(yè)已積極采取行動：他們不僅采用更全面的基于任務(wù)模式的測試方法，還引入了系統(tǒng)內(nèi)測試技術(shù)。超大規(guī)模數(shù)據(jù)中心運(yùn)營商、集成電路（IC）制造商、測試企業(yè)、可測試性設(shè)計(jì)（DFT）提供商和 EDA 企業(yè)之間加強(qiáng)數(shù)據(jù)共享與協(xié)作，將有助于形成更全面的解決方案，同時避免供應(yīng)鏈內(nèi)部出現(xiàn)勞動重復(fù)的情況。