“我們的AI大模型，在萬卡集群上訓(xùn)練，三小時就出一次錯。別笑，這已經(jīng)是世界先進水平了?！蹦炒涡袠I(yè)峰會上，一位清華大學(xué)的院士科學(xué)家，講出了AI大模型訓(xùn)練的“大實話”。

風(fēng)靡全球的AI大模型，是今年毋庸置疑的風(fēng)口，數(shù)量不斷增長，達到了驚人的水平?！鞍亵礌幜鳌敝拢蠹覅s經(jīng)常會忽略一個關(guān)鍵問題：AI大模型帶來的數(shù)據(jù)激流，也比想象中更加洶涌。

“三小時出錯一次”，聽起來不可思議的故障率，卻是大模型從業(yè)者要面對的常態(tài)，甚至是“優(yōu)等生”。目前業(yè)界的普遍做法，是寫容錯檢查點checkpoint。既然三小時就報錯，那就2.5小時停一次，寫好檢查點，把數(shù)據(jù)存起來，再開始訓(xùn)練。一旦出現(xiàn)故障，可以從寫好的檢查點恢復(fù)，避免“從頭開始”、全部白干。而檢查點需要存儲的數(shù)據(jù)多，會耗費大量的時間。該院士團隊基于llama 2架構(gòu)研發(fā)的大模型，數(shù)據(jù)存一次硬件，就需要十個小時，存儲效率直接影響了開發(fā)進度。

如果說大規(guī)模的異構(gòu)數(shù)據(jù)，是肆意奔涌的激流，存儲系統(tǒng)就是承載著數(shù)據(jù)流量的河道，其寬闊堅固程度直接決定了數(shù)據(jù)是否會淤塞甚至停滯，從而卡住AI大模型的生命線?？梢哉f，整個大模型行業(yè)的生產(chǎn)力和效率，都被存儲規(guī)定了“上限”。

這也是為什么，存儲作為AI數(shù)據(jù)基礎(chǔ)設(shè)施，受到越來越多關(guān)注。

11月29日，“數(shù)智創(chuàng)新 AI未來”2023中國數(shù)據(jù)與存儲峰會在北京舉辦。曙光存儲發(fā)布了面向AI大模型的存儲解決方案。

借此機會，我們一起了解一下，AI大模型浪潮來襲，給存儲帶來的承載挑戰(zhàn)，以及曙光存儲是如何為智能產(chǎn)業(yè)引航，助推AI大模型百舸揚帆。

AI大模型駛?cè)氘a(chǎn)業(yè)深水區(qū)，傳統(tǒng)存儲的數(shù)據(jù)之殤

最近我去了一趟云南，發(fā)現(xiàn)不僅北上廣等科技重地的大模型建設(shè)如火如荼，在昆明、大理等二三線城市，甚至邊疆地區(qū)，都在積極地探索大模型行業(yè)應(yīng)用。

各行各業(yè)走向智能化，幾乎都點燃了對大模型的熾熱興趣。這時候，一個關(guān)鍵問題也顯露了出來：AI大模型的產(chǎn)業(yè)化風(fēng)潮，需要升級存儲基礎(chǔ)設(shè)施。

模型開發(fā)者的每一次訓(xùn)練，數(shù)據(jù)都在向存儲系統(tǒng)發(fā)起多種挑戰(zhàn)：

1. 數(shù)據(jù)洪潮的沖擊。隨著大模型的產(chǎn)業(yè)落地，許多行業(yè)都開始訓(xùn)練專屬模型，大量行業(yè)數(shù)據(jù)、專有數(shù)據(jù)、新的標(biāo)注數(shù)據(jù)被輸送給大模型，澎湃的數(shù)據(jù)數(shù)量對存儲系統(tǒng)提出了挑戰(zhàn)。云南某數(shù)據(jù)科技公司提到，行業(yè)大模型要用高質(zhì)量的數(shù)據(jù)集、文檔、客戶私有數(shù)據(jù)進行訓(xùn)練，每個項目都是單獨成立標(biāo)注組，數(shù)據(jù)規(guī)模持續(xù)增大，存儲訴求和成本也隨之增加。

2.數(shù)據(jù)淤塞的桎梏。超大規(guī)模數(shù)據(jù)預(yù)處理的速度慢、耗時長，采集、歸類、搬遷等過程費時費力，一旦存儲性能跟不上，海量文件吞吐慢、多讀少寫，檢查點Checkpoint等待耗時久，會延緩開發(fā)進度，增加開發(fā)成本。

3.數(shù)據(jù)復(fù)雜的暗涌。此外，AI大模型要用到大量異構(gòu)數(shù)據(jù)，文件格式復(fù)雜、數(shù)據(jù)集類型多樣，數(shù)據(jù)數(shù)量激增，傳統(tǒng)存儲難以應(yīng)對數(shù)據(jù)復(fù)雜性的挑戰(zhàn)，容易產(chǎn)生消化不良的問題，造成數(shù)據(jù)訪問效率低，從而造成模型運行效率下降，訓(xùn)練算力消耗增多，無法充分“壓榨”昂貴的GPU算力資源。比如云南當(dāng)?shù)氐奶栍^測站，通過讓AI科學(xué)計算模型學(xué)習(xí)海量圖片，呈現(xiàn)太陽真實的樣子，每天產(chǎn)生2TB的圖片數(shù)據(jù)，當(dāng)前存儲的吞吐效率低，會導(dǎo)致訓(xùn)練集加載慢、數(shù)據(jù)處理周期長，拖慢研究進程。

4. 數(shù)據(jù)安全的隱憂。目前，AI大模型已經(jīng)深度滲透各行業(yè)之中，在訓(xùn)練開發(fā)及應(yīng)用落地過程中需要海量的數(shù)據(jù)支撐，其中包含行業(yè)或個人敏感信息的數(shù)據(jù)，如果沒有合理的數(shù)據(jù)脫敏和數(shù)據(jù)托管機制，則可能造成數(shù)據(jù)泄露，給行業(yè)和個人造成損失。同時，模型安全風(fēng)險也需重視，比如，插件可能被植入有害內(nèi)容，成為不法分子欺詐和“投毒”的工具，危及社會和產(chǎn)業(yè)安全。

AI大模型駛向產(chǎn)業(yè)深水區(qū)，欣喜的是，這一技術(shù)創(chuàng)新正在高度融入千行萬業(yè)，滿足智能化需求，生命力旺盛。擔(dān)憂的是，數(shù)據(jù)工程貫穿大模型的全生命周期，從收集、清理、訓(xùn)練、推理部署、反饋調(diào)優(yōu)等各個階段，都需要用到大量數(shù)據(jù)。存儲成為瓶頸，意味著AI大模型的各個階段都需要消耗在大量的數(shù)據(jù)淤塞、故障、低效之中，這會讓大模型的開發(fā)周期與綜合成本極高，是產(chǎn)業(yè)所無法承受的。

疏浚存儲“河道”，避免數(shù)據(jù)淤塞，為大模型的產(chǎn)業(yè)揚帆提供支持和滋養(yǎng)，曙光存儲帶來的新解決方案，讓我們發(fā)現(xiàn)了有價值的參考案例。

高質(zhì)數(shù)據(jù)“航道”，曙光存儲給大模型行業(yè)一個答案

經(jīng)過與AI大模型開發(fā)者的交流，我得出了一個清晰的結(jié)論：構(gòu)建一個適配AI大模型的全新存儲體系，已經(jīng)不再是需要討論的問題，關(guān)鍵是誰能率先完成方案升級、給出實用解法。

洞察行業(yè)的存力需求，曙光存儲打造了以ParaStor大模型專用存儲為底座的AI大模型存儲解決方案，寫下了自己的答案。

曙光存儲AI大模型存儲集群，擁有異構(gòu)融合、極致性能與原生安全三大領(lǐng)先能力。

首先，可提供千億級文件存儲服務(wù)，接近無限擴展規(guī)模。針對數(shù)據(jù)訪問協(xié)議多樣性問題，同時支持文件、對象等多種存儲協(xié)議，避免數(shù)據(jù)跨存儲系統(tǒng)復(fù)制。

其次，針對AI大模型開發(fā)過程中對數(shù)據(jù)處理效率的高需求，曙光存儲AI大模型存儲集群可提供多級緩存加速、XDS數(shù)據(jù)加速及智能高速選路等多種數(shù)據(jù)IO性能優(yōu)化能力。

最后，為保障全流程數(shù)據(jù)安全，曙光存儲節(jié)點還提供芯片級安全能力，并支持國密指令集，通過多級可靠性，保障存儲集群在訓(xùn)練開發(fā)全周期內(nèi)穩(wěn)定運行，符合政策和未來安全趨勢。

有人可能會問了，市面上的存儲方案這么多，有的也宣傳為模型開發(fā)提供專業(yè)支持。曙光存儲的方案有哪些差異化價值？

如果對各家的技術(shù)名詞和產(chǎn)品細(xì)節(jié)云里霧里，大家不妨用幾個詞，記住曙光存儲AI大模型存儲集群的差異化價值：

1.先進。異構(gòu)融合，極致性能，芯片級原生安全，展現(xiàn)了曙光存儲的技術(shù)先進性，也針對性地解決了大模型開發(fā)的數(shù)據(jù)量大、數(shù)據(jù)形態(tài)復(fù)雜多樣、吞吐效率低、存算時間長等實實在在的痛點。

2.可靠。高性能AI數(shù)據(jù)基礎(chǔ)設(shè)施基于曙光存儲的自研創(chuàng)新，更加可靠安全，符合信創(chuàng)政策和未來安全趨勢，可以幫助國內(nèi)大模型服務(wù)商規(guī)避海外供應(yīng)鏈風(fēng)險，從供應(yīng)鏈安全、數(shù)據(jù)安全、模型安全等多個角度，為大模型產(chǎn)業(yè)的發(fā)展護航。

3.全面。曙光存儲打造了涵蓋從網(wǎng)絡(luò)、計算到平臺的全維度AI解決方案，支持訓(xùn)練開發(fā)全周期內(nèi)穩(wěn)定運行，可以降低綜合成本，讓大模型開發(fā)者和行業(yè)客戶無憂前行。

總結(jié)一下，在曙光存儲構(gòu)建的高質(zhì)“航道”上，大規(guī)模數(shù)據(jù)高效吞吐，AI大模型加速開發(fā)，因此，行業(yè)和企業(yè)可以快人一步，將大模型與垂直場景和業(yè)務(wù)深度融合，率先獲得通往智能時代的船票。

第五范式的新起點，看百舸爭流、萬業(yè)揚帆

圖靈獎獲得者吉姆·格雷（Jim Gray），曾提出第四范式，核心是數(shù)據(jù)驅(qū)動。而隨著大語言模型“智能涌現(xiàn)”，“智能驅(qū)動”的第五范式，更側(cè)重于數(shù)據(jù)和智能的有機結(jié)合，成為支撐科學(xué)革命、產(chǎn)業(yè)革命的新底層邏輯。

所有過往，皆是序章。AI如此，存儲亦如此。

此次大會上，憑借20年行業(yè)深耕，與在AI存儲技術(shù)突破、液冷存儲研發(fā)等領(lǐng)域的領(lǐng)先實踐，曙光存儲公司總裁惠潤海獲評“存儲先鋒”。在其領(lǐng)導(dǎo)下，多年來曙光分布式文件存儲在市場中持續(xù)領(lǐng)跑，市場份額名列前茅。面向AI大模型的數(shù)據(jù)存儲解決方案，讓曙光存儲又一次站到了時代前沿。

曙光存儲的AI大模型存儲集群，正是積極踐行范式轉(zhuǎn)換，對應(yīng)數(shù)據(jù)新范式，用數(shù)據(jù)基礎(chǔ)設(shè)施的飛躍，助推大模型產(chǎn)業(yè)化的漲潮。

接下來，在存儲行業(yè)的新范式、新起點，在曙光存儲的高質(zhì)數(shù)據(jù)“河道”上，我們會看到，行業(yè)大模型百舸爭流，AI應(yīng)用千帆競渡，加速駛向智能中國。