chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

美光高管看2024年AI數(shù)據(jù)中心、AI PC的存儲趨勢

晶芯觀察 ? 來源:電子發(fā)燒友網(wǎng) ? 作者:黃晶晶 ? 2024-10-13 15:22 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報(bào)道(文/黃晶晶)生成式AI帶來的產(chǎn)業(yè)技術(shù)革新不僅在于性能越來越強(qiáng)大的GPU,它同時(shí)正在推進(jìn)存儲產(chǎn)品的變化和技術(shù)的進(jìn)步。近日,美光副總裁暨客戶端存儲事業(yè)部總經(jīng)理Prasad Alluri在接受包括電子發(fā)燒友網(wǎng)在內(nèi)的少數(shù)媒體采訪時(shí)指出,與過往不同,閃存和內(nèi)存曾各自為政,主要致力于提高密度。AI的興起帶來了兩大轉(zhuǎn)變,一是與系統(tǒng)架構(gòu)的協(xié)同優(yōu)化;二是將能效作為關(guān)鍵優(yōu)化參數(shù)。為此,美光科技正積極優(yōu)化存儲產(chǎn)品、賦能AI在數(shù)據(jù)中心、PC、智能手機(jī)乃至汽車等各領(lǐng)域的應(yīng)用與發(fā)展。

AI數(shù)據(jù)中心:兩大存儲池的不同存儲策略


Prasad Alluri表示,在探討AI基礎(chǔ)設(shè)施對數(shù)據(jù)中心存儲的具體影響時(shí),我們可以將其視為兩個(gè)獨(dú)立的存儲池來分析。

首先,存在一個(gè)龐大的數(shù)據(jù)池,用于存儲供模型訓(xùn)練所需的數(shù)據(jù)。以GPT-4為例,據(jù)估算,其訓(xùn)練過程消耗了互聯(lián)網(wǎng)上約四分之一的數(shù)據(jù),這足以說明大模型所需數(shù)據(jù)的龐大規(guī)模。為了訓(xùn)練這類模型,必須具備存儲海量數(shù)據(jù)的能力,我們可以形象地稱之為“數(shù)據(jù)湖”,即所有待訓(xùn)練數(shù)據(jù)均匯聚于此。

對于這一存儲場景,最關(guān)鍵的屬性在于能夠高效且經(jīng)濟(jì)地傳輸數(shù)據(jù)。將容量與經(jīng)濟(jì)性相結(jié)合,意味著需要摒棄主要依賴大容量硬盤驅(qū)動(dòng)器的傳統(tǒng)架構(gòu),轉(zhuǎn)而采用大容量SSD。此舉不僅能減少物理占用空間,還能降低能耗,從而提升整體能源經(jīng)濟(jì)性。在此方面,美光科技推出的6500 ION系列產(chǎn)品正是針對大容量存儲需求而優(yōu)化的理想解決方案。

另一方面是訓(xùn)練過程實(shí)際發(fā)生的存儲池,即緊鄰GPU的存儲池。此時(shí),需考慮的是如何將數(shù)據(jù)湖中的數(shù)據(jù)高效送入GPU內(nèi)存以供訓(xùn)練。在此過程中,設(shè)備的讀寫性能至關(guān)重要,尤其是隨機(jī)讀取性能。對于這類靠近GPU訓(xùn)練集群的存儲,美光9550 SSD從設(shè)計(jì)之初便旨在滿足這些需求。9550 SSD隨機(jī)讀取性能領(lǐng)先業(yè)界,速率高達(dá)3,300 KIOPS,這正是訓(xùn)練集群所亟需的。

此外,美光9550 SSD提供業(yè)界領(lǐng)先的能效,并在支持各類AI工作負(fù)載方面表現(xiàn)出眾,包括使用大規(guī)模存儲加速器(BaM)進(jìn)行圖神經(jīng)網(wǎng)絡(luò)(GNN)訓(xùn)練(SSD平均功耗降低高達(dá)43%,整體系統(tǒng)能耗減少高達(dá)29%)、NVIDIA Magnum IO GPUDirect Storage(每傳輸1TB數(shù)據(jù),SSD能耗降低高達(dá)81%)、MLPerf(SSD能耗降低高達(dá)35%,系統(tǒng)能耗降低高達(dá)13%)以及使用Microsoft DeepSpeed對Llama 大語言模型(LLM)訓(xùn)練進(jìn)行微調(diào)(SSD能耗降低高達(dá) 21%)。

wKgZoWcLddKAHPtSAAOKConnGk0495.png

AI PC的存儲需求,將遠(yuǎn)超微軟的“基準(zhǔn)要求”


微軟為AI PC產(chǎn)品Copilot+設(shè)定了基準(zhǔn)要求,其中NPU的算力起始于40 TOPS,內(nèi)存方面則規(guī)定了至少16GB的容量,以及256GB的存儲空間作為最低配置。不過,Prasad Alluri表示,這些僅是基礎(chǔ)指導(dǎo)線,并未全面界定AI PC的真正內(nèi)涵。

“要深入理解AI PC,我們需將焦點(diǎn)放在用戶體驗(yàn)上。AI PC的核心在于通過諸如翻譯或圖像編輯等任務(wù)來提升生產(chǎn)力,且這些任務(wù)需在設(shè)備上高效完成。正是這種整體體驗(yàn)定義了AI PC,而非單純的技術(shù)規(guī)格。為了滿足用戶的這些期望,我們認(rèn)為所需的內(nèi)存量遠(yuǎn)超最低指導(dǎo)線。事實(shí)上,當(dāng)前多數(shù)OEM在打造AI PC時(shí),已配備了24GB至32GB的DRAM。”

從存儲角度來看,盡管OEM目前提供的最低容量為512GB,但我們認(rèn)為對于AI工作負(fù)載而言,更理想的容量應(yīng)接近1TB。

不過,這不僅僅關(guān)乎容量大小,功耗效率和性能同樣至關(guān)重要。在存儲領(lǐng)域,目標(biāo)是以最高效的方式將AI模型從存儲加載到內(nèi)存中。為此,需要在不增加功耗的前提下,獲得盡可能高的吞吐量。美光高性能客戶端3500 SSD在相同功耗下提供了業(yè)界領(lǐng)先的性能。

針對于AI PC,美光科技加速了LPDDR5X在AI PC中的應(yīng)用普及。與同類SODIMM產(chǎn)品相比,LPDDR5X的性能提升了約1.5倍。此外,還專為AI個(gè)人電腦設(shè)計(jì)了一種新型內(nèi)存模塊——LPCAMM2。與傳統(tǒng)SODIMM產(chǎn)品相比,LPCAMM2不僅性能提升1.5倍,而且功耗降低高達(dá)58%,空間節(jié)省達(dá)64%。這款新產(chǎn)品于今年早些時(shí)候推出,主要圍繞三大目標(biāo)設(shè)計(jì):提升性能、降低功耗以及減小體積。在標(biāo)準(zhǔn)PC中,通常需要兩個(gè)SODIMM并排放置,占用主板大量空間。而LPCAMM2則將這些功能集成到一個(gè)DIMM中,從而顯著提升了電源效率和性能。

在當(dāng)前的PC環(huán)境中,以我們內(nèi)部使用的Microsoft Copilot為例,它高度依賴云計(jì)算,將大部分復(fù)雜任務(wù)卸載到云端。然而,未來的AI個(gè)人電腦將能夠在本地處理部分工作負(fù)載,減少對云端的依賴。這樣,模型復(fù)雜性將降低,AI個(gè)人電腦能在保持高性能的同時(shí),實(shí)現(xiàn)更高效的能源利用,提高數(shù)據(jù)處理的靈活性和速率。

在PC的本地存儲中完全可以放置多個(gè)模型,并根據(jù)用戶查詢的上下文加載這些模型。例如,如果用戶需要語音轉(zhuǎn)文本服務(wù),您可以加載相關(guān)模型;如果用戶需要圖像創(chuàng)建,您可以加載相應(yīng)的模型。在此過程中,關(guān)鍵在于以節(jié)能方式從存儲中加載數(shù)據(jù),因此,SSD的性能至關(guān)重要,它需在最低功耗下實(shí)現(xiàn)最高吞吐量,即充分利用PCIe 4.0 的四通道。

為此,美光科技的3500 SSD不僅在最低功耗下提供行業(yè)領(lǐng)先的性能。同時(shí),該SSD中內(nèi)置了啟發(fā)式算法。當(dāng)檢測到AI工作負(fù)載時(shí),驅(qū)動(dòng)器可以主動(dòng)加載所需的正確模型或數(shù)據(jù)。這些就是為實(shí)現(xiàn)高效能和電源效率所做的優(yōu)化。

QLC越發(fā)重要,閃存層數(shù)應(yīng)從縱橫向提升


當(dāng)本網(wǎng)記者問及當(dāng)前QLC對于AI存儲越來越重要,美光的看法與規(guī)劃,以及3D NAND閃存的層數(shù)將如何發(fā)展等問題時(shí),Prasad Alluri也給出了詳細(xì)的分析。

Prasad Alluri表示,從NAND技術(shù)的視角來看,最關(guān)鍵的因素在于每平方毫米的容量密度。也就是我們最終追求的是比特面密度(Bit Areal Density),因?yàn)檫@將有助于降低成本。

但是,有多種方法可以實(shí)現(xiàn)這一目的。其中一種是對單個(gè)物理單元提升容量。這正是四階存儲單元(QLC)技術(shù)大顯身手的地方,而我們在這一領(lǐng)域始終保持領(lǐng)先地位,特別是在PC市場率先推出了這一技術(shù)。目前,美光科技在該領(lǐng)域的市場占有率位居前列。盡管我們尚未宣布針對數(shù)據(jù)中心的具體計(jì)劃,但我們?nèi)栽诔掷m(xù)投資QLC技術(shù),并致力于提高容量密度,這是推動(dòng)技術(shù)進(jìn)步的重要途徑之一。

另外,在NAND技術(shù)中可以通過堆疊更多層來增加單位面積內(nèi)的容量。美光科技最近推出了第九代(G9)TLC NAND技術(shù)。雖然目前尚不清楚3D NAND的層數(shù)何時(shí)會達(dá)到極限,但在未來的幾代產(chǎn)品中,美光的閃存層數(shù)將繼續(xù)增加。

wKgaoWcLdeyAPoT_AAH35i87vBg197.png

但他也強(qiáng)調(diào),層數(shù)并非實(shí)現(xiàn)比特面密度提升的唯一關(guān)鍵因素,因?yàn)闄M向擴(kuò)展同樣至關(guān)重要。除了關(guān)注3D堆疊層的數(shù)量外,還需要考慮單元之間水平位置的接近程度。這種橫向優(yōu)化是美光提高比特面密度的另一個(gè)關(guān)鍵領(lǐng)域。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 存儲
    +關(guān)注

    關(guān)注

    13

    文章

    4793

    瀏覽量

    90072
  • 數(shù)據(jù)中心
    +關(guān)注

    關(guān)注

    18

    文章

    5654

    瀏覽量

    75035
  • AI
    AI
    +關(guān)注

    關(guān)注

    91

    文章

    39820

    瀏覽量

    301483
  • 美光
    +關(guān)注

    關(guān)注

    5

    文章

    740

    瀏覽量

    53326
  • AI PC
    +關(guān)注

    關(guān)注

    0

    文章

    142

    瀏覽量

    722
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    通挑戰(zhàn)英偉達(dá),發(fā)布768GB內(nèi)存AI推理芯片,“出征”AI數(shù)據(jù)中心

    電子發(fā)燒友網(wǎng)報(bào)道(文/莫婷婷)隨著生成式AI應(yīng)用的爆發(fā)式增長,數(shù)據(jù)中心對高效、低成本、低功耗AI推理能力的需求急劇上升。通憑借其在移動(dòng)計(jì)算和通信領(lǐng)域的技術(shù)積累,正試圖通過差異化戰(zhàn)略,
    的頭像 發(fā)表于 10-29 10:36 ?3649次閱讀
    <b class='flag-5'>高</b>通挑戰(zhàn)英偉達(dá),發(fā)布768GB內(nèi)存<b class='flag-5'>AI</b>推理芯片,“出征”<b class='flag-5'>AI</b><b class='flag-5'>數(shù)據(jù)中心</b>

    通挑戰(zhàn)英偉達(dá)!發(fā)布768GB內(nèi)存AI推理芯片,“出征”AI數(shù)據(jù)中心

    電子發(fā)燒友網(wǎng)報(bào)道(文/莫婷婷)隨著生成式AI應(yīng)用的爆發(fā)式增長,數(shù)據(jù)中心對高效、低成本、低功耗AI推理能力的需求急劇上升。通憑借其在移動(dòng)計(jì)算和通信領(lǐng)域的技術(shù)積累,正試圖通過差異化戰(zhàn)略,
    的頭像 發(fā)表于 10-29 09:14 ?6461次閱讀
    <b class='flag-5'>高</b>通挑戰(zhàn)英偉達(dá)!發(fā)布768GB內(nèi)存<b class='flag-5'>AI</b>推理芯片,“出征”<b class='flag-5'>AI</b><b class='flag-5'>數(shù)據(jù)中心</b>

    LPDDR5X在AI數(shù)據(jù)中心多能打?10.7Gbps速率、互連快7倍、推理吞吐5倍、延遲低80%!

    廠商們包括三星、、SK海力士以及長鑫存儲等也不斷拉高LPDDR5X的規(guī)格,有望拓展繼智能終端之后AI數(shù)據(jù)中心這類新應(yīng)用。 ? 三星電子
    的頭像 發(fā)表于 01-27 09:35 ?1615次閱讀
    LPDDR5X在<b class='flag-5'>AI</b><b class='flag-5'>數(shù)據(jù)中心</b>多能打?10.7Gbps速率、互連快7倍、推理吞吐<b class='flag-5'>高</b>5倍、延遲低80%!

    AI數(shù)據(jù)中心供電系統(tǒng)的發(fā)展現(xiàn)狀和未來趨勢

    AI數(shù)據(jù)中心作為數(shù)字時(shí)代的核心基礎(chǔ)設(shè)施,承擔(dān)著海量數(shù)據(jù)存儲、處理和傳輸任務(wù),而供電系統(tǒng)是其穩(wěn)定運(yùn)行的“生命線”。隨著云計(jì)算、大數(shù)據(jù)、人工智
    的頭像 發(fā)表于 09-24 17:07 ?3783次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>數(shù)據(jù)中心</b>供電系統(tǒng)的發(fā)展現(xiàn)狀和未來<b class='flag-5'>趨勢</b>

    睿海光電:400G模塊技術(shù)創(chuàng)新與AI數(shù)據(jù)中心變革

    睿海光電:400G模塊技術(shù)創(chuàng)新與AI數(shù)據(jù)中心變革 一、400G模塊:新一代數(shù)據(jù)中心的核心引擎 在AI
    的頭像 發(fā)表于 08-18 13:52 ?1121次閱讀

    睿海光電800G模塊助力全球AI基建升級

    在全球數(shù)字化轉(zhuǎn)型加速的背景下,超高速模塊作為數(shù)據(jù)中心AI算力網(wǎng)絡(luò)的核心部件,正經(jīng)歷從400G向800G、1.6T的迭代浪潮。在這一賽道中,深圳市睿海光電科技有限公司(以下簡稱“睿海光電”)憑借
    發(fā)表于 08-13 19:05

    睿海光電以高效交付與廣泛兼容助力AI數(shù)據(jù)中心800G模塊升級

    提供“數(shù)據(jù)高速通道”。 低延遲與可靠:通過信號完整性設(shè)計(jì)與超低功耗控制,減少數(shù)據(jù)中心能耗的同時(shí),保障大規(guī)模AI訓(xùn)練的穩(wěn)定性。 前瞻布局:1.6T
    發(fā)表于 08-13 19:01

    加速AI未來,睿海光電800G OSFP模塊重構(gòu)數(shù)據(jù)中心互聯(lián)標(biāo)準(zhǔn)

    在人工智能算力需求呈指數(shù)級增長的2025,數(shù)據(jù)傳輸效率已成為制約AI發(fā)展的關(guān)鍵瓶頸。作為全球AI模塊領(lǐng)域的標(biāo)桿企業(yè),深圳市睿海光電憑借技
    發(fā)表于 08-13 16:38

    光纖為何是AI就緒型數(shù)據(jù)中心的基石?

    康普數(shù)據(jù)中心業(yè)務(wù)部大中國區(qū)銷售總監(jiān)?劉偉崗 隨著人工智能(AI)在各行各業(yè)加速落地應(yīng)用,企業(yè)領(lǐng)導(dǎo)者也開始從根本上重新思考數(shù)據(jù)中心的建設(shè)和運(yùn)營方式。同樣,AI在中國市場勢頭正猛,各行業(yè)正
    的頭像 發(fā)表于 06-13 17:07 ?1227次閱讀

    【「零基礎(chǔ)開發(fā)AI Agent」閱讀體驗(yàn)】+ 入門篇學(xué)習(xí)

    很高興又有機(jī)會學(xué)習(xí)ai技術(shù),這次試讀的是「零基礎(chǔ)開發(fā)AI Agent」,作者葉濤、鍇、張心雨。 大模型的普及是近三來的一件大事,萬物皆可大模型已成為
    發(fā)表于 05-02 09:26

    適用于數(shù)據(jù)中心AI時(shí)代的800G網(wǎng)絡(luò)

    數(shù)據(jù)中心依賴數(shù)千甚至上萬個(gè)GPU集群進(jìn)行高性能計(jì)算,對帶寬、延遲和數(shù)據(jù)交換效率提出極高要求。 AI云:以生成式AI為核心的云平臺,為多租戶環(huán)境提供推理服務(wù)。這類
    發(fā)表于 03-25 17:35

    DeepSeek推動(dòng)AI算力需求:800G模塊的關(guān)鍵作用

    類型和功耗選項(xiàng),是數(shù)據(jù)中心向800G帶寬擴(kuò)展的理想選擇。 市場前景廣闊: 隨著AI算力需求的不斷增長,尤其是在超大規(guī)模數(shù)據(jù)中心AI集群的建設(shè)中,對
    發(fā)表于 03-25 12:00

    華為全新升級星河AI數(shù)據(jù)中心網(wǎng)絡(luò)

    在華為中國合作伙伴大會2025期間,以 “星河AI數(shù)據(jù)中心網(wǎng)絡(luò),賦AI時(shí)代新動(dòng)能”為主題的數(shù)據(jù)中心網(wǎng)絡(luò)分論壇圓滿落幕。本次論壇匯聚了來自全國的300多位客戶和伙伴,共同探討
    的頭像 發(fā)表于 03-24 14:46 ?1103次閱讀

    Cadence顛覆AI數(shù)據(jù)中心設(shè)計(jì)

    日前舉辦的英偉達(dá) GTC 2025 開發(fā)者大會匯聚了眾多行業(yè)精英,共同探討人工智能的未來。而人工智能正在重塑全球數(shù)據(jù)中心的格局。據(jù)預(yù)測,未來將有 1 萬億美元用于 AI 驅(qū)動(dòng)的數(shù)據(jù)中心升級。然而
    的頭像 發(fā)表于 03-21 15:43 ?1170次閱讀

    Solidigm高密度方案解決數(shù)據(jù)中心存儲難題,賦能AI創(chuàng)新發(fā)展

    QLC在內(nèi)的豐富產(chǎn)品組合,打破從數(shù)據(jù)中心到邊緣應(yīng)用面臨的存儲瓶頸,提升人工智能效率,釋放人工智能潛能。 當(dāng)AI的發(fā)展突破界限,算力與存力的天平被重新校準(zhǔn)。在AI 浪潮下,傳統(tǒng)HDD
    的頭像 發(fā)表于 03-13 15:36 ?1177次閱讀