chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何跨AIoT數(shù)據(jù)管道實(shí)施NVMe-oF共享存儲(chǔ)

倩倩 ? 來(lái)源:百度粉絲網(wǎng) ? 2020-09-11 14:03 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

到2023年,物聯(lián)網(wǎng)IoT)預(yù)計(jì)將包含近300億個(gè)互聯(lián)設(shè)備。這些物聯(lián)網(wǎng)設(shè)備可在網(wǎng)絡(luò)上創(chuàng)建和傳輸大量數(shù)據(jù)。但是數(shù)據(jù)所有者如何從傳輸?shù)臄?shù)據(jù)中獲得情報(bào)?那就是AIoT誕生的地方,即人工智能(AI)和IoT的結(jié)合。

AIoT將智能處理功能添加到IoT設(shè)備收集的各種大型數(shù)據(jù)集中。它使企業(yè)能夠分析數(shù)據(jù)并提供見解。如今,AIoT在互聯(lián)用例(例如用于遠(yuǎn)程患者監(jiān)控和預(yù)防醫(yī)學(xué)的醫(yī)療保?。┲腥匀淮嬖?在制造業(yè)中的機(jī)器人領(lǐng)域;在自動(dòng)駕駛汽車中;在網(wǎng)絡(luò)監(jiān)控中;并在諸如C3.ai數(shù)字轉(zhuǎn)化研究所的研究中努力減輕流行病并防止未來(lái)的傳染病爆發(fā)。對(duì)于需要深度篩選大量數(shù)據(jù)以執(zhí)行深度學(xué)習(xí)算法的任何用例,AIoT是一種功能強(qiáng)大的工具。它是自我學(xué)習(xí),自我監(jiān)控和自我修復(fù)。AIoT使預(yù)測(cè)決策具有很高的預(yù)測(cè)精度,遠(yuǎn)遠(yuǎn)超過(guò)了人類。

AIoT面臨的挑戰(zhàn)是系統(tǒng)涉及具有多個(gè)階段的復(fù)雜數(shù)據(jù)管道。企業(yè)不僅需要處理來(lái)自物聯(lián)網(wǎng)的數(shù)據(jù)的數(shù)量,種類,速度和準(zhǔn)確性,還需要在實(shí)現(xiàn)AI解決方案時(shí)保持模型質(zhì)量,數(shù)據(jù)訪問(wèn)延遲,吞吐量和數(shù)據(jù)緩存功能。如果優(yōu)化了計(jì)算系統(tǒng)以快速處理數(shù)據(jù),那么除非建立正確的計(jì)算,存儲(chǔ)和內(nèi)存組合,否則將數(shù)據(jù)導(dǎo)入這些系統(tǒng)可能會(huì)成為瓶頸。

存儲(chǔ)是關(guān)鍵基礎(chǔ),需要解決AIoT數(shù)據(jù)管道的所有階段,從攝取到數(shù)據(jù)準(zhǔn)備再到模型訓(xùn)練和推理,并仔細(xì)考慮TCO,性能和功耗要求。它還需要滿足AI工作負(fù)載不斷變化的需求。企業(yè)正在轉(zhuǎn)向NVMe閃存來(lái)滿足AI所需的高吞吐量和低延遲,但是讓我們通過(guò)基于結(jié)構(gòu)的NVMe(NVMe-oF)進(jìn)一步邁出一步

一種新方法–共享存儲(chǔ)

一種新方法是將可組合的分解基礎(chǔ)架構(gòu)(CDI)與NVMe閃存,GPU池和大容量存儲(chǔ)系統(tǒng)結(jié)合使用,以在動(dòng)態(tài)的,軟件定義的應(yīng)用程序環(huán)境中實(shí)現(xiàn)快速響應(yīng)時(shí)間和AI的擴(kuò)展需求。

CDI會(huì)從物理上分解資源(計(jì)算,網(wǎng)絡(luò),存儲(chǔ)和GPU),并根據(jù)特定應(yīng)用程序的需要將它們匯總在一起。這樣可以靈活,獨(dú)立地?cái)U(kuò)展資源,以滿足AI工作負(fù)載不斷變化的需求。

可組合存儲(chǔ)將大大提高企業(yè)調(diào)配和優(yōu)化其數(shù)據(jù)基礎(chǔ)架構(gòu)以滿足動(dòng)態(tài)應(yīng)用程序需求的靈活性和靈活性。

CDI允許在許多主機(jī)之間共享和擴(kuò)展存儲(chǔ),網(wǎng)絡(luò)和計(jì)算資源。與融合系統(tǒng)不同,當(dāng)數(shù)據(jù)隨著服務(wù)器容量的增長(zhǎng)而增長(zhǎng)時(shí),它避免了后續(xù)數(shù)據(jù)進(jìn)出GPU服務(wù)器本地SSD的延遲。它可以立即訪問(wèn)共享閃存中經(jīng)過(guò)訓(xùn)練的模型和數(shù)據(jù),并可以快速響應(yīng)。

選擇存儲(chǔ)解決方案時(shí),具有NVMe閃存的開放式可組合基礎(chǔ)架構(gòu)可以跨團(tuán)隊(duì)無(wú)縫分配共享存儲(chǔ)池,以提高效率,成本和CIO關(guān)心的KPI指標(biāo)。

如何跨AIoT數(shù)據(jù)管道實(shí)施NVMe-oF共享存儲(chǔ)

實(shí)施AI計(jì)劃時(shí),重要的是設(shè)計(jì)一種存儲(chǔ)基礎(chǔ)架構(gòu),以支持前所未有的AIoT數(shù)據(jù)量。優(yōu)化TCO和效率的一種方法是查看AI工作負(fù)載的每個(gè)階段,以確定哪種存儲(chǔ)類型最適合每個(gè)階段。NVMe-oF共享存儲(chǔ)幾乎適用于AIoT工作流程的所有階段:

接收 – 接收階段需要具有速度和規(guī)模,以維持從IoT系統(tǒng)傳入的數(shù)據(jù)的數(shù)量和速度。要提取到臨時(shí)著陸區(qū),可以使用NVMe存儲(chǔ)平臺(tái)或大容量存儲(chǔ)系統(tǒng)(基于HDD,對(duì)象或云存儲(chǔ)),而要提取到集中式,全局可訪問(wèn)的容量層,則可以使用大容量存儲(chǔ)系統(tǒng)。為了吸收到高性能層(無(wú)論是在本地還是在云上部署),都需要NVMe閃存來(lái)進(jìn)行實(shí)時(shí)分析。

數(shù)據(jù)準(zhǔn)備 –數(shù)據(jù)準(zhǔn)備階段的主要重點(diǎn)應(yīng)該放在數(shù)據(jù)質(zhì)量上。就成本和性能而言,NVMe存儲(chǔ)平臺(tái)也是一個(gè)不錯(cuò)的選擇?;蛘撸梢赃x擇閃存和HDD的混合選件,以提供性能和更高容量的好處。

模型訓(xùn)練 -模型訓(xùn)練階段對(duì)已實(shí)現(xiàn)的AI解決方案的模型質(zhì)量,數(shù)據(jù)訪問(wèn)延遲,吞吐量和數(shù)據(jù)緩存功能敏感。這需要低延遲,面向吞吐量,可擴(kuò)展的高性能存儲(chǔ)層,并且NVMe-oF存儲(chǔ)平臺(tái)非常適合滿足這些需求。

推論 –推論階段同樣需要低數(shù)據(jù)訪問(wèn)延遲,吞吐量響應(yīng)時(shí)間和數(shù)據(jù)緩存功能。當(dāng)模型訓(xùn)練和推理階段訪問(wèn)分解架構(gòu)中的一個(gè)共享存儲(chǔ)時(shí),它們?cè)诤艽蟪潭壬鲜窍嗷ヒ蕾嚨摹@?,如果推理評(píng)分較差,則需要對(duì)模型進(jìn)行重新訓(xùn)練,并且在模型訓(xùn)練結(jié)束之前,無(wú)法生成推理。因此,對(duì)兩者使用相同類型的共享存儲(chǔ)池是有意義的。

備份/還原 –在備份階段,大容量HDD,對(duì)象存儲(chǔ)或云存儲(chǔ)最適合存儲(chǔ)和按需訪問(wèn)舊模型和數(shù)據(jù)。通常需要從備份中還原舊模型以進(jìn)行推理或重新訓(xùn)練,以滿足新的傳入IoT數(shù)據(jù)的需求,因此最好利用近線或在線備份解決方案。

適用于AIoT的NVMe-oF可組合分解基礎(chǔ)架構(gòu)

NVMe-oF正在統(tǒng)一如何大規(guī)模共享,組合和管理存儲(chǔ),以滿足不斷變化的應(yīng)用程序和工作負(fù)載的需求。使用NVMe閃存的可組合分解基礎(chǔ)架構(gòu)允許IT即時(shí)分配存儲(chǔ),以支持AI每個(gè)階段的AIoT實(shí)施。

我們將繼續(xù)看到越來(lái)越多地采用可組合的分布式存儲(chǔ)解決方案,這些解決方案可以有效地在以太網(wǎng)結(jié)構(gòu)上擴(kuò)展,并為各種數(shù)據(jù)中心應(yīng)用程序提供NVMe設(shè)備的全部性能潛力。可組合存儲(chǔ)將大大提高企業(yè)配置和優(yōu)化其數(shù)據(jù)基礎(chǔ)架構(gòu)的靈活性和靈活性,以滿足AIoT及其數(shù)據(jù)中心KPI的動(dòng)態(tài)應(yīng)用需求。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)據(jù)集
    +關(guān)注

    關(guān)注

    4

    文章

    1229

    瀏覽量

    25912
  • 物聯(lián)網(wǎng)設(shè)備

    關(guān)注

    1

    文章

    241

    瀏覽量

    20672
  • AIoT
    +關(guān)注

    關(guān)注

    8

    文章

    1556

    瀏覽量

    33382
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    華納云為游戲數(shù)據(jù)庫(kù)選擇高性能NVMe SSD存儲(chǔ)

    游戲數(shù)據(jù)庫(kù)對(duì)速度、可靠性和可擴(kuò)展性有極高要求。隨著在線游戲的發(fā)展,開發(fā)者越來(lái)越依賴NVMe SSD存儲(chǔ)來(lái)提供服務(wù)器租用和服務(wù)器托管解決方案。本文將指導(dǎo)您了解為游戲數(shù)據(jù)庫(kù)選擇高性能
    的頭像 發(fā)表于 09-30 16:03 ?699次閱讀

    NVMe高速傳輸之?dāng)[脫XDMA設(shè)計(jì)30: NVMe 設(shè)備模型設(shè)計(jì)

    , 不同的是在處理指令過(guò)程中, NVMe 寫和讀指令需要與主機(jī)進(jìn)行更多的 TLP 事務(wù)交互, 包括讀指令、 讀寫數(shù)據(jù)、 讀 PRP 等, 這些事務(wù)使用 tag 進(jìn)行標(biāo)記區(qū)分, 因此能夠?qū)崿F(xiàn)多個(gè)并行的 I
    發(fā)表于 09-29 09:31

    NVMe高速傳輸之?dāng)[脫XDMA設(shè)計(jì)23:UVM驗(yàn)證平臺(tái)

    數(shù)據(jù)總線;NVMe 子系統(tǒng)模型(NVMe Subsystem Model)是自主設(shè)計(jì)的用于模擬 PCIe 鏈路設(shè)備和 NVMe 設(shè)備的功能模型。
    發(fā)表于 08-26 09:49

    Microchip推出Adaptec? SmartRAID 4300 系列加速器 提供安全的可擴(kuò)展 NVMe? RAID 存儲(chǔ)解決方案

    ,專為NVMe部署而設(shè)計(jì)。該系列加速器尤其適用于現(xiàn)代人工智能數(shù)據(jù)中心環(huán)境。在此類環(huán)境中,加速訪問(wèn)NVMe存儲(chǔ)對(duì)于支持高強(qiáng)度工作負(fù)載
    的頭像 發(fā)表于 08-06 16:31 ?1.8w次閱讀
    Microchip推出Adaptec? SmartRAID 4300 系列加速器 提供安全的可擴(kuò)展 <b class='flag-5'>NVMe</b>? RAID <b class='flag-5'>存儲(chǔ)</b>解決方案

    西部數(shù)據(jù)通過(guò) MLPerfa Storage V2 測(cè)試結(jié)果,驗(yàn)證其真實(shí)場(chǎng)景下的AI存儲(chǔ)性能

    西部數(shù)據(jù)?OpenFlex? Data24 4000?系列?NVMe-oF??存儲(chǔ)平臺(tái),基于鎧俠 CM7-V?系列?NVMe??固態(tài)硬盤與配置?PEAK:AIO?軟件的AI智算服務(wù)器,
    發(fā)表于 08-05 18:15 ?533次閱讀

    NVMe高速傳輸之?dāng)[脫XDMA設(shè)計(jì)18:UVM驗(yàn)證平臺(tái)

    數(shù)據(jù)總線;NVMe 子系統(tǒng)模型(NVMe Subsystem Model)是自主設(shè)計(jì)的用于模擬 PCIe 鏈路設(shè)備和 NVMe 設(shè)備的功能模型。
    發(fā)表于 07-31 16:39

    NVMe高速傳輸之?dāng)[脫XDMA設(shè)計(jì)之十:NVMe初始化狀態(tài)機(jī)設(shè)計(jì)

    在完成PCIe配置初始化后,PCIe總線域的地址空間都分配完畢,可以執(zhí)行傳出存儲(chǔ)讀寫TLP,系統(tǒng)初始化進(jìn)入NVMe配置初始化。NVMe配置初始化主要完成NVMe設(shè)備BAR空間的
    發(fā)表于 07-05 22:03

    NVMe IP高速傳輸卻不依賴便利的XDMA設(shè)計(jì)之三:系統(tǒng)架構(gòu)

    、 零散數(shù)據(jù)等多種數(shù)據(jù)量形式。 面臨大量零散數(shù)據(jù)存儲(chǔ)請(qǐng)求時(shí), 需要增加 NVMe I/O 隊(duì)列的數(shù)量和深度來(lái)保證
    發(fā)表于 06-29 17:42

    NVMe協(xié)議研究掃盲

    /SAS SSD相比具有卓越的性能優(yōu)勢(shì),云平臺(tái)和數(shù)據(jù)中心已經(jīng)開始為大量I/O密集型應(yīng)用程序提供NVMe SSD。隨著NVMe協(xié)議的不斷完善,推出了NVMe-oF
    發(fā)表于 06-02 23:28

    NVMe協(xié)議簡(jiǎn)介2

    通過(guò)PCIe進(jìn)行,使用PCIe的存儲(chǔ)讀寫TLP請(qǐng)求。指令的提交與完成機(jī)制如圖1所示,圖中展示的指令提交與完成步驟如下: 圖1 NVMe指令提交與完成步驟圖 (1)主機(jī)控制器向提交隊(duì)列寫入一個(gè)或多個(gè)提交命令
    發(fā)表于 05-15 23:15

    NVMe協(xié)議簡(jiǎn)要分析

    具有更高的吞吐量、更快的訪問(wèn)速度和更低的功耗,已經(jīng)被廣泛應(yīng)用于各種計(jì)算領(lǐng)域和存儲(chǔ)系統(tǒng)。 1. NVMe隊(duì)列 NVMe協(xié)議采用成對(duì)的提交隊(duì)列(Submission Queue,SQ)和完成隊(duì)列
    發(fā)表于 05-15 00:34

    NVME控制器設(shè)計(jì)1

    , 實(shí)現(xiàn)指令的組裝和分配; 當(dāng)接收到完成隊(duì)列中的正常完成條目時(shí), 指令控制模塊提取其中的指令 ID進(jìn)行注銷。隊(duì)列管理模塊實(shí)現(xiàn)NVMe提交隊(duì)列和完成隊(duì)列的存儲(chǔ)、 門鈴機(jī)制、 仲裁機(jī)制,以及隊(duì)列的創(chuàng)建和刪除
    發(fā)表于 04-24 09:45

    Aigtek功率放大器在管道診斷中的具體應(yīng)用

    在現(xiàn)代工業(yè)生產(chǎn)中,管道作為傳輸物質(zhì)的重要工具,其安全性、穩(wěn)定性和效率性對(duì)生產(chǎn)過(guò)程具有重大影響。管道是一種常見的管道故障,指的是管道在支撐
    的頭像 發(fā)表于 01-02 13:55 ?449次閱讀
    Aigtek功率放大器在<b class='flag-5'>管道</b>懸<b class='flag-5'>跨</b>診斷中的具體應(yīng)用

    一文詳解 ALINX NVMe IP 特性

    - ALINX NVMe?IP - 在當(dāng)下數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,企業(yè)對(duì)高性能存儲(chǔ)解決方案的需求不斷增加。NVMe AXI IP 憑借其支持大數(shù)據(jù)
    的頭像 發(fā)表于 11-14 13:59 ?875次閱讀
    一文詳解 ALINX <b class='flag-5'>NVMe</b> IP 特性

    PCIe與NVMe存儲(chǔ)的關(guān)系

    在現(xiàn)代計(jì)算機(jī)系統(tǒng)中,存儲(chǔ)技術(shù)的發(fā)展對(duì)于提高整體性能至關(guān)重要。PCI Express(PCIe)和NVMe(Non-Volatile Memory Express)是兩種關(guān)鍵技術(shù),它們共同推動(dòng)了存儲(chǔ)
    的頭像 發(fā)表于 11-06 09:29 ?3056次閱讀