chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

對象存儲適合AI和機器學習工作負載的三個原因

如意 ? 來源:51cto ? 作者:51cto ? 2020-07-06 09:27 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

各種各樣的企業(yè)在加快AI機器學習項目,但要真正發(fā)揮潛力,需要克服重大的技術障礙。雖然計算基礎架構常常是關注的重點,但存儲同樣重要。這三個主要的原因表明了為什么對象存儲(而不是文件存儲或塊存儲)特別適合AI和機器學習工作負載:

1. 可擴展性——有龐大且多樣的數據源可供學習時,AI和機器學習最有效。數據科學家利用這些豐富的數據來訓練領域模型。在“大數據的五個V”(容量、種類、速度、準確性和價值)中,前兩個(容量和種類)最重要。簡而言之,AI和機器學習依賴大量多樣化的數據(圖像、文本、結構化和半結構化數據),構建有用的模型、提供準確的結果并最終提供業(yè)務價值。

對象存儲是最具擴展性的存儲架構,特別適合支持AI和機器學習所需的大量數據。對象存儲旨在通過橫向擴展方法支持無限增長,使企業(yè)組織能夠通過隨時隨地添加節(jié)點來擴大部署范圍。由于對象存儲使用單個全局命名空間,也可以同時跨多個地方進行這種擴展。另一方面,文件和塊系統(tǒng)通常采用縱向擴展方法。這意味著這種平臺通過為單個節(jié)點添加更多計算資源實現縱向擴展,這種方法最終受到限制。它們無法通過部署額外節(jié)點來增加計算資源以高效地橫向擴展。

2. API——健壯靈活的數據API對于AI和機器學習很重要,如前所述,AI和機器學習使用多種類型的數據。存儲平臺需要支持API以容納各種數據。此外,AI和機器學習方面的創(chuàng)新日益在公共云上完成,但是仍有相當一部分的AI和機器學習在本地或私有云中進行,這取決于使用場合的具體情況(比如說,科學研究和醫(yī)療保健等領域的容量密集型工作負載往往最適合私有云)。這意味著企業(yè)需要在公共云和本地/私有云中都支持工作負載的存儲API。

文件和塊存儲平臺在它們支持的API方面受到限制,部分原因是它們是較舊的架構。相比之下,對象存儲使用云端更高級的API,這種API旨在以應用程序為中心,并支持比文件和塊存儲更廣泛的API,包括版本控制、生命周期管理、加密、對象鎖定和元數據。此外,支持AI和機器學習使用場景的新對象存儲API(比如支持流數據和海量數據集的查詢)也有可能。

由于對象存儲API圍繞Amazon S3實現了標準化,更容易整合本地和公共云中的軟件。企業(yè)可以輕松地將部署的AI和機器學習從本地/私有云環(huán)境擴展到公共云,或者將云原生的AI和機器學習工作負載遷移到本地環(huán)境,功能不會減損。這種雙模式方法使企業(yè)能夠以合作、可互換的方式利用本地/私有云和公共云上的資源。

由于S3 API已成為對象存儲事實上的標準,許多軟件工具和庫都可以充分利用該API。這允許共享代碼、軟件和工具,促進AI/機器學習社區(qū)更快速的開發(fā)。例子包括流行的機器學習平臺,比如擁有內置S3 API的TensorFlow和Apache Spark。

3.元數據——與API一樣,使用AI和機器學習的企業(yè)利用無限制、可自定義的元數據顯得至關重要。元數據就是關于數據的數據——從最基本的層面上講,某個數據何時在何地創(chuàng)建、創(chuàng)建者是誰。但是元數據可以描述更多信息:用戶可以創(chuàng)建任意的元數據標簽來描述他們需要的任何屬性。

數據科學家需要豐富的元數據來查找特定數據以構建和使用AI和機器學習模型。隨著更多信息添加到數據中,元數據注釋便于逐步積累知識。

文件和塊存儲僅支持有限的元數據,比如上述基本屬性。這在很大程度上歸結為可擴展性,因為文件和塊系統(tǒng)無力支持快速無縫的增長,如果存儲系統(tǒng)為依賴龐大數據集的AI和機器學習應用程序支持豐富的元數據,自然會出現這種情況。然而,對象存儲支持無限制的、完全可自定義的元數據,從而更容易找到用于AI和機器學習算法的數據,并從中獲得更準確的信息。

以一家醫(yī)院針對X射線圖像使用圖像識別應用程序為例:有了元數據,可以使用TensorFlow模型來分析添加到對象存儲系統(tǒng)的每個圖像,然后為每個圖像分配細化的元數據標簽(比如,傷病類型、基于骨骼大小或生長情況來判斷患者的年齡或性別)。然后可以針對該元數據訓練TensorFlow模型,并加以分析,對患者獲得新的寶貴信息(比如說,二三十歲的女性比五年前更容易患骨骼疾?。?。

幾乎每家《財富》 500強公司都在大張旗鼓地搞AI和機器學習,可以想象這些技術在可預見的將來將是最重要的企業(yè)IT項目。然而,AI/機器學習項目要獲得回報,企業(yè)就要使用合適的存儲基礎架構。由于可擴展性、支持各種API(尤其是S3)和豐富的元數據,對象存儲可謂是AI和機器學習的最佳支柱。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • 存儲
    +關注

    關注

    13

    文章

    4696

    瀏覽量

    89571
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    未來工業(yè)AI發(fā)展的三個必然階段

    與優(yōu)化 能力的深層革命。 未來十年,工業(yè)AI的發(fā)展將經歷三個清晰的階段:? 智能輔助 → 智能決策 → 自主優(yōu)化 。這次進化,構成了工業(yè)從“人控機器”到“
    的頭像 發(fā)表于 10-27 15:47 ?236次閱讀
    未來工業(yè)<b class='flag-5'>AI</b>發(fā)展的<b class='flag-5'>三個</b>必然階段

    科技云報到:西湖大學、智元機器人都選它,存儲成為AI下一風口

    科技云報到:西湖大學、智元機器人都選它,存儲成為AI下一風口
    的頭像 發(fā)表于 09-03 11:24 ?536次閱讀

    【「零基礎開發(fā)AI Agent」閱讀體驗】+ 入門篇學習

    很高興又有機會學習ai技術,這次試讀的是「零基礎開發(fā)AI Agent」,作者葉濤、管鍇、張心雨。 大模型的普及是近年來的一件大事,萬物皆可大模型已成為趨勢。作為大模型開發(fā)應用中重要組
    發(fā)表于 05-02 09:26

    【「零基礎開發(fā)AI Agent」閱讀體驗】+初品Agent

    期待中的《零基礎開發(fā)AI Agent——手把手教你用扣子做智能體》終于寄到了,該書由葉濤、 管鍇、張心雨完成,并由電子工業(yè)出版社出版發(fā)行。 全書分為三個部分,即入門篇、工具篇及實踐篇。由此可見這是
    發(fā)表于 04-22 11:51

    NanoEdge AI Studio 面向STM32開發(fā)人員機器學習(ML)技術

    最佳ML庫。 *附件:nanoedgeaistudio.pdf 軟件下載: https://stm32ai.st.com/download-nanoedgeai/ 演示版可免費試用三個月。專業(yè)版為
    的頭像 發(fā)表于 04-22 11:09 ?981次閱讀
    NanoEdge <b class='flag-5'>AI</b> Studio 面向STM32開發(fā)人員<b class='flag-5'>機器</b><b class='flag-5'>學習</b>(ML)技術

    面向AI機器學習應用的開發(fā)平臺 AMD/Xilinx Versal? AI Edge VEK280

    AMD/Xilinx Versal? AI Edge VEK280評估套件是一款面向AI機器學習應用的開發(fā)平臺,專為邊緣計算場景優(yōu)化設計。以下從核心配置、技術特性、應用場景及開發(fā)支持
    的頭像 發(fā)表于 04-11 18:33 ?2031次閱讀
    面向<b class='flag-5'>AI</b>與<b class='flag-5'>機器</b><b class='flag-5'>學習</b>應用的開發(fā)平臺 AMD/Xilinx Versal? <b class='flag-5'>AI</b> Edge VEK280

    **【技術干貨】Nordic nRF54系列芯片:傳感器數據采集與AI機器學習的完美結合**

    【技術干貨】nRF54系列芯片:傳感器數據采集與AI機器學習的完美結合 近期收到不少伙伴咨詢nRF54系列芯片的應用與技術細節(jié),今天我們整理幾個核心問題與解答,帶你快速掌握如何在nRF54上部署
    發(fā)表于 04-01 00:00

    Linux系統(tǒng)中最重要的三個命令

    Linux劍客是Linux系統(tǒng)中最重要的三個命令,它們以其強大的功能和廣泛的應用場景而聞名。這三個工具的組合使用幾乎可以完美應對Shell中的數據分析場景,因此被統(tǒng)稱為Linux
    的頭像 發(fā)表于 03-03 10:37 ?801次閱讀

    AI Agent 應用與項目實戰(zhàn)》閱讀心得2——客服機器人、AutoGen框架 、生成式代理

    了分層存儲架構,將記憶分為短期記憶、工作記憶和長期記憶三個層次,通過注意力機制和遺忘機制來管理記憶的存儲和調用。反思機制的創(chuàng)新之處在于引入了元認知模型,使代理能夠對自身的行為和決策進行
    發(fā)表于 02-25 21:59

    NetApp革新塊存儲,賦能現代工作負載

    智能數據基礎設施領域的領先企業(yè)NetApp?,近日宣布對其企業(yè)存儲產品組合進行了重大更新,以更好地滿足現代工作負載的多樣化需求。此次更新重點擴充了NetApp ASA A系列,推出了一系列專為加速
    的頭像 發(fā)表于 02-17 10:07 ?660次閱讀

    對象存儲是什么結構類型?

    對象存儲屬于非結構化數據存儲架構,采用扁平化命名空間結構。其核心通過唯一標識符(ObjectID)定位數據對象,突破傳統(tǒng)文件系統(tǒng)的層級目錄限制,形成"桶-
    的頭像 發(fā)表于 02-10 11:14 ?691次閱讀

    負載箱與單相負載箱的區(qū)別與優(yōu)勢對比

    負載箱與單相負載箱在電力系統(tǒng)中扮演著不同的角色,它們各自具有獨特的優(yōu)勢和適用場景。以下是對這兩種負載箱的區(qū)別與優(yōu)勢對比: 區(qū)別 工作原理
    發(fā)表于 02-08 13:00

    HPC工作負載管理的關鍵要素

    HPC工作負載管理是一復雜而精細的過程,涉及資源分配、作業(yè)調度、性能監(jiān)控與優(yōu)化以及故障處理與恢復等多個關鍵要素。下面,AI部落小編帶您了解HPC
    的頭像 發(fā)表于 02-08 09:53 ?533次閱讀

    IBM Storage -?支持AI應用場景的數據存儲軟硬件解決方案

    為了解決數據和工作負載在各地分散的現狀,需要實現對存儲在分布式文件和對象存儲系統(tǒng)中的大量非結構化數據的高速訪問。IBM Storage利用人
    的頭像 發(fā)表于 12-30 15:00 ?859次閱讀
    IBM Storage -?支持<b class='flag-5'>AI</b>應用場景的數據<b class='flag-5'>存儲</b>軟硬件解決方案

    深度學習工作負載中GPU與LPU的主要差異

    ,一新的競爭力量——LPU(Language Processing Unit,語言處理單元)已悄然登場,LPU專注于解決自然語言處理(NLP)任務中的順序性問題,是構建AI應用不可或缺的一環(huán)。 本文旨在探討深度學習
    的頭像 發(fā)表于 12-09 11:01 ?3910次閱讀
    深度<b class='flag-5'>學習</b><b class='flag-5'>工作</b><b class='flag-5'>負載</b>中GPU與LPU的主要差異