chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

算力十問:超算智算,通算及算存比

智能計算芯世界 ? 來源:C114通信網 ? 2024-04-13 11:40 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

算力是集信息計算力、網絡運載力、數據存儲力于一體的新型生產力,主要通過算力中心等算力基礎設施向社會提供服務。算力基礎設施是新型信息基礎設施的重要組成部分,呈現多元泛在、智能敏捷、安全可靠、綠色低碳等特征,對于助推產業(yè)轉型升級、賦能科技創(chuàng)新進步、滿足人民美好生活需要和實現社會高效能治理具有重要意義。

在第二屆“華彩杯”算力大賽啟動會上,中國工程院院士鄔賀銓作了《算力十問》的主題演講。

一問:如何準確衡量算力?

鄔賀銓指出,現有測算方法難以精準衡量算力。國內企業(yè)服務器的出貨量并不等于國內市場的使用量,而且進口國外的服務器未統(tǒng)計在內;服務器出貨量也不等于上架量,更不等于已經加電使用量。通常服務器集群的算力不等于集群內服務器算力之和;通過問卷調研方法收集的數據也未必能全面反映目前實際使用情況。

二問:超算、通算、智算三類算力是否可以互相調劑?

超算和通算可否承擔生成式大模型的訓練和推理任務?智算適合承擔目前超算和通算的任務嗎?建設兼具三類節(jié)點能力的融合算力中心會有利于三類算力的調度嗎?

三問:三類算力有無合理比例?

鄔賀銓認為,不同地區(qū)需求不同,不可能有固定的比例。通常國家與區(qū)域創(chuàng)新中心城市對超算有較大需求;機密性和時延敏感性決定了城市政務數據和重要企業(yè)關鍵數據盡量在同城通算;東部地區(qū)的AI訓練任務重、智算比例高;西部算力樞紐也需要增加智算能力,但一般西部地區(qū)以配置通算為主。

四問:何謂合適的算存比?

鄔賀銓強調,存力與算力需配合,避免因存力短缺造成算力等待而影響處理效率。而存力按位于服務器內外分為內存與外存,對于CPU密集型計算任務,影響算力效率與性能的主要是內存,據分析合理的算存比是GFlops/GB為1;對I/O密集計算任務,需頻繁訪問外存,如何考慮計入外存力的算存比合理取值,值得商榷。鄔賀銓同時指出,存力有HDD機械硬盤和SDD固態(tài)硬盤之分,后者可節(jié)能70%,但我國SDD僅占24.7%,不及美國一半。

五問:如何根據大模型參數量及訓練數據量來設計算力需求?

AI模型參數是指深度神經網絡各層神經元間連接矩陣的權重和偏置,模型輸出值=權重×輸入值+偏置。

算力規(guī)模(峰值Flops)≈8×訓練數據(tokens Byte)×模型參數/訓練時間(秒)×算力利用率(0.3~0.55)。

存力規(guī)模(Byte)≈10×模型參數×計算精度(Byte)。

理論上可以通過增加訓練時長來降低對大模型訓練算力的需求,但訓練時長的增加意味算力芯片集群出錯的次數增加,為應對出錯所需存盤開銷也增加,計算效率顯著下降。據OpenAI的經驗,模型大小和數據集大小及用于訓練的算力規(guī)模三個因素同時放大才有最佳效果,據分析,當不受其他兩個因素的制約時,大模型性能與單個因素都有冪律關系。

六問:如何利用邊緣與終端的算力?

當邊緣/終端具有70億參數以上的推理能力時,邊緣/終端可離線進行推理任務,目前手機可支持130億參數,2024年還會出現支持千億參數的手機。當邊緣/終端僅具有10億參數的推理能力時,需要與云端協(xié)同提供智能能力。鄔賀銓提出,單終端算力小,數以億計的終端算力集合就非??捎^,但跨終端的協(xié)同計算是否可行值得商榷。

七問:異地算力節(jié)點的協(xié)同可行嗎?

鄔賀銓認為,將算力集群擴展到跨域,多個異地的算力節(jié)點共同承擔一個計算任務,實時性的交互要求光傳輸系統(tǒng)無損和確定性時延,任何丟包和抖動都無法保證計算效率;在異屬異構的場景下異地協(xié)同計算的實施可操作性更是挑戰(zhàn)。他強調,集約化建設大型算力節(jié)點比分布異地協(xié)同能夠顯著提升能效和算力效率,東數西算和數據災備都需要在異地算力樞紐間建立廣域連接,但這僅是算力任務的轉移而不是異地實時協(xié)同計算。

八問:算力的接入需要集中管理與指配嗎?

不通過國家算力調度平臺能夠構建全國一體化算力網和算力大市場嗎?或者可以由算力節(jié)點擁有方和需求方聯(lián)合建立算力服務聯(lián)盟,以市場機制來溝通供需。另外,在強調企業(yè)為主體發(fā)揮市場有效作用的前提下,還需要強化有為政府的角色,通過建立結對子等東西部聯(lián)動機制強化區(qū)域間算力協(xié)同。

九問:算網協(xié)同做什么和如何做?

算力與網絡往往屬于不同的運營主體,跨運營商的協(xié)同調度也有管理難題。而且網絡通常并不感知所承載的數據屬性。當前,首先要厘清算網協(xié)同的標準與方法,發(fā)揮IPv6的分段選路、SRV6作為算網協(xié)同統(tǒng)一承載協(xié)議的作用,通過編程空間實現云網/算網的融通。

十問:如何解除中小企業(yè)使用算力的顧慮?

鄔賀銓建議,政府站臺主導建設面向中小企業(yè)的云智平臺,降低企業(yè)利用算力的門檻和對安全的擔心。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 超算
    +關注

    關注

    1

    文章

    118

    瀏覽量

    9459
  • 算力
    +關注

    關注

    2

    文章

    1322

    瀏覽量

    16382
  • 大模型
    +關注

    關注

    2

    文章

    3348

    瀏覽量

    4694

原文標題:算力十問:超算智算,通算及算存比

文章出處:【微信號:AI_Architect,微信公眾號:智能計算芯世界】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    平衡”有多重要?

    。而決定這種配合效率的關鍵指標,正是我們今天要聊的“”。什么是?
    的頭像 發(fā)表于 07-11 14:06 ?295次閱讀
    “<b class='flag-5'>算</b><b class='flag-5'>存</b>平衡”有多重要?

    軟通智完成億級A輪融資,加速AI產業(yè)布局

    北京 2025年6月18日 /美通社/ -- 近日,軟通動力旗下軟通智科技(廣東)集團有限公司(以下簡稱"軟通智")完成億級A輪融資,本輪融資由盛景嘉成創(chuàng)投領投,廣發(fā)信德、毅達資本等多家知名
    的頭像 發(fā)表于 06-18 15:37 ?307次閱讀

    軟通智中標韶關公共服務平臺項目

    日前,軟通動力旗下軟通智中標《韶關公共服務平臺(一體化
    的頭像 發(fā)表于 05-22 16:19 ?583次閱讀

    芯片的生態(tài)突圍與革命

    電子發(fā)燒友網報道(文 / 李彎彎)大芯片,即具備強大計算能力的集成電路芯片,主要應用于高性能計算(HPC)、人工智能(AI)、數據中心、自動駕駛等需要海量數據并行計算的場景。隨著 AI 與大數
    的頭像 發(fā)表于 04-13 00:02 ?2351次閱讀

    領域常用名詞解釋

    本文系統(tǒng)地整理和解釋了領域中常用的數個關鍵名詞,并按照以下維度進行了分類:基礎概念、系統(tǒng)架構、硬件架構、基礎運算類型、計算模式、相關軟件架構與部署模式、浮點精度格式、
    的頭像 發(fā)表于 04-07 11:21 ?916次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>領域常用名詞解釋

    【一文看懂】什么是端側?

    隨著物聯(lián)網(IoT)、人工智能和5G技術的快速發(fā)展,端側正逐漸成為智能設備性能提升和智能化應用實現的關鍵技術。什么是端側,它的應用價值是什么,與云計算、邊緣計算有哪些區(qū)別?本文
    的頭像 發(fā)表于 02-24 12:02 ?2336次閱讀
    【一文看懂】什么是端側<b class='flag-5'>算</b><b class='flag-5'>力</b>?

    中心的如何衡量?

    作為當下科技發(fā)展的重要基礎設施,其的衡量關乎其能否高效支撐人工智能、大數據分析等智能應用的運行。以下是對智中心算衡量的詳細闡述:一、
    的頭像 發(fā)表于 01-16 14:03 ?3565次閱讀
    <b class='flag-5'>算</b>智<b class='flag-5'>算</b>中心的<b class='flag-5'>算</b><b class='flag-5'>力</b>如何衡量?

    科技云報到:要更要“利”,“精裝”觸發(fā)大模型產業(yè)新變局?

    科技云報到:要更要“利”,“精裝”觸發(fā)大模型產業(yè)新變局?
    的頭像 發(fā)表于 01-16 10:24 ?658次閱讀

    融合 南京信易達發(fā)布全新“智能融合平臺”

    1月7日,南京信易達發(fā)布了旗下最新平臺“C-MOM智能融合平臺V3.0”,并更新了全新的UI視覺與交互系統(tǒng)。 該平臺集成了HPC
    的頭像 發(fā)表于 01-08 10:56 ?1107次閱讀
    <b class='flag-5'>超</b><b class='flag-5'>算</b>智<b class='flag-5'>算</b>融合 南京信易達發(fā)布全新“智能<b class='flag-5'>算</b><b class='flag-5'>力</b>融合平臺”

    中心會取代通用中心嗎?

    隨著人工智能(AI)技術的飛速發(fā)展,計算需求不斷攀升,數據中心行業(yè)正經歷著前所未有的變革。傳統(tǒng)的通用中心與新興的智中心之間的競爭日益激烈。那么,在這樣的背景下,通用
    的頭像 發(fā)表于 01-06 14:45 ?785次閱讀
    智<b class='flag-5'>算</b>中心會取代通用<b class='flag-5'>算</b><b class='flag-5'>力</b>中心嗎?

    調度的基礎知識

    編者按 “調度”的概念,這幾年越來越多的被提及。剛聽到這個概念的時候,我腦海里一直拐不過彎。作為底層芯片出身的我,一直認為:是硬件的服務器和集群,他在某個地方,就是固定的;根本
    的頭像 發(fā)表于 11-27 17:13 ?1155次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>調度的基礎知識

    基礎篇:從零開始了解

    即計算能力(Computing Power),狹義上指對數字問題的運算能力,而廣義上指對輸入信息處理后實現結果輸出的一種能力。雖然處理的內容不同,但處理過程的能力都可抽象為。比
    的頭像 發(fā)表于 11-15 14:22 ?3248次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>基礎篇:從零開始了解<b class='flag-5'>算</b><b class='flag-5'>力</b>

    企業(yè)AI租賃是什么

    企業(yè)AI租賃是指企業(yè)通過互聯(lián)網向專業(yè)的提供商租用所需的計算資源,以滿足其AI應用的需求。以下是對企業(yè)AI
    的頭像 發(fā)表于 11-14 09:30 ?2712次閱讀

    GPU開發(fā)平臺是什么

    隨著AI技術的廣泛應用,需求呈現出爆發(fā)式增長。AI租賃作為一種新興的服務模式,正逐漸成為企業(yè)獲取
    的頭像 發(fā)表于 10-31 10:31 ?873次閱讀