chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

大模型時代,國產(chǎn)GPU面臨哪些挑戰(zhàn)

Carol Li ? 來源:電子發(fā)燒友 ? 作者:李彎彎 ? 2024-04-03 01:08 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報道(文/李彎彎)隨著人工智能技術(shù)的快速發(fā)展,對GPU計算能力的需求也越來越高。國內(nèi)企業(yè)也正在不斷提升GPU性能,以滿足日益增長的應用需求。然而,相較于國際巨頭,國內(nèi)GPU仍然存在差距,國產(chǎn)GPU在不斷成長的過程中也存在諸多挑戰(zhàn)。

在大模型訓練上存在差距

大語言模型是基于深度學習的技術(shù)。這些模型通過在海量文本數(shù)據(jù)上的訓練,學習語言的語法、語境和語義等多層次的信息,用于理解和生成自然語言文本。大語言模型是自然語言處理(NLP)領域中的一個重要分支,應用于文本生成、分類、情感分析等多種任務。

深度學習是現(xiàn)代機器學習領域的一種強大的算法,它可以在圖像識別、語音識別、自然語言處理、游戲AI等各種應用領域取得驚人的成果。然而,深度學習對計算幾硬件的要求非常高,通常需要使用GPU進行大規(guī)模訓練。在使用GPU進行深度學習時,一個常見的問題就是選擇單精度還是雙精度。

浮點數(shù)是一種用于表示實數(shù)的數(shù)值格式,它包括符號位、指數(shù)位和尾數(shù)位三部分。通過這三部分,浮點數(shù)可以表示非常大或非常小的數(shù),同時保持一定的精度。

單精度和雙精度是指浮點數(shù)在計算機中的存儲方式和精度。單精度通常使用32位(4字節(jié))來存儲一個浮點數(shù),而雙精度則使用64位(8字節(jié))來存儲。由于雙精度使用了更多的位數(shù),因此它可以表示更大范圍的數(shù)值,并具有更高的精度。

大模型訓練需要處理高顆粒度的信息,因此對于用于大模型訓練的GPU芯片處理信息的精細度和算力速度要求更高,現(xiàn)階段,國產(chǎn)GPU在支持大模型訓練的能力方面相對來說還較差。

不同于多媒體和圖形處理的單精度浮點計算(FP32)計算需求,雙精度浮點計算能力FP64是進行高算力計算的硬性指標。英偉達的A100同時具備上述兩類能力,而國內(nèi)大多GPU只能處理單精度浮點計算。

從目前的信息來看,海光信息的協(xié)處理器DCU)能夠支持FP64雙精度浮點運算,海光DCU屬于GPGPU 的一種,采用“類CUDA”通用并行計算架構(gòu)。據(jù)該公司介紹,其DCU產(chǎn)品能夠完整支持大模型訓練。不過相比于英偉達的A100性能只有其60%。

另外,景嘉微表示面向AI 訓練、AI推理、科學計算等應用領域研發(fā)成功的景宏系列,支持INT8、FP16、FP32、FP64等混合精度運算,該產(chǎn)品在大模型的訓練上或許也可以期待一下。

在軟件和生態(tài)方面存在差距

除上述情況以外,國產(chǎn)GPU在軟件和生態(tài)方面與全球領先品牌相比,也存在一定的差距。軟件工具鏈的完善度方面,全球領先的GPU廠商已經(jīng)構(gòu)建了完整的軟件工具鏈,包括編譯器、調(diào)試器、性能分析工具等,可以方便地支持開發(fā)人員進行GPU程序的開發(fā)、調(diào)試和優(yōu)化。而國產(chǎn)GPU在這方面還需要進一步完善,以滿足用戶的多樣化需求。

生態(tài)系統(tǒng)的成熟度方面,全球GPU市場已經(jīng)形成了較為成熟的生態(tài)系統(tǒng),涵蓋了各種應用領域和場景。然而,國產(chǎn)GPU在生態(tài)系統(tǒng)建設方面尚處于起步階段,缺乏足夠的應用支持和市場認可。這導致國產(chǎn)GPU在市場上的競爭力相對較弱,難以與全球領先品牌抗衡。

近些年可以明顯的看到,國產(chǎn)PGU企業(yè)也正在這些方面不斷努力。在軟件支持方面,國產(chǎn)GPU企業(yè)正在積極與主流操作系統(tǒng)、開發(fā)環(huán)境以及圖形處理軟件等進行適配,確保用戶能夠流暢地使用各種應用軟件。同時,一些企業(yè)還在推動GPU在人工智能、云計算等新興領域的應用,為國產(chǎn)GPU生態(tài)注入新的活力。

在驅(qū)動程序優(yōu)化方面,國產(chǎn)GPU企業(yè)也在加大投入力度,不斷提升驅(qū)動程序的性能和穩(wěn)定性。通過優(yōu)化驅(qū)動程序,可以充分發(fā)揮GPU的性能優(yōu)勢,提升整體計算效率。

此外,國產(chǎn)GPU企業(yè)還在積極探索與各種應用場景的深度融合。例如,在游戲、圖形設計、視頻渲染等領域,國產(chǎn)GPU正在與相關(guān)企業(yè)合作,共同推動相關(guān)應用的發(fā)展。這種深度融合不僅有助于提升國產(chǎn)GPU的市場競爭力,也有助于推動整個產(chǎn)業(yè)的進步。

寫在最后

近些年國產(chǎn)GPU正在蓬勃發(fā)展,不過相較于國際巨頭,仍然存在較大差距。近年來,大模型快速發(fā)展,國產(chǎn)GPU在大模型訓練方面的不足也凸顯出來。不過也可以看到,目前國產(chǎn)GPU企業(yè)都在積極朝大模型方向布局,包括訓練和推理。另外軟件和生態(tài)建設也在加速推進。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    5191

    瀏覽量

    135403
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3644

    瀏覽量

    5173
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    首款全國產(chǎn)通用GPU芯片發(fā)布 沐曦集成推出曦云C600

    沐曦集成電路(南京)有限公司近日正式發(fā)布了首款全國產(chǎn)通用GPU——曦云C600,這標志著國產(chǎn)高性能GPU實現(xiàn)歷史性突破。 據(jù)新華日報報道顯示,沐曦發(fā)布的曦云C600集成了大容量存儲與多
    的頭像 發(fā)表于 10-19 20:04 ?4.6w次閱讀

    適應邊緣AI全新時代GPU架構(gòu)

    電子發(fā)燒友網(wǎng)站提供《適應邊緣AI全新時代GPU架構(gòu).pdf》資料免費下載
    發(fā)表于 09-15 16:42 ?47次下載

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI芯片的需求和挑戰(zhàn)

    當今社會,AI已經(jīng)發(fā)展很迅速了,但是你了解AI的發(fā)展歷程嗎?本章作者將為我們打開AI的發(fā)展歷程以及需求和挑戰(zhàn)的面紗。 從2017年開始生成式AI開創(chuàng)了新的時代,經(jīng)歷了三次熱潮和兩次低谷。 生成式
    發(fā)表于 09-12 16:07

    如何在Ray分布式計算框架下集成NVIDIA Nsight Systems進行GPU性能分析

    在大語言模型的強化學習訓練過程中,GPU 性能優(yōu)化至關(guān)重要。隨著模型規(guī)模不斷擴大,如何高效地分析和優(yōu)化 GPU 性能成為開發(fā)者面臨的主要
    的頭像 發(fā)表于 07-23 10:34 ?2397次閱讀
    如何在Ray分布式計算框架下集成NVIDIA Nsight Systems進行<b class='flag-5'>GPU</b>性能分析

    FOPLP工藝面臨挑戰(zhàn)

    FOPLP 技術(shù)目前仍面臨諸多挑戰(zhàn),包括:芯片偏移、面板翹曲、RDL工藝能力、配套設備和材料、市場應用等方面。
    的頭像 發(fā)表于 07-21 10:19 ?1525次閱讀
    FOPLP工藝<b class='flag-5'>面臨</b>的<b class='flag-5'>挑戰(zhàn)</b>

    別讓 GPU 故障拖后腿,捷智算GPU維修室來救場!

    ,GPU也常面臨各類故障挑戰(zhàn),令使用者頭疼不已。常見GPU故障大盤點一、內(nèi)存故障引發(fā)性能“滑坡”以英偉達H100為例,在高負載、大規(guī)模集群運行環(huán)境下,HBM3高帶寬
    的頭像 發(fā)表于 07-17 18:56 ?1143次閱讀
    別讓 <b class='flag-5'>GPU</b> 故障拖后腿,捷智算<b class='flag-5'>GPU</b>維修室來救場!

    為什么無法在GPU上使用INT8 和 INT4量化模型獲得輸出?

    安裝OpenVINO? 2024.0 版本。 使用 optimum-intel 程序包將 whisper-large-v3 模型轉(zhuǎn)換為 int 4 和 int8,并在 GPU 上使用 OpenVINO? 運行推理。 沒有可用的輸出。
    發(fā)表于 06-23 07:11

    AI?時代來襲,手機芯片面臨哪些新挑戰(zhàn)?

    邊緣AI、生成式AI(GenAI)以及下一代通信技術(shù)正為本已面臨高性能與低功耗壓力的手機帶來更多計算負載。領先的智能手機廠商正努力應對本地化生成式AI、常規(guī)手機功能以及與云之間日益增長的數(shù)據(jù)傳輸需求
    的頭像 發(fā)表于 06-10 08:34 ?1227次閱讀
    AI?<b class='flag-5'>時代</b>來襲,手機芯片<b class='flag-5'>面臨</b>哪些新<b class='flag-5'>挑戰(zhàn)</b>?

    科大訊飛聯(lián)手“挑戰(zhàn)杯”加速國產(chǎn)算力應用

    作為國家A級賽事,第十九屆“挑戰(zhàn)杯”全國大學生系列科技學術(shù)競賽首次發(fā)起“人工智能+”專項賽道。憑借最早投入全國產(chǎn)算力平臺的戰(zhàn)略定力,科大訊飛打造自主可控的大模型基座,在一眾大模型廠商中
    的頭像 發(fā)表于 05-21 16:53 ?1053次閱讀

    模型時代的深度學習框架

    作者:算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 在 CNN時代 ,AI模型的參數(shù)規(guī)模都在百萬級別,僅需在單張消費類顯卡上即可完成訓練。例如,以業(yè)界知名的CNN模型: ResNet50 為例,模型
    的頭像 發(fā)表于 04-25 11:43 ?829次閱讀
    大<b class='flag-5'>模型</b><b class='flag-5'>時代</b>的深度學習框架

    迅龍軟件參加開源中國《數(shù)智漫談》,探討AI如何邁進大模型時代

    當前,人工智能技術(shù)正加速向大模型時代邁進,在政務、金融、醫(yī)療、工業(yè)等領域展現(xiàn)出顛覆性潛力。然而,大模型的訓練與部署面臨算力成本高、技術(shù)生態(tài)依賴性強、行業(yè)落地門檻高三大
    的頭像 發(fā)表于 04-24 15:08 ?765次閱讀
    迅龍軟件參加開源中國《數(shù)智漫談》,探討AI如何邁進大<b class='flag-5'>模型</b><b class='flag-5'>時代</b>

    智慧路燈的推廣面臨哪些挑戰(zhàn)?

    引言 在智慧城市建設的宏偉藍圖中,叁仟智慧路燈的推廣面臨哪些挑戰(zhàn)?叁仟智慧路燈作為重要的基礎設施,承載著提升城市照明智能化水平、實現(xiàn)多功能集成服務的使命。然而,盡管叁仟智慧路燈前景廣闊,在推廣過程中
    的頭像 發(fā)表于 03-27 17:02 ?697次閱讀

    適用于數(shù)據(jù)中心和AI時代的800G網(wǎng)絡

    隨著人工智能(AI)技術(shù)的迅猛發(fā)展,數(shù)據(jù)中心面臨著前所未有的計算和網(wǎng)絡壓力。從大語言模型(LLM)訓練到生成式AI應用,海量數(shù)據(jù)處理需求推動了網(wǎng)絡帶寬的快速增長。在此背景下,800G網(wǎng)絡技術(shù)應運而生
    發(fā)表于 03-25 17:35

    模型原生操作系統(tǒng):機遇、挑戰(zhàn)與展望 CCCF精選

    本文立足人工智能時代用戶、應用和系統(tǒng)的需求,分析“外掛式模型”演進路徑下的操作系統(tǒng)發(fā)展困局,提出通過“模型-系統(tǒng)-芯片”的全棧協(xié)同設計來構(gòu)建模型原生操作系統(tǒng),并進一步探討了
    的頭像 發(fā)表于 03-14 17:46 ?1152次閱讀
    <b class='flag-5'>模型</b>原生操作系統(tǒng):機遇、<b class='flag-5'>挑戰(zhàn)</b>與展望  CCCF精選

    無法在GPU上運行ONNX模型的Benchmark_app怎么解決?

    在 CPU 和 GPU 上運行OpenVINO? 2023.0 Benchmark_app推斷的 ONNX 模型。 在 CPU 上推理成功,但在 GPU 上失敗。
    發(fā)表于 03-06 08:02