chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

生成式AI加速向終端側(cè)演進,NPU、異構(gòu)計算提供強大算力支持

Carol Li ? 來源:電子發(fā)燒友 ? 作者:李彎彎 ? 2024-03-16 00:16 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報道(文/李彎彎)生成式AI是一種通過學(xué)習(xí)大規(guī)模數(shù)據(jù)集生成新的原創(chuàng)內(nèi)容的新型AI。Bloomberg Intelligence最新報告預(yù)測,未來10年內(nèi),生成式AI市場規(guī)模將從2022年的400億美元,增長至2032年的1.3萬億美元,年復(fù)合增速達到42%。

生成式AI向終端快速演進

當(dāng)前大部分生成式AI的開發(fā)工作都集中在云端,然而生成式AI正朝著直接在終端上運行的方向快速演進。高通公司總裁兼CEO安蒙前不久談到,生成式AI將變革終端側(cè)的用戶體驗,具備生成式AI能力的PC能夠更好地理解用戶需求,生成式AI還將帶來全新的人車交互方式,支持用戶與汽車直接進行對話。他認(rèn)為,生成式AI將為各行各業(yè)帶來全新機遇。

近段時間,生成式AI在手機、PC等終端設(shè)備上已經(jīng)有不少用例。最近推出的新手機,就有不少生成式AI的應(yīng)用,比如,OPPO Find X7Ultra的AIGC消除功能,即可極大幅度的降低拍照廢片率,一些路人突然出現(xiàn)的照片,就可以通過該功能成功拯救。三星Galaxy S24系列的通話實時語音翻譯和同傳功能,支持了13種語言之間的無縫翻譯,出國旅行也可輕松交流。

在前不久的MWC展會期間,高通也在現(xiàn)場展示了大量生成式AI的應(yīng)用案例。相比此前發(fā)布的一些手機的AI功能,高通在MWC現(xiàn)場所展示的AI功能更為神奇。如,在圖像生成上,完全不需要一長串的文字標(biāo)簽,只要給出一個比較準(zhǔn)確的描述,Stable Diffusion即可快速生成圖片,與描述相差無幾。比如輸入“一只可愛的卷毛貓”,小龍手機僅耗時不到7秒,就生成了一張卷毛貓在室內(nèi)的照片,效果十分真實。

另外,圖片生成還能根據(jù)個人或藝術(shù)偏好,加入自定義元素來展現(xiàn)風(fēng)格效果。比如在加入“水晶”關(guān)鍵詞,并設(shè)定好風(fēng)格權(quán)重后,模型就會添加水晶元素,最終生成的圖片就很有賽博風(fēng)格了。這種使用方式很具想象力,它可以用來制作表情包,甚至在創(chuàng)作平面、視頻內(nèi)容缺素材時,也能運用AI快速生成符合要求的素材。

異構(gòu)計算對端側(cè)生成式AI的重要性

而這些生成式AI功能在終端設(shè)備上的應(yīng)用離不開芯片的支持。高通認(rèn)為,對于端側(cè)生成式AI來說,異構(gòu)計算是必要條件。高通在此次MWC 展示的Stable Diffusion快速生成圖片,完全依靠端側(cè)算力,它需要NPU進行推理,需要GPU進行圖像渲染,也正是在異構(gòu)運算的幫助下,才能快速里完成圖片生成,并且能夠保持低功耗,保持手機終端的高電池續(xù)航。

近日,高通在其發(fā)布的《通過NPU和異構(gòu)計算開啟終端側(cè)生成式AI》報告中,深入闡述了NPU與異構(gòu)計算,對端側(cè)生成式AI使用的重要性。

高通公司提出,隨著生成式AI用例需求在有著多樣化要求和計算需求的垂直領(lǐng)域不斷增加,需要專為AI定制設(shè)計的全新計算架構(gòu)。這首先需要一個面向生成式AI全新設(shè)計的神經(jīng)網(wǎng)絡(luò)處理器(NPU),同時要利用異構(gòu)處理器組合,比如中央處理器(CPU)和圖形處理器(GPU)。通過結(jié)合NPU使用合適的處理器,異構(gòu)計算能夠?qū)崿F(xiàn)最佳應(yīng)用性能、能效和電池續(xù)航,賦能全新增強的生成式AI體驗。

NPU專為實現(xiàn)以低功耗加速AI推理而全新打造,其架構(gòu)隨著新AI算法、模型和用例的發(fā)展不斷演進。AI運算上的主要負(fù)載是由標(biāo)量、向量和張量的數(shù)學(xué)運算,雖說CPU也能對此進行處理,不過處理速度和功耗方面都不理想。NPU正是針對AI運算所打造的新處理單元,高通在2015年推出的第一代AI引擎,在Hexagon NPU集成了標(biāo)量和向量運算核心,之后又加入了張量運算核心,從而極大加快了AI處理速度,并使AI運算處理的功耗大幅度降低。

寫在最后

如今,生成式AI已經(jīng)在終端側(cè)展示出它的價值,隨著生成式AI在終端側(cè)運行的加速,這一趨勢也將推動終端的進一步創(chuàng)新,有望為手機、PC等消費電子市場帶來新一輪生機。同時,生成式AI在終端側(cè)的運行需要極大的算力,這也是目前業(yè)界需要解決的重大問題。


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    89

    文章

    38020

    瀏覽量

    296022
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    從CPU、GPU到NPU,美格智能持續(xù)優(yōu)化異構(gòu)計算效能

    的科技企業(yè)也在近期表示,將通過軟件層創(chuàng)新大幅提升資源利用率。作為高AI模組和端側(cè)
    的頭像 發(fā)表于 11-21 16:05 ?669次閱讀
    從CPU、GPU到<b class='flag-5'>NPU</b>,美格智能持續(xù)優(yōu)化<b class='flag-5'>異構(gòu)</b><b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>計算</b>效能

    國產(chǎn)AI芯片真能扛住“內(nèi)卷”?海思昇騰的這波操作藏了多少細節(jié)?

    反而壓到了310W。更有意思的是它的異構(gòu)架構(gòu):NPU+CPU+DVPP的組合,居然能同時扛住訓(xùn)練和推理場景,之前做自動駕駛算法時,用它跑模型時延直接降了20%。 但疑惑也有:這種
    發(fā)表于 10-27 13:12

    什么是AI模組?

    未來,騰視科技將繼續(xù)深耕AI模組領(lǐng)域,全力推動AI邊緣計算行業(yè)的深度發(fā)展。隨著AI技術(shù)的不斷
    的頭像 發(fā)表于 09-19 15:26 ?1120次閱讀
    什么是<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>模組?

    什么是AI模組?

    未來,騰視科技將繼續(xù)深耕AI模組領(lǐng)域,全力推動AI邊緣計算行業(yè)的深度發(fā)展。隨著AI技術(shù)的不斷
    的頭像 發(fā)表于 09-19 15:25 ?412次閱讀
    什么是<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>模組?

    MediaTek從芯片到應(yīng)用全方位支持側(cè)AI

    NPU 是專為神經(jīng)網(wǎng)絡(luò)設(shè)計的 AI 處理單元,可為各種 AI 任務(wù)提供強大
    的頭像 發(fā)表于 08-16 10:01 ?1861次閱讀

    芯原超低能耗NPU可為移動端大語言模型推理提供超40 TOPS

    AI需求而設(shè)計,不僅能夠為AI PC等終端設(shè)備提供強勁
    的頭像 發(fā)表于 06-11 10:47 ?624次閱讀

    【米爾MYC-YM90X安路飛龍DR1開發(fā)板】安路科技 SALDRAGON開發(fā)板介紹

    提供模型轉(zhuǎn)換工具鏈,支持將PyTorch/TensorFlow模型量化為INT8/FP16格,并部署至NPU進行端側(cè)推理(典型
    發(fā)表于 04-28 17:57

    6TOPSNPU加持!RK3588如何重塑8K顯示的邊緣計算新邊界

    與復(fù)雜運算。明遠智睿推出的RK3588芯片,以6TOPSNPU為核心,為這一難題提供了突破性的解決方案。 從硬件架構(gòu)來看,RK3588的NPU
    發(fā)表于 04-18 15:32

    RAKsmart智能架構(gòu):異構(gòu)計算+低時延網(wǎng)絡(luò)驅(qū)動企業(yè)AI訓(xùn)練范式升級

    AI大模型參數(shù)量突破萬億、多模態(tài)應(yīng)用爆發(fā)的今天,企業(yè)AI訓(xùn)練正面臨效率與成本的雙重挑戰(zhàn)。RAKsmart推出的智能
    的頭像 發(fā)表于 04-17 09:29 ?591次閱讀

    RK3588核心板在邊緣AI計算中的顛覆性優(yōu)勢與場景落地

    ——替代傳統(tǒng)工控機與低嵌入方案 行業(yè)痛點分析 在智能制造與智慧城市領(lǐng)域,傳統(tǒng)方案常面臨三大瓶頸: 不足:基于ARM Cortex
    發(fā)表于 04-15 10:48

    首創(chuàng)開源架構(gòu),天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手

    ,聯(lián)發(fā)科帶來了全面升級的天璣AI開發(fā)套件2.0,在模型庫規(guī)模、架構(gòu)開放程度、前沿端側(cè)AI技術(shù)支持和端側(cè)LoRA訓(xùn)練落地等方面均迎來全面躍遷,
    發(fā)表于 04-13 19:52

    邊緣AI協(xié)處理開發(fā)指南:USB+NPU混合計算與實時視頻分析實戰(zhàn)?

    eFish-SBC-RK3576 ??憑借 ? USB 3.0 +?內(nèi)置NPU異構(gòu)計算 ??能力,為工業(yè)質(zhì)檢、安防監(jiān)控等場景提供毫秒級響應(yīng)的AI推理方案,成本僅為傳統(tǒng)工控機的40%。
    的頭像 發(fā)表于 03-27 10:42 ?670次閱讀

    【一文看懂】什么是端側(cè)

    隨著物聯(lián)網(wǎng)(IoT)、人工智能和5G技術(shù)的快速發(fā)展,端側(cè)正逐漸成為智能設(shè)備性能提升和智能化應(yīng)用實現(xiàn)的關(guān)鍵技術(shù)。什么是端側(cè)
    的頭像 發(fā)表于 02-24 12:02 ?2815次閱讀
    【一文看懂】什么是端<b class='flag-5'>側(cè)</b><b class='flag-5'>算</b><b class='flag-5'>力</b>?

    異構(gòu)計算的概念、核心、優(yōu)勢、挑戰(zhàn)及考慮因素

    異構(gòu)計算就像是一支由“多才多藝”處理器組成的團隊,每個成員都有自己的強項和責(zé)任。 ? 什么是異構(gòu)計算????? “異構(gòu)計算”指的是在同一個計算平臺中,部署多種不同類型的處理單元(比如
    的頭像 發(fā)表于 01-13 11:43 ?1638次閱讀

    【一文看懂】什么是異構(gòu)計算?

    隨著人工智能、深度學(xué)習(xí)、大數(shù)據(jù)處理等技術(shù)的快速發(fā)展,計算需求的復(fù)雜性不斷提升。傳統(tǒng)的單一計算架構(gòu)已難以滿足高效處理復(fù)雜任務(wù)的要求,異構(gòu)計算因此應(yīng)運而生,成為現(xiàn)代計算領(lǐng)域的一個重要方向。
    的頭像 發(fā)表于 12-04 01:06 ?3602次閱讀
    【一文看懂】什么是<b class='flag-5'>異構(gòu)計算</b>?