chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

神經(jīng)擬態(tài)計算是如何降耗的

要長高 ? 2024-06-07 15:35 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

自計算機問世以來,運算效能與能耗消耗兩大議題始終困擾著計算產(chǎn)業(yè)。在人工智能崛起的背景下,全球各地科研機構(gòu)及相關(guān)公司積極探索提高處理器算力的新方法,神經(jīng)擬態(tài)處理器即是一種創(chuàng)新嘗試。

如何模仿大腦思維?

神經(jīng)擬態(tài)計算,即模擬和探索人腦神經(jīng)網(wǎng)絡(luò)及其運作規(guī)律的領(lǐng)域,我們將之稱為類腦計算或神經(jīng)形態(tài)計算。數(shù)十年來,科學(xué)家們致力于復(fù)刻生物神經(jīng)元的多功能運算模式,以期研發(fā)出高效能且低功耗的機器學(xué)習(xí)系統(tǒng)。

歷經(jīng)多年探索,業(yè)界已形成三種神經(jīng)擬態(tài)處理器的實現(xiàn)路徑。一為數(shù)字CMOS型,通過邏輯門電路模擬生物單元行為;二為數(shù)?;旌系腃MOS型,借助亞閾值模擬電路呈現(xiàn)生物神經(jīng)元特性;前兩者均基于硅基晶體管。第三種則是研發(fā)新型器件,如憶阻器、相變存儲器、鐵電器件、磁隧道結(jié)、離子?xùn)趴鼐w管等,并采用非硅基材料。

然而,目前大部分研究尚未實現(xiàn)商業(yè)化生產(chǎn)。英特爾作為眾多研究機構(gòu)中的佼佼者,選擇了第一種實現(xiàn)方式——用晶體管模擬人類神經(jīng)元功能。其中,如何讓處理器達到類似人腦的節(jié)能效果,便是他們的重要研究課題。

德國海德堡大學(xué)物理學(xué)家卡爾海因茨·邁耶(Karlheinz Meier)指出,相比計算機,人腦具有三大優(yōu)勢:低能耗,僅需約20瓦特的能量。

今年四月,英特爾推出神經(jīng)擬態(tài)系統(tǒng)Hala Point。據(jù)稱,該系統(tǒng)在處理AI推理負載和優(yōu)化問題方面,速度較常規(guī)CPUGPU架構(gòu)快50倍,而能耗卻降低了100倍。近日,英特爾中國研究院院長宋繼強向中國電子報記者詳解了該系統(tǒng)模擬人腦節(jié)能的實現(xiàn)原理。他首先解釋了市場上常見芯片系統(tǒng)的頻率特征:通常提及的CPU主頻,如5GHz,代表同步時鐘的頻率,即芯片內(nèi)所有邏輯門、存儲均以此頻率運行,或在此基礎(chǔ)上進行降級。例如,總線頻率可能低于CPU主頻,I/O接口頻率更低,但總體來看,同一芯片內(nèi)所有組件均受同步時鐘驅(qū)動,從而實現(xiàn)同時工作。因此,各部件能耗也同步進行。

宋繼強表示,英特爾的神經(jīng)擬態(tài)計算無需同步時鐘,取代之的是“時間步”概念——每當(dāng)任務(wù)結(jié)束,“神經(jīng)元”便依據(jù)預(yù)定順序逐步推進。每個時間步里,信號均由一個神經(jīng)元傳至下一個,以此方式進行傳播和擴散。盡管神經(jīng)擬態(tài)計算要求系統(tǒng)在時間步級別保持同步,但并非所有神經(jīng)元需在所有工作序列中完全同步,允許有些任務(wù)快速處理,有些則緩慢處理。這與人類大腦類似,部分神經(jīng)元負責(zé)處理嗅覺信息,同時另一部分則處理視覺信息。因此,在神經(jīng)擬態(tài)計算系統(tǒng)中,有任務(wù)執(zhí)行的路徑會消耗電力,其余路徑則處于休眠狀態(tài)。即使是大規(guī)模的神經(jīng)擬態(tài)集群,其運行時神經(jīng)元也僅進行少量并行運算。

該計算系統(tǒng)另一節(jié)能策略在于其存算一體的結(jié)構(gòu)。當(dāng)前市場上計算系統(tǒng)的能源消耗主要集中于計算和數(shù)據(jù)傳輸兩個方面,而神經(jīng)擬態(tài)計算系統(tǒng)通過實現(xiàn)存算一體,成功規(guī)避了傳統(tǒng)核內(nèi)外架構(gòu)在處理大量數(shù)據(jù)傳輸時產(chǎn)生的能量損失。

節(jié)能與否,取決于具體情境

低能耗被視為神經(jīng)擬態(tài)處理器的天然架構(gòu)優(yōu)勢。早在2020年,宋繼強就曾公開宣稱:神經(jīng)擬態(tài)計算在算法及芯片設(shè)計上,可以千分之一以內(nèi)的功耗完成同等效果的模型訓(xùn)練。浙江大學(xué)的唐華錦教授亦認同神經(jīng)擬態(tài)芯片為環(huán)保型芯片,因其體積小、功耗低,符合生物進化的根本優(yōu)勢。

然而,根據(jù)Hala Point最新實踐成果,該架構(gòu)處理器的節(jié)能效果與其使用情境密切相關(guān)。宋繼強指出,現(xiàn)階段發(fā)現(xiàn)該系統(tǒng)在處理物流調(diào)度數(shù)據(jù)中心的大規(guī)模優(yōu)化任務(wù)時能效表現(xiàn)最佳,相較于CPU+GPU組合方案節(jié)能高達3000倍。

“但這并非指數(shù)據(jù)中心所有工作負載,僅針對個別項目?!彼a充道,“我們正努力尋找該系統(tǒng)適用的場景,若賦予其不適宜的任務(wù),能耗或高于原有處理系統(tǒng)?!?/p>

至于HalaPoint能否解決當(dāng)前大模型訓(xùn)練中的高能耗問題,宋繼強回應(yīng)稱:該系統(tǒng)設(shè)計初衷并非專為大模型服務(wù),故不適合大規(guī)模數(shù)據(jù)輸入。

ResNet50網(wǎng)絡(luò)(殘差網(wǎng)絡(luò)的一種)是驗證Hala Point節(jié)能效果的典型場景之一。在此類應(yīng)用中,經(jīng)優(yōu)化的Hala Point在達到相同性能前提下,能耗可降至原有方案的百分之一以下。對于某些特定深度的神經(jīng)網(wǎng)絡(luò),如視覺識別類應(yīng)用,通過在脈沖神經(jīng)網(wǎng)絡(luò)上進行適當(dāng)調(diào)整,結(jié)合硬件層面的適配,同樣有助于降低能耗。

總的來說,該系統(tǒng)在稀疏性局部并發(fā)型應(yīng)用中表現(xiàn)更為出色。目前,市面上大部分神經(jīng)擬態(tài)處理器主要應(yīng)用于機器人無人機等領(lǐng)域。宋繼強透露,HalaPoint約有一半的應(yīng)用涉及機器人、操控、多模態(tài)視覺等方面。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 處理器
    +關(guān)注

    關(guān)注

    68

    文章

    20333

    瀏覽量

    255024
  • 英特爾
    +關(guān)注

    關(guān)注

    61

    文章

    10324

    瀏覽量

    181092
  • 神經(jīng)
    +關(guān)注

    關(guān)注

    0

    文章

    46

    瀏覽量

    12822
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    節(jié)能降耗系統(tǒng)從“經(jīng)驗直覺”推向“精準(zhǔn)智控”

    當(dāng)全球每秒消耗的能源足以點亮數(shù)萬盞燈,當(dāng)“雙碳”目標(biāo)成為國家發(fā)展的清晰坐標(biāo),節(jié)能已不再是選擇題,而是生存與發(fā)展的必答題。 節(jié)能降耗系統(tǒng) ,正以數(shù)據(jù)為脈、算法為腦、控制為手,將能源管理從“經(jīng)驗直覺
    的頭像 發(fā)表于 02-04 10:39 ?296次閱讀

    神經(jīng)網(wǎng)絡(luò)的初步認識

    如今在機器學(xué)習(xí)的領(lǐng)域中,有許多方法可以用來解決特定的問題,例如房價預(yù)測、郵件分類、文件壓縮等。而與我們?nèi)粘I铌P(guān)系最密切的應(yīng)用莫過于計算機視覺(如學(xué)校門禁系統(tǒng))和自然語言處理(如Siri)。這些
    的頭像 發(fā)表于 12-17 15:05 ?460次閱讀
    <b class='flag-5'>神經(jīng)</b>網(wǎng)絡(luò)的初步認識

    節(jié)能降耗平臺的四大技術(shù)架構(gòu)

    面對持續(xù)攀升的能源成本與日益嚴格的“雙碳”政策,企業(yè)的節(jié)能工作正面臨深層挑戰(zhàn):孤立的設(shè)備改造效益遞減,而管理層面的“軟性浪費”卻難以觸及。 節(jié)能降耗平臺 應(yīng)運而生,它不再是簡單的能耗監(jiān)測工具,而是一
    的頭像 發(fā)表于 12-03 10:43 ?571次閱讀
    節(jié)能<b class='flag-5'>降耗</b>平臺的四大技術(shù)架構(gòu)

    神經(jīng)元設(shè)備和腦機接口有何淵源?

    電極。1970年代,膜片鉗技術(shù)的出現(xiàn)使細胞內(nèi)記錄成為可能,成為研究離子通道的“金標(biāo)準(zhǔn)”。隨著人工智能的興起,尤其是1950年代圖靈測試的提出,計算機學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 11-03 18:03 ?1677次閱讀
    <b class='flag-5'>神經(jīng)</b>元設(shè)備和腦機接口有何淵源?

    NMSIS神經(jīng)網(wǎng)絡(luò)庫使用介紹

    NMSIS NN 軟件庫是一組高效的神經(jīng)網(wǎng)絡(luò)內(nèi)核,旨在最大限度地提高 Nuclei N 處理器內(nèi)核上的神經(jīng)網(wǎng)絡(luò)的性能并最??大限度地減少其內(nèi)存占用。 該庫分為多個功能,每個功能涵蓋特定類別
    發(fā)表于 10-29 06:08

    脈沖神經(jīng)元模型的硬件實現(xiàn)

    會發(fā)生泄漏而降低。 以下公式 用來計算LIF模型的膜電勢 其中表示神經(jīng)元的膜電勢,vrest 代表神經(jīng)元復(fù)位電位,為時間常數(shù)。是權(quán)重和輸入脈沖的乘累加,結(jié)果再與膜電勢相加。當(dāng)神經(jīng)
    發(fā)表于 10-24 08:27

    SNN加速器內(nèi)部神經(jīng)元數(shù)據(jù)連接方式

    所謂地址事件表達(Address Event Representation,AER),是指通過地址的方式將事件進行表達,然后按時間順序復(fù)用到總線上。已知生物神經(jīng)元產(chǎn)生脈沖的頻率比數(shù)字電路要低很多
    發(fā)表于 10-24 07:34

    CICC2033神經(jīng)網(wǎng)絡(luò)部署相關(guān)操作

    在完成神經(jīng)網(wǎng)絡(luò)量化后,需要將神經(jīng)網(wǎng)絡(luò)部署到硬件加速器上。首先需要將所有權(quán)重數(shù)據(jù)以及輸入數(shù)據(jù)導(dǎo)入到存儲器內(nèi)。 在仿真環(huán)境下,可將其存于一個文件,并在 Verilog 代碼中通過 readmemh 函數(shù)
    發(fā)表于 10-20 08:00

    液態(tài)神經(jīng)網(wǎng)絡(luò)(LNN):時間連續(xù)性與動態(tài)適應(yīng)性的神經(jīng)網(wǎng)絡(luò)

    1.算法簡介液態(tài)神經(jīng)網(wǎng)絡(luò)(LiquidNeuralNetworks,LNN)是一種新型的神經(jīng)網(wǎng)絡(luò)架構(gòu),其設(shè)計理念借鑒自生物神經(jīng)系統(tǒng),特別是秀麗隱桿線蟲的神經(jīng)結(jié)構(gòu),盡管這種微生物的
    的頭像 發(fā)表于 09-28 10:03 ?1567次閱讀
    液態(tài)<b class='flag-5'>神經(jīng)</b>網(wǎng)絡(luò)(LNN):時間連續(xù)性與動態(tài)適應(yīng)性的<b class='flag-5'>神經(jīng)</b>網(wǎng)絡(luò)

    能碳管理系統(tǒng):如何助力企業(yè)解決節(jié)能降耗問題?

    在全球能源轉(zhuǎn)型與“雙碳”目標(biāo)的大背景下,節(jié)能降耗已從企業(yè)可選項變?yōu)樯媾c發(fā)展的必答題。它不僅是降低成本、提升競爭力的經(jīng)濟訴求,更是履行社會責(zé)任、構(gòu)建綠色未來的戰(zhàn)略選擇。然而,傳統(tǒng)節(jié)能管理方式常常面臨
    的頭像 發(fā)表于 09-18 14:53 ?770次閱讀
    能碳管理系統(tǒng):如何助力企業(yè)解決節(jié)能<b class='flag-5'>降耗</b>問題?

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+神經(jīng)形態(tài)計算、類腦芯片

    功耗和并行處理信息能力。 類腦芯片的理論基礎(chǔ)是神經(jīng)形態(tài)計算,即借鑒生物神經(jīng)系統(tǒng)信息的處理模式和結(jié)構(gòu),以人腦為藍本、旨在構(gòu)建能夠像人腦一樣學(xué)習(xí)、感知及決策的計算系統(tǒng)。 實現(xiàn)
    發(fā)表于 09-17 16:43

    神經(jīng)網(wǎng)絡(luò)的并行計算與加速技術(shù)

    隨著人工智能技術(shù)的飛速發(fā)展,神經(jīng)網(wǎng)絡(luò)在眾多領(lǐng)域展現(xiàn)出了巨大的潛力和廣泛的應(yīng)用前景。然而,神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度和規(guī)模也在不斷增加,這使得傳統(tǒng)的串行計算方式面臨著巨大的挑戰(zhàn),如計算速度慢、
    的頭像 發(fā)表于 09-17 13:31 ?1299次閱讀
    <b class='flag-5'>神經(jīng)</b>網(wǎng)絡(luò)的并行<b class='flag-5'>計算</b>與加速技術(shù)

    新一代神經(jīng)擬態(tài)類腦計算機“悟空”發(fā)布,神經(jīng)元數(shù)量超20億

    電子發(fā)燒友網(wǎng)綜合報道 8月2日,浙江大學(xué)腦機智能全國重點實驗室發(fā)布新一代神經(jīng)擬態(tài)類腦計算機——Darwin Monkey(中文名“悟空”)。 ? “悟空”堪稱國際首臺神經(jīng)元規(guī)模超20億
    的頭像 發(fā)表于 08-06 07:57 ?7865次閱讀
    新一代<b class='flag-5'>神經(jīng)</b><b class='flag-5'>擬態(tài)</b>類腦<b class='flag-5'>計算</b>機“悟空”發(fā)布,<b class='flag-5'>神經(jīng)</b>元數(shù)量超20億

    空間計算是如何運作的?它有哪些優(yōu)勢?

    空間計算將數(shù)字數(shù)據(jù)與物理世界實時融合,通過增強現(xiàn)實和虛擬現(xiàn)實頭顯或智能眼鏡等設(shè)備、增強混合現(xiàn)實交互。
    的頭像 發(fā)表于 07-02 09:14 ?1360次閱讀

    關(guān)于生產(chǎn)型工廠節(jié)能降耗的意義與對策

    安科瑞徐赟杰18706165067 生產(chǎn)型企業(yè)節(jié)能降耗的原因是多方面的,這些原因不僅關(guān)乎企業(yè)的經(jīng)濟效益,還涉及環(huán)境保護、社會責(zé)任以及可持續(xù)發(fā)展等多個層面。 降低生產(chǎn)成本: 能源是生產(chǎn)型企業(yè)的重要成本
    的頭像 發(fā)表于 05-09 10:36 ?1106次閱讀
    關(guān)于生產(chǎn)型工廠節(jié)能<b class='flag-5'>降耗</b>的意義與對策