chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

通過平衡傳播獲得更好的AI芯片

倩倩 ? 來源:文財網(wǎng) ? 2020-09-25 10:48 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

AI專業(yè)人員一直在追求一種AI,它肯定會降低做普通AI事情所需的能量,例如感知單詞和圖片。這種機(jī)器學(xué)習(xí)模擬類型利用電路的物理原理而不是數(shù)字原理來完成神經(jīng)網(wǎng)絡(luò)的一項重要數(shù)學(xué)任務(wù)。但是,限制該方法的主要因素之一是深度學(xué)習(xí)的訓(xùn)練算法(反向傳播)必須由GPU或其他單獨(dú)的數(shù)字框架來完成。

神經(jīng)形態(tài)芯片初創(chuàng)公司Rain Neuromorphics與加拿大研究院Mila之間的研究合作表明,可以想象使用完全模擬的硬件來訓(xùn)練神經(jīng)網(wǎng)絡(luò),這為端到端的模擬神經(jīng)網(wǎng)絡(luò)提供了機(jī)會。這對神經(jīng)形態(tài)處理和AI硬件整體具有重大影響-它保證了完全可用于訓(xùn)練和推理的模擬AI芯片,從而顯著節(jié)省了計算,功耗,等待時間和大小。這項進(jìn)步將工程學(xué)和深度學(xué)習(xí)的紐帶聯(lián)系在一起,為AI動力機(jī)器人打開了入口之門,這種機(jī)器人可以在現(xiàn)場獨(dú)自學(xué)習(xí),就像人類一樣。

在由“人工智能的教父”之一,獲獎?wù)遈oshua Bengio共同創(chuàng)建的題為“具有均衡傳播的端到端模擬神經(jīng)網(wǎng)絡(luò)訓(xùn)練”的論文中,分析家們表明,可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)來利用交叉開關(guān)憶阻器的展示,就像在當(dāng)今使用內(nèi)存中處理器方法的商業(yè)AI加速器芯片中使用的安排一樣,卻沒有在網(wǎng)絡(luò)的每一層之間使用相關(guān)的ADCDAC。結(jié)果為潛力更大的高能效AI硬件提供了潛力

Rain Neuromorphics首席執(zhí)行官戈登·威爾遜(Gordon Wilson)表示:“如今,能源利用和成本是最大的制約因素,使我們無法交付新型人工智能。我們確實需要找到一種無可否認(rèn)地更有效的計算基礎(chǔ),一種本質(zhì)上可以提高能源效率的基礎(chǔ),一種允許我們不將培訓(xùn)局限于大型數(shù)據(jù)中心的基礎(chǔ),但除此之外,我們還可以進(jìn)入一個可以設(shè)想免費(fèi),自主的世界,能源無限的設(shè)備,獨(dú)自學(xué)習(xí)。同樣,這是我們認(rèn)為這一新進(jìn)展正在打開通向的大門?!?/p>

分析人員已經(jīng)對MNIST分類(改良的美國國家標(biāo)準(zhǔn)與技術(shù)研究院手寫數(shù)字?jǐn)?shù)據(jù)庫)的端到端模擬神經(jīng)網(wǎng)絡(luò)進(jìn)行了模擬訓(xùn)練,其性能與相同大小的基于軟件的神經(jīng)網(wǎng)絡(luò)相似或更好。

模擬電路可以在某種程度上節(jié)省神經(jīng)網(wǎng)絡(luò)的功率,因為??它們可以熟練地進(jìn)行稱為乘法和累加的關(guān)鍵計算。該估計值會根據(jù)不同的負(fù)載乘以貢獻(xiàn)值,然后匯總這些值中的每一個。電氣工程的兩個基本定律也可以從根本上做到這一點(diǎn)。歐姆定律將電壓和電導(dǎo)相乘以提供電流,基爾霍夫的“電流定律”將輸入點(diǎn)的電流相加。通過將神經(jīng)網(wǎng)絡(luò)的權(quán)重存儲在電阻式存儲小部件(例如憶阻器)中,乘法和累加可以完全以模擬方式發(fā)生,可以將功耗降低幾個數(shù)量級。

如今,模擬AI系統(tǒng)無法訓(xùn)練自己的原因與零件的可變性息息相關(guān)。與真實神經(jīng)元非常相似,模擬神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元并非完全無法區(qū)分。要對模擬段進(jìn)行反向傳播,您應(yīng)該制造兩條單獨(dú)的電路路徑。一個人繼續(xù)思考一個答案(稱為推理),另一個人反過來進(jìn)行學(xué)習(xí),因此適當(dāng)?shù)幕卮鹱兊酶訙?zhǔn)確。但是由于模擬成分的可變性,這些途徑無法協(xié)調(diào)。

平衡傳播(EqProp),由Bengio和Scellier在2017年設(shè)計的一種方法。這種訓(xùn)練算法只有一條數(shù)據(jù)路徑,因此可以避免模擬硬件中的反向傳播問題。但是有一個警告。EqProp僅適用于基于能源的網(wǎng)絡(luò)。

結(jié)果是,盡管EqProp自2017年以來就已經(jīng)存在,但這項新工作已將抽象思想轉(zhuǎn)變?yōu)榭梢酝ㄟ^電路物理識別的事物。這將使端到端的模擬計算成為可能,而無需在每個步驟都切換到數(shù)字域或從數(shù)字域切換。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 芯片
    +關(guān)注

    關(guān)注

    462

    文章

    53252

    瀏覽量

    455455
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8532

    瀏覽量

    136020
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5587

    瀏覽量

    123764
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    特斯拉AI芯片戰(zhàn)略升級,“史詩級”芯片接棒Dojo

    最好的AI芯片。 ? 就在8月份,特斯拉宣布關(guān)閉自研超級計算機(jī)Dojo團(tuán)隊,原負(fù)責(zé)人Peter Bannon離職。馬斯克解釋稱,同時開發(fā)訓(xùn)練與推理芯片導(dǎo)致資源分散,集中力量開發(fā)單一架構(gòu)更高效。
    的頭像 發(fā)表于 09-09 09:01 ?6408次閱讀

    Achronix亮相2025全球AI芯片峰會

    在近日舉行的2025全球AI芯片峰會上,Achronix Speedster7t FPGA的大模型推理平臺展示獲得眾多業(yè)界人士的積極反響。
    的頭像 發(fā)表于 09-23 18:01 ?804次閱讀

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI芯片到AGI芯片

    、分布式群體智能 1)物聯(lián)網(wǎng)AGI系統(tǒng) 優(yōu)勢: 組成部分: 2)分布式AI訓(xùn)練 7、發(fā)展重點(diǎn):基于強(qiáng)化學(xué)習(xí)的后訓(xùn)練與推理 8、超越大模型:神經(jīng)符號計算 三、AGI芯片的實現(xiàn) 1、技術(shù)需求 AI取得成功
    發(fā)表于 09-18 15:31

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+具身智能芯片

    ,誰來彌補(bǔ)呢,目前是使用AI來彌補(bǔ)圖像處理技術(shù)的差距。 AI圖像技術(shù)通過調(diào)整色彩和補(bǔ)充像素,可以再現(xiàn)物體的質(zhì)感和圖像表現(xiàn)力,并更加準(zhǔn)確的區(qū)分主體和北京,以及模糊的背景。 將AI功能直接
    發(fā)表于 09-18 11:45

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI的科學(xué)應(yīng)用

    是一種快速反應(yīng)能力,是直接的感知;靈感是一種通過思考和探索獲得的創(chuàng)造性想法,是一種創(chuàng)意。 AI怎么模擬直覺與靈感呢?四、AI代替人類的假說 這可能嗎? 用機(jī)器來生成假說: 1、直接生成
    發(fā)表于 09-17 11:45

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+第二章 實現(xiàn)深度學(xué)習(xí)AI芯片的創(chuàng)新方法與架構(gòu)

    連接定義了神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)。 不同神經(jīng)網(wǎng)絡(luò)的DNN: 一、基于大模型的AI芯片 1、Transformer 模型與引擎 1.1 Transformer 模型概述 Transformer 模型的出現(xiàn)
    發(fā)表于 09-12 17:30

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI芯片的需求和挑戰(zhàn)

    的工作嗎? 從書中也了解到了AI芯片都有哪些?像CPU、GPU、FPGA、ASIC都是AI芯片。 其他的還是知道的,F(xiàn)PGA屬于AI
    發(fā)表于 09-12 16:07

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+可期之變:從AI硬件到AI濕件

    的不同。隨著AI熱潮的興起,大腦的抽象模型已被提煉成各種的AI算法,并使用半導(dǎo)體芯片技術(shù)加以實現(xiàn)。 而大腦是一個由無數(shù)神經(jīng)元通過突觸連接而成的復(fù)雜網(wǎng)絡(luò),是極其復(fù)雜和精密的。大腦在本質(zhì)上
    發(fā)表于 09-06 19:12

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+內(nèi)容總覽

    AI芯片:科技探索與AGI愿景》這本書是張臣雄所著,由人民郵電出版社出版,它與《AI芯片:前沿技術(shù)與創(chuàng)新未來》一書是姊妹篇,由此可見作者在AI
    發(fā)表于 09-05 15:10

    AI 芯片浪潮下,職場晉升新契機(jī)?

    申報人員提供繼續(xù)教育證明 。關(guān)注行業(yè)前沿動態(tài),參加各類專業(yè)培訓(xùn)、學(xué)術(shù)研討會,不僅有助于提升自身專業(yè)水平,還能為職稱申報積累必要的學(xué)分。 通過閱讀最新的學(xué)術(shù)論文、行業(yè)報告,了解 AI 芯片領(lǐng)域的最新研究成果
    發(fā)表于 08-19 08:58

    【書籍評測活動NO.64】AI芯片,從過去走向未來:《AI芯片:科技探索與AGI愿景》

    》,講述了AI芯片的基礎(chǔ)知識,包括原理、種類、廠商、產(chǎn)業(yè)等概況,展望新技術(shù)與研究應(yīng)用。 《AI芯片:前沿技術(shù)與創(chuàng)新未來》出版后獲得了“憶阻器
    發(fā)表于 07-28 13:54

    通過微透鏡陣列的傳播

    使用最新發(fā)布的版本中引入的一個新的MLA組件來設(shè)置和模擬這樣的系統(tǒng),允許對微透鏡組件后面的近場以及遠(yuǎn)場和焦點(diǎn)區(qū)域的傳輸場進(jìn)行徹底的研究。 微透鏡陣列后光傳播的研究 本用例研究微透鏡陣列后傳播的光。給出并
    發(fā)表于 01-08 08:49

    通過微透鏡陣列的傳播

    使用最新發(fā)布的版本中引入的一個新的MLA組件來設(shè)置和模擬這樣的系統(tǒng),允許對微透鏡組件后面的近場以及遠(yuǎn)場和焦點(diǎn)區(qū)域的傳輸場進(jìn)行徹底的研究。 微透鏡陣列后光傳播的研究 本用例研究微透鏡陣列后傳播的光。給出并
    發(fā)表于 12-11 11:32

    蘋果利用AWS定制AI芯片提升服務(wù)

    。 據(jù)了解,蘋果目前正積極利用AWS的定制AI芯片來提升其搜索等核心服務(wù)的性能和效率。通過借助AWS的專業(yè)技術(shù)和資源,蘋果能夠更好地滿足全球客戶的需求,提供更加智能化、高效化的服務(wù)體驗
    的頭像 發(fā)表于 12-05 14:14 ?822次閱讀

    【每天學(xué)點(diǎn)AI】前向傳播、損失函數(shù)、反向傳播

    在深度學(xué)習(xí)的領(lǐng)域中,前向傳播、反向傳播和損失函數(shù)是構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的三個核心概念。今天,小編將通過一個簡單的實例,解釋這三個概念,并展示它們的作用。前向傳播:神經(jīng)網(wǎng)絡(luò)的“思考”過
    的頭像 發(fā)表于 11-15 10:32 ?1511次閱讀
    【每天學(xué)點(diǎn)<b class='flag-5'>AI</b>】前向<b class='flag-5'>傳播</b>、損失函數(shù)、反向<b class='flag-5'>傳播</b>