chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

使神經(jīng)網(wǎng)絡在智能手機上實時運行的技術

電子工程師 ? 來源:阿里云云棲社區(qū) ? 2021-03-29 09:14 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

計算機具有高儲量的硬盤和強大的CPUGPU。但是智能手機卻沒有,為了彌補這個缺陷,我們需要技巧來讓智能手機高效地運行深度學習應用程序。

介紹

深度學習是一個令人難以置信的靈活且強大的技術,但運行的神經(jīng)網(wǎng)絡可以在計算方面需要非常大的電力,且對磁盤空間也有要求。這通常不是云空間能夠解決的問題,一般都需要大硬盤服務器上運行驅(qū)動器和多個GPU模塊。

不幸的是,在移動設備上運行神經(jīng)網(wǎng)絡并不容易。事實上,即使智能手機變得越來越強大,它們?nèi)匀痪哂杏邢薜挠嬎隳芰?、電池壽命和可用磁盤空間,尤其是對于我們希望保持盡可能輕的應用程序。這樣做可以實現(xiàn)更快的下載速度、更小的更新時間和更長的電池使用時間,這些都是用戶所欣賞的。

為了執(zhí)行圖像分類、人像模式攝影、文本預測以及其他幾十項任務,智能手機需要使用技巧來快速,準確地運行神經(jīng)網(wǎng)絡,而無需使用太多的磁盤空間。

在這篇文章中,我們將看到一些最強大的技術,使神經(jīng)網(wǎng)絡能夠在手機上實時運行。

使神經(jīng)網(wǎng)絡變得更小更快的技術

基本上,我們對三個指標感興趣:模型的準確性、速度以及它在手機上占用的空間量。由于沒有免費午餐這樣的好事,所以我們必須做出妥協(xié)。

對于大多數(shù)技術,我們會密切關注我們的指標并尋找我們稱之為飽和點的東西。這是一個指標的收益停止而其他指標損失的時刻。通過在飽和點之前保持優(yōu)化值,我們可以獲得最佳值。

使神經(jīng)網(wǎng)絡在智能手機上實時運行的技術

在這個例子中,我們可以在不增加錯誤的情況下顯著減少昂貴的操作次數(shù)。但是,在飽和點附近,錯誤變得太高而無法接受。

1. 避免完全連接的層

完全連接的層是神經(jīng)網(wǎng)絡最常見的組成部分之一,它們曾經(jīng)創(chuàng)造奇跡。然而,由于每個神經(jīng)元都連接到前一層的所有神經(jīng)元,因此它們需要存儲和更新眾多參數(shù)。這對速度和磁盤空間是不利的。

卷積層是利用輸入中的局部一致性(通常是圖像)的層。每個神經(jīng)元不再連接到前一層的所有神經(jīng)元。這有助于在保持高精度的同時減少連接/重量的數(shù)量。

使神經(jīng)網(wǎng)絡在智能手機上實時運行的技術

完全連接層中的連接/權重比卷積層中多得多。

使用很少或沒有完全連接的層可以減少模型的大小,同時保持高精度。這可以提高速度和磁盤使用率。

在上面的配置中,具有1024個輸入和512個輸出的完全連接層,這個完全連接層大約有500k個參數(shù)。如果是具有相同特征和32個卷積層特征映射,那么它將只具有50K參數(shù),這是一個10倍的改進!

2. 減少通道數(shù)量和內(nèi)核大小

這一步代表了模型復雜性和速度之間的一個非常直接的折衷。卷積層中有許多通道允許網(wǎng)絡提取相關信息,但需付出代價。刪除一些這樣的功能是節(jié)省空間并使模型變得更快的簡單方法。

我們可以用卷積運算的接受域來做同樣的事情。通過減小內(nèi)核大小,卷積對本地模式的了解較少,但涉及的參數(shù)較少。

使神經(jīng)網(wǎng)絡在智能手機上實時運行的技術

較小的接受區(qū)域/內(nèi)核大小計算起來更便宜,但傳達的信息較少。

在這兩種情況下,通過查找飽和點來選擇地圖/內(nèi)核大小的數(shù)量,以便精度不會降低太多。

3. 優(yōu)化縮減采樣(Optimizing the downsampling)

對于固定數(shù)量的層和固定數(shù)量的池操作,神經(jīng)網(wǎng)絡可以表現(xiàn)得非常不同。這來自于一個事實,即表示該數(shù)據(jù)以及計算量的依賴于在池操作完成:

當池化操作提早完成時,數(shù)據(jù)的維度會降低。越小的維度意味著網(wǎng)絡處理速度越快,但意味著信息量越少,準確性越差。

當聯(lián)網(wǎng)操作在網(wǎng)絡后期完成時,大部分信息都會保留下來,從而具有很高的準確性。然而,這也意味著計算是在具有許多維度的對象上進行的,并且在計算上更昂貴。

在整個神經(jīng)網(wǎng)絡中均勻分布下采樣作為一個經(jīng)驗有效的架構,并在準確性和速度之間提供了一個很好的平衡。

使神經(jīng)網(wǎng)絡在智能手機上實時運行的技術

早期的池化速度很快,晚期的池化是準確的,均勻間隔的池化是有點兩者。

4. 修剪重量(Pruning the weights)

在訓練完成的神經(jīng)網(wǎng)絡中,一些權重對神經(jīng)元的激活起著強烈作用,而另一些權重幾乎不影響結果。盡管如此,我們?nèi)匀粚@些弱權重做一些計算。

修剪是完全去除最小量級連接的過程,以便我們可以跳過計算。這可能會降低了準確性,但使網(wǎng)絡更輕、更快。我們需要找到飽和點,以便盡可能多地刪除連接,而不會過多地損害準確性。

使神經(jīng)網(wǎng)絡在智能手機上實時運行的技術

除去最薄弱的連接以節(jié)省計算時間和空間。

5. 量化權重(Quantizing the weights)

為了將網(wǎng)絡保存在磁盤上,我們需要記錄網(wǎng)絡中每個單一權重的值。這意味著為每個參數(shù)保存一個浮點數(shù),這代表了磁盤上占用的大量空間。作為參考,在C中,一個浮點占用4個字節(jié),即32個比特。一個參數(shù)在數(shù)億的網(wǎng)絡(例如GoogLe-Net或VGG-16)可以輕松達到數(shù)百兆,這在移動設備上是不可接受的。

為了保持網(wǎng)絡足跡盡可能小,一種方法是通過量化它們來降低權重的分辨率。在這個過程中,我們改變了數(shù)字的表示形式,使其不再能夠取得任何價值,但相當受限于一部分數(shù)值。這使我們只能存儲一次量化值,然后參考網(wǎng)絡的權重。

使神經(jīng)網(wǎng)絡在智能手機上實時運行的技術

量化權重存儲鍵而不是浮動。

我們將再次通過查找飽和點來確定要使用多少個值。更多的值意味著更高的準確性,但也是更大的儲存空間。例如,通過使用256個量化值,每個權重可以僅使用1個字節(jié) 即 8個比特來引用。與之前(32位)相比,我們已將大小除以4!

6. 編碼模型的表示

我們已經(jīng)處理了關于權重的一些事情,但是我們可以進一步改進網(wǎng)絡!這個技巧依賴于權重不均勻分布的事實。一旦量化,我們就沒有相同數(shù)量的權值來承載每個量化值。這意味著在我們的模型表示中,一些引用會比其他引用更頻繁地出現(xiàn),我們可以利用它!

霍夫曼編碼是這個問題的完美解決方案。它通過將最小占用空間的密鑰歸屬到最常用的值以及最小占用空間的值來實現(xiàn)。這有助于減小設備上模型的誤差,最好的結果是精度沒有損失。

使神經(jīng)網(wǎng)絡在智能手機上實時運行的技術

最頻繁的符號僅使用1 位的空間,而最不頻繁的使用3 位。這是由后者很少出現(xiàn)在表示中的事實所平衡的。

這個簡單的技巧使我們能夠進一步縮小神經(jīng)網(wǎng)絡占用的空間,通常約為30%。

注意:量化和編碼對于網(wǎng)絡中的每一層都是不同的,從而提供更大的靈活性

7. 糾正準確度損失(Correctiong the accuracy loss)

使用我們的技巧,我們的神經(jīng)網(wǎng)絡已經(jīng)變得非常粗糙了。我們刪除了弱連接(修剪),甚至改變了一些權重(量化)。雖然這使得網(wǎng)絡超級輕巧,而且速度非常快,但其準確度并非如此。

為了解決這個問題,我們需要在每一步迭代地重新訓練網(wǎng)絡。這只是意味著在修剪或量化權重后,我們需要再次訓練網(wǎng)絡,以便它能夠適應變化并重復這個過程,直到權重停止變化太多。

結論

雖然智能手機不具備老式桌面計算機的磁盤空間、計算能力或電池壽命,但它們?nèi)匀皇巧疃葘W習應用程序非常好的目標。借助少數(shù)技巧,并以幾個百分點的精度為代價,現(xiàn)在可以在這些多功能手持設備上運行強大的神經(jīng)網(wǎng)絡。這為數(shù)以千計的激動人心的應用打開了大門。

責任編輯:lq6

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 智能手機
    +關注

    關注

    66

    文章

    18657

    瀏覽量

    185261
  • cpu
    cpu
    +關注

    關注

    68

    文章

    11189

    瀏覽量

    221442
  • gpu
    gpu
    +關注

    關注

    28

    文章

    5038

    瀏覽量

    133838
  • 計算機
    +關注

    關注

    19

    文章

    7724

    瀏覽量

    92309
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    神經(jīng)網(wǎng)絡的并行計算與加速技術

    隨著人工智能技術的飛速發(fā)展,神經(jīng)網(wǎng)絡眾多領域展現(xiàn)出了巨大的潛力和廣泛的應用前景。然而,神經(jīng)網(wǎng)絡模型的復雜度和規(guī)模也不斷增加,這使得傳統(tǒng)的
    的頭像 發(fā)表于 09-17 13:31 ?729次閱讀
    <b class='flag-5'>神經(jīng)網(wǎng)絡</b>的并行計算與加速<b class='flag-5'>技術</b>

    傲琪人工合成石墨片: 破解智能手機散熱困境的創(chuàng)新解決方案

    過程中,工程師們發(fā)現(xiàn)了一個棘手的問題——高強度游戲和5G網(wǎng)絡同時工作時,設備表面溫度會急劇上升,導致處理器降頻,用戶體驗大幅下降。 01 行業(yè)困境:性能與散熱的艱難平衡 智能手機行業(yè)正陷入散熱
    發(fā)表于 09-13 14:06

    神經(jīng)網(wǎng)絡RAS異步電機轉(zhuǎn)速估計中的仿真研究

    眾多方法中,由于其結構簡單,穩(wěn)定性好廣泛受到人們的重視,且已被用于產(chǎn)品開發(fā)。但是MRAS仍存在在低速區(qū)速度估計精度下降和對電動機參數(shù)變化非常敏感的問題。本文利用神經(jīng)網(wǎng)絡的特點,使估計更為簡單、快速
    發(fā)表于 06-16 21:54

    基于BLE技術 智能手寫筆解決方案:改變你的書寫體驗PTR5415

    方案說明: 我們的智能手寫筆方案基于BLE技術,利用藍牙低功耗連接手寫筆與移動設備(如智能手機、平板電腦)之間的無線通信??梢?b class='flag-5'>實時將書寫數(shù)據(jù)上傳到
    發(fā)表于 03-11 17:50

    BP神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡的比較

    BP神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡多個方面存在顯著差異,以下是對兩者的比較: 一、結構特點 BP神經(jīng)網(wǎng)絡 : BP神經(jīng)網(wǎng)絡是一種多層的前饋
    的頭像 發(fā)表于 02-12 15:53 ?1041次閱讀

    BP神經(jīng)網(wǎng)絡圖像識別中的應用

    BP神經(jīng)網(wǎng)絡圖像識別中發(fā)揮著重要作用,其多層結構使得網(wǎng)絡能夠?qū)W習到復雜的特征表達,適用于處理非線性問題。以下是對BP神經(jīng)網(wǎng)絡圖像識別中應
    的頭像 發(fā)表于 02-12 15:12 ?988次閱讀

    人工神經(jīng)網(wǎng)絡的原理和多種神經(jīng)網(wǎng)絡架構方法

    在上一篇文章中,我們介紹了傳統(tǒng)機器學習的基礎知識和多種算法。本文中,我們會介紹人工神經(jīng)網(wǎng)絡的原理和多種神經(jīng)網(wǎng)絡架構方法,供各位老師選擇。 01 人工神經(jīng)網(wǎng)絡 ? 人工
    的頭像 發(fā)表于 01-09 10:24 ?1797次閱讀
    人工<b class='flag-5'>神經(jīng)網(wǎng)絡</b>的原理和多種<b class='flag-5'>神經(jīng)網(wǎng)絡</b>架構方法

    卷積神經(jīng)網(wǎng)絡自然語言處理中的應用

    自然語言處理是人工智能領域的一個重要分支,它致力于使計算機能夠理解、解釋和生成人類語言。隨著深度學習技術的發(fā)展,卷積神經(jīng)網(wǎng)絡(CNNs)作為一種強大的模型,
    的頭像 發(fā)表于 11-15 14:58 ?1058次閱讀

    卷積神經(jīng)網(wǎng)絡與傳統(tǒng)神經(jīng)網(wǎng)絡的比較

    深度學習領域,神經(jīng)網(wǎng)絡模型被廣泛應用于各種任務,如圖像識別、自然語言處理和游戲智能等。其中,卷積神經(jīng)網(wǎng)絡(CNNs)和傳統(tǒng)神經(jīng)網(wǎng)絡是兩種常
    的頭像 發(fā)表于 11-15 14:53 ?2253次閱讀

    RNN模型與傳統(tǒng)神經(jīng)網(wǎng)絡的區(qū)別

    神經(jīng)網(wǎng)絡是機器學習領域中的一種強大工具,它們能夠模擬人腦處理信息的方式。隨著技術的發(fā)展,神經(jīng)網(wǎng)絡的類型也不斷增加,其中循環(huán)神經(jīng)網(wǎng)絡(RNN
    的頭像 發(fā)表于 11-15 09:42 ?1804次閱讀

    LSTM神經(jīng)網(wǎng)絡的結構與工作機制

    LSTM(Long Short-Term Memory,長短期記憶)神經(jīng)網(wǎng)絡是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(RNN),設計用于解決長期依賴問題,特別是處理時間序列數(shù)據(jù)時表現(xiàn)出色。以下是LSTM神經(jīng)
    的頭像 發(fā)表于 11-13 10:05 ?1987次閱讀

    LSTM神經(jīng)網(wǎng)絡語音識別中的應用實例

    語音識別技術是人工智能領域的一個重要分支,它使計算機能夠理解和處理人類語言。隨著深度學習技術的發(fā)展,特別是長短期記憶(LSTM)神經(jīng)網(wǎng)絡的引
    的頭像 發(fā)表于 11-13 10:03 ?2238次閱讀

    探索智能手機上的生成式AI

    今年是移動技術發(fā)展史上的重要一年,AI智能手機的出現(xiàn)讓我們對未來充滿了期待。每年,我都會準時排隊購買新發(fā)布的高端智能手機,一方面是因為我喜歡電子產(chǎn)品,另一方面則源于我對新科技的好奇。朋友們開玩笑
    的頭像 發(fā)表于 11-11 16:36 ?1359次閱讀

    Moku人工神經(jīng)網(wǎng)絡101

    Moku3.3版更新Moku:Pro平臺新增了全新的儀器功能【神經(jīng)網(wǎng)絡】,使用戶能夠Moku設備上部署實時機器學習算法,進行快速、靈活的信號分析、去噪、傳感器調(diào)節(jié)校準、閉環(huán)反饋等應
    的頭像 發(fā)表于 11-01 08:06 ?847次閱讀
    Moku人工<b class='flag-5'>神經(jīng)網(wǎng)絡</b>101

    關于卷積神經(jīng)網(wǎng)絡,這些概念你厘清了么~

    隨著人工智能(AI)技術的快速發(fā)展,AI可以越來越多地支持以前無法實現(xiàn)或者難以實現(xiàn)的應用。本文基于此解釋了 卷積神經(jīng)網(wǎng)絡 (CNN)及其對人工智能和機器學習的意義。CNN是一種能夠從
    發(fā)表于 10-24 13:56