IEEE LPIRC 挑戰(zhàn)賽

低功耗圖像識(shí)別挑戰(zhàn)賽 (LPIRC)是一年一度的競賽，主要從準(zhǔn)確度、執(zhí)行時(shí)間和能量消耗方面評(píng)估計(jì)算機(jī)視覺技術(shù)。今年的競賽由 Google 和 Facebook 贊助，共分為三個(gè)賽道，其中賽道 1 的挑戰(zhàn)目標(biāo)是使用由Qualcomm Snapdragon 835 移動(dòng)平臺(tái)支持的 Pixel 2 智能手機(jī)，在 10 分鐘的時(shí)間限制內(nèi)處理 20000 張圖像，同時(shí)最大程度地保證圖像分類的準(zhǔn)確度。此次競賽使用大型數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)，其中包含大約 120 萬張 JPEG 圖像，涵蓋 1000 個(gè)不同類別，同時(shí)使用 Holdout 圖像集作為測試數(shù)據(jù)。

現(xiàn)實(shí)世界需要能夠在移動(dòng)設(shè)備上實(shí)時(shí)運(yùn)行且可準(zhǔn)確進(jìn)行圖像分類的神經(jīng)網(wǎng)絡(luò)模型，此項(xiàng)公開競賽正是為此目的而舉行。除準(zhǔn)確度以外，計(jì)算效率對(duì)電池供電設(shè)備也至關(guān)重要。在競賽中，我們團(tuán)隊(duì)將易于量化的 MobileNet V2 架構(gòu)與先進(jìn)的量化后方案結(jié)合使用，并因絕佳速度和準(zhǔn)確度拔得頭籌。我們使用每層計(jì)算好的最小和最大值插入 FakeQuantization 節(jié)點(diǎn)，以修改 TensorFlow 中的圖表，并使用 TensorFlow Lite 將圖表轉(zhuǎn)化為用于硬件部署的.tflite 文件。

Qualcomm Canada Inc 的團(tuán)隊(duì)成員：Parker Zhang、Liang Shen、Chen Feng、Terry Sheng、Jay Zhuo 和 Zhiyu Liang

我們的模型在單個(gè) ARM CPU 上的每次推理中以 28 毫秒識(shí)別 20000 張圖像時(shí)，實(shí)現(xiàn)了最高的準(zhǔn)確度。

Qualcomm Technologies, Inc. 工程部副總裁 Mickey Aleksic 說：“此次挑戰(zhàn)與我們的 AI 戰(zhàn)略完美契合，而贏得這次競賽對(duì)于確立 Qualcomm Technologies 在機(jī)器學(xué)習(xí)中的重要地位以及推廣設(shè)備中的 AI 大有幫助?！?/p>

實(shí)現(xiàn)設(shè)備上的極速圖像識(shí)別

在邊緣設(shè)備上準(zhǔn)確快速地識(shí)別圖像需要執(zhí)行以下步驟：

創(chuàng)建和訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)模型，從而以浮點(diǎn)運(yùn)算對(duì)圖像進(jìn)行識(shí)別和分類。

將浮點(diǎn)模型轉(zhuǎn)化為定點(diǎn)模型，后者可以在邊緣設(shè)備上高效運(yùn)行，而不會(huì)出現(xiàn)延遲和準(zhǔn)確度問題。

我們團(tuán)隊(duì)的模型基于MobileNet v2構(gòu)建，但以 “易于量化” 的方式進(jìn)行了修改。雖然 Google 的 MobileNet 模型通過使用可分離卷積結(jié)構(gòu)成功縮小了參數(shù)大小和計(jì)算延時(shí)，但直接量化預(yù)訓(xùn)練的 MobileNet v2 模型可能會(huì)造成準(zhǔn)確度下降。我們的團(tuán)隊(duì)分析并找出了在此類可分離卷積網(wǎng)絡(luò)中因量化而降低準(zhǔn)確度的根本原因，并在不使用量化感知重新訓(xùn)練的情況下解決了此問題。通過量化感知訓(xùn)練，模型可獲得良好的準(zhǔn)確度，而我們的方法是一種替代方案，能夠修改網(wǎng)絡(luò)架構(gòu)以解決量化問題，而無需重新訓(xùn)練。另一種更為端到端的方法是使用 Google 的 ML 框架Learn2Compress，通過優(yōu)化多個(gè)網(wǎng)絡(luò)架構(gòu)和同時(shí)使用量化及其他技術(shù)（如提煉、剪枝和聯(lián)合訓(xùn)練），直接從頭開始訓(xùn)練高效的設(shè)備上模型或現(xiàn)有的 TensorFlow 模型。

模型架構(gòu)

在可分離卷積結(jié)構(gòu)中，我們將深度卷積分別應(yīng)用于每個(gè)通道。但是，用于權(quán)重量化的最小和最大值是從所有通道中整體獲取的。由于數(shù)據(jù)范圍的擴(kuò)大，某個(gè)通道中的異常值可能會(huì)導(dǎo)致整個(gè)模型的量化損失。如果未在不同通道中進(jìn)行數(shù)據(jù)計(jì)算，深度卷積結(jié)構(gòu)可能會(huì)在某個(gè)通道內(nèi)產(chǎn)生全零值的權(quán)重，而這在 MobileNet v1 和 v2 模型中都很常見。某個(gè)通道中的全零值意味著偏差很小。在完成深度卷積后，直接應(yīng)用批量歸一化轉(zhuǎn)換時(shí)，預(yù)計(jì)該特定通道的"縮放"值會(huì)較大。這會(huì)損害整個(gè)模型的表示能力。

我們的團(tuán)隊(duì)提出一種易于量化的高效可分離卷積架構(gòu)作為解決方案，將深度和逐點(diǎn)卷積層之間的非線性操作（批量歸一化和 ReLU6）全部移除，讓網(wǎng)絡(luò)學(xué)習(xí)合適的權(quán)重來直接處理批量歸一化轉(zhuǎn)換。此外，我們還將所有逐點(diǎn)卷積層中的 ReLU6 替換為 ReLU。在使用 MobileNet v1 和 v2 模型進(jìn)行的多項(xiàng)試驗(yàn)中，此架構(gòu)在 8 位量化通道中展示出顯著的準(zhǔn)確度提升。

量化后技術(shù)

定義模型結(jié)構(gòu)后，您便可在數(shù)據(jù)集上訓(xùn)練浮點(diǎn)模型。在量化后步驟中，我們使用各種不同的輸入內(nèi)容并針對(duì)訓(xùn)練數(shù)據(jù)中各個(gè)類別的單張圖像運(yùn)行模型，以收集最小和最大值以及每層輸出的數(shù)據(jù)直方圖分布。我們選取最佳 “步長” 和 “偏移” 值（用 ? 表示）以用于線性量化，這可以在貪婪搜索期間最大限度地減小量化損失和飽和損失的總量。根據(jù)計(jì)算出的最小和最大值范圍，TensorFlow Lite 提供了將圖表模型轉(zhuǎn)化為.tflite 模型的路徑，以便在邊緣設(shè)備上部署模型。

Qualcomm Technologies, Inc 的 Ning Bi（上圖右側(cè)中間）代表團(tuán)隊(duì)領(lǐng)獎(jiǎng)

結(jié)論

將計(jì)算移至 8 位并保留較高的準(zhǔn)確度是在邊緣設(shè)備上快速高效地運(yùn)行模型的關(guān)鍵步驟。我們的團(tuán)隊(duì)發(fā)現(xiàn)了此量化問題，分析并找出其根本原因，然后解決了此問題。之后，我們將這些發(fā)現(xiàn)應(yīng)用于圖像分類挑戰(zhàn)賽，并看到我們的理論成果變?yōu)榱爽F(xiàn)實(shí)。