編者注：歡迎來到 AspenCore 的嵌入式人工智能 (AI) 特別項(xiàng)目。本文連同最后一頁列出的文章，從多個(gè)角度深入探討了在嵌入式系統(tǒng)中注入本地化 AI 的業(yè)務(wù)和技術(shù)。

作者：Gina Roos，電子產(chǎn)品總編

開發(fā)人員和系統(tǒng)設(shè)計(jì)人員可以通過多種方式為他們的嵌入式設(shè)計(jì)添加某種形式的神經(jīng)網(wǎng)絡(luò)或深度學(xué)習(xí)功能。早期——甚至在今天——設(shè)計(jì)師已經(jīng)成功地使用了圖形處理單元 (GPU) 和現(xiàn)場可編程門陣列 (FGPA)，這兩者都很好地滿足了深度學(xué)習(xí)的內(nèi)存密集型需求。甚至傳統(tǒng)的 x86 CPU 也已進(jìn)入 AI 應(yīng)用程序。

許多開發(fā)人員發(fā)現(xiàn)這些現(xiàn)有技術(shù)并不總是最合適的。因此，在過去幾年中，?許多初創(chuàng)公司（以及成熟的芯片制造商）都專注于構(gòu)建專門用于 AI 應(yīng)用的芯片。這些芯片從頭開始構(gòu)建，以滿足人工智能算法和運(yùn)行應(yīng)用程序的計(jì)算能力需求。

需要注意的是，用于 SoC 的 IP 模塊是提供神經(jīng)網(wǎng)絡(luò)功能的另一種選擇，但那是另一回事了。該領(lǐng)域的供應(yīng)商包括Cadence、Ceva、NXP、Synopsys和VeriSilicon。

但與所有技術(shù)一樣，每種解決方案都有優(yōu)勢和權(quán)衡?？傮w而言，設(shè)計(jì)人員需要根據(jù)其特定的最終應(yīng)用選擇最佳技術(shù)。人工智能芯片通常分為三個(gè)關(guān)鍵應(yīng)用領(lǐng)域——云端訓(xùn)練、云端推理和邊緣推理。

訓(xùn)練中的大炮是Nvidia 的 GPU，它已成為訓(xùn)練機(jī)器學(xué)習(xí)算法的熱門選擇。這個(gè)過程分析數(shù)以萬億計(jì)的數(shù)據(jù)樣本。這里的一大優(yōu)勢是 GPU 的并行計(jì)算架構(gòu)。

云上的推理解決了許多人工智能應(yīng)用程序的機(jī)器學(xué)習(xí)模型，這些應(yīng)用程序的計(jì)算過于密集，無法部署在邊緣設(shè)備上?？梢蕴峁┑脱舆t和處理計(jì)算密集型任務(wù)的 FPGA 等處理器在這些應(yīng)用中具有優(yōu)勢。由于并非所有 AI 功能的計(jì)算任務(wù)都可以在云上完成，因此現(xiàn)有和初創(chuàng)公司的芯片制造商正在開發(fā)自己的 AI 芯片并將 AI 功能添加到他們的處理器中。

那么，設(shè)計(jì)師在涉足人工智能領(lǐng)域之前首先需要回答的問題是什么？我與BabbleLabs Inc的首席執(zhí)行官、硅谷企業(yè)家和技術(shù)專家 Chris Rowen 進(jìn)行了交談。 和Cognite Ventures，以獲得一些答案。

問題 1：了解您的最終應(yīng)用要求

在開始任何設(shè)計(jì)時(shí)，第一個(gè)問題始終是您的最終應(yīng)用程序要求是什么。緊隨其后的是“我有一個(gè)特定的任務(wù)嗎？” 有時(shí)這很清楚，Rowen 說?！叭绻沂且幻麡?gòu)建安全攝像頭的系統(tǒng)設(shè)計(jì)師，我會(huì)非常關(guān)心芯片在視頻流的橫截面運(yùn)行方面的表現(xiàn)——對象檢測、對象識別、對象跟蹤等——少數(shù)幾個(gè)與該最終應(yīng)用程序特別相關(guān)的任務(wù)。”

下一個(gè)問題是應(yīng)用程序是在云中運(yùn)行還是在邊緣設(shè)備中運(yùn)行。這將推動(dòng)設(shè)計(jì)人員在他們應(yīng)該考慮的芯片方面走向不同的方向。

“最終應(yīng)用顯然很重要，”Rowen 說?！叭绻谠浦?，問題將是，'它是用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)還是僅用于推理？' ——運(yùn)行一個(gè)先前訓(xùn)練過的網(wǎng)絡(luò)。如果它在邊緣，您想要運(yùn)行的特定應(yīng)用程序集是什么？”

Rowen 表示，大多數(shù)新芯片都是為邊緣視覺應(yīng)用而制造的，這些芯片主要用于推理應(yīng)用，用于一種或另一種成像或視頻分析。一個(gè)越來越重要的子類別是音頻，尤其是語音處理。

所以它首先歸結(jié)為云與邊緣。那么在云中，是訓(xùn)練還是推理？在邊緣，它是通用的（應(yīng)用程序未知）還是視覺或其他一些特殊的應(yīng)用程序，如語音處理？

問題二：軟件支持

軟件工具也有助于區(qū)分不同的芯片。“如果它是一個(gè)訓(xùn)練芯片，它是否支持各種訓(xùn)練環(huán)境——TensorFlow、PyTorch等——因?yàn)閼?yīng)用程序和軟件開發(fā)團(tuán)隊(duì)使用了許多重要的訓(xùn)練環(huán)境，”Rowen 說。他說，Nvidia 是當(dāng)今訓(xùn)練芯片的黃金標(biāo)準(zhǔn)和主要供應(yīng)商。

“在推理方面，這是一個(gè)問題，即你能在多大程度上采用預(yù)先訓(xùn)練的模型并將其映射到芯片的特定特性。當(dāng)有像神經(jīng)網(wǎng)絡(luò)交換格式這樣的標(biāo)準(zhǔn)時(shí)，這是一個(gè)更容易的問題?！?NNEF 是由Khronos Group推動(dòng)的標(biāo)準(zhǔn)，旨在使映射工具的標(biāo)準(zhǔn)化變得更加容易。

“通常，與將應(yīng)用程序映射到某些新處理引擎所涉及的所有其他軟件相比，這些神經(jīng)網(wǎng)絡(luò)的復(fù)雜性并不高，”Rowen 解釋說?！凹词构ぞ卟⒉煌昝溃藗兺ǔＲ部梢哉业揭环N方法，使用不太復(fù)雜的工具將現(xiàn)有神經(jīng)網(wǎng)絡(luò)映射到視覺芯片或音頻芯片或任何邊緣處理芯片上?！?/p>

在軟件扮演的核心角色不那么重要的情況下——即使它確實(shí)扮演了關(guān)鍵角色——設(shè)計(jì)人員應(yīng)該在硬件層面考慮價(jià)格、性能和能效，這會(huì)帶來下一組問題。

問題 3：內(nèi)存要求

任何芯片選擇的長期問題都圍繞著成本和性能。而對于神經(jīng)網(wǎng)絡(luò)，什么是片上內(nèi)存，芯片提供多少內(nèi)存帶寬？

“其中一些神經(jīng)網(wǎng)絡(luò)問題非常耗費(fèi)內(nèi)存，”Rowen 說?！爱?dāng)然，通常在云中進(jìn)行的訓(xùn)練過程非常占用內(nèi)存，需要大量的片上內(nèi)存和非常高的內(nèi)存帶寬?！?/p>

他補(bǔ)充說，推理過程通常占用更少的內(nèi)存，并且可能不需要大量的片外帶寬，具體取決于目標(biāo)應(yīng)用程序。

所以這是挑戰(zhàn)。區(qū)分為通用用途和特定應(yīng)用而構(gòu)建的芯片的一件事是，芯片設(shè)計(jì)人員是否已將大量資源分配給片上存儲(chǔ)器和片外存儲(chǔ)器帶寬。但是，如果設(shè)計(jì)人員不知道他們需要運(yùn)行哪些應(yīng)用程序，他們可能需要在內(nèi)存帶寬方面過度配置，這會(huì)使其成本更高。

“過度配置會(huì)增加成本，這就是為什么通用芯片幾乎總是比專用芯片貴——因?yàn)樗麄儽仨氋徺I更大的保險(xiǎn)單，”羅文說。權(quán)衡可以包括成本、功率和物理足跡。

Rowen 表示，如果設(shè)計(jì)人員能夠稍微縮小要求，以使成本更低、功耗更低的芯片適合應(yīng)用，那么系統(tǒng)級性能就會(huì)有很大提升。“通用和專用[芯片]之間的差異可能是一個(gè)數(shù)量級?！?/p>

問題 4：性能——延遲與吞吐量

性能的最終定義是芯片在神經(jīng)網(wǎng)絡(luò)應(yīng)用程序中的運(yùn)行速度。這里的兩個(gè)相關(guān)指標(biāo)是吞吐量和延遲——系統(tǒng)是針對增加吞吐量進(jìn)行優(yōu)化還是針對減少延遲進(jìn)行優(yōu)化。

Rowen 說，在云中，重點(diǎn)通常是吞吐量，而延遲在實(shí)時(shí)邊緣系統(tǒng)中往往非常重要。例如，如果您正在為自動(dòng)駕駛應(yīng)用程序構(gòu)建芯片，則延遲更為重要，并且是一個(gè)關(guān)鍵的安全問題，他補(bǔ)充道。

“幸運(yùn)的是，對于這些神經(jīng)網(wǎng)絡(luò)應(yīng)用中的許多應(yīng)用來說，所提供的性能和芯片的倍增率之間存在很強(qiáng)的相關(guān)性，”Rowen 解釋說?！坝?jì)算資源的充分利用程度存在一些差異，但在最簡單的層面上，只需詢問‘在給定分辨率下每秒有多少乘法累加’或‘每瓦特有多少乘法累加’芯片確實(shí)是一個(gè)很好的關(guān)于芯片能力的粗略指南?！?/p>

今天，總的來說，GPU 是云中神經(jīng)網(wǎng)絡(luò)訓(xùn)練的主導(dǎo)力量，而普通 x86 處理器是云中最常見的推理平臺(tái)，因?yàn)樗鼈兛梢造`活地運(yùn)行包含深度學(xué)習(xí)元素和Rowen 說，單個(gè)處理器上的傳統(tǒng)軟件元素。

在大多數(shù)情況下，邊緣沒有太多的訓(xùn)練。他補(bǔ)充說，它通常專注于推理，通常用于視頻或音頻等特定用例。

Rowen 向 Electronic Products 提供了一些芯片（來自初創(chuàng)公司和現(xiàn)有平臺(tái)）的應(yīng)用定位的粗略評估?！坝幸环N趨勢是，面向云的芯片更加通用，而面向邊緣的芯片更加專業(yè)化?！?/p>

在 x 軸上：0 表示最適合邊緣設(shè)備（汽車、電話、物聯(lián)網(wǎng)）；5 表示最適合云。在 y 軸上：0 表示專門針對神經(jīng)網(wǎng)絡(luò)，尤其是神經(jīng)網(wǎng)絡(luò)推理；5 表示通用、跨越神經(jīng)網(wǎng)絡(luò)推理、訓(xùn)練和其他非神經(jīng)網(wǎng)絡(luò)（但計(jì)算密集型）應(yīng)用程序。圖片來源：Cognite Ventures LLC。

以下是一些人工智能增強(qiáng)芯片和平臺(tái)的快照，它們暗示了當(dāng)今市場上跨移動(dòng)和企業(yè)應(yīng)用程序的各種神經(jīng)網(wǎng)絡(luò)解決方案：

Gyrfalcon 的 Lightspeeur AI 芯片：初創(chuàng)公司 Gyrfalcon Technology Inc. 吹捧一種超低功耗和高性能的 AI 芯片。Lightspeeur 2801S智能矩陣處理器基于以內(nèi)存為AI處理單元的APiM架構(gòu)?！斑@消除了導(dǎo)致高功耗的巨大數(shù)據(jù)移動(dòng)，實(shí)現(xiàn)了 9.3 TOPS [每秒萬億次操作]/瓦特的卓越能效，”該公司表示?！霸摷軜?gòu)具有真正的片上并行性、原位計(jì)算，并消除了內(nèi)存瓶頸。它有大約 28,000 個(gè)并行計(jì)算核心，并且不需要外部存儲(chǔ)器來進(jìn)行 AI 推理。”

該公司聲稱算術(shù)邏輯單元 (ALU) 的使用效率為 77%，運(yùn)行卷積神經(jīng)網(wǎng)絡(luò) (CNN) 的效率更高。

提供交鑰匙參考設(shè)計(jì)，包括用于 USB 加密狗、多芯片板和系統(tǒng)開發(fā)套件的參考設(shè)計(jì)。目標(biāo)應(yīng)用包括移動(dòng)邊緣計(jì)算、基于人工智能的物聯(lián)網(wǎng)、消費(fèi)便攜式設(shè)備、智能監(jiān)控視頻、AR/VR產(chǎn)品、人臉檢測/識別、自然語言處理、支持深度學(xué)習(xí)的設(shè)備、人工智能數(shù)據(jù)中心服務(wù)器和自動(dòng)駕駛。

華為麒麟970：華為消費(fèi)者業(yè)務(wù)集團(tuán)首個(gè)移動(dòng)AI計(jì)算平臺(tái)，具有專用神經(jīng)處理單元（NPU），將云AI與原生AI處理相結(jié)合。麒麟970由八核 CPU 和新一代 12 核 GPU 組成。

華為表示：“與四核 Cortex-A73 CPU 集群相比，麒麟 970 的全新異構(gòu)計(jì)算架構(gòu)可提供高達(dá) 25 倍的性能和 50 倍的效率提升?！?翻譯：芯片組以更低的功耗更快地交付相同的人工智能計(jì)算任務(wù)?；鶞?zhǔn)圖像識別測試表明，麒麟 970 每分鐘處理 2,000 張圖像。

除了在自己的手機(jī)中使用新的人工智能芯片組外，華為還將移動(dòng)人工智能定位為一個(gè)開放平臺(tái)，為開發(fā)者和合作伙伴提供技術(shù)。

英特爾的 Nervana 神經(jīng)網(wǎng)絡(luò)處理器 (NPP)：去年年底推出的 Nervana NNP 號稱是業(yè)界首款用于神經(jīng)網(wǎng)絡(luò)處理的芯片，歷時(shí)三年。專為深度學(xué)習(xí)而構(gòu)建的英特爾 Nervana NNP 沒有標(biāo)準(zhǔn)的緩存層次結(jié)構(gòu)，片上內(nèi)存由軟件管理。英特爾表示：“更好的內(nèi)存管理使芯片能夠?qū)γ總€(gè)芯片上的大量計(jì)算實(shí)現(xiàn)高水平的利用?！?“這意味著為深度學(xué)習(xí)模型實(shí)現(xiàn)更快的訓(xùn)練時(shí)間?！?/p>

除了新的內(nèi)存架構(gòu)之外，英特爾還開發(fā)了一種新的數(shù)字格式 Flexpoint，它顯著提高了芯片的并行度，同時(shí)降低了每次計(jì)算的功率。英特爾表示，由于單芯片上的神經(jīng)網(wǎng)絡(luò)計(jì)算在很大程度上受到功率和內(nèi)存帶寬的限制，因此 Flexpoint 為神經(jīng)網(wǎng)絡(luò)工作負(fù)載提供了更高程度的吞吐量。英特爾新設(shè)計(jì)的目標(biāo)是“實(shí)現(xiàn)高計(jì)算利用率并通過多芯片互連支持真正的模型并行性”。

英特爾的 Movidius VPU：英特爾正與微軟合作，將Microsoft Windows ML 與英特爾的 Movidius 視覺處理單元 (VPU)相結(jié)合，在邊緣實(shí)現(xiàn)人工智能推理。作為用于加速邊緣人工智能工作負(fù)載的專用芯片，英特爾Movidius?Myriad X?VPU 聲稱是業(yè)界首款配備專用神經(jīng)計(jì)算引擎的片上系統(tǒng)，用于邊緣深度學(xué)習(xí)推理的硬件加速。英特爾表示：“這款第三代 VPU 專門設(shè)計(jì)用于以高速和低功耗運(yùn)行深度神經(jīng)網(wǎng)絡(luò)，以減輕特定 AI 任務(wù)的負(fù)擔(dān)?！?/p>

英特爾還繼續(xù)針對通用機(jī)器學(xué)習(xí)和推理工作負(fù)載優(yōu)化其至強(qiáng)可擴(kuò)展處理器和數(shù)據(jù)中心加速器。

MediaTek Inc. 的 NeuroPilot AI 平臺(tái)：NeuroPilot 平臺(tái)專為 AI 邊緣計(jì)算而設(shè)計(jì)，提供硬件和軟件的組合、一個(gè) AI 處理單元和 NeuroPilot 軟件開發(fā)套件 (SDK)。它支持包括Google TensorFlow、Caffe、Amazon MXNet和Sony NNabla在內(nèi)的主流AI框架，并且在操作系統(tǒng)層面支持Android和Linux。

聯(lián)發(fā)科表示，該平臺(tái)“使 AI 更接近芯片組級別——適用于計(jì)算邊緣的設(shè)備——深度學(xué)習(xí)和智能決策需要更快地發(fā)生”，從而創(chuàng)建了一個(gè)邊緣到云的 AI 計(jì)算解決方案的混合體。

Nvidia 的 Tesla V100 GPU：與上一代相比，Nvidia 提升了其深度學(xué)習(xí)計(jì)算平臺(tái)的 10 倍性能。新的NVIDIA Tesla V100? 還包括 2 倍內(nèi)存提升（32 GB 內(nèi)存）以處理內(nèi)存密集型深度學(xué)習(xí)和高性能計(jì)算工作負(fù)載，以及稱為 NVIDIA NVSwitch 的新 GPU 互連結(jié)構(gòu)。該公司表示，這使得多達(dá) 16 個(gè) Tesla V100 GPU 能夠以每秒 2.4 TB 的速度同時(shí)通信。Nvidia 還更新了軟件堆棧。Tesla V100 32GB GPU 可用于完整的NVIDIA DGX 系統(tǒng)產(chǎn)品組合。

恩智浦用于邊緣處理的機(jī)器學(xué)習(xí) (ML) 環(huán)境：證明機(jī)器學(xué)習(xí)模型可以使用現(xiàn)有 CPU 在邊緣運(yùn)行，恩智浦半導(dǎo)體 NV 推出了嵌入式 AI 環(huán)境，允許設(shè)計(jì)人員在恩智浦的產(chǎn)品組合中實(shí)施機(jī)器學(xué)習(xí)，從低至成本微控制器到 i.MX RT 處理器和高性能應(yīng)用處理器。NXP 表示，ML 環(huán)境為選擇正確的執(zhí)行引擎（Arm Cortex 內(nèi)核、高性能 GPU/DSP）和在這些引擎上部署機(jī)器學(xué)習(xí)模型（包括神經(jīng)網(wǎng)絡(luò)）的工具提供了統(tǒng)包支持。

此外，恩智浦表示，該環(huán)境包括免費(fèi)軟件，允許客戶導(dǎo)入他們自己訓(xùn)練的 TensorFlow 或 Caffe 模型，將它們轉(zhuǎn)換為優(yōu)化的推理引擎，并將它們部署在恩智浦從低成本 MCU 到 i.MX 和 Layerscape 的處理解決方案上處理器。

NXP 人工智能技術(shù)負(fù)責(zé)人 Markus Levy 在一份聲明中表示：“在嵌入式應(yīng)用程序中的機(jī)器學(xué)習(xí)方面，一切都是為了平衡成本和最終用戶體驗(yàn)?！?“例如，許多人仍然對即使在我們具有成本效益的 MCU 中也能部署具有足夠性能的推理引擎感到驚訝。另一方面，我們的高性能交叉和應(yīng)用處理器具有處理資源，可在我們客戶的許多應(yīng)用中進(jìn)行快速推理和訓(xùn)練。隨著人工智能用例的擴(kuò)展，我們將繼續(xù)使用具有機(jī)器學(xué)習(xí)專用加速功能的下一代處理器來推動(dòng)這種增長?！?/p>

NXP 還提供EdgeScale 平臺(tái)，用于從云端部署到嵌入式設(shè)備（物聯(lián)網(wǎng)和邊緣）。該公司解釋說，EdgeScale 容器化了“云中的 AI/ML 學(xué)習(xí)和推理引擎，并自動(dòng)將容器安全地部署到邊緣設(shè)備?！?NXP 還為 ML 工具、推理引擎、解決方案和設(shè)計(jì)服務(wù)創(chuàng)建了一個(gè)合作伙伴生態(tài)系統(tǒng)。

高通驍龍 845：據(jù)說高通技術(shù)公司的第三代人工智能移動(dòng)平臺(tái)與上一代 SoC 相比，人工智能性能提升了 3 倍。

除了現(xiàn)有對 Google 的TensorFlow和 Facebook 的Caffe/Caffe2框架的支持外，Snapdragon 神經(jīng)處理引擎 (NPE) SDK 現(xiàn)在還支持 Tensorflow Lite 和新的開放式神經(jīng)網(wǎng)絡(luò)交換(ONNX)，讓開發(fā)人員可以輕松使用他們的框架高通表示，選擇包括 Caffe2、CNTK 和 MxNet。它還支持 Google 的 Android NN API。目標(biāo)應(yīng)用包括智能手機(jī)、XR 耳機(jī)和始終連接的 PC。

在安全方面，驍龍 845現(xiàn)在提供了一個(gè)硬件隔離子系統(tǒng)，即安全處理單元 (SPU)，它為高通的移動(dòng)安全解決方案增加了“現(xiàn)有層的類似保險(xiǎn)庫的特性”。

高通的 AI 引擎由多個(gè)硬件和軟件組件組成，在 Snapdragon 845 上具有設(shè)備端 AI 處理功能，將在 Snapdragon 845、835、820 和 660 移動(dòng)平臺(tái)上得到支持。AI 引擎支持 Snapdragon 核心硬件架構(gòu)——Qualcomm Hexagon 矢量處理器、Qualcomm Adreno GPU 和 Qualcomm Kryo CPU。軟件組件包括 Snapdragon 神經(jīng)處理引擎、Android 神經(jīng)網(wǎng)絡(luò) API 和 Haxagon 神經(jīng)網(wǎng)絡(luò)。

得益于異構(gòu)計(jì)算，驍龍 845 的新架構(gòu)帶來了顯著的改進(jìn)。例如，高通表示，與上一代相比，新的攝像頭和視覺處理架構(gòu)可將視頻捕捉、游戲和 XR 應(yīng)用的功耗降低高達(dá) 30%，圖形性能和能效提升高達(dá) 30%。與上一代相比，新 Adreno 630 的結(jié)果。

三星的 Exynos 9 系列：今年早些時(shí)候，三星電子有限公司推出了其最新的高級應(yīng)用處理器 (AP)，即Exynos 9 系列 9810，用于 AI 應(yīng)用和更豐富的多媒體內(nèi)容。該移動(dòng)處理器是三星的第三代定制 CPU (2.9 GHz)，具有超高速千兆位 LTE 調(diào)制解調(diào)器和深度學(xué)習(xí)增強(qiáng)的圖像處理功能。

該處理器擁有一個(gè)全新的八核 CPU，其中四個(gè)是第三代定制核心，可以達(dá)到 2.9 GHz，另外四個(gè)針對效率進(jìn)行了優(yōu)化。三星表示：“通過拓寬管道和改進(jìn)高速緩存的架構(gòu)，單核性能提高了兩倍，多核性能比其前身提高了約 40%?！?/p>

該芯片還增加了新功能，通過基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)增強(qiáng)用戶體驗(yàn)，并通過單獨(dú)的安全處理單元增強(qiáng)安全性，以保護(hù)面部、虹膜和指紋信息等個(gè)人數(shù)據(jù)。Exynos 9 系列 9810 目前處于量產(chǎn)階段。

這些只是目前或即將上市的 AI 處理器選項(xiàng)中的一小部分。然而，通過詢問 Rowen 概述的四個(gè)問題，開發(fā)人員將能夠針對他們特定的嵌入式 AI 項(xiàng)目確定最佳候選人。

審核編輯 黃昊宇