邊緣計算是一個難題，它為IT架構(gòu)師和嵌入式開發(fā)人員提供了多種選擇。最終，它可以創(chuàng)建邊緣AI，從而實現(xiàn)更快、更豐富的決策。

基于AI的機器學(xué)習(xí)技術(shù)已經(jīng)超越了基于云的數(shù)據(jù)中心，因為重要的IoT傳感器數(shù)據(jù)的處理越來越接近數(shù)據(jù)最初所在的位置。

此舉將由配備了新的人工智能（AI）的芯片實現(xiàn)。這些產(chǎn)品包括嵌入式微控制器，其存儲器和功耗要求比GPU（圖形處理單元）、FPGA（現(xiàn)場可編程門陣列）更小，以及其他專門的IC類型首先用于在Amazon Web Services，Microsoft和Google的云數(shù)據(jù)中心解決數(shù)據(jù)科學(xué)家們的問題。

正是在這些云服務(wù)，機器學(xué)習(xí)和相關(guān)的神經(jīng)網(wǎng)絡(luò)才得以爆發(fā)。但是物聯(lián)網(wǎng)的興起造成了數(shù)據(jù)沖擊，這也需要基于邊緣的機器學(xué)習(xí)。

現(xiàn)在，云提供商、物聯(lián)網(wǎng)（IoT）平臺制造商以及其他企業(yè)看到了在將數(shù)據(jù)移交給云端進行分析之前在邊緣處理數(shù)據(jù)的好處。

在邊緣做出AI決策可以減少延遲，并使對傳感器數(shù)據(jù)的實時響應(yīng)更加可行和適用。盡管如此，人們稱之為“邊緣AI”的形式仍然很多種。以及如何利用下一代物聯(lián)網(wǎng)為其提供支持，在呈現(xiàn)高質(zhì)量的可行數(shù)據(jù)方面提出了挑戰(zhàn)。

邊緣計算工作量增長

基于邊緣的機器學(xué)習(xí)可能會推動IoT市場中AI的顯著增長，據(jù)Mordor Intelligence估計，到2026年，CAGR將增長27.3％。

Eclipse Foundation IoT Group在2020年的研究支持了這一點，IoT開發(fā)人員中最常引用的邊緣計算工作負(fù)載中，AI將占30％。

對于許多應(yīng)用而言，復(fù)制在云上啟用并行機器學(xué)習(xí)的無休止的服務(wù)器機架是不可行的。受益于本地處理的IoT邊緣案例很多，并且通過各種操作監(jiān)控案例來突出說明。例如，處理器可以監(jiān)視由石油鉆井平臺上的壓力表變化觸發(fā)的事件，在遙遠的電源線上檢測到異常情況或在工廠捕獲到的視頻錄像。

最后一種情況是最廣泛使用的一種。在邊緣分析圖像數(shù)據(jù)的AI的應(yīng)用已證明是一塊肥沃的土地。但是，使用物聯(lián)網(wǎng)設(shè)備收集的數(shù)據(jù)進行事件處理有許多復(fù)雜的處理需求。

邊緣計算的價值

Hyperion Research高級顧問史蒂夫·康威（Steve Conway）表示，基于云的物聯(lián)網(wǎng)分析仍將持續(xù)下去。但是，距離數(shù)據(jù)必須行進會帶來處理延遲。將數(shù)據(jù)移入和移出云自然會產(chǎn)生滯后，往返需要時間。

“有一種叫做光速的東西，”康韋打趣道。 “而且你不能超過它。”因此，處理的層次結(jié)構(gòu)正在邊緣發(fā)展。

除了設(shè)備和板級實施之外，此層次結(jié)構(gòu)還包括制造中的IoT網(wǎng)關(guān)和數(shù)據(jù)中心，這些擴展了可用于下一代IoT系統(tǒng)開發(fā)的架構(gòu)選項。

SAS物聯(lián)網(wǎng)和Edge部門產(chǎn)品營銷高級經(jīng)理Saurabh Mishra表示，從長遠來看，邊緣AI架構(gòu)是數(shù)據(jù)處理重點的又一代轉(zhuǎn)變，但這是關(guān)鍵。

“這里有進步，這個想法是集中您的數(shù)據(jù)。您可以為某些行業(yè)和某些用例（在數(shù)據(jù)中心等環(huán)境中已創(chuàng)建數(shù)據(jù)的那些用例）執(zhí)行此操作?！彼f。

Mishra說，SAS已經(jīng)創(chuàng)建了經(jīng)過驗證的邊緣物聯(lián)網(wǎng)參考架構(gòu)，客戶可以在此基礎(chǔ)上構(gòu)建AI和分析應(yīng)用，這實際上是不可能高效且經(jīng)濟地將其移至云中進行分析的。在云和邊緣AI之間取得平衡將是一項基本要求。

Eclipse基金會物聯(lián)網(wǎng)和邊緣計算項目經(jīng)理FrédéricDesbiens表示，要找到平衡，首先要考慮運行機器學(xué)習(xí)模型所需的數(shù)據(jù)量。這就是新的智能處理器的發(fā)揮作用的地方。

“邊緣的AI加速器可以在將數(shù)據(jù)發(fā)送到其他地方之前進行本地處理。但是，這需要您考慮功能要求，包括所需的軟件堆棧和存儲，” Desbiens說。

AI 邊緣芯片豐富

基于云的機器學(xué)習(xí)的興起受到高內(nèi)存帶寬GPU（通常以NVIDIA半導(dǎo)體形式）的興起的影響。這項成功引起了其他芯片制造商的關(guān)注。

內(nèi)部AI專用處理器緊隨其后的是超大規(guī)模云服務(wù)玩家Google、AWS和Microsoft。

AI芯片之戰(zhàn)使得AMD、Intel、Qualcomm和ARM Technology（去年被NVIDIA收購）等領(lǐng)先企業(yè)并駕齊驅(qū)。

反過來，Maxim Integrated、NXP Semiconductors、Silicon Labs、STM Microelectronics等嵌入式微處理器和片上系統(tǒng)的主流開始致力于將AI功能添加到邊緣。

如今，物聯(lián)網(wǎng)和邊緣處理需求吸引了包括EdgeQ、Graphcore、Hailo、Mythic等在內(nèi)的AI芯片初創(chuàng)公司。目前，邊緣處理還受到限制。Hyperion的Steve Conway強調(diào)說，障礙包括可用內(nèi)存、能耗和成本。

Conway說：“嵌入式處理器非常重要，因為能耗非常重要。GPU和CPU并不是小小的模具，特別是GPU消耗大量能源?！?/p>

軟硬件的配合

Maxim Integrated公司的微控制器和軟件算法業(yè)務(wù)執(zhí)行董事克里斯·阿迪斯（Kris Ardis）建議，數(shù)據(jù)移動是邊緣能耗的一個因素。最近，該公司發(fā)布了MAX78000，該器件將低功耗控制器與神經(jīng)網(wǎng)絡(luò)處理器配對，可在電池供電的IoT設(shè)備上運行。

“如果您可以在最邊緣進行計算，則可以節(jié)省帶寬和通信能力。挑戰(zhàn)在于采用神經(jīng)網(wǎng)絡(luò)并使其適合相應(yīng)的配件?！?Ardis說。

他指出，基于該芯片的單個物聯(lián)網(wǎng)設(shè)備可以為物聯(lián)網(wǎng)網(wǎng)關(guān)提供支持，物聯(lián)網(wǎng)網(wǎng)關(guān)也可以發(fā)揮重要作用，將來自設(shè)備的數(shù)據(jù)匯總起來，并進一步過濾可能流向云的數(shù)據(jù)，以分析整體操作。

其他半導(dǎo)體設(shè)備制造商也正在適應(yīng)一種趨勢，即計算越來越接近數(shù)據(jù)所在的位置。它們是擴展開發(fā)人員功能的工作的一部分，即使他們的硬件選擇不斷增長。

英特爾物聯(lián)網(wǎng)部門副總裁比爾·皮爾森（Bill Pearson）承認(rèn)，曾經(jīng)有一段時間“ CPU是所有問題的答案”。像邊緣AI這樣的趨勢現(xiàn)在掩蓋了這一點。

他使用術(shù)語“ XPU”來表示支持不同用途的各種芯片類型。但是，他補充說，應(yīng)該通過單個軟件應(yīng)用程序編程接口（API）來支持這種多樣性。

為了幫助軟件開發(fā)人員，英特爾最近發(fā)布了OpenVINO工具包的2021.2版本，用于在邊緣系統(tǒng)上進行推理。它為包括CPU、GPU和Movidius視覺處理單元在內(nèi)的Intel組件提供了通用的開發(fā)環(huán)境。皮爾森表示，英特爾還為邊緣軟件提供了DevCloud，以預(yù)測不同英特爾硬件上神經(jīng)網(wǎng)絡(luò)推理的性能。

NVIDIA企業(yè)與邊緣計算部門副總裁兼總經(jīng)理Justin Boitano表示：“該行業(yè)必須使非AI專家的工作變得更加輕松?！?/p>

這可能采用NVIDIA Jetson的形式，其中包括一個低功耗ARM處理器。 Jetson以60年代的科幻動畫片系列而得名，旨在為移動嵌入式系統(tǒng)提供GPU加速的并行處理。

最近，為簡化視覺系統(tǒng)的開發(fā)，NVIDIA推出了Jetson JetPack 4.5，其中包括其視覺編程接口（VPI）的首個生產(chǎn)版本。

Boitano說，隨著時間的推移，邊緣的AI開發(fā)瑣事將更多地由IT部門來處理，而由對機器學(xué)習(xí)有深入了解的AI研究人員將減少處理。

Tiny ML的興起

在終端和邊緣側(cè)的微處理器上實現(xiàn)的機器學(xué)習(xí)過程就叫做tiny Machine Learning（即tinyML）。

將機器學(xué)習(xí)方法從廣闊的云遷移到受約束的邊緣設(shè)備所需的技能并不容易獲得。但是正在應(yīng)用新的軟件技術(shù)來實現(xiàn)緊湊的邊緣AI，同時減輕了開發(fā)人員的工作量。

實際上，行業(yè)已經(jīng)經(jīng)歷了“Tiny ML”方法的興起。這些功能以更低的功耗完成工作并使用有限的內(nèi)存，同時實現(xiàn)了每秒的推理能力。

已經(jīng)出現(xiàn)了各種降低邊緣處理要求的機器學(xué)習(xí)工具，包括Apache MXNet， Edge Impulse’s EON， Facebook’s Glow， Foghorn Lightning Edge ML， Google TensorFlow Lite， Microsoft ELL， OctoML’s Octomizer等。

縮小神經(jīng)網(wǎng)絡(luò)處理的大小是這里的主要目標(biāo)，并且這些技術(shù)有很多種。Foghorn的首席技術(shù)官Sastry Malladi表示，其中包括量化、二值化和修正，F(xiàn)oghorn是支持多種邊緣和內(nèi)部部署實施的軟件平臺的制造商。

神經(jīng)網(wǎng)絡(luò)處理的量化側(cè)重于使用低位寬數(shù)學(xué)。反過來，二值化用于減少計算的復(fù)雜性。并且，修正用于減少必須處理的神經(jīng)節(jié)點的數(shù)量。

Malladi承認(rèn)，對于大多數(shù)開發(fā)人員而言，這是一項艱巨的任務(wù)，特別是在一系列硬件上。他說，F(xiàn)oghorn的Lightning平臺背后的努力旨在抽象化邊緣機器學(xué)習(xí)的復(fù)雜性。

例如，目標(biāo)是允許生產(chǎn)線操作員和可靠性工程師使用拖放式界面，而不是應(yīng)用程序編程界面和軟件開發(fā)套件，因為它們不那么直觀，并且需要更多的編碼知識。

簡化嵌入式機器學(xué)習(xí)開發(fā)平臺制造商Edge Impulse的重點還在于簡化開發(fā)并在多種類型的Edge AI硬件上運行的軟件。

Edge Impulse首席執(zhí)行官Zach Shelby表示，最終，機器學(xué)習(xí)的成熟意味著模型的小型化。

“研究的方向是越來越復(fù)雜的越來越大的模型，”謝爾比說。 “但是，隨著機器學(xué)習(xí)達到黃金時段，人們開始再次關(guān)注效率?！睆亩肓薚iny ML。

他說，必須有能夠在現(xiàn)有物聯(lián)網(wǎng)基礎(chǔ)設(shè)施上運行的軟件，同時支持通往新硬件品種的道路。 Shelby繼續(xù)說，Edge Impulse工具允許對可用硬件上的算法和事件進行基于云的建模，以便用戶在進行選擇之前可以嘗試不同的選項。

關(guān)注未來

邊緣化方面，計算機視覺已成為AI的重要用例，尤其是深度學(xué)習(xí)的形式，它采用多層神經(jīng)網(wǎng)絡(luò)和無監(jiān)督技術(shù)來實現(xiàn)圖像模式識別的結(jié)果。

根據(jù)Forrester Research的首席分析師Kjell Carlsson的說法，當(dāng)今的視覺系統(tǒng)架構(gòu)正在發(fā)生變化，因為最邊緣的相機通過嵌入式硬件為深度學(xué)習(xí)增加了處理能力。但是找到最佳的應(yīng)用目標(biāo)可能是一個挑戰(zhàn)。

他說：“人工智能的問題在于，您最終會更多地關(guān)注‘新的’用例。”

Carlsson說，開發(fā)這些未開發(fā)的解決方案存在固有的風(fēng)險，因此，一種有用的策略是，著眼于具有高成本效益比的用例，即使模式識別的準(zhǔn)確性可能落后于成熟的現(xiàn)有系統(tǒng)。

總體而言，Carlsson表示，邊緣AI可以幫助實現(xiàn)IoT的最初承諾，而隨著實施者對各種潛在用例進行分類時，邊緣AI有時會滯后。

“物聯(lián)網(wǎng)本身有一些局限性?，F(xiàn)在，借助AI，機器學(xué)習(xí)和深度學(xué)習(xí)，使物聯(lián)網(wǎng)更加適用-并具有很高的價值，”他說。
編輯：lyn