將 AI 移至邊緣的影響

在之前的博文中，我們探討了將人工智能 (AI) 移至網(wǎng)絡邊緣的有力論據(jù)。在本期中，我們將討論哪些 AI 應用程序有利于這種方法。作為起點，回顧在網(wǎng)絡邊緣實施 AI 的原因給出了一些強烈的提示。檢查以下任何一項是否適用于該項目：

無法訪問快速、穩(wěn)定的網(wǎng)絡連接

產(chǎn)品在受限環(huán)境中運行

該項目需要交付實時人工智能

預算有限

鑒于這些因素，哪些特定的人工智能項目可以通過在邊緣運行機器學習 (ML) 模型變得更容易？在這里，我們將研究將 AI 和 ML 模型（例如虛擬助手、面部識別和實時監(jiān)控應用程序）移動到更靠近邊緣的好處。

虛擬助理

正如往常一樣，Apple 在 2010 年推出 Siri，引領了潮流。這為許多其他虛擬助手鋪平了道路，其中最著名的是亞馬遜的 Alexa 和 Google Assistant。虛擬助手讓科幻式的語音控制成為現(xiàn)實，其工作方式如下：

首先說喚醒詞或啟動助手。對于 Amazon Echo 等獨立設備，設備會使用簡單的語音模式匹配持續(xù)偵聽喚醒詞并在本地進行處理。這就是為什么 Alexa 只能識別某些喚醒詞。

該設備現(xiàn)在連接到基于云的服務器并發(fā)送它聽到的錄音。

云服務器運行語音到文本 ML 模型，將錄制的語音轉(zhuǎn)換為自然語言文本塊。

使用自然語言處理來解析文本以提取含義。

服務器計算出請求的內(nèi)容并將適當?shù)拿罨騼?nèi)容發(fā)送回設備。

很容易看出將 ML 模型移動到邊緣如何增強體驗：語音助手的響應速度更快，不需要互聯(lián)網(wǎng)連接，并且可以嵌入語音控制。被調(diào)用的應用程序本身可能需要網(wǎng)絡連接，例如音樂流服務。

面部識別

面部識別是人工智能發(fā)展最快的應用之一。該技術仍在不斷發(fā)展，并伴隨著一些問題。2016 年，亞馬遜的 Rekognition 深陷爭議和種族主義指控。在對一組 25,000 張圖像進行訓練后，該系統(tǒng)錯誤地將 28 名美國少數(shù)民族國會議員識別為已知罪犯。

2019 年，英國最大的警察部隊大都會警察局對面部識別技術進行的早期試驗表明，該技術在 81% 的情況下是不準確的。然而，最新的面部識別系統(tǒng)正變得更加準確。今年早些時候，大都會博物館宣布將采用該技術掃描大型活動中已知的麻煩制造者。

許多需要面部識別的用例需要該技術近乎實時地工作。因此，應用程序依賴于將 ML 模型移動到網(wǎng)絡邊緣。Met 采用的系統(tǒng)基于 NEC NeoFace ? Watch，它是完全獨立的，可以實時運行。NEC 將其技術瞄準其他幾個市場，包括零售、企業(yè)活動、節(jié)日和其他大型活動以及交通運輸。

實時監(jiān)控

重工業(yè)和采礦業(yè)依賴于極其龐大和昂貴的機械。如果這種機器發(fā)生意外故障，公司可能會損失數(shù)百萬美元。例如，許多采礦作業(yè)依賴于巨大的高功率泵，這些泵使工作區(qū)域遠離水并將開采的泥漿泵送到加工廠。如果這些泵中的一個發(fā)生災難性故障，整個操作就會停止。因此，礦業(yè)公司將大量資源投入到 AI 系統(tǒng)中，這些系統(tǒng)旨在防患于未然地預測潛在故障。

目前，這些系統(tǒng)通常基于從連接到設備的物聯(lián)網(wǎng) (IoT) 傳感器傳輸數(shù)據(jù)。然后在中央位置處理此數(shù)據(jù)，并將任何必要的警告發(fā)送回適當?shù)牟僮鲉T。然而，礦山和建筑工地可能橫跨數(shù)十公里，通常處于惡劣地形中，因此將 ML 模型直接集成到邊緣設備中將簡化整個過程。

在邊緣運行 AI 和 ML 模型需要什么？

將 AI 移動到網(wǎng)絡邊緣需要三件事：

適用硬件

新工具

創(chuàng)建 ML 模型的新范例

讓我們看看這些要求中的每一個。

優(yōu)化的硬件

如前所述，ML 模型通常依賴于大量并行操作。坦率地說，他們需要原始計算能力。然而，計算能力與設備實際消耗的功率之間總是存在權衡。要將 ML 模型移動到邊緣，需要消耗盡可能少的功率的設備。當設備需要嵌入時更是如此。幸運的是，現(xiàn)在可以使用范圍廣泛的高性能、低功耗 MCU。

適用工具

接下來需要的是一個合適的工具鏈，用于在微控制器上運行 ML 模型。絕大多數(shù) ML 框架設計為在 64 位 Intel 系列 CPU 或圖形處理單元 (GPU) 上運行。相比之下，所有適用的微控制器都具有 32 位精簡指令集架構(gòu)，例如 ARM ? Cortex ?系列 MCU。但是， TensorFlow Lite等 ML 框架使 ML 能夠在此類 MCU 上運行。

一次建模，隨處運行

難題的最后一塊是創(chuàng)建和運行ML模型的不同范例。這可以用短語“建模一次，在任何地方運行”來概括。本質(zhì)上，這正是它的意思：創(chuàng)建模型，通常使用高功率ML優(yōu)化機器，然后使用工具鏈將其轉(zhuǎn)換為可以在任何微控制器上運行的代碼。不幸的是，這使我們無法從持續(xù)學習或強化學習中獲益。

權衡

下表描述了ML模型在邊緣運行時所做的一些權衡（表1）。希望它能提供一些指導，幫助您決定是否將下一個人工智能項目推向邊緣。

表1：邊緣運行ML模型的權衡

結(jié)論

將ML模型移動到邊緣為AI提供了新的用例，這有望帶來一場可嵌入的AI革命。MCU硬件和在這些MCU上運行ML模型所需的工具的發(fā)展為此類技術的擴展提供了基礎。

審核編輯hhy