將 AI 移至邊緣的影響

在之前的博文中，我們探討了將人工智能 (AI) 移至網(wǎng)絡(luò)邊緣的有力論據(jù)。在本期中，我們將討論哪些 AI 應(yīng)用程序有利于這種方法。作為起點(diǎn)，回顧在網(wǎng)絡(luò)邊緣實(shí)施 AI 的原因給出了一些強(qiáng)烈的提示。檢查以下任何一項(xiàng)是否適用于該項(xiàng)目：

無(wú)法訪問(wèn)快速、穩(wěn)定的網(wǎng)絡(luò)連接

產(chǎn)品在受限環(huán)境中運(yùn)行

該項(xiàng)目需要交付實(shí)時(shí)人工智能

預(yù)算有限

鑒于這些因素，哪些特定的人工智能項(xiàng)目可以通過(guò)在邊緣運(yùn)行機(jī)器學(xué)習(xí) (ML) 模型變得更容易？在這里，我們將研究將 AI 和 ML 模型（例如虛擬助手、面部識(shí)別和實(shí)時(shí)監(jiān)控應(yīng)用程序）移動(dòng)到更靠近邊緣的好處。

虛擬助理

正如往常一樣，Apple 在 2010 年推出 Siri，引領(lǐng)了潮流。這為許多其他虛擬助手鋪平了道路，其中最著名的是亞馬遜的 Alexa 和 Google Assistant。虛擬助手讓科幻式的語(yǔ)音控制成為現(xiàn)實(shí)，其工作方式如下：

首先說(shuō)喚醒詞或啟動(dòng)助手。對(duì)于 Amazon Echo 等獨(dú)立設(shè)備，設(shè)備會(huì)使用簡(jiǎn)單的語(yǔ)音模式匹配持續(xù)偵聽(tīng)喚醒詞并在本地進(jìn)行處理。這就是為什么 Alexa 只能識(shí)別某些喚醒詞。

該設(shè)備現(xiàn)在連接到基于云的服務(wù)器并發(fā)送它聽(tīng)到的錄音。

云服務(wù)器運(yùn)行語(yǔ)音到文本 ML 模型，將錄制的語(yǔ)音轉(zhuǎn)換為自然語(yǔ)言文本塊。

使用自然語(yǔ)言處理來(lái)解析文本以提取含義。

服務(wù)器計(jì)算出請(qǐng)求的內(nèi)容并將適當(dāng)?shù)拿罨騼?nèi)容發(fā)送回設(shè)備。

很容易看出將 ML 模型移動(dòng)到邊緣如何增強(qiáng)體驗(yàn)：語(yǔ)音助手的響應(yīng)速度更快，不需要互聯(lián)網(wǎng)連接，并且可以嵌入語(yǔ)音控制。被調(diào)用的應(yīng)用程序本身可能需要網(wǎng)絡(luò)連接，例如音樂(lè)流服務(wù)。

面部識(shí)別

面部識(shí)別是人工智能發(fā)展最快的應(yīng)用之一。該技術(shù)仍在不斷發(fā)展，并伴隨著一些問(wèn)題。2016 年，亞馬遜的 Rekognition 深陷爭(zhēng)議和種族主義指控。在對(duì)一組 25,000 張圖像進(jìn)行訓(xùn)練后，該系統(tǒng)錯(cuò)誤地將 28 名美國(guó)少數(shù)民族國(guó)會(huì)議員識(shí)別為已知罪犯。

2019 年，英國(guó)最大的警察部隊(duì)大都會(huì)警察局對(duì)面部識(shí)別技術(shù)進(jìn)行的早期試驗(yàn)表明，該技術(shù)在 81% 的情況下是不準(zhǔn)確的。然而，最新的面部識(shí)別系統(tǒng)正變得更加準(zhǔn)確。今年早些時(shí)候，大都會(huì)博物館宣布將采用該技術(shù)掃描大型活動(dòng)中已知的麻煩制造者。

許多需要面部識(shí)別的用例需要該技術(shù)近乎實(shí)時(shí)地工作。因此，應(yīng)用程序依賴于將 ML 模型移動(dòng)到網(wǎng)絡(luò)邊緣。Met 采用的系統(tǒng)基于 NEC NeoFace ? Watch，它是完全獨(dú)立的，可以實(shí)時(shí)運(yùn)行。NEC 將其技術(shù)瞄準(zhǔn)其他幾個(gè)市場(chǎng)，包括零售、企業(yè)活動(dòng)、節(jié)日和其他大型活動(dòng)以及交通運(yùn)輸。

實(shí)時(shí)監(jiān)控

重工業(yè)和采礦業(yè)依賴于極其龐大和昂貴的機(jī)械。如果這種機(jī)器發(fā)生意外故障，公司可能會(huì)損失數(shù)百萬(wàn)美元。例如，許多采礦作業(yè)依賴于巨大的高功率泵，這些泵使工作區(qū)域遠(yuǎn)離水并將開(kāi)采的泥漿泵送到加工廠。如果這些泵中的一個(gè)發(fā)生災(zāi)難性故障，整個(gè)操作就會(huì)停止。因此，礦業(yè)公司將大量資源投入到 AI 系統(tǒng)中，這些系統(tǒng)旨在防患于未然地預(yù)測(cè)潛在故障。

目前，這些系統(tǒng)通常基于從連接到設(shè)備的物聯(lián)網(wǎng) (IoT) 傳感器傳輸數(shù)據(jù)。然后在中央位置處理此數(shù)據(jù)，并將任何必要的警告發(fā)送回適當(dāng)?shù)牟僮鲉T。然而，礦山和建筑工地可能橫跨數(shù)十公里，通常處于惡劣地形中，因此將 ML 模型直接集成到邊緣設(shè)備中將簡(jiǎn)化整個(gè)過(guò)程。

在邊緣運(yùn)行 AI 和 ML 模型需要什么？

將 AI 移動(dòng)到網(wǎng)絡(luò)邊緣需要三件事：

適用硬件

新工具

創(chuàng)建 ML 模型的新范例

讓我們看看這些要求中的每一個(gè)。

優(yōu)化的硬件

如前所述，ML 模型通常依賴于大量并行操作。坦率地說(shuō)，他們需要原始計(jì)算能力。然而，計(jì)算能力與設(shè)備實(shí)際消耗的功率之間總是存在權(quán)衡。要將 ML 模型移動(dòng)到邊緣，需要消耗盡可能少的功率的設(shè)備。當(dāng)設(shè)備需要嵌入時(shí)更是如此。幸運(yùn)的是，現(xiàn)在可以使用范圍廣泛的高性能、低功耗 MCU。

適用工具

接下來(lái)需要的是一個(gè)合適的工具鏈，用于在微控制器上運(yùn)行 ML 模型。絕大多數(shù) ML 框架設(shè)計(jì)為在 64 位 Intel 系列 CPU 或圖形處理單元 (GPU) 上運(yùn)行。相比之下，所有適用的微控制器都具有 32 位精簡(jiǎn)指令集架構(gòu)，例如 ARM ? Cortex ?系列 MCU。但是， TensorFlow Lite等 ML 框架使 ML 能夠在此類 MCU 上運(yùn)行。

一次建模，隨處運(yùn)行

難題的最后一塊是創(chuàng)建和運(yùn)行ML模型的不同范例。這可以用短語(yǔ)“建模一次，在任何地方運(yùn)行”來(lái)概括。本質(zhì)上，這正是它的意思：創(chuàng)建模型，通常使用高功率ML優(yōu)化機(jī)器，然后使用工具鏈將其轉(zhuǎn)換為可以在任何微控制器上運(yùn)行的代碼。不幸的是，這使我們無(wú)法從持續(xù)學(xué)習(xí)或強(qiáng)化學(xué)習(xí)中獲益。

權(quán)衡

下表描述了ML模型在邊緣運(yùn)行時(shí)所做的一些權(quán)衡（表1）。希望它能提供一些指導(dǎo)，幫助您決定是否將下一個(gè)人工智能項(xiàng)目推向邊緣。

表1：邊緣運(yùn)行ML模型的權(quán)衡

結(jié)論

將ML模型移動(dòng)到邊緣為AI提供了新的用例，這有望帶來(lái)一場(chǎng)可嵌入的AI革命。MCU硬件和在這些MCU上運(yùn)行ML模型所需的工具的發(fā)展為此類技術(shù)的擴(kuò)展提供了基礎(chǔ)。

審核編輯hhy