在萬(wàn)物皆可AI（人工智能）的今天，市場(chǎng)上幾乎每家企業(yè)都在宣稱自己的業(yè)務(wù)中有了AI成分。因此，將AI接入極靠近終端客戶的網(wǎng)絡(luò)邊緣也就沒什么懸念了。這里的邊緣人工智能（即Edge AI，或邊緣AI）主要是指將人工智能系統(tǒng)（如預(yù)測(cè)分析、語(yǔ)音或圖像識(shí)別或異常檢測(cè)）與邊緣計(jì)算相結(jié)合的技術(shù)實(shí)踐。

直白地說(shuō)，這樣做的好處是提升了系統(tǒng)反應(yīng)速度，并減少對(duì)網(wǎng)絡(luò)帶寬的需求。邊緣AI的這些特性使之非常適合于對(duì)時(shí)間敏感的應(yīng)用場(chǎng)景，例如自動(dòng)駕駛汽車、智慧城市和工業(yè)物聯(lián)網(wǎng)（IoT）以及可穿戴健康監(jiān)測(cè)設(shè)備等。

邊緣AI的優(yōu)勢(shì)

對(duì)于傳統(tǒng)的人工智能而言，人工智能模型通常位于中央服務(wù)器的后端，例如公共云或數(shù)據(jù)中心，在那里處理和分析發(fā)送到中央位置的數(shù)據(jù)。如果同時(shí)處理和分析太多的數(shù)據(jù)，很可能導(dǎo)致服務(wù)器的延遲。

有了邊緣人工智能，機(jī)器學(xué)習(xí)算法可以直接在給定網(wǎng)絡(luò)的邊緣運(yùn)行，在那些更靠近生成運(yùn)行系統(tǒng)所需的數(shù)據(jù)和信息的地方，例如物聯(lián)網(wǎng)設(shè)備或配備邊緣計(jì)算設(shè)備的機(jī)器。每個(gè)邊緣設(shè)備都可以使用安裝在設(shè)備上的集成AI或機(jī)器學(xué)習(xí)模型來(lái)分析它收集的數(shù)據(jù)，并做出智能決策，且不會(huì)將所有原始數(shù)據(jù)發(fā)送出去，只是將關(guān)鍵的數(shù)據(jù)傳輸?shù)街醒敕?wù)器。

分布式人工智能的概念介于邊緣人工智能和傳統(tǒng)人工智能之間。通過(guò)分布式系統(tǒng)，數(shù)據(jù)在一系列互連設(shè)備上進(jìn)行處理和分析，包括中央服務(wù)器和邊緣設(shè)備，每個(gè)節(jié)點(diǎn)都處理其中的一小部分，其思想是借助分布式處理來(lái)應(yīng)對(duì)大量工作負(fù)載。分布式人工智能的缺點(diǎn)是比邊緣人工智能具有更大的延遲，隱私性和安全性較低，管理起來(lái)也更復(fù)雜。

生成式人工智能、大型語(yǔ)言模型（LLM）和人工智能能力的激增，為AI PC等創(chuàng)新解決方案鋪平了道路，提高了各個(gè)行業(yè)的生產(chǎn)力和效率。邊緣AI PC是專門為推理和訓(xùn)練等任務(wù)設(shè)計(jì)的專用計(jì)算設(shè)備，可以直接在源頭完成復(fù)雜的數(shù)據(jù)處理和機(jī)器學(xué)習(xí)。這種本地化的計(jì)算能力對(duì)于工業(yè)自動(dòng)化、安全和監(jiān)控中的應(yīng)用至關(guān)重要。

邊緣AI可以在各種硬件上運(yùn)行，從現(xiàn)有的CPU到微控制器，以及高級(jí)神經(jīng)網(wǎng)絡(luò)處理設(shè)備。一些常用的邊緣計(jì)算芯片是由Intel、NXP和NVIDIA等大型科技公司制造并提供。據(jù)Markets and Markets的分析預(yù)測(cè)，未來(lái)5年邊緣AI硬件市場(chǎng)規(guī)模預(yù)計(jì)將從2024年的242億美元增長(zhǎng)到2029年的547億美元，在2024年至2029年的預(yù)測(cè)期內(nèi)將以17.7%的復(fù)合年增長(zhǎng)率增長(zhǎng)。

物聯(lián)網(wǎng)（loT）設(shè)備在智能家居、工業(yè)自動(dòng)化、醫(yī)療保健、農(nóng)業(yè)和交通等各個(gè)行業(yè)的快速增長(zhǎng)是邊緣人工智能硬件發(fā)展的重要驅(qū)動(dòng)力。

誰(shuí)在用邊緣AI？

人工智能正日益成為所有行業(yè)和廣泛用例中的普遍和關(guān)鍵工具。隨著邊緣人工智能的成熟，邊緣處理的應(yīng)用范圍不斷擴(kuò)展。Grand View Research的研究數(shù)據(jù)顯示，截至2022年，邊緣人工智能市場(chǎng)規(guī)模為147.88億美元，預(yù)計(jì)2023年至2030年的復(fù)合年增長(zhǎng)率將達(dá)到21%。

邊緣AI能夠以更高的速度、更低的成本和更低的功耗，更安全地完成數(shù)據(jù)的實(shí)時(shí)分析，這使其成為云計(jì)算AI極具吸引力的替代品，制造業(yè)、醫(yī)療保健、智慧城市以及自動(dòng)駕駛汽車等行業(yè)的公司都在加緊Edge AI的應(yīng)用和部署。

在醫(yī)療保健和健康監(jiān)測(cè)行業(yè)，醫(yī)院及其醫(yī)療服務(wù)提供者將從邊緣AI中深深獲益。由于邊緣AI能夠在設(shè)備本地處理數(shù)據(jù)，從而在緊急情況下可快速生成決策并執(zhí)行關(guān)鍵操作?；谌斯ぶ悄艿难潜O(jiān)測(cè)儀和生命體征追蹤器等醫(yī)療設(shè)備，可以為醫(yī)生的決策提供數(shù)據(jù)支持，減輕了他們的工作量。借助邊緣AI，從心臟追蹤器和血壓傳感器等健康監(jiān)測(cè)設(shè)備收集的所有數(shù)據(jù)都可以在本地進(jìn)行處理和分析，從而實(shí)現(xiàn)實(shí)時(shí)分析，助力醫(yī)療專業(yè)人員為患者提供更好的護(hù)理。此外，邊緣AI還能直接在設(shè)備上處理敏感數(shù)據(jù)，減少了個(gè)人健康數(shù)據(jù)在易受攻擊的網(wǎng)絡(luò)中傳輸?shù)娘L(fēng)險(xiǎn)。

邊緣AI的實(shí)現(xiàn)需要結(jié)合恰當(dāng)?shù)挠布④浖?、以及安全、連接和傳感等支持技術(shù)，非常重要的是，能將它們集成到降低復(fù)雜性、開發(fā)進(jìn)程快的系統(tǒng)中。

在今年的CES上，NXP發(fā)布了其醫(yī)療保健AI控制器（AICHI），這是一個(gè)能夠?qū)崟r(shí)安全收集并分析多模態(tài)健康數(shù)據(jù)的邊緣AI平臺(tái)。作為一項(xiàng)概念驗(yàn)證，AICHI充分展示了邊緣AI在醫(yī)療保健領(lǐng)域的巨大潛力。該AI控制器利用環(huán)境傳感器以及非侵入式健康設(shè)備（如血壓監(jiān)測(cè)儀、心電圖貼片、血糖貼片或醫(yī)療智能手表）采集的信息，通過(guò)結(jié)合邊緣AI和調(diào)優(yōu)后的大語(yǔ)言模型（LLM）用于會(huì)話界面（針對(duì)i.MX 95 MPU的eIQ Neutron NPU進(jìn)行了優(yōu)化），AICHI能夠安全、實(shí)時(shí)地收集并分析多模態(tài)健康與傳感器數(shù)據(jù)。這一能力實(shí)現(xiàn)了早期異常檢測(cè)、個(gè)性化護(hù)理以及積極干預(yù)，同時(shí)始終保持較高的安全性與效率標(biāo)準(zhǔn)。

在汽車行業(yè)，相比那些層出不窮的新功能，安全的重要性永遠(yuǎn)排在第一位。當(dāng)一輛自動(dòng)駕駛汽車在繁忙的道路上行駛時(shí)，每一毫秒都很重要，邊緣AI實(shí)現(xiàn)的快速數(shù)據(jù)處理是系統(tǒng)能夠快速響應(yīng)周圍環(huán)境的基礎(chǔ)。

在智能家居系統(tǒng)中，從視頻門鈴到語(yǔ)音控制燈泡以及可監(jiān)控食品消費(fèi)和保質(zhì)期的冰箱，這些設(shè)備今后將不必將所有數(shù)據(jù)從家里發(fā)送到集中式遠(yuǎn)程服務(wù)器進(jìn)行處理，邊緣AI可在現(xiàn)場(chǎng)完成所有操控。此外，利用邊緣AI還可以監(jiān)控供暖、制冷、照明等設(shè)施，以優(yōu)化能源效率。

在智慧城市建設(shè)中，邊緣AI設(shè)備是其關(guān)鍵的組成部分。交通信號(hào)燈上的邊緣AI設(shè)備可以按時(shí)間分析交通模式，調(diào)整交通信號(hào)，優(yōu)化交通流量，避免或減少道路的擁堵。邊緣AI對(duì)計(jì)算機(jī)視覺、物體檢測(cè)和面部識(shí)別的使用使一些安全攝像頭特別有效，它們?cè)试S從任何位置進(jìn)行雙向音頻、數(shù)字變焦和遠(yuǎn)程監(jiān)控。智能電表、位于非常偏遠(yuǎn)地區(qū)的管道和電網(wǎng)設(shè)備的自我監(jiān)控等都將從邊緣AI的應(yīng)用中獲益。

邊緣AI的技術(shù)基石

半導(dǎo)體是邊緣AI的基石，它在技術(shù)上的不斷演進(jìn)保障了邊緣AI任務(wù)所需的高性能和效率?，F(xiàn)在，領(lǐng)先的半導(dǎo)體供應(yīng)商已經(jīng)為高效的邊緣AI設(shè)備設(shè)計(jì)了專用的硬件，一系列的關(guān)鍵組件包括CPU、GPU、NPU等，每個(gè)組件在實(shí)現(xiàn)高級(jí)AI功能方面都發(fā)揮著獨(dú)特的作用。

CPU

CPU是計(jì)算系統(tǒng)的大腦，在AI PC中，它是處理和管理復(fù)雜任務(wù)的中心樞紐。在堅(jiān)固的邊緣AI設(shè)計(jì)中，通常會(huì)在Arm和x86 CPU架構(gòu)之間進(jìn)行選擇。X86架構(gòu)的優(yōu)先考慮是芯片的原始計(jì)算能力，用以實(shí)現(xiàn)多功能性，而Arm架構(gòu)則強(qiáng)調(diào)芯片的高效能和低功耗特性。具體選用哪種架構(gòu)的芯片需依實(shí)際需求而定。

例如Intel的第14代酷睿處理器，旨在處理密集的計(jì)算工作負(fù)載，CPU在速度、效率和多任務(wù)處理能力方面均有顯著提高，是需要強(qiáng)大數(shù)據(jù)處理和快速?zèng)Q策的人工智能應(yīng)用的理想選擇。

在基于Arm架構(gòu)的方案選擇中，NXP的i.MX 8M Plus系列是一款專注于機(jī)器學(xué)習(xí)和視覺、高級(jí)多媒體以及具有高可靠性的工業(yè)自動(dòng)化的應(yīng)用處理器，它內(nèi)置四核或雙核Arm Cortex-A53處理器，帶有神經(jīng)處理單元（NPU），運(yùn)行速率高達(dá)2.3TOPS，完全滿足智慧家庭、智能樓宇、智慧城市和工業(yè)4.0等應(yīng)用中的邊緣AI需求。

圖：i.MX 8M Plus系列系統(tǒng)框圖（圖源：NXP）

GPU

GPU對(duì)于邊緣AI任務(wù)的順利完成至關(guān)重要。能夠執(zhí)行并行處理這一特性對(duì)于處理大型數(shù)據(jù)集和復(fù)雜算法是極其關(guān)鍵的。在AI PC中，NVIDIA RTX系列或A100 Tensor Core GPU等GPU加速了機(jī)器學(xué)習(xí)模型的訓(xùn)練和推理，大大減少了這些過(guò)程所需的時(shí)間。這些GPU在圖像識(shí)別、自然語(yǔ)言處理和復(fù)雜模擬等任務(wù)中特別有效。

NPU

NPU是更大SoC上的一種新的專用處理器或處理單元，專門用于加速AI PC的神經(jīng)網(wǎng)絡(luò)操作和AI任務(wù)。與通用CPU和GPU不同，NPU針對(duì)數(shù)據(jù)驅(qū)動(dòng)的并行計(jì)算進(jìn)行了優(yōu)化，使其在處理視頻和圖像等大量多媒體數(shù)據(jù)以及處理神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)方面非常高效。

TMS320F28P55x系列C2000 MCU，是Taxes Instruments面向邊緣AI應(yīng)用推出的一款具有集成神經(jīng)處理單元（NPU）的實(shí)時(shí)微控制器產(chǎn)品，可實(shí)現(xiàn)高精度、低延遲的故障檢測(cè)。在電動(dòng)汽車充電基礎(chǔ)設(shè)施電源模塊的設(shè)計(jì)和建設(shè)中，可有效執(zhí)行儲(chǔ)能系統(tǒng)中的電弧故障檢測(cè)。

TMS320F28P55x系列MCU使用NPU運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型，能夠減輕主CPU的負(fù)擔(dān)，其延遲時(shí)間比軟件實(shí)現(xiàn)低 5 到 10 倍，可實(shí)現(xiàn)更快、更準(zhǔn)確的決策。此外，在集成NPU上運(yùn)行的模型通過(guò)訓(xùn)練學(xué)習(xí)和適應(yīng)不同的環(huán)境，能幫助系統(tǒng)實(shí)現(xiàn)高于99%的故障檢測(cè)準(zhǔn)確率，從而在邊緣做出更明智的決策。

Taxes Instruments完整的AI工具鏈包括針對(duì)特定應(yīng)用進(jìn)行優(yōu)化和測(cè)試的模型，可幫助不同經(jīng)驗(yàn)水平的工程師輕松完成 AI 模型開發(fā)過(guò)程。利用Taxes Instruments的Edge AI Studio - Model Composer或Tiny ML Modelmaker加載與訓(xùn)練模型，還可獲得高級(jí)功能集。

圖：使用NPU運(yùn)行CNN模型的TMS320F28P55x系列MCU系統(tǒng)框圖（圖源：Taxes Instruments）

為了豐富自己的NPU產(chǎn)品系列，NXP于2025年2月宣布斥資3.07億美元收購(gòu)可編程NPU企業(yè)Kinara。Kinara的產(chǎn)品支持廣泛的邊緣AI應(yīng)用，包括多模態(tài)生成式AI模型，Ara-1是Kinara第一代分立NPU，能夠進(jìn)行先進(jìn)的邊緣AI推理。Ara-2作為第二代NPU，其運(yùn)算能力高達(dá)40TOPS（每秒萬(wàn)億次運(yùn)算），并針對(duì)生成式AI實(shí)現(xiàn)系統(tǒng)級(jí)高性能進(jìn)行了優(yōu)化。Ara-1和Ara-2NPU可以輕松地與嵌入式系統(tǒng)集成，以增強(qiáng)其AI性能，包括對(duì)現(xiàn)有現(xiàn)場(chǎng)系統(tǒng)進(jìn)行升級(jí)。這兩款器件均采用創(chuàng)新的架構(gòu)，能夠映射推理圖，以便在Kinara的可編程專有神經(jīng)處理單元上高效執(zhí)行，更大限度地提高邊緣AI性能。

鑒于AI算法未來(lái)將不斷從CNN演進(jìn)至生成式AI，甚至發(fā)展出智能體AI等新方法，這種可編程N(yùn)PU確保了系統(tǒng)的適應(yīng)性。Ara-1和Ara-2在性能和能效方面表現(xiàn)出色，非常適合用于視覺、語(yǔ)音、手勢(shì)等新興AI應(yīng)用，以及其他各種由生成式AI驅(qū)動(dòng)的多模態(tài)實(shí)現(xiàn)。收購(gòu)?fù)瓿珊?，恩智浦可將分立NPU及其AI軟件集成到公司的處理器、連接、安全和高級(jí)模擬解決方案產(chǎn)品組合中，以進(jìn)一步增強(qiáng)NXP提供從TinyML到生成式AI的完整、可擴(kuò)展AI平臺(tái)的能力。

AI開發(fā)工具

在一系列專用芯片的基礎(chǔ)上，先進(jìn)的算法和AI開發(fā)工具將進(jìn)一步加速邊緣AI的應(yīng)用進(jìn)程。當(dāng)然，從零開始創(chuàng)建AI/機(jī)器學(xué)習(xí)模型需要海量的數(shù)據(jù)和一大批數(shù)據(jù)科學(xué)家?，F(xiàn)在，通過(guò)遷移學(xué)習(xí)可以加快模型開發(fā)過(guò)程。

遷移學(xué)習(xí)是一種熱門技術(shù)，可以將現(xiàn)有神經(jīng)網(wǎng)絡(luò)模型中已經(jīng)學(xué)到的特征提取到新的自定義模型中。NVIDIA TAO工具套件基于TensorFlow和PyTorch構(gòu)建，是NVIDIA TAO框架的低代碼版本，通過(guò)抽象出AI/深度學(xué)習(xí)框架的復(fù)雜性來(lái)加速模型訓(xùn)練過(guò)程。有了TAO工具套件，AI設(shè)計(jì)人員將無(wú)需具備強(qiáng)大的AI專業(yè)知識(shí)或者大型訓(xùn)練數(shù)據(jù)集，只需利用遷移學(xué)習(xí)的強(qiáng)大功能和自己的數(shù)據(jù)對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)，并針對(duì)推理進(jìn)行優(yōu)化，即可自定義構(gòu)建人工智能模型。

NXP是首家將NVIDIA TAO工具套件API直接集成到其人工智能產(chǎn)品（eIQ機(jī)器學(xué)習(xí)開發(fā)環(huán)境）中的半導(dǎo)體供應(yīng)商，并已將NVIDIA經(jīng)過(guò)訓(xùn)練的人工智能模型部署在恩智浦邊緣處理設(shè)備中。借助eIQ機(jī)器學(xué)習(xí)軟件開發(fā)環(huán)境，用戶可在恩智浦的微控制器和微處理器產(chǎn)品組合中利用人工智能算法。

本文小結(jié)

邊緣人工智能是一種利用邊緣位置的有價(jià)值數(shù)據(jù)為深度機(jī)器學(xué)習(xí)提供動(dòng)力的概念。邊緣計(jì)算代表了數(shù)據(jù)處理發(fā)生的位置的轉(zhuǎn)變?，F(xiàn)代技術(shù)使得在網(wǎng)絡(luò)邊緣的遠(yuǎn)程位置執(zhí)行大部分計(jì)算任務(wù)成為可能，這些位置更靠近終端用戶，而不是在距離關(guān)鍵數(shù)據(jù)源非常遙遠(yuǎn)的傳統(tǒng)數(shù)據(jù)中心。

在邊緣結(jié)合人工智能可以實(shí)現(xiàn)原本不可能或不切實(shí)際的功能。除了減少延遲和邊緣計(jì)算固有的安全優(yōu)勢(shì)外，將AI添加到應(yīng)用中還帶來(lái)了由復(fù)雜的ML推動(dòng)的前所未有的可擴(kuò)展性。現(xiàn)在，邊緣AI不再是一種概念，它們已經(jīng)在醫(yī)療保健、智能駕駛、智慧城市、智能家居、智能制造等行業(yè)獲得廣泛應(yīng)用。

在此過(guò)程中，專用的高性能半導(dǎo)體器件以及先進(jìn)的人工智能開發(fā)工具是邊緣AI發(fā)展的基石，并將伴隨著邊緣AI技術(shù)和市場(chǎng)的進(jìn)步而不斷演進(jìn)。