人工智能（Artificial Intelligence，AI）是一門讓機(jī)器進(jìn)行感知、理解、推理和學(xué)習(xí)的技術(shù)，核心的實(shí)現(xiàn)方式是機(jī)器學(xué)習(xí)或深度學(xué)習(xí)，即利用大量數(shù)據(jù)訓(xùn)練模型，使其對圖像、語音、文字、傳感器信號(hào)等輸入數(shù)據(jù)做出準(zhǔn)確的判斷和預(yù)測。AI的推理可以在云端服務(wù)器、邊緣節(jié)點(diǎn)或終端設(shè)備上完成，不同的部署部位決定了系統(tǒng)的時(shí)延、隱私性、帶寬、功耗等關(guān)鍵特性。

1.什么是AIoT

AIoT（Artificial Intelligence of Things）是AI與物聯(lián)網(wǎng)（IoT）的結(jié)合，通過將AI技術(shù)應(yīng)用于IoT設(shè)備和系統(tǒng)，AIoT實(shí)現(xiàn)了更智能、更高效的自動(dòng)化解決方案。AIoT中主要的AI技術(shù)包括端側(cè)AI與邊緣AI。

端側(cè)AI直接在設(shè)備內(nèi)部進(jìn)行AI計(jì)算，例如手機(jī)、攝像頭、手表等。這種方法能夠讓設(shè)備自主完成數(shù)據(jù)處理，不必依賴云端或邊緣節(jié)點(diǎn)進(jìn)行數(shù)據(jù)分析和反饋。端側(cè)AI在數(shù)據(jù)源處直接處理數(shù)據(jù)，能夠顯著降低延遲，具有快速響應(yīng)能力，這對于實(shí)時(shí)性要求較高的應(yīng)用領(lǐng)域，如智能家居、智能健康、智慧城市等，具有重大意義。

邊緣AI則是將模型推理放在靠近數(shù)據(jù)源的網(wǎng)絡(luò)邊緣節(jié)點(diǎn)上進(jìn)行，如邊緣服務(wù)器、智能路由器、工業(yè)計(jì)算機(jī)等，這些節(jié)點(diǎn)擁有比單個(gè)設(shè)備更強(qiáng)的算力。邊緣設(shè)備通常采用MPU或?qū)Ｓ肁I加速硬件，能夠處理更復(fù)雜的任務(wù)，如深度學(xué)習(xí)模型的訓(xùn)練和推理。通過在邊緣進(jìn)行數(shù)據(jù)處理，邊緣AI能夠有效降低中心服務(wù)器的負(fù)擔(dān)，并減少從設(shè)備到云端的數(shù)據(jù)傳輸量，這對于處理大量數(shù)據(jù)流的應(yīng)用至關(guān)重要。

2.TinyML：驅(qū)動(dòng)AIoT發(fā)展的核心力量

Tiny Machine Learning，即TinyML，是將機(jī)器學(xué)習(xí)（Machine Learning，ML）或深度學(xué)習(xí)（Deep Learning，DL）模型壓縮后，能夠部署在MCU/MPU中完成推理的技術(shù)。TinyML模型體積極小，量級(jí)通常在KB到MB之間；功耗低，通常為毫瓦（mW）量級(jí)甚至更低；實(shí)時(shí)性強(qiáng)，推理時(shí)延大概在毫秒（ms）級(jí)別。不依賴網(wǎng)絡(luò)連接，數(shù)據(jù)在本地設(shè)備中完成感知、推理和決策。

TinyML的以上特性解決了傳統(tǒng)云端AI的實(shí)時(shí)性差、功耗大、網(wǎng)絡(luò)依賴等痛點(diǎn)，將AI模型搬進(jìn)每一臺(tái)微型終端中，驅(qū)動(dòng)AIoT的發(fā)展。

3.MCU/MPU：

驅(qū)動(dòng)AIoT運(yùn)行的核心硬件

在AIoT中，MCU和MPU具有不同的應(yīng)用場景和功能，這源于MCU和MPU在設(shè)計(jì)和資源配置上的差異。

MCU在AIoT中主要應(yīng)用場景為端側(cè)AI。由于端側(cè)AI在源頭轉(zhuǎn)換數(shù)據(jù)，因此可以將延遲降到最低，優(yōu)化對時(shí)間敏感應(yīng)用的處理，同時(shí)減少了數(shù)據(jù)傳輸與網(wǎng)絡(luò)運(yùn)營成本，提高能源與成本效率。端側(cè)AI減弱了網(wǎng)絡(luò)依賴性，因此最大程度減少了數(shù)據(jù)和流動(dòng)相關(guān)的安全隱患，將設(shè)備上數(shù)據(jù)處理與硬件信任根緊密耦合，提高了數(shù)據(jù)隱私性和安全性。

MPU因其強(qiáng)大計(jì)算能力、支持多任務(wù)處理能力、實(shí)時(shí)數(shù)據(jù)處理和分析能力，在端側(cè)AI和邊緣AI中均有應(yīng)用。邊緣AI的處理對象統(tǒng)一于實(shí)時(shí)信號(hào)。普遍認(rèn)可邊緣AI的三類處理對象包括圖像數(shù)據(jù)、聲音數(shù)據(jù)和實(shí)時(shí)信號(hào)數(shù)據(jù)，在圖像處理、音頻分析、工業(yè)自動(dòng)化等領(lǐng)域有著廣泛應(yīng)用。

4.瑞薩電子助力AIoT設(shè)計(jì)

瑞薩電子為AI/ML開發(fā)人員提供了一個(gè)綜合解決方案堆棧。豐富的產(chǎn)品系列涵蓋IoT的方方面面，包括感知、連接、計(jì)算和執(zhí)行功能。此外，特別開發(fā)的軟件、工具、解決方案以及合作伙伴生態(tài)系統(tǒng)，為您的AIoT設(shè)計(jì)提供加速助力。

MCU：

RA8P1系列MCU搭載高性能ArmCortex-M85，支持Helium矢量擴(kuò)展，集成了Ethos-U55 NPU，單芯片可實(shí)現(xiàn)0.25TOPS的AI算力和超過7300CoreMarks的CPU性能。

RA8P1 - 1GHz Arm Cortex-M85 and Ethos-U55 NPU Based AI Microcontroller | Renesas

https://www.renesas.com/en/products/ra8p1?queryID=fe74bb5e81f8206cab25772dc6991d33

MPU：

RZ/V系列MPU內(nèi)置瑞薩電子獨(dú)家AI加速器“DRP（Dynamically Reconfigurable Processor)-AI” ，兼具高AI推理性能和低功耗特性，具有從0.5到 80TOPS的廣泛擴(kuò)展性，為各種AI應(yīng)用提供高附加值。

RZ/V Embedded AI MPUs | Renesas

https://www.renesas.com/en/products/microcontrollers-microprocessors/rz-mpus/rzv-embedded-ai-mpus?queryID=63e387e407c81a3bad0eb6912187c7d7

AI/ML軟件：

1Reality AI tools

Reality AI tools可以幫助用戶基于高級(jí)信號(hào)處理生成和構(gòu)建TinyML/Edge AI模型。用戶可以自動(dòng)探索傳感器數(shù)據(jù)并生成優(yōu)化模型。

Reality AI tools全面兼容瑞薩MCU/MPU平臺(tái)，自動(dòng)生成高效且小巧的機(jī)器學(xué)習(xí)模型，并利用云計(jì)算為嵌入式傳感器開發(fā)代碼，廣泛應(yīng)用于新能源、家電和工業(yè)物聯(lián)網(wǎng)領(lǐng)域。

Reality AI Tools | Renesas

https://www.renesas.com/en/software-tool/reality-ai-tools?queryID=458325da3e744dded8b0ef38ed73fe82

圖1.Reality AI工作流程

2RUHMI

瑞薩電子RUHMI（Robust Unified Heterogenous Model Integration）框架是一款集成了嵌入式人工智能編譯器和e2studio的人工智能工具，全面支持RA8P1系列MCU，充分適配Ethos U55，提供圖形化界面和命令行接口，可在幾分鐘內(nèi)生成高度優(yōu)化的模型，并在瑞薩電子嵌入式處理器上高效運(yùn)行。

RUHMI Framework | Renesas

https://www.renesas.com/en/software-tool/ruhmi-framework?queryID=e27b42a4accd8b7bd18276ecb8838516

圖2.RUHMI工作流程

3e-AI

e-AI全面支持瑞薩MCU/MPU平臺(tái)，能夠?qū)?PyTorch、Keras、TensorFlow的已訓(xùn)練模型，或TensorFlow Lite的8位量化模型，轉(zhuǎn)換后輕松導(dǎo)入到e2studio（Renesas的集成開發(fā)環(huán)境）中，適用于能夠在終端設(shè)備上運(yùn)行相對小規(guī)模的AI應(yīng)用。

e-AI Solution | Renesas

https://www.renesas.com/en/key-technologies/artificial-intelligence/e-ai?queryID=271da70f00e035e0c36fa579e201ef36

圖3.e-AI工作流程

e-AI Translator將Pytorch與TensorFlow等開源機(jī)器學(xué)習(xí)/深度學(xué)習(xí)框架中已訓(xùn)練好的AI網(wǎng)絡(luò)轉(zhuǎn)換為MCU/MPU開發(fā)環(huán)境可使用的格式；e-AI Checker 基于e-AI Translator的輸出結(jié)果，并參考所選MCU/MP的信息，計(jì)算ROM/RAM的占用大小以及推理執(zhí)行的處理時(shí)間。

4DRP-AI Translator

DRP?AI Translator是一款能夠從已訓(xùn)練的AI模型（ONNX格式）生成可在Renesas RZ/V系列MPU上運(yùn)行的目標(biāo)代碼的工具，通過對已訓(xùn)練的AI模型的計(jì)算圖結(jié)構(gòu)進(jìn)行優(yōu)化，并采用FP16和int8量化，能夠最大限度降低內(nèi)存訪問次數(shù)，實(shí)現(xiàn)高效、快速的AI推理處理。用戶也可以根據(jù)實(shí)際工程需求添加前處理或后處理，例如歸一化、尺寸調(diào)整等，這些前后處理工作也由DRP以高速方式完成。

AI Tool：DRP-AI Translator | Renesas

https://www.renesas.com/en/key-technologies/artificial-intelligence/ai-tool-drp-ai-translator?queryID=13ef7a96004c7a5bc54c1659288f1260

圖4.DRP-AI Translator工作流程

只需在Linux PC上指定ONNX文件并運(yùn)行DRP?AI Translator，即可輕松生成可直接在評(píng)估板上實(shí)現(xiàn)的目標(biāo)代碼。

5DRP-AI TVM

Apache TVM是Apache軟件基金會(huì)（ASF）旗下的開源項(xiàng)目，致力于建設(shè)一個(gè)由機(jī)器學(xué)習(xí)、編譯器與系統(tǒng)架構(gòu)領(lǐng)域的專家和從業(yè)者組成的多元化社區(qū)。TVM是一個(gè)可訪問、可擴(kuò)展及自動(dòng)化的開源框架，為任意硬件平臺(tái)優(yōu)化當(dāng)前和新興的機(jī)器學(xué)習(xí)模型。

DRP?AI?TVM通過將DRP?AI Translator嵌入 Apache?TVM開源深度學(xué)習(xí)編譯器框架，實(shí)現(xiàn)了從已訓(xùn)練的AI模型生成面向Renesas RZ/V系列MPU的運(yùn)行時(shí)可執(zhí)行文件的功能。

當(dāng)模型層能夠被DRP?AI Translator成功轉(zhuǎn)換時(shí)，這些層將在DRP?AI硬件加速器上執(zhí)行；對于未能轉(zhuǎn)換的層，系統(tǒng)會(huì)自動(dòng)將其調(diào)度至CPU處理，因而能夠兼容并支持更豐富的模型結(jié)構(gòu)。

AI Tool: DRP-AI TVM | Renesas

https://www.renesas.com/en/key-technologies/artificial-intelligence/ai-tool-drp-ai-tvm?queryID=cc0df44f133b095434271a20dcfc9d77

圖5.DRP-AI TVM工作流程

5.總結(jié)

AIoT將AI推理搬到物聯(lián)網(wǎng)終端或邊緣節(jié)點(diǎn)，實(shí)現(xiàn)低時(shí)延、低功耗和高隱私的智能化應(yīng)用。TinyML通過模型壓縮，使AI模型在資源受限的MCU上本地運(yùn)行；而MPU搭配專用加速器（如DRP?AI）則提供更強(qiáng)算力，支持邊緣AI的復(fù)雜任務(wù)。瑞薩電子提供從MCU/MPU到完整的開發(fā)工具鏈（Reality AI、RUHMI、e?AI、DRP?AI Translator/TVM），幫助用戶快速完成AIoT方案的感知、模型生成、編譯和部署。簡言之，AIoT+TinyML+瑞薩全棧生態(tài)，實(shí)現(xiàn)了端側(cè)和邊緣智能的高效落地。