續(xù)接上篇，我們一起看看RA8P1如何通過(guò)兩個(gè)應(yīng)用示例幫助簡(jiǎn)化AI實(shí)現(xiàn)。

應(yīng)用示例1：RA8P1上的圖像分類(lèi)

圖 4：圖像分類(lèi)系統(tǒng)框圖

上圖顯示了圖像分類(lèi)應(yīng)用程序?qū)崿F(xiàn)。RA8P1將構(gòu)建此視覺(jué)AI應(yīng)用程序所需的CPU內(nèi)核、NPU、內(nèi)存和外設(shè)集成在單個(gè)芯片上。應(yīng)用程序會(huì)分析輸入圖像并為其分配預(yù)先分配的標(biāo)簽或類(lèi)別。神經(jīng)網(wǎng)絡(luò)模型在龐大的圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練（其中每張圖像都標(biāo)有類(lèi)別），并部署在RA8P1 MCU上。

為了進(jìn)行推理，將新的輸入圖像輸入到模型中，并通過(guò)經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)的各層。然后，輸出層提供所有類(lèi)別的概率分布，并將概率最高的類(lèi)別分配為圖像的標(biāo)簽。然后，可以將此輸出數(shù)據(jù)（圖像標(biāo)簽和準(zhǔn)確性）發(fā)送到顯示器或云。在我們的實(shí)施中，我們看到與使用CPU內(nèi)核相比，使用Ethos-U55的推理速度提高了33倍。

圖 5：RA8P1上的圖像分類(lèi)和性能比較，NPU與CPU

圖像分類(lèi)可用于各種應(yīng)用：

安全–危險(xiǎn)品識(shí)別、人員識(shí)別、異常檢測(cè)

零售–按類(lèi)別創(chuàng)建產(chǎn)品目錄、庫(kù)存管理

農(nóng)業(yè)–識(shí)別作物病害、植物分類(lèi)

智慧城市–識(shí)別交通信號(hào)燈/標(biāo)志和行人

智能電器–識(shí)別冰箱內(nèi)的物體

應(yīng)用示例 2：RA8P1上的駕駛員監(jiān)控系統(tǒng)

此應(yīng)用程序展示了Nota-AI駕駛員監(jiān)控系統(tǒng)（DMS），這是一種車(chē)內(nèi)安全解決方案，旨在增強(qiáng)車(chē)輛行駛各個(gè)方面的道路安全。使用RA8P1，Nota-ai DMS可以檢測(cè)未注冊(cè)的駕駛員、駕駛員疲勞、手機(jī)使用情況以及駕駛員分心（如吸煙）的情況。

隨著RA8P1的更高性能，我們看到該應(yīng)用中使用的四種模型（人臉檢測(cè)、人臉特征點(diǎn)、眼睛特征點(diǎn)和手機(jī)檢測(cè)）的推理性能提高了4到24倍。

DMS可用于儀表板攝像頭、車(chē)輛行駛數(shù)據(jù)記錄儀和駕駛員監(jiān)控系統(tǒng)。

圖 6：RA8P1上的駕駛員監(jiān)控系統(tǒng)NPU與CPU性能比較

這兩個(gè)視覺(jué)AI應(yīng)用程序都充分利用了RA8P1 MCU上的資源：

通過(guò)圖像傳感器進(jìn)行高效的輸入圖像采集：

RA8P1包括一個(gè)專(zhuān)用的MIPI CSI-2接口，帶有圖像縮放單元或16位CEU并行攝像頭接口，用于捕獲原始圖像輸入數(shù)據(jù)。

使用Ethos-U55 NPU進(jìn)行高性能推理處理：

RA8P1 MCU上的Ethos-U55 AI加速器可分擔(dān)CPU內(nèi)核工作，并比CPU內(nèi)核更高效、更低功耗地處理復(fù)雜的AI模型。它從MIPI CSI-2或并行CEU接收處理后的圖像。

預(yù)先訓(xùn)練的AI模型（例如，像MobileNetv1這樣的圖像分類(lèi)模型）使用RUHMI工具針對(duì)RA8P1進(jìn)行了優(yōu)化，并加載到NPU上。

Ethos-U55 NPU以非常高的速度（高達(dá)256 GOPS）和高功效執(zhí)行實(shí)際的AI推理。

使用Arm Cortex-M85和Cortex-M33加快應(yīng)用程序處理速度：

帶有Arm Helium矢量擴(kuò)展的高性能1GHz CM85內(nèi)核可用于輸入圖像或音頻數(shù)據(jù)以及推理結(jié)果的預(yù)處理和后處理。Ethos-U55不支持的運(yùn)算符也可以由CM85內(nèi)核在回退模式下執(zhí)行，由CMSIS-NN庫(kù)加速。它還用于執(zhí)行應(yīng)用程序代碼。

250MHz Cortex-M33內(nèi)核可用于低功耗喚醒和內(nèi)務(wù)管理任務(wù)。

通過(guò)片上存儲(chǔ)器和存儲(chǔ)器接口高效存儲(chǔ)圖像、模型權(quán)重和激活：

片上大型1MB MRAM和2MB SRAM對(duì)于存儲(chǔ)AI模型權(quán)重、圖像和中間激活至關(guān)重要。 與閃存相比，集成的嵌入式MRAM具有更快的寫(xiě)入速度、更高的耐用性和數(shù)據(jù)保持率等優(yōu)勢(shì)。

MCU還支持適用于更大模型的高吞吐量外部存儲(chǔ)器接口（具有XIP和動(dòng)態(tài)解密的OSPI以及32位SDRAM）。

用于LCD面板的高級(jí)圖形外設(shè)：

GLCDC（具有并行RGB或MIPI DSI接口）和2D引擎可用于處理圖像和推理結(jié)果并將其渲染到LCD顯示器上。

靈活的連接選項(xiàng)：

存在多種連接選項(xiàng)，可將推理結(jié)果、圖像或警報(bào)/通知傳輸?shù)奖镜卦O(shè)備或云，以進(jìn)行存儲(chǔ)或分析。

Nota-AI駕駛員監(jiān)控系統(tǒng)

https://www.renesas.cn/zh/products/microcontrollers-microprocessors/ra-cortex-m-mcus/ra-partners/nota-ai-dms

邊緣AI應(yīng)用從AI加速M(fèi)CU的使用中受益匪淺。它們?cè)趯?shí)時(shí)性、低功耗和安全性重要的應(yīng)用場(chǎng)景具有關(guān)鍵價(jià)值。低功耗MCU的加入是AI解決方案領(lǐng)域的一個(gè)變革性變化。

全新RA8P1 MCU大幅降低延遲，實(shí)現(xiàn)數(shù)據(jù)隱私并最大限度地降低功耗，使其成為電池供電應(yīng)用的理想選擇。整個(gè)開(kāi)發(fā)由瑞薩電子的全面RUHMI框架提供支持，該框架可幫助開(kāi)發(fā)人員在RA8P1硬件上高效優(yōu)化和部署其AI模型。