續(xù)接上篇，我們一起看看RA8P1如何通過兩個應(yīng)用示例幫助簡化AI實現(xiàn)。

應(yīng)用示例1：RA8P1上的圖像分類

圖 4：圖像分類系統(tǒng)框圖

上圖顯示了圖像分類應(yīng)用程序?qū)崿F(xiàn)。RA8P1將構(gòu)建此視覺AI應(yīng)用程序所需的CPU內(nèi)核、NPU、內(nèi)存和外設(shè)集成在單個芯片上。應(yīng)用程序會分析輸入圖像并為其分配預(yù)先分配的標簽或類別。神經(jīng)網(wǎng)絡(luò)模型在龐大的圖像數(shù)據(jù)集上進行訓(xùn)練（其中每張圖像都標有類別），并部署在RA8P1 MCU上。

為了進行推理，將新的輸入圖像輸入到模型中，并通過經(jīng)過訓(xùn)練的網(wǎng)絡(luò)的各層。然后，輸出層提供所有類別的概率分布，并將概率最高的類別分配為圖像的標簽。然后，可以將此輸出數(shù)據(jù)（圖像標簽和準確性）發(fā)送到顯示器或云。在我們的實施中，我們看到與使用CPU內(nèi)核相比，使用Ethos-U55的推理速度提高了33倍。

圖 5：RA8P1上的圖像分類和性能比較，NPU與CPU

圖像分類可用于各種應(yīng)用：

安全–危險品識別、人員識別、異常檢測

零售–按類別創(chuàng)建產(chǎn)品目錄、庫存管理

農(nóng)業(yè)–識別作物病害、植物分類

智慧城市–識別交通信號燈/標志和行人

智能電器–識別冰箱內(nèi)的物體

應(yīng)用示例 2：RA8P1上的駕駛員監(jiān)控系統(tǒng)

此應(yīng)用程序展示了Nota-AI駕駛員監(jiān)控系統(tǒng)（DMS），這是一種車內(nèi)安全解決方案，旨在增強車輛行駛各個方面的道路安全。使用RA8P1，Nota-ai DMS可以檢測未注冊的駕駛員、駕駛員疲勞、手機使用情況以及駕駛員分心（如吸煙）的情況。

隨著RA8P1的更高性能，我們看到該應(yīng)用中使用的四種模型（人臉檢測、人臉特征點、眼睛特征點和手機檢測）的推理性能提高了4到24倍。

DMS可用于儀表板攝像頭、車輛行駛數(shù)據(jù)記錄儀和駕駛員監(jiān)控系統(tǒng)。

圖 6：RA8P1上的駕駛員監(jiān)控系統(tǒng)NPU與CPU性能比較

這兩個視覺AI應(yīng)用程序都充分利用了RA8P1 MCU上的資源：

通過圖像傳感器進行高效的輸入圖像采集：

RA8P1包括一個專用的MIPI CSI-2接口，帶有圖像縮放單元或16位CEU并行攝像頭接口，用于捕獲原始圖像輸入數(shù)據(jù)。

使用Ethos-U55 NPU進行高性能推理處理：

RA8P1 MCU上的Ethos-U55 AI加速器可分擔CPU內(nèi)核工作，并比CPU內(nèi)核更高效、更低功耗地處理復(fù)雜的AI模型。它從MIPI CSI-2或并行CEU接收處理后的圖像。

預(yù)先訓(xùn)練的AI模型（例如，像MobileNetv1這樣的圖像分類模型）使用RUHMI工具針對RA8P1進行了優(yōu)化，并加載到NPU上。

Ethos-U55 NPU以非常高的速度（高達256 GOPS）和高功效執(zhí)行實際的AI推理。

使用Arm Cortex-M85和Cortex-M33加快應(yīng)用程序處理速度：

帶有Arm Helium矢量擴展的高性能1GHz CM85內(nèi)核可用于輸入圖像或音頻數(shù)據(jù)以及推理結(jié)果的預(yù)處理和后處理。Ethos-U55不支持的運算符也可以由CM85內(nèi)核在回退模式下執(zhí)行，由CMSIS-NN庫加速。它還用于執(zhí)行應(yīng)用程序代碼。

250MHz Cortex-M33內(nèi)核可用于低功耗喚醒和內(nèi)務(wù)管理任務(wù)。

通過片上存儲器和存儲器接口高效存儲圖像、模型權(quán)重和激活：

片上大型1MB MRAM和2MB SRAM對于存儲AI模型權(quán)重、圖像和中間激活至關(guān)重要。 與閃存相比，集成的嵌入式MRAM具有更快的寫入速度、更高的耐用性和數(shù)據(jù)保持率等優(yōu)勢。

MCU還支持適用于更大模型的高吞吐量外部存儲器接口（具有XIP和動態(tài)解密的OSPI以及32位SDRAM）。

用于LCD面板的高級圖形外設(shè)：

GLCDC（具有并行RGB或MIPI DSI接口）和2D引擎可用于處理圖像和推理結(jié)果并將其渲染到LCD顯示器上。

靈活的連接選項：

存在多種連接選項，可將推理結(jié)果、圖像或警報/通知傳輸?shù)奖镜卦O(shè)備或云，以進行存儲或分析。

Nota-AI駕駛員監(jiān)控系統(tǒng)

https://www.renesas.cn/zh/products/microcontrollers-microprocessors/ra-cortex-m-mcus/ra-partners/nota-ai-dms

邊緣AI應(yīng)用從AI加速MCU的使用中受益匪淺。它們在實時性、低功耗和安全性重要的應(yīng)用場景具有關(guān)鍵價值。低功耗MCU的加入是AI解決方案領(lǐng)域的一個變革性變化。

全新RA8P1 MCU大幅降低延遲，實現(xiàn)數(shù)據(jù)隱私并最大限度地降低功耗，使其成為電池供電應(yīng)用的理想選擇。整個開發(fā)由瑞薩電子的全面RUHMI框架提供支持，該框架可幫助開發(fā)人員在RA8P1硬件上高效優(yōu)化和部署其AI模型。