小編最近接了活，要在我們最新的MCU產(chǎn)品RT700上做手勢識別的開發(fā)，可能小伙伴們才聽過RT700，小編先來簡單介紹一下：

i.MX RT700有5個計算內(nèi)核，為支持智能AI的邊緣端設(shè)備賦能，包括可穿戴設(shè)備、消費電子醫(yī)療設(shè)備、智能家居和HMI設(shè)備。其計算子系統(tǒng)包括一個運行頻率為325MHz的主Arm Cortex-M33核，以及一個Cadence Tensilica HiFi 4 DSP，可執(zhí)行要求更高的DSP和音頻處理任務(wù)。一個超低功耗感知子系統(tǒng)包括第二個Arm Cortex-M33核和Cadence Tensilica HiFi 1 DSP。這樣就不需要外部傳感器集線器，從而降低了系統(tǒng)設(shè)計的復雜性、占用空間和BOM成本。i.MX RT700包括恩智浦的eIQ Neutron NPU，可將AI工作處理速度提高172倍，并集成了7.5MB的板載SRAM。系統(tǒng)框圖和官網(wǎng)鏈接https://www.nxp.com.cn/products/i.MX-RT700：

回到正題，這好像是一個很簡單的事情啊，先來個AI開發(fā)四聯(lián)：

1.有數(shù)據(jù)集嗎？有→下載看看，沒有→自己拍一些？

2.模型結(jié)構(gòu)是啥樣的？是不是有開源的模型呢~

3.模型怎么辦？自己搭一個吧~

4.模型部署？那當然是要用上NPU加速啊，不用的話，那哪能發(fā)揮RT700的全部實力，那可是內(nèi)嵌了一顆NXP自研的NPU啊，可將AI工作處理速度提高172倍，簡直如虎添翼。

這還真讓小編找到了，那就是由Google推出的MediaPipe解決方案，可能有伙伴聽說過這個框架https://ai.google.dev/edge/mediapipe/solutions/guide?hl=zh-cn：

Google MediaPipe是一個開源的跨平臺框架，用于構(gòu)建多模態(tài)（如視頻、音頻、傳感器數(shù)據(jù)）的實時機器學習應(yīng)用管道。它由Google Research開發(fā)并開源，專注于高效處理實時數(shù)據(jù)流，尤其適用于移動設(shè)備、邊緣計算和嵌入式系統(tǒng)。

核心特點

1. 跨平臺支持

支持Android、iOS、Linux、macOS、Windows和Web，甚至嵌入式設(shè)備（如樹莓派）

提供統(tǒng)一的API，簡化多平臺部署

2. 模塊化設(shè)計

通過預構(gòu)建的“計算單元”（稱為Calculators）組合成數(shù)據(jù)處理管道（Graph），開發(fā)者可以靈活定制或擴展功能

3. 高性能實時處理

優(yōu)化了延遲和資源占用，適合實時應(yīng)用（如攝像頭流處理

支持GPU加速（通過OpenGL/Vulkan）和硬件加速（如Android Neural Networks API）

4. 豐富的預置解決方案

提供多種開箱即用的模型和管道：

人臉檢測與網(wǎng)格（Face Detection/Mesh）

手勢識別（Hand Tracking）

姿態(tài)估計（Pose Estimation）

物體檢測與跟蹤（Object Detection/Tracking）

語音識別（Audio Classification）

5. 支持自定義模型

可集成TensorFlow、TFLite或其他框架訓練的模型

那么開心的事情就來了，這里恰好就有手勢識別的項目https://ai.google.dev/edge/mediapipe/solutions/vision/gesture_recognizer?hl=zh-cn

我們可以調(diào)用MediaPipe的手勢識別器來進行手部識別并能夠標記出關(guān)鍵點：

太好了！那接下來就可以站在巨人的肩膀上開始搞事情了？雖然有了巨人的肩膀加持，但是我們其實才只走了AI四步走的前兩步：數(shù)據(jù)集+模型，真正的難點在于怎么部署我們的模型到MCU上。尤其是針對于這一類大佬開發(fā)的開源模型+閉源推理引擎來說，我們要自行摸索模型的部署，尤其是涉及到模型預處理部分。

下期小編和大家探討要解決的一系列問題：

1.模型文件的轉(zhuǎn)換：浮點or量化？ 訓練框架？

2.推理過程：使用了幾個模型？輸出結(jié)果的含義？

3.模型結(jié)構(gòu)優(yōu)化？

后面幾期小編會為繼續(xù)大家更新，敬請期待！