本文基于米爾MYD-LR3576開發(fā)板，詳細(xì)記錄了如何利用500萬像素USB攝像頭實(shí)現(xiàn)640×640分辨率的YOLO5s目標(biāo)檢測(cè)，并將結(jié)果實(shí)時(shí)輸出至1080P屏幕的全流程。通過系統(tǒng)級(jí)的軟硬件協(xié)同優(yōu)化，最終將端到端延遲控制在40ms以內(nèi)，實(shí)現(xiàn)了 20FPS的穩(wěn)定實(shí)時(shí)檢測(cè)性能。文章重點(diǎn)剖析了攝像頭特性分析、顯示通路選擇、RGA硬件加速、RKNN NPU集成等關(guān)鍵技術(shù)環(huán)節(jié)，為嵌入式AI視覺系統(tǒng)的開發(fā)與調(diào)優(yōu)提供了一套完整的思路與實(shí)踐方案。

PART 01

系統(tǒng)架構(gòu)與性能目標(biāo)
1.1 硬件平臺(tái)

• 主控芯片：Rockchip RK3576（四核A72+四核A53，6TOPS NPU，RGA，GPU，VPU）
• 攝像頭：500萬像素USB攝像頭（支持MJPEG/YUYV格式）
• 顯示器：4K HDMI顯示屏（通過Weston桌面環(huán)境顯示）
• 開發(fā)板：米爾MYD-LR3576

米爾基于RK3576核心板開發(fā)板1.2 軟件平臺(tái)使用米爾官方V2.0.0 SDK提供的buildroot鏡像，內(nèi)核版本為6.1.118。系統(tǒng)信息如下：

root@myd-lr3576-buildroot:/# uname -aLinuxmyd-lr3576-buildroot6.1.118#1SMP Fri Sep2602:34:15UTC2025aarch64 GNU/Linux

1.3 性能目標(biāo)

• 實(shí)時(shí)性：完成從攝像頭采集→NPU推理→屏幕顯示的完整流程，耗時(shí)不超過攝像頭一幀的時(shí)間。
• 輸入/輸出：盡可能提高攝像頭采集幀率，并在顯示端支持更高的輸出分辨率。
• 功能：實(shí)現(xiàn)YOLO5s目標(biāo)檢測(cè)，并在視頻畫面中實(shí)時(shí)繪制檢測(cè)框。

PART 02

數(shù)據(jù)處理流程與優(yōu)化實(shí)踐
攝像頭數(shù)據(jù)需要經(jīng)歷哪些過程才能到顯示端輸出，參考下圖

2.1 CPU處理方案及其瓶頸

如果把攝像頭數(shù)據(jù)直接顯示到屏幕上，先了解清楚它們輸入輸出關(guān)系。攝像頭輸出可以用v4l2-ctl -D -d /dev/videoxx --list-formats-extDisplay輸出可用用cat /sys/kernel/debug/dri/0/state查看

根據(jù)實(shí)時(shí)性來說，需要選擇最高fps分辨率對(duì)應(yīng)輸出，這里選擇640x480 20fps，那么它需要把YUYV格式替換成RGBA8888才能顯示。顯示大小不超過屏幕最大分辨率3840x2160即可。CPU處理是如下過程

若要將攝像頭采集的YUYV格式數(shù)據(jù)直接顯示到屏幕，需先轉(zhuǎn)換為RGBA8888格式。在CPU上進(jìn)行格式轉(zhuǎn)換與縮放的性能如下（輸入為640×480 YUYV）：

可見，CPU在處理1080P分辨率時(shí)已接近能力上限，更高分辨率則無法滿足實(shí)時(shí)性要求。2.2 引入RGA進(jìn)行硬件加速RGA作為RK3576 2D處理芯片模塊，它的作用是對(duì)圖片做旋轉(zhuǎn)，縮放，旋轉(zhuǎn)，鏡像以及格式轉(zhuǎn)換。根據(jù)手冊(cè)信息，它能處理數(shù)據(jù)的性能是物理地址>DMA>虛擬地址。那么用RGA來替換CPU的格式轉(zhuǎn)換和縮放。

RGA是一次進(jìn)行轉(zhuǎn)換和縮放，下面是對(duì)比CPU運(yùn)算的對(duì)比圖使用RGA替代CPU進(jìn)行格式轉(zhuǎn)換與縮放后，性能對(duì)比如下：

RGA的引入帶來了數(shù)量級(jí)的性能提升，尤其是DMA模式，大幅降低了處理延遲。2.3 GPU直接顯示方案調(diào)試階段常使用OpenCV的imshow顯示圖像，但其依賴CPU參與，無法滿足實(shí)時(shí)性要求。系統(tǒng)實(shí)際采用DRM顯示框架與Weston桌面環(huán)境，因此我們選用Wayland-client方案進(jìn)行直接顯示，實(shí)現(xiàn)GPU直顯。

不同輸入模式下的顯示耗時(shí)對(duì)比：

2.4 NPU推理流程與耗時(shí)分析

通用模型，通過rknn-toolkit2轉(zhuǎn)換成rknn后就可以通過RKNN API來調(diào)用和推導(dǎo)。使用rknn_model_zoo yolo5模型進(jìn)行轉(zhuǎn)換后生成模型，yolov5s-640-640.rknn和coco80labels_list.txt，以及一些調(diào)用參考代碼。它的輸入必須是640x640RGB格式。rknn推理虛擬地址關(guān)鍵步驟如下：

實(shí)際測(cè)試后rknn_run這個(gè)階段大概耗時(shí)26~31ms之間rknnoutputsget獲取數(shù)據(jù)后即可進(jìn)行內(nèi)部處理，檢測(cè)出目標(biāo)，坐標(biāo)，信心指數(shù)，根據(jù)實(shí)際需求繪制在屏幕上，這一步可以多進(jìn)程異步處理，不算在串行時(shí)間內(nèi)，筆者測(cè)試大概會(huì)多花8ms左右。

因此總計(jì)一下攝像頭實(shí)時(shí)采集NPU推理到顯示整個(gè)過程耗時(shí)情況

結(jié)論：NPU推理階段（T2）仍是系統(tǒng)的主要耗時(shí)環(huán)節(jié)。但通過DMA+RGA+直接顯示的優(yōu)化組合，系統(tǒng)整體延遲大幅降低，且在高分辨率輸出下仍能保持穩(wěn)定的幀率。

2.5 多攝像頭系統(tǒng)資源占用分析

• 虛擬內(nèi)存方案

1個(gè)攝像頭

4個(gè)攝像頭

• Dma方案

1路攝像頭輸出

2路攝像頭輸入

PART 03

總結(jié)
在嵌入式AI視覺系統(tǒng)中，NPU的算力是決定性能上限的關(guān)鍵因素。然而，要達(dá)到這一上限，必須構(gòu)建高效的數(shù)據(jù)流水線。本文實(shí)踐表明，通過RGA硬件加速、DMA零拷貝數(shù)據(jù)傳輸以及GPU直接顯示的協(xié)同優(yōu)化，能夠徹底釋放 RK3576平臺(tái)的異構(gòu)計(jì)算潛力，將端到端延遲控制在數(shù)十毫秒內(nèi)，實(shí)現(xiàn)高清、實(shí)時(shí)的目標(biāo)檢測(cè)應(yīng)用。這一優(yōu)化思路同樣適用于其他具備類似硬件加速單元的嵌入式AI平臺(tái)。