01

方案核心概述

本方案由以下幾部分組成：

1. 以睿擎派開發(fā)板為硬件核心，該開發(fā)板搭載睿擎RC3506核心板，集成雙網(wǎng)口、MIPI等豐富硬件接口，可穩(wěn)定支持工業(yè)控制與邊緣計(jì)算場(chǎng)景，搭配RuiChing Studio開發(fā)工具能大幅縮短項(xiàng)目開發(fā)周期；

2. 搭配已完成適配的YOLO輕量型AI模型——該模型基于NCNN推理框架構(gòu)建，具備實(shí)時(shí)目標(biāo)檢測(cè)與多類別識(shí)別能力；

3. 硬件端輔以HBCAM-5M2134型UVC攝像頭，其采用USB接口設(shè)計(jì)，擁有120°無畸變廣角、自動(dòng)對(duì)焦功能及內(nèi)置麥克風(fēng)，可穩(wěn)定采集500萬像素高清圖像；

4. 此外，方案通過MIPI接口驅(qū)動(dòng)工業(yè)級(jí)觸摸屏，該屏幕支持高清顯示與精準(zhǔn)觸控交互，且已完成與LVGL圖形庫的適配。

最終這幾部分綜合實(shí)現(xiàn)攝像頭采集畫面的實(shí)時(shí)目標(biāo)檢測(cè)，并將檢測(cè)結(jié)果在觸摸屏上直觀呈現(xiàn)。

02

YOLO模型概述

YOLO（You Only Look Once）是一款基于深度學(xué)習(xí)的實(shí)時(shí)目標(biāo)檢測(cè)算法模型，其核心設(shè)計(jì)理念打破了傳統(tǒng)目標(biāo)檢測(cè)算法 “先候選區(qū)域生成、再分類識(shí)別” 的兩步式流程，通過單次神經(jīng)網(wǎng)絡(luò)推理即可同時(shí)完成目標(biāo)位置定位與類別判斷，從根本上提升了目標(biāo)檢測(cè)的效率，成為工業(yè)場(chǎng)景、智能監(jiān)控、自動(dòng)駕駛等領(lǐng)域?qū)崟r(shí)檢測(cè)需求的核心算法選擇之一。

03

核心示例代碼

● my_function：uvc攝像頭的視頻幀回調(diào)函數(shù)，保存新視頻幀。

● cv::imdecode：將內(nèi)存中的二進(jìn)制數(shù)據(jù)（通常是圖像文件的字節(jié)流，如 JPG、PNG、BMP 等格式的原始數(shù)據(jù)）解碼為 OpenCV 的 Mat 圖像矩陣，以便進(jìn)行后續(xù)的圖像處理；

● detect：接收一張 OpenCV 格式的圖像 (cv::Mat)，通過 YOLO 模型進(jìn)行目標(biāo)檢測(cè)，最終返回經(jīng)過非極大值抑制 (NMS) 處理后的目標(biāo)框坐標(biāo)；

● visualize_to_buf：接收原始圖像、檢測(cè)到的目標(biāo)框列表，在圖像上繪制置信度最高的目標(biāo)框及置信度值，然后將處理后的圖像編碼為指定格式（如 JPEG），并存儲(chǔ)到全局緩沖區(qū)中。

● rgb_nearest_scale：通過最近鄰插值算法，將輸入的 RGB 圖像數(shù)據(jù)按照指定的目標(biāo)寬高進(jìn)行縮放，并將結(jié)果存儲(chǔ)到輸出緩沖區(qū)中；

● rt_device_control：控制LCD設(shè)備刷新圖像。

04

實(shí)戰(zhàn)演示

1. 硬件準(zhǔn)備

● 睿擎工業(yè)開發(fā)平臺(tái)支持板卡1塊(睿擎派RC3506)

● 配套7寸MIPI屏

● 配套UVC攝像頭

● 串口調(diào)試器、DAP-LINK調(diào)試各一套

2. 硬件連接

開發(fā)板連接uvc攝像頭和7寸屏幕，注意屏幕連接線的方向。

3. 創(chuàng)建示例工程

在RuiChing Studio IDE中 創(chuàng)建

09_ai_uvc_yolo_video示例工程:

4. 編譯下載示例工程

對(duì) 09_ai_uvc_yolo_video 示例工程進(jìn)行編譯：

編譯成功后Debug目錄下生成app.dtb和app.img文件。點(diǎn)擊下載按鈕，下載app.dtb和app.img文件。

5. 運(yùn)行程序

使用FTP服務(wù)，將applications\model目錄下的model2.bin和model2.param存入開發(fā)板tmp目錄。成功后進(jìn)入tmp目錄可以看到兩個(gè)文件。

啟動(dòng)開發(fā)板，運(yùn)行程序后，終端輸入uvc_ai_start命令將測(cè)試圖像傳入系統(tǒng)，程序會(huì)調(diào)用 YOLO 模型進(jìn)行人臉檢測(cè)，并持續(xù)打印檢測(cè)類別（index：0即人臉）和幀率。

查看檢測(cè)結(jié)果

05

總結(jié)

睿擎UVC - AI人臉檢測(cè)系統(tǒng)開發(fā)方案，以搭載瑞芯微RK3506J芯片的睿擎派為硬件核心，搭配UVC攝像頭、MIPI屏幕，融合YOLO輕量型AI模型，借助RuiChing Studio開發(fā)工具實(shí)現(xiàn)高效開發(fā)，最終達(dá)成“攝像頭實(shí)時(shí)采集圖像—YOLO模型單次推理完成人臉定位與判斷—檢測(cè)結(jié)果在觸摸屏直觀呈現(xiàn)”的全流程閉環(huán)。

該方案憑借實(shí)時(shí)檢測(cè)、輕量化部署與可視化交互的優(yōu)勢(shì)，可廣泛應(yīng)用于工業(yè)場(chǎng)景中——如生產(chǎn)線人員安全監(jiān)控，實(shí)時(shí)識(shí)別違規(guī)闖入的工作人員并彈窗預(yù)警；智能門禁領(lǐng)域，快速核驗(yàn)通行人員身份并同步顯示人臉匹配結(jié)果；邊緣端智能終端（如自助服務(wù)機(jī)），通過人臉檢測(cè)觸發(fā)個(gè)性化服務(wù)界面；還可適配小型安防場(chǎng)景，對(duì)監(jiān)控區(qū)域內(nèi)的人臉動(dòng)態(tài)進(jìn)行實(shí)時(shí)追蹤與記錄，滿足不同場(chǎng)景下對(duì)高效、直觀人臉檢測(cè)功能的需求。