在科技飛速發(fā)展的當(dāng)下，人工智能與邊緣計算的融合正以前所未有的速度重塑著我們的生活。RK3576芯片擁有4核Cortex-A72以及4核Cortex-A53提供基礎(chǔ)算力，6TOPS算力NPU來模型推導(dǎo)運算。使用YOLOv8模型時也是手到擒來，接下來隨著步伐看看它表現(xiàn)如何。

YOLO簡介

YOLO（You Only Look Once）是當(dāng)前業(yè)界領(lǐng)先的實時目標(biāo)檢測算法系列，以其速度和精度的完美平衡而聞名。從它發(fā)布至今，經(jīng)歷了好幾個版本變革，下圖是它發(fā)展歷史。

圖1-1. YOLO版本發(fā)展史

YOLOv8在性能、易用性、架構(gòu)現(xiàn)代性和生態(tài)之間取得了最佳的平衡，它是目前最全面，最省心選擇。

同樣YOLOv8也有很多尾綴，用一個表簡單列一下它們分別代表什么意思：

表1-1.按任務(wù)類型區(qū)分

表1-2.按模型尺寸分

米爾Demo模型選擇

基于MYD-LR3576來說，選擇s/n小模型相對合適，使用基礎(chǔ)功能和-seg，-obb，-pos來演示。

單獨測試視頻場景

1.YOLOv8s.int 目標(biāo)檢測模型

2.YOLOv8s-seg.int 實例分割模型

3.YOLOv8s-pose.int 人體姿態(tài)估計模型

4.YOLOv8s-obb.float 旋轉(zhuǎn)目標(biāo)檢測模型

上面已經(jīng)看到了單獨解析視頻時，每一種模型效果，接下來演示MYD-LR3576通過4路攝像頭同時推導(dǎo)效果。

實現(xiàn)方式如下：

MYD-LR3576擁有3路MIPI-CSI接口，通過3個MY-CAM004M分別接入3路MIPI-CSI，采用2+1+1方式搭載4路AHD高清攝像頭，攝像頭采集的畫面輸出為H.264編碼的RTSP碼流，1920*1080分辨率，30幀。經(jīng)過MYD-LR3576開發(fā)板處理后，單路視頻輸出1920*1080，25fps，4路視頻加起來在60~70幀，cpu占用率接近100%，NPU綜合利用率在50~60%。

圖1-2.實物接線概要圖

圖1-3.攝像頭數(shù)據(jù)處理流程圖

MYIR在程序中做了哪些優(yōu)化

AI推導(dǎo)一輪流程

獲取CSI一幀數(shù)據(jù)

裁剪數(shù)據(jù)到xxx*yyy較小圖片

調(diào)用RKNN api處理

獲取返回特征位置和相似度

對應(yīng)放大到原始圖片

增加方框和相似度值到原圖

這樣做后果是CPU利用率不高，視頻采集幀數(shù)低，最后顯示效果會卡頓。

米爾采用線程池方案，將上述過程通過線程處理，充分利用4個A72和4個A53資源，同時采用RGA來做圖片裁剪和放大。將CPU,GPU,NPU,VPU4個模塊協(xié)同工作，資源最大限度開發(fā)使用。

總結(jié)：

RK3576 在 YOLOv8 模型表現(xiàn)上十分亮眼，它的應(yīng)用場景涉及到很多領(lǐng)域。例如智能安防，在公共場所，如機場、火車站、商場等，部署的安防監(jiān)控系統(tǒng)，快速準(zhǔn)確地識別出人群中的異常行為，如打架斗毆、奔跑逃竄等，并及時發(fā)出警報，同時，通過人臉識別技術(shù)，系統(tǒng)可以對進入場所的人員進行身份識別，與數(shù)據(jù)庫中的信息進行比對，實現(xiàn)對重點人員的監(jiān)控和追蹤。又或者搭載智能機器人賦予迅速反饋。

更多MYD-LR3576創(chuàng)新應(yīng)用，敬請期待。