隨著人工智能技術(shù)的不斷進(jìn)步，目標(biāo)檢測(cè)已成為計(jì)算機(jī)視覺(jué)中的核心任務(wù)之一，廣泛應(yīng)用于自動(dòng)駕駛、安防監(jiān)控、工業(yè)自動(dòng)化等領(lǐng)域。與此同時(shí)，隨著硬件性能的提升和邊緣計(jì)算需求的激增，開(kāi)發(fā)者愈加傾向于選擇高性能、低功耗的硬件方案來(lái)執(zhí)行實(shí)時(shí)目標(biāo)檢測(cè)任務(wù)。在此背景下，HZ-EVM-RK3576開(kāi)發(fā)板作為一款強(qiáng)大且高效的嵌入式開(kāi)發(fā)板，為目標(biāo)檢測(cè)任務(wù)提供了理想的硬件支持。

在本期技術(shù)視頻分享中，我們將深入探索如何在 HZ-EVM-RK3576 開(kāi)發(fā)板上高效運(yùn)行 YOLOv5 本地單攝像頭或多攝像頭的目標(biāo)檢測(cè)算法。以下是關(guān)于該平臺(tái)及其應(yīng)用的詳細(xì)介紹。

YOLOv5目標(biāo)檢測(cè)應(yīng)用設(shè)計(jì)

YOLOv5是當(dāng)前最先進(jìn)、最為高效的目標(biāo)檢測(cè)算法之一，其在速度和準(zhǔn)確性上具有顯著優(yōu)勢(shì)，特別適用于實(shí)時(shí)視頻流的分析與處理。在HZ-EVM-RK3576開(kāi)發(fā)板上，YOLOv5結(jié)合硬件加速和靈活配置，實(shí)現(xiàn)了高效的本地目標(biāo)檢測(cè)。

硬件加速與零拷貝設(shè)計(jì)

YOLOv5 在 HZ-EVM-RK3576 上的實(shí)現(xiàn)充分利用硬件加速，所有視頻采集、圖像預(yù)處理、NPU推理和編碼任務(wù)均通過(guò)硬件加速完成。配合底層驅(qū)動(dòng)的零拷貝技術(shù)，避免了不必要的數(shù)據(jù)傳輸開(kāi)銷，極大提升了系統(tǒng)效率。

NPU推理優(yōu)化方案

YOLOv5使用yolov5s-640-640.rknn 模型，這是瑞芯微專為 RK3576 系列芯片優(yōu)化的目標(biāo)檢測(cè)模型。通過(guò)NPU的加速，YOLOv5 能在保證較高準(zhǔn)確度的同時(shí)，實(shí)現(xiàn)低延遲和高幀率，特別適用于實(shí)時(shí)視頻流的檢測(cè)。

靈活的配置支持

為了適應(yīng)不同的應(yīng)用場(chǎng)景，YOLOv5 在該平臺(tái)上允許用戶通過(guò)配置文件自由設(shè)置攝像頭的路數(shù)、分辨率、幀率等參數(shù)，并自動(dòng)調(diào)整編解碼和推理參數(shù)，以確保最佳的檢測(cè)效果。

YOLOv5應(yīng)用部署與實(shí)現(xiàn)流程

YOLOv5 在 HZ-EVM-RK3576 上的應(yīng)用部署流程經(jīng)過(guò)精心設(shè)計(jì)，以確保簡(jiǎn)便、高效。以下是部署的主要步驟：

配置文件解析

程序首先解析 JSON 配置文件，獲取攝像頭數(shù)量、視頻采集參數(shù)（如分辨率、幀率）及其他設(shè)置。

硬件平臺(tái)初始化

根據(jù)配置，程序初始化 rockit 框架 和 NPU，其中 rockit 是瑞芯微專為音視頻處理設(shè)計(jì)的硬件加速框架，支持多路視頻流的并行處理。

目標(biāo)檢測(cè)推理與編碼

應(yīng)用根據(jù)攝像頭數(shù)量和視頻參數(shù)，啟動(dòng)多路目標(biāo)檢測(cè)推理任務(wù)，通過(guò) NPU 提供加速支持，確保多路視頻流處理的高效性。

數(shù)據(jù)流處理與傳輸編碼

推理結(jié)果通過(guò)編碼模塊轉(zhuǎn)化為視頻流，并通過(guò) UDP 或其他協(xié)議傳輸，最終輸出至顯示設(shè)備或云平臺(tái)，支持多種終端設(shè)備。

文件和依賴庫(kù)部署

為了確保應(yīng)用快速啟動(dòng)，用戶需要在目標(biāo)設(shè)備上創(chuàng)建 lib 和 bin 文件夾，將共享庫(kù)文件、應(yīng)用程序、配置文件和模型文件放置在相應(yīng)目錄中。