RKNN SDK 快速上手指南

開(kāi)發(fā)板：ArmSoM-W3，ArmSoM-Sige7，ArmSoM-Sige5，ArmSoM-AIM7

OS：Debian11/12

目的：本文介紹如何使用rk的npu sdk。

作為瑞芯微8nm高性能AIOT平臺(tái)，RK3576/RK3588 NPU性能可謂十分強(qiáng)大，6TOPS設(shè)計(jì)能夠?qū)崿F(xiàn)高效的神經(jīng)網(wǎng)絡(luò)推理計(jì)算。這使得RK3576/RK3588在圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等人工智能領(lǐng)域有著極高的性能表現(xiàn)。

此外，RK3576/RK3588 的NPU還支持多種學(xué)習(xí)框架，包括TensorFlow，Pytorch、Caffe、MXNet等在人工智能開(kāi)發(fā)中流行的深度學(xué)習(xí)框架，能夠?yàn)?a target="_blank">開(kāi)發(fā)者提供豐富的工具和庫(kù)，使他們能夠方便地進(jìn)行模型訓(xùn)練和推理，可輕松應(yīng)對(duì)各種大數(shù)據(jù)運(yùn)算場(chǎng)景。??

rk3576 npu

RK3576/RK3588 NPU典型應(yīng)用?

計(jì)算機(jī)視覺(jué)（Computer Vision）：NPU可用于圖像識(shí)別、目標(biāo)檢測(cè)、人臉識(shí)別等任務(wù)。在安防監(jiān)控、自動(dòng)駕駛、醫(yī)療影像分析等領(lǐng)域中有著廣泛的應(yīng)用。

自然語(yǔ)言處理（Natural Language Processing，NLP）：NPU可加速文本分類(lèi)、情感分析、機(jī)器翻譯等任務(wù)，使得處理大規(guī)模文本數(shù)據(jù)變得更高效。

語(yǔ)音識(shí)別與處理（Speech Recognition and Processing）：在語(yǔ)音識(shí)別、語(yǔ)音合成等方面，NPU可以提高處理速度和準(zhǔn)確性，應(yīng)用于智能語(yǔ)音助手、語(yǔ)音交互系統(tǒng)等場(chǎng)景。

智能家居與物聯(lián)網(wǎng)（IoT）：NPU的低功耗特性使其適用于智能家居設(shè)備、智能監(jiān)控?cái)z像頭、智能穿戴設(shè)備等物聯(lián)網(wǎng)應(yīng)用，從而實(shí)現(xiàn)設(shè)備的智能化和自動(dòng)化。

醫(yī)療健康：在醫(yī)學(xué)影像分析、疾病診斷、基因組學(xué)等領(lǐng)域，NPU可以加速大規(guī)模數(shù)據(jù)的處理和分析，幫助醫(yī)療工作者更準(zhǔn)確地診斷疾病和制定治療方案。

智能交通：在智能交通系統(tǒng)中，NPU可用于車(chē)輛識(shí)別、交通流量監(jiān)控、智能交通信號(hào)燈控制等任務(wù)，提升交通系統(tǒng)的效率和安全性。

Rockchip NPU SDK?

rockchip的npu sdk分為兩個(gè)部分，PC端使用的是rknn-toolkit2，可以在PC端進(jìn)行模型轉(zhuǎn)換，推理以及性能評(píng)估。具體來(lái)說(shuō)是把主流的模型如Caffe、TensorFlow、TensorFlow Lite、ONNX、DarkNet、PyTorch 等轉(zhuǎn)換為RKNN模型，并可以在PC端使用這個(gè)RKNN模型進(jìn)行推理仿真，計(jì)算時(shí)間和內(nèi)存開(kāi)銷(xiāo)。板端還有一部分，就是rknn runtime環(huán)境，包含一組C API庫(kù)以及與NPU進(jìn)行通信的驅(qū)動(dòng)模塊，可執(zhí)行程序等。

RKNN軟件棧可以幫助用戶(hù)快速將AI模型部署到瑞芯微芯片上。整體框架如下：

為了使用 RKNPU，用戶(hù)需要首先在計(jì)算機(jī)上運(yùn)行 RKNN-Toolkit2 工具，將訓(xùn)練好的模型轉(zhuǎn)換為 RKNN 格式的模型，然后使用 RKNN C API 或 Python API 在開(kāi)發(fā)板上進(jìn)行推理。

RKNN-Toolkit2是一款軟件開(kāi)發(fā)套件，供用戶(hù)在PC和瑞芯微NPU平臺(tái)上進(jìn)行模型轉(zhuǎn)換、推理和性能評(píng)估。

RKNN-Toolkit-Lite2為瑞芯微NPU平臺(tái)提供Python編程接口，幫助用戶(hù)部署RKNN模型，加速AI應(yīng)用落地。

RKNN Runtime為Rockchip NPU平臺(tái)提供C/C++編程接口，幫助用戶(hù)部署RKNN模型，加速AI應(yīng)用的落地。

RKNPU內(nèi)核驅(qū)動(dòng)負(fù)責(zé)與NPU硬件交互。它已經(jīng)開(kāi)源，可以在Rockchip內(nèi)核代碼中找到。

提示

RKNPU2 SDK v2.0.0-beta (for RK3576/RK3562/RK3566/RK3568/RK3588/RV1103/RV1106) https://github.com/airockchip/rknn-toolkit2

Model zoo: https://github.com/airockchip/rknn_model_zoo

docs: https://github.com/airockchip/rknn-toolkit2/tree/master/doc

RK3576/RK3588 NPU使用案例分享?

導(dǎo)出rknn模型步驟

請(qǐng)參考 https://github.com/airockchip/rknn_model_zoo/tree/main/models/CV/object_detection/yolo

注意事項(xiàng)?

使用rknn-toolkit2版本大于等于1.4.0。

切換成自己訓(xùn)練的模型時(shí)，請(qǐng)注意對(duì)齊anchor等后處理參數(shù)，否則會(huì)導(dǎo)致后處理解析出錯(cuò)。

官網(wǎng)和rk預(yù)訓(xùn)練模型都是檢測(cè)80類(lèi)的目標(biāo)，如果自己訓(xùn)練的模型,需要更改include/postprocess.h中的OBJ_CLASS_NUM以及NMS_THRESH,BOX_THRESH后處理參數(shù)。

demo需要librga.so的支持,編譯使用請(qǐng)參考 https://github.com/airockchip/librga

由于硬件限制，該demo的模型默認(rèn)把 yolov5 模型的后處理部分，移至cpu實(shí)現(xiàn)。本demo附帶的模型均使用relu為激活函數(shù)，相比silu激活函數(shù)精度略微下降，性能大幅上升。

Android Demo?

編譯?

首先導(dǎo)入ANDROID_NDK_PATH，例如export ANDROID_NDK_PATH=~/opts/ndk/android-ndk-r18b，然后執(zhí)行如下命令：

./build-android.sh -t  -a  [-b ]# 例如: ./build-android.sh -t rk3568 -a arm64-v8a -b Release

推送執(zhí)行文件到板子?

連接板子的usb口到PC,將整個(gè)demo目錄到 /data:

adb rootadb remountadb push install/rknn_yolov5_demo /data/

運(yùn)行?

adb shellcd /data/rknn_yolov5_demo/export LD_LIBRARY_PATH=./lib./rknn_yolov5_demo model//yolov5s-640-640.rknn model/bus.jpg

Aarch64 Linux Demo?

編譯?

首先導(dǎo)入GCC_COMPILER，例如export GCC_COMPILER=~/opt/gcc-linaro-7.5.0-2019.12-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu ，然后執(zhí)行如下命令：

./build-linux.sh -t  -a  -b ]# 例如: ./build-linux.sh -t rk3588 -a aarch64 -b Release

推送執(zhí)行文件到板子?

將 install/rknn_yolov5_demo_Linux 拷貝到板子的/userdata/目錄.

如果使用rockchip的EVB板子，可以使用adb將文件推到板子上：

adb push install/rknn_yolov5_demo_Linux /userdata/

如果使用其他板子，可以使用scp等方式將install/rknn_yolov5_demo_Linux拷貝到板子的/userdata/目錄

運(yùn)行?

adb shellcd /userdata/rknn_yolov5_demo_Linux/export LD_LIBRARY_PATH=./lib./rknn_yolov5_demo model//yolov5s-640-640.rknn model/bus.jpg

Note: Try searching the location of librga.so and add it to LD_LIBRARY_PATH if the librga.so is not found on the lib folder. Using the following commands to add to LD_LIBRARY_PATH.

export LD_LIBRARY_PATH=./lib:

視頻流Demo運(yùn)行命令參考如下：?

h264視頻

./rknn_yolov5_video_demo model//yolov5s-640-640.rknn xxx.h264 264

注意需要使用h264碼流視頻，可以使用如下命令轉(zhuǎn)換得到：

ffmpeg -i xxx.mp4 -vcodec h264 xxx.h264

h265視頻

./rknn_yolov5_video_demo model//yolov5s-640-640.rknn xxx.hevc 265

注意需要使用h265碼流視頻，可以使用如下命令轉(zhuǎn)換得到：

ffmpeg -i xxx.mp4 -vcodec hevc xxx.hevc

rtsp視頻流

./rknn_yolov5_video_demo model//yolov5s-640-640.rknn  265

注意?

需要根據(jù)系統(tǒng)的rga驅(qū)動(dòng)選擇正確的librga庫(kù)，具體依賴(lài)請(qǐng)參考： https://github.com/airockchip/librga

rk3562 目前僅支持h264視頻流

rtsp 視頻流Demo僅在Linux系統(tǒng)上支持，Android上目前還不支持

視頻流輸入的h264名稱(chēng)不能為"out.h264"，會(huì)被覆蓋

演示視頻?

https://www.bilibili.com/video/BV1jt421M7Pj/

審核編輯 黃宇