Tengine 是 OPEN AI LAB 一款輕量級(jí)神經(jīng)網(wǎng)絡(luò)推理引擎，它針對(duì) Arm?嵌入式平臺(tái)進(jìn)行了專門優(yōu)化，對(duì) Android、Linux?系統(tǒng)都提供了很好的支持。而且更加難能可貴的是 Tengine 并不依賴于專用 AI?芯片(即 Tengine 可以利用 GPU、NPU 這些具有專門 AI 加速功能的模塊進(jìn)行 AI 運(yùn)算，也可以利用通用的?CPU 進(jìn)行 AI 運(yùn)算)，很多 Arm 平臺(tái)都可以通過 Tengine 框架對(duì)算力進(jìn)行深度挖掘，從而高效的運(yùn)行一些 AI 應(yīng)用。

本文就是想描述如何在OKMX8MM-C這一 Arm64 平臺(tái)上搭建 Tengine AI 推理框架，并運(yùn)行圖像識(shí)別相關(guān)應(yīng)用。首先在OKMX8MM-C上面移植了基于 Armbian 的 Debian 10 系統(tǒng)，運(yùn)行的 u-boot 和 linux kernel 都是mainline的。OPEN AI LAB 在 Github 上提供了開源的 Tengine 版本，并提供了比較詳細(xì)的參考文檔，所以可以直接下載源碼，根據(jù)文檔進(jìn)行編譯。得益于?i.MX8MMini 強(qiáng)大的性能，我們可以直接在?i.MX8MMini 上下載代碼，進(jìn)行編譯，免去交叉編譯的諸多不便。

1. 下載源碼

git clone --recurse-submodules https://github.com/OAID/tengine/

注意 clone 的時(shí)候一定要帶 --recurse-submodules 這個(gè)參數(shù)，否則會(huì)下載不完整。

2. 安裝依賴

apt install libprotobuf-dev protobuf-compiler libopencv-dev? pkg-config

3. 修改配置文件

在源碼的 default_config 目錄下提供了基于 arm32、arm64、x86 這三個(gè)平臺(tái)的配置文件。RK3399?是 Arm64， 所以對(duì)應(yīng)的配置文件為：arm64_linux_native.config。這里要做的修改是，在配置文件中打開 BUILD_SERIALIZER=y 這個(gè)選項(xiàng)，否則后面運(yùn)行的時(shí)候可能會(huì)遇到Shared library not found: libcaffe-serializer.so: cannot open shared object file: No such file or directory 這個(gè)錯(cuò)誤。

4. 編譯

在源碼根目錄執(zhí)行如下命令進(jìn)行編譯：./linux_build.sh default_config/arm64_linux_native.config

5. 下載 model 文件

運(yùn)行這些 AI 應(yīng)用的時(shí)候，需要加載對(duì)應(yīng)的 model 文件，這些文件可以從 OPEN AI LAB 提供的網(wǎng)盤里下載：https://pan.baidu.com/s/1Ar9334MPeIV1eq4pM1eI-Q ， 提取碼為 hhgc 。下載完后需要把這些 model 文件放在 Tengine 源碼根目錄下的 models 文件夾，所有的 model 文件加在一起比較大，我只上傳了后面測(cè)試需要用到的部分：

6. 運(yùn)行 benchmark

編譯完成后默認(rèn)會(huì)在 build/benchmark/bin/ 目錄下生成兩個(gè)供測(cè)試用的 benchmark 文件，可以直接執(zhí)行這兩個(gè)文件，用來簡(jiǎn)單的測(cè)試，確實(shí)是否真正編譯成功。./build/benchmark/bin/bench_sqz ./build/benchmark/bin/bench_mobilenet

編譯并運(yùn)行測(cè)試 Demo

Tengine 開放的源碼里面還帶了幾個(gè)不錯(cuò)的 圖像識(shí)別相關(guān)的測(cè)試 Demo，用來測(cè)試和進(jìn)行 AI 相關(guān)的基礎(chǔ)學(xué)習(xí)都很不錯(cuò)。這些 Demo 的源碼在 examples 目錄下，在編譯之前我們需要修改一個(gè)編譯腳本 linux_build.sh, 即根據(jù)實(shí)際情況，正確設(shè)置 Tengine 的所在路徑，比如我下載編譯的 Tengine 代碼在 /root/rockdev/tengine 目錄下：

然后在 examples 目錄下執(zhí)行如下命令：mkdir buildcd build/../linux_build.sh make

編譯完成，主要有 faster_rcnn 、lighten_cnn、 mobilenet_ssd、 mtcnn 、ssd、 yolov2、 YuFaceDetectNet 這幾個(gè)測(cè)試 Demo。

faster_rcnn

Faster rcnn 是大神 Ross B. Girshick 在 RCNN 和 Fast RCNN 的基礎(chǔ)上于 2016 年提出的新模型，綜合性能更高，檢測(cè)速度更快。

Tengine 版本的 Demo 對(duì)下面的圖片進(jìn)行識(shí)別：

運(yùn)行 faster_rcnn 可執(zhí)行程序，會(huì)生成一張對(duì)檢測(cè)到的物體進(jìn)行標(biāo)注后的圖像：

可以看到識(shí)別到了 Dog、bicycle、car 三個(gè)物體。

YOLO v2

YOLO 全稱 You look only once，是 2016 年 CVPR 上發(fā)表的一篇目標(biāo)檢測(cè)論文。YOLOV v2 發(fā)表于 2017 年的 CVPR 上，論文名稱為《YOLO9000: Better, Faster, Stronger》，獲得了 CVPR 2017 Best ** Honorable Mention 大獎(jiǎng)。這里用這個(gè)模型來檢測(cè)和 RCNN 同樣的圖片：

從這張圖片看，準(zhǔn)確性和 RCNN 相當(dāng)，但是檢測(cè)速度卻快了 將近 6 倍。

SSD

SSD 全稱 Single Shot MultiBox Detector， 是一種 one-stage 的通用物體檢測(cè)算法，作者 Wei Liu，提出于 2016年。這里用如下圖片做檢測(cè)：

運(yùn)行結(jié)果如下：

有點(diǎn)可惜的是把狗狗給識(shí)別錯(cuò)了。

mobilenet_ssd

這個(gè)是 mobilenet 和 ssd 的結(jié)合，對(duì)移動(dòng)設(shè)備更友好。使用和 SSD 同樣的圖片進(jìn)行檢測(cè)：

可以看到狗狗檢測(cè)對(duì)了，但是遠(yuǎn)處有個(gè)人漏檢了。但是檢測(cè)速度比 SSD 快了很多。

YuFaceDetectNet

這個(gè)是深圳大學(xué)于仕琪老師開源的 libfacedetection 的 Tengine 實(shí)現(xiàn)版本，libfacedetection 號(hào)稱最快的人臉檢測(cè)庫(kù)。測(cè)試原圖如下：

測(cè)試結(jié)果：

MTCNN

MTCNN 是另外一種人臉檢測(cè)方案，提出于 2016 年。這里我們采用和 YuFaceDetectNet 同樣的圖片進(jìn)行測(cè)試：

五張臉全部檢測(cè)到了，而且時(shí)間和 YuFaceDetectNet 差距并不大。

fqj