DeepStream是NVIDIA專為處理多個(gè)串流影像，并進(jìn)行智能辨識(shí)而整合出的強(qiáng)大工具。開(kāi)發(fā)語(yǔ)言除了原先的C++，從DeepStream SDK 5.1也支持基于原先安裝，再掛上Python套件的方式，讓較熟悉Python程序語(yǔ)言的使用者也能使用DeepStream。

本文主要將其應(yīng)用在Jetson Nano上，并于DeepStream導(dǎo)入自己的模型執(zhí)行辨識(shí)。

在Jetson Nano上面安裝DeepStream

筆者使用的硬件為Jetson Nano 2GB/4GB，參照官方提供的步驟與對(duì)應(yīng)的版本，幾乎可以說(shuō)是無(wú)痛安裝。對(duì)比同樣采用干凈映像檔，使用源碼或是Docker安裝的JetBot與Jetson Inference要快上許多。

執(zhí)行官方范例

DeepStream有提供不少范例，不論是從CSI或USB接口的攝影機(jī)取得畫面，或是多影像辨識(shí)結(jié)果顯示，都能經(jīng)由查看這些范例，學(xué)習(xí)如何設(shè)定。

透過(guò)下列指令執(zhí)行一個(gè)配置文件，查看DeepStream是否安裝成功，這個(gè)配置文件會(huì)開(kāi)啟一部mp4影片，并模擬產(chǎn)生8個(gè)輸入來(lái)源，經(jīng)模型推論處理過(guò)后于同一個(gè)畫面顯示，點(diǎn)擊單一個(gè)區(qū)塊可以顯示該來(lái)源的詳細(xì)信息。實(shí)際應(yīng)用上可以將各部攝影機(jī)的畫面同時(shí)輸出并進(jìn)行處理。

deepstream-app -c source8_1080p_dec_infer-resnet_tracker_tiled_display_fp16_nano.txt

使用自己的模型

如果您與筆者一樣是NVIDIA官方課程小粉絲，從擁有Jetson Nano開(kāi)始，就按部就班的跟著課程學(xué)習(xí)，那您一定看過(guò)下列三種不同主題的課程。

從入門的Section 1開(kāi)始，到執(zhí)行Section 2的JetBot自駕車項(xiàng)目，最后Section 3 Hello AI World。經(jīng)過(guò)三個(gè)Section，您應(yīng)該稍微熟悉Pytorch，并且也訓(xùn)練了不少自己的模型，特別是在Hello AI World有訓(xùn)練了Object Detection模型。既然都有自己的模型，何不放到DeepStream上面制作專屬的串流辨識(shí)項(xiàng)目，針對(duì)想要辨識(shí)的項(xiàng)目導(dǎo)入適合的模型。

在Hello AI World項(xiàng)目訓(xùn)練Object Detection模型的時(shí)候，我們使用的是SSD-Mobilenet，在DeepStream的對(duì)象辨識(shí)范例中有提供使用自己的SSD模型方法，可在下列路徑找到參考文件，文件中使用的例子是使用coco數(shù)據(jù)集預(yù)訓(xùn)練的SSD-Inception。

/opt/nvidia/deepstream/deepstream-5.1/sources/objectDetector_SSD

可惜的是文件中使用的是從Tensorflow訓(xùn)練的模型，經(jīng)由轉(zhuǎn)換.uff再喂給DeepStream，與官方課程使用的Pytorch是不同路線。筆者在網(wǎng)上尋找解決方法，看是否有DeepStream使用Pytorch模型的方案，也于NVIDIA開(kāi)發(fā)者論壇找到幾個(gè)同樣的提問(wèn)，但最終都是導(dǎo)到上述提到的參考文件。

從Hello AI World訓(xùn)練的Object Detection模型，經(jīng)過(guò)執(zhí)行推論的步驟，您應(yīng)該會(huì)有三個(gè)與模型有關(guān)的檔案，分別是用Pytorch訓(xùn)練好的.pth，以及為了使用TensorRT加速而將.pth轉(zhuǎn)換的.onnx，最后是執(zhí)行過(guò)程中產(chǎn)生的.engine。既然Pytorch模型找不到解決方案，那就從ONNX模型下手吧，所幸經(jīng)過(guò)一番折騰，終于讓筆者找到方法。

https://github.com/neilyoung/nvdsinfer_custom_impl_onnx

neilyoung提供的方法主要是能產(chǎn)生動(dòng)態(tài)函式庫(kù)，以便我們能在DeepStream使用ONNX模型，除了準(zhǔn)備好自己訓(xùn)練的ONNX模型檔案與Labels檔案，只要再新增設(shè)定模型路徑與類型的config檔案，與deepstream配置文件就能實(shí)現(xiàn)使用自己的模型進(jìn)行推論啰！

STEP 1：

首先于以下路徑底下新增執(zhí)行ONNX項(xiàng)目的文件夾，筆者命名為objectDetector_ONNX。

/opt/nvidia/deepstream/deepstream-5.1/sources

STEP 2：

新增專案文件夾后，請(qǐng)clone方才的nvdsinfer_custom_impl_onnx專案到文件夾內(nèi)。

STEP 3：

打開(kāi)Terminal進(jìn)到nvdsinfer_custom_impl_onnx項(xiàng)目里面，透過(guò)sudo make指令產(chǎn)生動(dòng)態(tài)函式庫(kù)。

STEP 4：

接著將自己從Hello AI World項(xiàng)目訓(xùn)練的Object Detection模型與卷標(biāo)復(fù)制到objectDetector_ONNX項(xiàng)目文件夾。

STEP 5：

從別的項(xiàng)目文件夾復(fù)制config檔案與deepstream配置文件到我們的文件夾內(nèi)，這邊復(fù)制objectDetector_SSD，因?yàn)槟Ｐ皖愋拖嘟?，只要稍微修改即可?/p>

STEP 6：

首先修改config檔案，如下圖所示，將模型路徑與卷標(biāo)路徑，修正為自己的模型與卷標(biāo)名稱，engine檔案的部份與Hello AI World項(xiàng)目一樣，在執(zhí)行ONNX檔案進(jìn)行TensorRT加速時(shí)會(huì)自動(dòng)產(chǎn)生，只需給路徑與名稱即可。對(duì)于classes的部份，切記在Hello AI World項(xiàng)目訓(xùn)練的模型會(huì)加上BACKGROUND這一個(gè)類別，所以若是您辨識(shí)的對(duì)象有三種，就得在classes這邊填上3+1。

下方三項(xiàng)的設(shè)定則依照nvdsinfer_custom_impl_onnx項(xiàng)目github上的說(shuō)明，記得動(dòng)態(tài)函式庫(kù)的路徑請(qǐng)改成自己的路徑。

output-blob-names="boxes;scores"

parse-bbox-func-name="NvDsInferParseCustomONNX"

custom-lib-path="/path/to/lib/libnvdsinfer_custom_impl_onnx.so"

接著依照個(gè)人需求設(shè)定辨識(shí)的參數(shù)，例如希望信心指數(shù)達(dá)多少%才認(rèn)定對(duì)象類別，可以修改threshold。

STEP 7：

接著修改deepstream配置文件，筆者在這邊設(shè)定為USB Webcam輸入，并輸出單一窗口顯示，除了正常調(diào)整輸入與輸出之外，請(qǐng)將config檔案與Labels檔案導(dǎo)引至自己的路徑，engine的部份與config設(shè)定相同即可，如下圖所示。

完成上述7步驟后，就能執(zhí)行配置文件查看是否有正確執(zhí)行我們的ONNX模型，第一次執(zhí)行會(huì)較久，過(guò)程會(huì)產(chǎn)生engine檔案，一旦有了engine檔，之后執(zhí)行就不會(huì)再重復(fù)產(chǎn)生。

成功執(zhí)行自定義模型的結(jié)果。

結(jié)論

原官方范例大多執(zhí)行車流檢測(cè)，若是想執(zhí)行別的應(yīng)用就得自己研究。本篇透過(guò)將自己訓(xùn)練好的Pytorch模型轉(zhuǎn)換為ONNX，經(jīng)7步驟后讓DeepStream可以使用我們自己的模型進(jìn)行辨識(shí)，使其能應(yīng)用在交通以外的場(chǎng)景，例如室內(nèi)監(jiān)控、多機(jī)臺(tái)管控…等。

審核編輯 ：李倩