前言

前面給大家介紹了自己開(kāi)發(fā)的LabVIEW ai視覺(jué)工具包，后來(lái)發(fā)現(xiàn)有一些onnx模型無(wú)法使用opencv dnn加載，且速度也偏慢，所以就有了今天的onnx工具包，如果你想要加載更多模型，追求更高的速度，那可以使用LabVIEW onnx工具包實(shí)現(xiàn)模型的推理與加速。

一、工具包內(nèi)容

這個(gè)開(kāi)放神經(jīng)網(wǎng)絡(luò)交互工具包主要優(yōu)勢(shì)如下：

1. **簡(jiǎn)單編程：**圖形化編程，無(wú)需掌握文本編程基礎(chǔ)即可完成機(jī)器視覺(jué)項(xiàng)目;
2. **提供多種框架生成的onnx模型導(dǎo)入模塊：**包括pytorch、caffe、tensorflow、paddlepaddle等生成的onnx模型；
3. 多種高效加速推理接口 ：CUDA、TensorRT對(duì)模型進(jìn)行最大化的加速；
4. 支持多種硬件加速 ：支持Nvidia GPU、Intel、TPU、NPU多種硬件加速
5. 提供近百個(gè)應(yīng)用程序范例 ：包括物體分類(lèi)、物體檢測(cè)、物體測(cè)量、圖像分割、 人臉識(shí)別、自然場(chǎng)景下OCR等多種實(shí)用場(chǎng)景

** 工具包中的函數(shù)選版如下：**

例如，一個(gè)攝像頭采集并進(jìn)行yolov5目標(biāo)檢測(cè)的范例程序，只需在LabVIEW中編寫(xiě)簡(jiǎn)單的圖形化程序，即可實(shí)現(xiàn)。在大量簡(jiǎn)化編程難度的同時(shí)，也保持了c++的高效運(yùn)行特性。

通常我們做項(xiàng)目，在部署過(guò)程中想要加速，無(wú)非就那么幾種辦法，如果我們的設(shè)備是CPU，那么可以用openvion，如果我們希望能夠使用GPU，那么就可以嘗試TensorRT了。那么為什么要選擇TensorRT呢？因?yàn)槲覀兡壳爸饕褂玫倪€是Nvidia的計(jì)算設(shè)備，TensorRT本身就是Nvidia自家的東西，那么在Nvidia端的話(huà)肯定要用Nvidia親兒子了。

不過(guò)因?yàn)門(mén)ensorRT的入門(mén)門(mén)檻略微有些高，直接勸退了想要入坑的玩家。其中一部分原因是官方文檔比較雜亂；另一部分原因就是TensorRT比較底層，需要一點(diǎn)點(diǎn)C++和硬件方面的知識(shí)，學(xué)習(xí)難度會(huì)更高一點(diǎn)。我們做的****開(kāi)放神經(jīng)網(wǎng)絡(luò)交互工具包GPU版本 ，直接將TensorRT一起集成到了onnx_session中，可以加載任何onnx模型，可以使用CUDA或者TensorRT加速,實(shí)現(xiàn)高效的推理

二、工具包下載鏈接

https://pan.baidu.com/s/1vwCp1LuKEjYGM4goNYMagw?pwd=yiku

三、工具包安裝步驟

詳細(xì)安裝步驟可查看： LabVIEW開(kāi)放神經(jīng)網(wǎng)絡(luò)交互工具包（ONNX)（非NI Vision）下載與安裝教程

四、實(shí)現(xiàn)物體識(shí)別

無(wú)論使用何種框架訓(xùn)練物體檢測(cè)模型，都可以無(wú)縫集成到LabVIEW中，并使用工具包提供的CUDA、tensorRT接口實(shí)現(xiàn)加速推理，模型包括但不限于：

• yolov5、yolov6、yolov7、pp-yoloe、yolox
• torchvision中的圖像分類(lèi)、目標(biāo)檢測(cè)模型等

通過(guò)算法優(yōu)化，在LabVIEW中運(yùn)行模型的速度明顯好于python，這對(duì)于對(duì)性能要求較高的工業(yè)現(xiàn)場(chǎng)來(lái)說(shuō)非常友好實(shí)用。比如說(shuō)：工地安全帽檢測(cè)、物體表面缺陷檢測(cè)等，如下圖進(jìn)行物體識(shí)別，在GPU模式下，無(wú)論是運(yùn)行速度和識(shí)別率都可以達(dá)到工業(yè)級(jí)別。

• yolov4實(shí)現(xiàn)目標(biāo)檢測(cè)：

• 基于onnx，yolov5使用tensorRT實(shí)現(xiàn)推理加速：

• NI vision采集圖像、tensorRT加速實(shí)現(xiàn)yolov5目標(biāo)檢測(cè)

• yolov5實(shí)現(xiàn)口罩檢測(cè)：
  
• yolov5實(shí)現(xiàn)安全帽檢測(cè)：
  
• yolov6實(shí)現(xiàn)目標(biāo)檢測(cè)：
  
• yolox實(shí)現(xiàn)目標(biāo)檢測(cè)：
  
• 百度PP-YOLOE實(shí)現(xiàn)目標(biāo)檢測(cè)：
  

五、實(shí)現(xiàn)圖像分割

圖像分割是當(dāng)今計(jì)算機(jī)視覺(jué)領(lǐng)域的關(guān)鍵問(wèn)題之一。從宏觀上看，圖像分割是一項(xiàng)高層次的任務(wù)，為實(shí)現(xiàn)場(chǎng)景的完整理解鋪平了道路。場(chǎng)景理解作為一個(gè)核心的計(jì)算機(jī)視覺(jué)問(wèn)題，其重要性在于越來(lái)越多的應(yīng)用程序通過(guò)從圖像中推斷知識(shí)來(lái)提供營(yíng)養(yǎng)。隨著深度學(xué)習(xí)軟硬件的加速發(fā)展，一些前沿的應(yīng)用包括自動(dòng)駕駛汽車(chē)、人機(jī)交互、醫(yī)療影像等，都開(kāi)始研究并使用圖像分割技術(shù)。

本次集成的工具包提供了多種圖像分割的調(diào)用模塊，并實(shí)現(xiàn)了GPU模式下TensorRT的加速運(yùn)行。如：

語(yǔ)義分割：Segnet、deeplabv1~deeplabv3、deeplabv3+、u-net等；

實(shí)例分割：Mask-RCNN、PANet等

六、自然場(chǎng)景下的文字識(shí)別

工具包提供了文本檢測(cè)定位（DB_TD500_resnet50、EAST）、文本識(shí)別的模塊（CRNN)，用戶(hù)可以使用該模塊實(shí)現(xiàn)自然場(chǎng)景下的中英文文字識(shí)別

應(yīng)用：身份證識(shí)別、表單識(shí)別、包裝盒標(biāo)簽檢測(cè)等

七、人臉檢測(cè)與識(shí)別

八、人體關(guān)鍵點(diǎn)檢測(cè)

** 人體骨骼關(guān)鍵點(diǎn)對(duì)于描述人體姿態(tài)，預(yù)測(cè)人體行為至關(guān)重要。因此人體骨骼關(guān)鍵點(diǎn)檢測(cè)是諸多計(jì)算機(jī)視覺(jué)任務(wù)的基礎(chǔ)，例如動(dòng)作分類(lèi)，異常行為檢測(cè)，以及自動(dòng)駕駛等等。近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，人體骨骼關(guān)鍵點(diǎn)檢測(cè)效果不斷提升，已經(jīng)開(kāi)始廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)的相關(guān)領(lǐng)域。**

** 本次集成的工具包提供了關(guān)鍵點(diǎn)檢測(cè)的調(diào)用模塊，并實(shí)現(xiàn)了GPU模式下TensorRT的加速運(yùn)行。**

總結(jié)

工具包的具體使用可以關(guān)注博主的后續(xù)博客，如果有問(wèn)題可以在評(píng)論區(qū)里討論，提問(wèn)前請(qǐng)先點(diǎn)贊支持一下博主哦

如果文章對(duì)你有幫助，歡迎關(guān)注、點(diǎn)贊、收藏 .

審核編輯 黃宇