機器視覺，為行業(yè)數(shù)字化打開了新的“視”界，是實現(xiàn)行業(yè)自動化和智能化的必要手段，這也使得越來越多的學(xué)生、研究者及開發(fā)者們學(xué)習(xí)并研究機器視覺技術(shù)。

賈志剛便是其中一員，他的另外一個身份是 “OpenCV 學(xué)堂” 的創(chuàng)辦人。同時，作為 CSDN 博客專家以及 51CTO 視頻學(xué)院認(rèn)證講師，賈志剛在圖像特征提取匹配、識別等方面有較深入的研究，擁有 10 年以上圖像處理項目實踐經(jīng)驗和教學(xué)經(jīng)驗。

賈志剛近照

“機器視覺技術(shù)是一門涉及人工智能、計算機科學(xué)、圖像處理等領(lǐng)域的交叉學(xué)科，不斷在尋找更創(chuàng)新、更有效率的方式實現(xiàn)生產(chǎn)落地，”賈老師說。

很重要，但是也有痛點

在嗶哩嗶哩平臺上，“OpenCV 學(xué)堂”的鐵粉已經(jīng)達到近 3 W 人，賈老師專門針對這些對視覺感興趣、想自學(xué) CV 開發(fā)或者想轉(zhuǎn)行到視覺領(lǐng)域的各位開發(fā)者，錄制了各類關(guān)于 CV 開發(fā)技術(shù)與案例實戰(zhàn)的課程。

但是在長期的開發(fā)與培訓(xùn)中，賈老師還是遇到了一些困擾。學(xué)員經(jīng)常發(fā)各種圖像文件要求老師給出思路與方法，但是苦于沒有合適的工具軟件，對學(xué)員此類問題答疑效率極差，需要反復(fù)進行長時間的溝通。不僅如此，在機器視覺項目開發(fā)中經(jīng)常需要向客戶快速演示，以證明公司的技術(shù)能力，獲取客戶信任，但是由于沒有好的算法演示工具套件，項目的預(yù)研跟評估流程很長，效率很低，與客戶期望時間相去甚遠(yuǎn)。

“我們需要一個工具套件幫助老師更好地設(shè)計教學(xué)案例與算法演示，通過嵌入機器視覺領(lǐng)域必備知識點案例教學(xué)與算子支持，更具說服力地向?qū)W生展示機器視覺的強大力量，保證學(xué)生的學(xué)習(xí)更加有的放矢，更好地培養(yǎng)合格的機器視覺領(lǐng)域的技術(shù)人才?！辟Z老師表示。

同樣，這也適用于那些需要向客戶演示機器視覺項目，證明自己技術(shù)能力的企業(yè)用戶。

于是，賈老師決定親自率領(lǐng)團隊開發(fā)一套名為 OpenMV (Open Machine Vision Toolkit)的針對機器視覺技術(shù)方向的開源教學(xué)工具軟件。

為實踐價值而生

既然是工具套件，首先要選擇一個硬件載體，這需要考慮到教學(xué)場景使用的便捷性與成本，同時兼顧運行速度與深度學(xué)習(xí)模型加速等因素。賈老師和他的團隊將目光看向了 NVIDIA Jetson Nano 4GB 開發(fā)套件。

“這個平臺具備 1 個網(wǎng)口和4 個 USB 插口，支持 HDMI 輸出，是一款性價比超高，同時可以演示傳統(tǒng)圖像處理與深度學(xué)習(xí)推理的實驗平臺?！辟Z老師說，“外接了顯示器與鼠標(biāo)鍵盤之后就完成了硬件平臺搭建?！?/p>

Jetson NANO 開發(fā)套件

基于硬件選型與配置，軟件系統(tǒng)選擇開源計算機視覺庫 OpenCV 作為傳統(tǒng)視覺算法支撐，同時 OpenCV4.x 版本 DNN (Deep Neural Network) 模塊有非常好的深度學(xué)習(xí)推理部署支持，通過 NVIDIA CUDA 實現(xiàn)推理加速。軟件選擇的開發(fā)語言是 Python，主要考慮到 Python 語言是人工智能與深度學(xué)習(xí)場景下開發(fā)者使用最廣泛的語言，同時學(xué)習(xí)成本跟時間消耗相對來說比較低，對開發(fā)團隊完成項目開發(fā)比較有利。界面開發(fā)框架選擇 PyQT5，深度學(xué)習(xí)推理支持 OpenCV DNN 與TensorRT兩種框架，傳統(tǒng)圖像處理與分析算法支持選擇 OpenCV 庫作為支持。針對 OpenCV 中模板算法進行優(yōu)化，實現(xiàn)了支持多角度、多目標(biāo)、多尺度的模板匹配，針對 OpenCV 測量模塊缺失的問題，團隊開發(fā)了一套基于梯度差分、快速邊緣測量的算法模塊，兩個模塊均已集成到 OpenMV 工具套件中，方便老師在教學(xué)場合演示。

對象檢測數(shù)據(jù)標(biāo)注演示

YOLOv5 自定義對象檢測模型推理演示

借助 Jetson Nano 強大的硬件性能以及 NVIDIA 全棧式高性能嵌入式開發(fā)環(huán)境，賈老師團隊夜以繼日完成了 OpenMV 工具套件實驗平臺代碼的初步開發(fā)與搭建。它支持機器視覺常用的算法與算子的演示操作，支持從圖像開始的算法流程設(shè)計，可以快速調(diào)整參數(shù)與測試，零代碼實現(xiàn)常見圖像處理、圖像分析和圖像測量等視覺任務(wù)，還有深度學(xué)習(xí)圖像分類、對象檢測以及語義分割網(wǎng)絡(luò)主流模型推理演示。

與 Jetson 開發(fā)社區(qū)一起成長

談到自研的這套 OpenMV 工具套件的開發(fā)目標(biāo)，賈老師表示，希望能幫助高職院校培養(yǎng)更多既懂傳統(tǒng) OpenCV 算法，又懂深度學(xué)習(xí)，從訓(xùn)練到部署都合格的視覺開發(fā)工程師們，也希望能成為企業(yè)展示自己機器視覺技術(shù)實力的利器。未來，團隊還會腳踏實地、全力以赴，用匠心做好后續(xù)開發(fā)工作，持續(xù)改進與提升產(chǎn)品質(zhì)量，在 NVIDIA 高性能硬件加持下，為教育市場與高職院校視覺相關(guān)課程建設(shè)打磨更多的有用產(chǎn)品。

“很高興能成為 NVIDIA Jetson 百萬開發(fā)者的一員。NVIDIA 的 Jetson 平臺對開發(fā)者非常友好，不僅安裝簡單而且貼合開發(fā)者實際需求，無論是用 C++ 還是 Python 在嵌入式端部署深度學(xué)習(xí)模型開發(fā)應(yīng)用，Jetson Nano 都挺合適，值得入門人工智能的開發(fā)者們擁有?！辟Z老師說，“開發(fā)過程中，NVIDIA 官方提供了豐富 Jetson NANO 和 TensorRT 教程和項目作為參考，讓團隊獲得很多一手的開發(fā)文檔與資料，這也讓我們有信心和 Jetson 開發(fā)社區(qū)一起成長！”

像賈老師及團隊一樣的開發(fā)者朋友們可以免費報名參加 GTC 的 Jetson 邊緣 AI 開發(fā)者日活動。NVIDIA 專家將在活動上介紹最新的 Jetson 硬件、軟件和合作伙伴。此外還有 CUDA 編程等精彩議題。內(nèi)容包括：

• 使用 NVIDIA Jetson 軟件加速邊緣 AI 的開發(fā)

  （https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1675122992275001FUuE）

• 使用 NVIDIA Jetson 生態(tài)系統(tǒng)加快產(chǎn)品上市速度

  （https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1675125146374001Sj7X）

• 如何編寫 CUDA 程序

  （https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=CUDA#/session/1666205357204001Efly)

另外，GTC 期間更有一場以 Jetson 平臺為主題的專家交流分會，屆時參加者可以與 NVIDIA 嵌入式平臺工程師開展深度問答。這場互動交流會提供了一個獨家機會，讓您可以以團隊或個人形式與 NVIDIA 產(chǎn)品幕后人員見面，答疑解惑?；顒酉挥邢?，先到先得。

復(fù)制鏈接粘貼至瀏覽器進行注冊：

https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1670472065129001rf2z

//

Jetson “百萬開發(fā)者”有獎?wù)骷顒?/strong>正在火熱進行中。作為 Jetson “百萬開發(fā)者”的一員，感謝您陪伴 Jetson 走過的開發(fā)之路。無論是企業(yè)、工程師、發(fā)燒友還是學(xué)生，我們相信每一位開發(fā)者都和 Jetson 有著不一樣的故事?？靵韰⑴c有獎?wù)骷顒樱f出您與 Jetson 的故事，無論是開發(fā)創(chuàng)造的經(jīng)典案例，還是學(xué)習(xí)構(gòu)建的心得體驗，都?xì)g迎您暢所欲言，更有驚喜好禮等您拿！