深度學(xué)習(xí)工程師做什么

深度學(xué)習(xí)已經(jīng)改變了很多行業(yè)，深度學(xué)習(xí)工程師已經(jīng)是不折不扣的高薪職業(yè)，但是也有越來越內(nèi)卷的趨勢，以前只要求會訓(xùn)練模型就可以了，現(xiàn)在多數(shù)深度學(xué)習(xí)工程師崗位都要求掌握模型訓(xùn)練與模型部署。 可以毫不夸張的說，以后只有既會訓(xùn)練，又會部署而且是會C++部署模型的深度學(xué)習(xí)工程師才會繼續(xù)高薪之路，否則按照這個內(nèi)卷趨勢，只會訓(xùn)練模型，不會部署模型的深度學(xué)習(xí)工程師必然會受到后來開發(fā)者越來越多的挑戰(zhàn)，前期積累的優(yōu)勢蕩然無存。所以掌握從數(shù)據(jù)標(biāo)注、到模型訓(xùn)練、到模型部署技能是深度學(xué)習(xí)工程師基本要求，也是未來的必然趨勢。

深度學(xué)習(xí)工程化步驟

深度學(xué)習(xí)工程落地分為兩個主要階段，分別是數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、模型部署三個主要階段。

深度學(xué)習(xí)模型部署場景

深度學(xué)習(xí)模型部署場景主要包括：

01

云部署場景

主要是基于云服務(wù)器與分布式服務(wù)提供，企業(yè)需要支付云服務(wù)器算力費(fèi)用與存儲費(fèi)用。優(yōu)點(diǎn)是便于擴(kuò)展，方便在多個位置與節(jié)點(diǎn)快速部署使用模型算法；缺點(diǎn)是與邊緣部署相比，延時比較高，可靠性比較低，數(shù)據(jù)安全受到挑戰(zhàn)，沒有充分利用邊緣設(shè)備算力。

02

邊緣（PC端側(cè)）部署場景

高性能應(yīng)用的理想選擇、高度可定制（使用與應(yīng)用程序相關(guān)的部件構(gòu)建）、靈活的定價(jià)（因?yàn)榭梢愿鶕?jù)應(yīng)用選擇組件）。優(yōu)點(diǎn)是成本可控，數(shù)據(jù)安全有保證，低延時高可靠，因此在機(jī)器視覺、安防監(jiān)控等領(lǐng)域都大量采用該方案，依靠工控機(jī)+顯卡的方式提供算力實(shí)現(xiàn)模型部署，支持缺陷檢測、安防監(jiān)控、自動化生產(chǎn)等。缺點(diǎn)是對一些成本特別敏感的行業(yè)依然無法大量采用該方案。

03

邊緣（ARM、FPGA和推理板卡，智能相機(jī)）

邊緣與端側(cè)部署一個很重要的場景，典型的就是各種人工智能盒子，包括英特爾的NUC盒子，最新推出AlxBorad板卡，英偉達(dá)的Jetson系列板卡，RK系列的板卡、樹莓派等，已經(jīng)基于他們實(shí)現(xiàn)的各種智能設(shè)備。他們的優(yōu)點(diǎn)是低成本，低功耗、顯著節(jié)省外圍硬件算力，同時高可靠性，安全，適用于對算力要求不是很嚴(yán)苛的場景，支持各種輕量化的模型部署。缺點(diǎn)是對深度學(xué)習(xí)開發(fā)者要求較高，要求對模型進(jìn)行量化，各個板卡支持的模型部署框架不同，工具鏈軟件也不一樣

深度學(xué)習(xí)主流部署框架

深度學(xué)習(xí)開發(fā)者至少應(yīng)該掌握一種深度學(xué)習(xí)模型部署框架，當(dāng)前深度學(xué)習(xí)模型部署主要有OpenVINO、TensorRT、ONNXRUNTIME這三個當(dāng)前主流的框架。 OpenVINO來自英特爾公司，當(dāng)前最新版本是OpenVINO2023.1

TensorRT來自英偉達(dá)公司，當(dāng)前最新版本是TensorRT8.6

ONNXRUNTIME來自微軟，當(dāng)前最新版本是1.15.x

如何選擇

英特爾CPU/GPU上模型加速與推理最佳選擇是OpenVINO

英偉達(dá)GPU上模型加速與推理最佳選擇TensorRT

兼容不同硬件廠家平臺模型算子支持度高，兼容性強(qiáng)最佳選擇是ONNXRUNTIME

如何學(xué)習(xí)

掌握三種主流的深度學(xué)習(xí)模型部署框架，實(shí)現(xiàn)模型在CPU、GPU、AMD等不同平臺硬件上加速推理最佳性能。OpenCV學(xué)堂已經(jīng)推出OpenVINO、TensorRT、ONNXRUNTIME深度學(xué)習(xí)部署系統(tǒng)化學(xué)習(xí)路線圖。“工欲善其事，必先利其器”，做深度學(xué)習(xí)工程師，學(xué)完部署再打工，一切都來得及，現(xiàn)在開始剛剛好！

根據(jù)需要自主選擇深度學(xué)習(xí)模型部署框架學(xué)習(xí)，均支持C++與Python SDK 代碼演示，支持對象檢測，實(shí)例分割，語義分割等主流模型部署與模型加速推理技巧。深度學(xué)習(xí)開發(fā)者根據(jù)自己需要選擇想要的深度學(xué)習(xí)模型部署框架，然后學(xué)習(xí)即可。