本文將詳細介紹基于OpenVINO工具包，在C#語言下，部署飛槳PP-Human的全流程，幫助開發(fā)者快速掌握并部署產(chǎn)業(yè)級AI人體分析解決方案。

飛槳實時行人分析工具PP-Human

PP-Human是飛槳目標檢測套件PaddleDetection中開源的實時行人分析工具，提供了五大異常行為識別和四大產(chǎn)業(yè)級功能：人體屬性分析、人流計數(shù)、跨鏡ReID，如下圖所示：



圖 1-1PP-Human v2全功能全景圖

PP-Human技術架構

PP-Human支持單張圖片、圖片文件夾單鏡頭視頻和多鏡頭視頻輸入，經(jīng)目標檢測以及特征關聯(lián)，實現(xiàn)屬性識別、關鍵點檢測、軌跡/流量計數(shù)以及行為識別等功能，如下圖所示。本文將以行人摔倒識別為例，基于OpenVINO進行多種模型聯(lián)合部署。

?

圖 1-2PP-Human技術架構

構建C#開發(fā)環(huán)境

為了防止復現(xiàn)代碼出現(xiàn)問題，列出以下代碼開發(fā)環(huán)境，可以根據(jù)自己需求設置，注意OpenVINO一定是2022版本，其他依賴項可以根據(jù)自己的設置修改。

操作系統(tǒng)：Windows 11

OpenVINO：2022.3

OpenCV：4.5.5

Visual Studio：2022 Community

C#框架：.NET 6.0

OpenCvSharp：OpenCvSharp4

C#中調用OpenVINO實現(xiàn)

構建OpenVINO動態(tài)鏈接庫

由于OpenVINO只有C++和Python接口，無法直接在C#中使用OpenVINO部署模型，為了實現(xiàn)在C#中使用，通過動態(tài)鏈接庫的方式實現(xiàn)。

在C#中引入動態(tài)鏈接庫文件

在C#中需要使用[DllImport()]方法引入動態(tài)鏈接庫文件，其完整的使用方式如以下代碼所示：

[DllImport(openvino_dll_path, CharSet=CharSet.Unicode, CallingConvention=CallingConvention.Cdecl)]

publicexternstaticIntPtrset_input_image_sharp(IntPtrinference_engine, stringinput_node_name, refulonginput_size);

針對[DllImport()]括號中的內容：

openvino_dll_path為dll文件路徑

CharSet = CharSet.Unicode代表支持中文編碼格式字符串

CallingConvention = CallingConvention.Cdecl指示入口點的調用約定為調用方清理堆棧

在聲明動態(tài)鏈接庫后，就可以引入動態(tài)鏈接庫中的方法，由于我們在C++環(huán)境下生成的動態(tài)鏈接庫，為了讓編譯器識別，需要方法名、變量類型一一對應，才可以引入成功：



表 1C++與C#方法對應關系

基于以上方法，我們將動態(tài)鏈接庫中的所有方法引入到C#中。

C#構建Core類

上一步我們引入了封裝的OpenVINO動態(tài)鏈接庫，為了更方便的使用，將其封裝到Core類中。

在不同方法之間，主要通過推理核心結構體指針在各個方法之間傳遞，在C#是沒有指針這個說法的，不過可以通過IntPtr結構體來接收這個指針，為了防止該指針被篡改，將其封裝在類中作為私有成員使用。

根據(jù)模型推理的步驟，構建模型推理類：

（1）構造函數(shù)

publicCore(stringmodel_file, stringdevice_name){

// 初始化推理核心

ptr = NativeMethods.core_init(model_file, device_name);

}

在該方法中，主要是調用推理核心初始化方法，初始化推理核心，讀取本地模型，將模型加載到設備、創(chuàng)建推理請求等模型推理步驟。

（2）設置模型輸入形狀

// @brief 設置推理模型的輸入節(jié)點的大小

// @param input_node_name 輸入節(jié)點名

// @param input_size 輸入形狀大小數(shù)組

publicvoidset_input_sharp(stringinput_node_name, ulong[] input_size) {

// 獲取輸入數(shù)組長度

intlength = input_size.Length;

if(length == 4) {

// 長度為4，判斷為設置圖片輸入的輸入?yún)?shù)，調用設置圖片形狀方法

ptr = NativeMethods.set_input_image_sharp(ptr, input_node_name, refinput_size[0]);

}

elseif(length == 2) {

// 長度為2，判斷為設置普通數(shù)據(jù)輸入的輸入?yún)?shù)，調用設置普通數(shù)據(jù)形狀方法

ptr = NativeMethods.set_input_data_sharp(ptr, input_node_name, refinput_size[0]);

}

else{

// 為防止輸入發(fā)生異常，直接返回

return;

}

}

OpenVINO 2022.3支持模型動態(tài)輸入，讀入模型可以不固定輸入大小，在使用時固定模型的輸入大小，并且可以隨時修改輸入形狀。當前設置情況下，至此設置二維、以及四維的輸入形狀，在當前模型中足夠使用。

（3）加載推理數(shù)據(jù)

// @brief 加載推理數(shù)據(jù)

// @param input_node_name 輸入節(jié)點名

// @param input_data 輸入數(shù)據(jù)數(shù)組

publicvoidload_input_data(stringinput_node_name, float[] input_data) {

ptr = NativeMethods.load_input_data(ptr, input_node_name, refinput_data[0]);

}

// @brief 加載圖片推理數(shù)據(jù)

// @param input_node_name 輸入節(jié)點名

// @param image_data 圖片矩陣

// @param image_size 圖片矩陣長度

publicvoidload_input_data(stringinput_node_name, byte[] image_data, ulongimage_size, inttype) {

ptr = NativeMethods.load_image_input_data(ptr, input_node_name, refimage_data[0], image_size, type);

}

加載推理數(shù)據(jù)主要包含圖片數(shù)據(jù)和普通的矩陣數(shù)據(jù)，其中對于圖片的預處理，也已經(jīng)在C++中進行封裝，保證了圖片數(shù)據(jù)在傳輸中的穩(wěn)定性。

（4）模型推理

// @brief 模型推理

publicvoidinfer() {

ptr = NativeMethods.core_infer(ptr);

}

（5）讀取推理結果數(shù)據(jù)

// @brief 讀取推理結果數(shù)據(jù)

// @param output_node_name 輸出節(jié)點名

// @param data_size 輸出數(shù)據(jù)長度

// @return 推理結果數(shù)組

publicT[] read_infer_result(stringoutput_node_name, intdata_size) {

// 獲取設定類型

stringt = typeof(T).ToString();

// 新建返回值數(shù)組

T[] result = newT[data_size];

if(t == "System.Int32") { // 讀取數(shù)據(jù)類型為整形數(shù)據(jù)

int[] inference_result = newint[data_size];

NativeMethods.read_infer_result_I32(ptr, output_node_name, data_size, refinference_result[0]);

result = (T[])Convert.ChangeType(inference_result, typeof(T[]));

returnresult;

}

else{ // 讀取數(shù)據(jù)類型為浮點型數(shù)據(jù)

float[] inference_result = newfloat[data_size];

NativeMethods.read_infer_result_F32(ptr, output_node_name, data_size, refinference_result[0]);

result = (T[])Convert.ChangeType(inference_result, typeof(T[]));

returnresult;

}

}

在讀取模型推理結果時，支持讀取整形數(shù)據(jù)和浮點型數(shù)據(jù)，且需要知曉模型輸出數(shù)據(jù)的大小，這就要求我們對自己所使用的模型有很好的把握。

（6）清除地址

// @brief 刪除創(chuàng)建的地址

publicvoiddelet() {

NativeMethods.core_delet(ptr);

}

此處的清除地址需要調用fengzhuangd額地址刪除方法實現(xiàn)，不可以直接刪除C#中創(chuàng)建的IntPtr，這樣會導致內存泄漏，影響程序性能。

通過上面的封裝，比可以在C#平臺下，調用Core類，間接調用OpenVINO工具包署自己的模型了。





審核編輯：劉清