描述

DeepLabV3 開(kāi)發(fā)板應(yīng)用

該應(yīng)用程序演示了圖像語(yǔ)義分割。本應(yīng)用中使用的DeepLabV3是谷歌實(shí)現(xiàn)的一種語(yǔ)義分割算法。

這將對(duì)給定肖像圖像中每個(gè)像素中的對(duì)象進(jìn)行分類(lèi)，并將標(biāo)簽分配給每個(gè)對(duì)象。圖像語(yǔ)義分割有助于背景變化、人像模式等應(yīng)用。

為了開(kāi)發(fā)用于圖像分割的 DeepLabV3 模型，我們使用 Snapdragon 移動(dòng)平臺(tái) (SD835) 和高通神經(jīng)處理 SDK。

模型訓(xùn)練的推薦設(shè)置

硬件先決條件

• 英特爾 i5 或更高
• NVIDIA 10 系列或更高版本
• 內(nèi)存 16 GB 或更多

系統(tǒng)軟件要求

• Ubuntu 14.04 LTS 或以上版本
• 庫(kù)達(dá)
• CuDNN

如何訓(xùn)練模型

Tensorflow 的 DeepLab API 設(shè)置是訓(xùn)練 DeepLabV3 模型的先決條件。安裝步驟請(qǐng)按照以下說(shuō)明進(jìn)行，

• 執(zhí)行以下命令來(lái)安裝依賴(lài)項(xiàng)，

# Run this command from $ sudo pip install -r dependencies/requirement.txt

• 通過(guò)執(zhí)行以下命令克隆 tensorflow 及其模型存儲(chǔ)庫(kù)，

$ git clone https://github.com/tensorflow/tensorflow.git
$ cd tensorflow
$ git clone https://github.com/tensorflow/models.git

• 更新 Python 環(huán)境設(shè)置

$ cd /tensorflow/models/research
$ export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slim

注意：需要為每個(gè)新的終端會(huì)話進(jìn)行環(huán)境設(shè)置。

為避免為每個(gè)新會(huì)話更新環(huán)境路徑，請(qǐng)?jiān)趲в薪^對(duì)路徑的 .bashrc 文件末尾添加以上行。

測(cè)試安裝

運(yùn)行以下命令測(cè)試是否安裝成功，

$ cd to tensorflow setup>/tensorflow/models/research
$ python deeplab/model_test.py

安裝完成后，執(zhí)行以下命令開(kāi)始訓(xùn)練，

$ cd /tensorflow/models/research/deeplab
$ sh local_test.sh 

注意：默認(rèn)local_test.sh中的迭代次數(shù)為10，如有需要請(qǐng)自行修改。

如何將Tensorflow的模型轉(zhuǎn)化為DLC？

先決條件：Qualcomm 神經(jīng)處理 SDK 設(shè)置。使用以下鏈接中的說(shuō)明進(jìn)行設(shè)置，

https://developer.qualcomm.com/software/qualcomm-neural-processing-sdk/getting-started

• 使用tensorflow初始化Neural Processing SDK SDK的環(huán)境變量。
• 該模型使用 TensorFlow 框架進(jìn)行訓(xùn)練，并導(dǎo)出為擴(kuò)展名為 .pb 的圖形文件。
• 使用以下命令將 .pb 文件轉(zhuǎn)換為 .dlc 文件后：

使用高通神經(jīng)處理 SDK 在 Ubuntu 上進(jìn)行推理

SDK 不支持將直接圖像作為推理模型的輸入。

Qualcomm 神經(jīng)處理 SDK 需要將 NumPy 數(shù)組存儲(chǔ)為原始文件。為了在 SDK 中運(yùn)行應(yīng)用程序，我們需要對(duì)輸入圖像進(jìn)行預(yù)處理。

以下是 src/deep_input_raw.py 文件中預(yù)處理步驟的詳細(xì)信息，

（我們已經(jīng)使用opencv對(duì)圖像進(jìn)行預(yù)處理）

• 將圖像調(diào)整為 513x513x3 的尺寸。
• 用平均值 128 填充較小的維度以生成 513x513x3 的圖像。
• 將圖像轉(zhuǎn)換為 float32 類(lèi)型。
• 將圖像逐元素乘以 0.00784313771874 并分別減去 1.0。
• 將此預(yù)處理數(shù)組存儲(chǔ)為原始文件 (blob.raw)。

在執(zhí)行 src/deep_input_raw.py 腳本時(shí)，會(huì)生成 blob.raw 文件。

使用 DeepLab 更改背景的過(guò)程

以下是使用 src/post_process_deeplab_output.py 更改預(yù)處理圖像背景的詳細(xì)步驟說(shuō)明，

• 上一節(jié)的輸出 (output/Result_0/ArgMax:0.raw) 是一個(gè)維度為 513x513x1 的 NumPy 數(shù)組。
• 數(shù)組中的每個(gè)元素都包含給定輸入圖像對(duì)應(yīng)像素的預(yù)測(cè)類(lèi)別索引。
• 人的索引號(hào)是 15。
• 將 NumPy 數(shù)組讀入 float32 類(lèi)型的數(shù)據(jù)緩沖區(qū)。
• 要將背景更改為灰度，請(qǐng)分配像素值，使 R、G 和 B 分量具有相同的值。例如，將像素值 R(123)、G(93) 和 B(49) 修改為 R( 123），G（123），B（123）。
• 遍歷 NumPy 數(shù)組并更改原始調(diào)整大小圖像中的像素值（按照上面的步驟 5），而不是類(lèi)索引 15 的像素。
• 將圖像調(diào)整為原始大小。

post_process_deeplab_output.py 腳本會(huì)將預(yù)處理圖像的背景更改為灰度。