為了將像素轉(zhuǎn)換為可操作的洞察力，計算機(jī)視覺依賴于 深度學(xué)習(xí) 來提供對環(huán)境的理解。目標(biāo)檢測是一種常用的技術(shù)來識別幀中的單個對象，例如識別人或汽車。雖然對象檢測對于某些應(yīng)用程序是有益的，但是當(dāng)您希望在像素級理解對象時，它就不夠了。

實例分割是一種流行的計算機(jī)視覺技術(shù)，它有助于在像素級識別幀中多個對象的每個實例。除了邊界框之外，實例分段還創(chuàng)建了一個細(xì)粒度的分段掩碼。分割有助于在對象和背景之間進(jìn)行描繪，例如在 AI 驅(qū)動的綠色屏幕中，您希望模糊或更改幀的背景，或者分割幀中的道路或天空?；蛘吣憧赡芟朐陲@微鏡下找出制造缺陷或細(xì)胞核分割。圖 1 顯示了對檢測到的對象進(jìn)行分段掩碼的示例。

轉(zhuǎn)移學(xué)習(xí)是訓(xùn)練專門的深層神經(jīng)網(wǎng)絡(luò)（ DNN ）模型的常用方法。 NVIDIA 轉(zhuǎn)移學(xué)習(xí)工具包 （ TLT ）使轉(zhuǎn)移學(xué)習(xí)變得更加容易，這是一個零編碼框架，用于訓(xùn)練精確和優(yōu)化的 DNN 模型。隨著 tlt2 。 0 的發(fā)布， NVIDIA 使用 面具 R-CNN 增加了對實例分段的訓(xùn)練支持。你可以訓(xùn)練面具 R-CNN 模型使用幾個 ResNet 主干之一。 NGC 中提供了為 ResNet10 / 18 / 50 / 101 訓(xùn)練的預(yù)訓(xùn)練權(quán)重，可以作為遷移學(xué)習(xí)的起點。

在這篇文章中，我將向您展示如何使用 TLT 訓(xùn)練一個 90 級 COCO Mask R-CNN 模型，并使用 TensorRT 將其部署到 NVIDIA DeepStream SDK 上。您將學(xué)習(xí)如何訪問和使用來自 NGC 的預(yù)訓(xùn)練模型，以最小的工作量訓(xùn)練 Mask R-CNN 模型，并將其部署到 GPU 上進(jìn)行推理。這些步驟可用于構(gòu)建任何自定義掩碼 R-CNN 模型。

Mask R-CNN 與 DeepStream SDK 本機(jī)集成， DeepStream SDK 是一個用于構(gòu)建智能視頻分析應(yīng)用程序的流分析工具包。有關(guān) Mask R-CNN 如何與 DeepStream 集成的更多信息，請參閱 使用 NVIDIA DeepStream 5 。 0 構(gòu)建智能視頻分析應(yīng)用程序（已為 GA 更新） 。

用 COCO 訓(xùn)練面具 R-CNN 模型

Mask R-CNN 是 2017 年推出的兩階段目標(biāo)檢測和分割模型。由于其模塊化設(shè)計，它是一個優(yōu)秀的體系結(jié)構(gòu)，適用于各種應(yīng)用。在本節(jié)中，我將引導(dǎo)您通過可復(fù)制的步驟從 NGC 和一個開源 COCO 數(shù)據(jù)集獲取預(yù)訓(xùn)練的模型，然后使用 TLT 訓(xùn)練和評估模型。

要開始，請設(shè)置一個 NVIDIA NGC 帳戶，然后拉出 TLT 容器：

docker pull nvcr.io/nvidia/tlt-streamanalytics:v2.0_py3

接下來，下載經(jīng)過預(yù)訓(xùn)練的模型。使用 NGC 命令列出可用型號：

ngc registry model list nvidia/tlt_instance_segmentation:*

要下載所需的模型，請使用以下命令。在這篇文章中，我使用了 ResNet50 主干網(wǎng)，但是您可以自由使用任何受支持的主干網(wǎng)。

ngc registry model download-version nvidia/tlt_instance_segmentation:resnet50 --dest $model_path

整個工作流包括以下步驟：

準(zhǔn)備數(shù)據(jù)。

正在配置規(guī)范文件。

訓(xùn)練模特。

驗證模型。

導(dǎo)出模型。

使用 DeepStream 部署。

準(zhǔn)備數(shù)據(jù)

maskr-CNN 希望有一個 COCO 格式的用于培訓(xùn)、驗證和注釋的圖像目錄。 TFRecords 用于管理數(shù)據(jù)并幫助加快迭代速度。為了下載 COCO 數(shù)據(jù)集并將其轉(zhuǎn)換為 TFRecords ， TLT 容器中的 Mask R-CNN iPython 筆記本提供了一個名為 download_and_preprocess_coco.sh 的腳本。如果使用的是自定義數(shù)據(jù)集，則必須先將注釋轉(zhuǎn)換為 COCO ，然后再將其與 TLT 一起使用。有關(guān)更多信息，請參見 COCO data format。

下載 COCO 數(shù)據(jù)集并轉(zhuǎn)換為 TFRecords ：

bash download_and_preprocess_coco.sh $DATA_DIR

這將下載原始 COCO17 數(shù)據(jù)集并將其轉(zhuǎn)換為$ DATA \ u DIR 中的 TFRecords 。

配置等級庫文件

下一步是為培訓(xùn)配置 spec 文件。實驗規(guī)范文件是必不可少的，因為它編譯了實現(xiàn)一個好模型所需的所有超參數(shù)。 Mask R-CNN 規(guī)范文件有三個主要組件：頂層實驗配置、 data_config 和 maskrcnn_config 。 spec 文件的格式是 protobuf text （ prototxt ）消息，其每個字段可以是基本數(shù)據(jù)類型，也可以是嵌套消息。

頂層實驗配置包括實驗的基本參數(shù)，如學(xué)習(xí)速率、迭代次數(shù)、是否使用混合精度訓(xùn)練等。每個 num_steps_per_eval 值保存一個加密的檢查點，然后對驗證集運(yùn)行求值。

此處為 8- GPU 培訓(xùn)作業(yè)設(shè)置 init_learning_rate 值。如果使用不同數(shù)量的 GPUs ，請按照線性縮放規(guī)則調(diào)整學(xué)習(xí)速率。

use_amp: False
warmup_steps: 1000
checkpoint: "$PRETRAINED_MODEL_PATH"
learning_rate_steps: "[60000, 80000, 90000]"
learning_rate_decay_levels: "[0.1, 0.01, 0.001]"
total_steps: 100000
train_batch_size: 3
eval_batch_size: 8
num_steps_per_eval: 10000
momentum: 0.9
l2_weight_decay: 0.00002
warmup_learning_rate: 0.0001
init_learning_rate: 0.02

data_config值指定輸入數(shù)據(jù)源和維度。augment_input_data僅在培訓(xùn)期間使用，建議用于實現(xiàn)更高的精度。num_classes值是基本真理中的類別數(shù)加上背景類的 1 。輸入圖像將調(diào)整大小并填充到image_size，同時保持縱橫比。

data_config{
 image_size: "(832, 1344)"
 augment_input_data: True
 eval_samples: 5000
 training_file_pattern: "
$DATA_DIR/train*.tfrecord"
 validation_file_pattern: "$DATA_DIR/val*.tfrecord"
 val_json_file: "$DATA_DIR/annotations/instances_val2017.json"
 num_classes: 91
 skip_crowd_during_training: True
}

maskrcnn_config 值指定模型結(jié)構(gòu)和損失函數(shù)相關(guān)的超參數(shù)。目前， Mask R-CNN 支持 TLT 中的所有 ResNet 主干。在這個實驗中，您選擇 ResNet50 作為主干，它的前兩個卷積塊被凍結(jié)，所有批處理規(guī)范化（ BN ）層都被凍結(jié)，正如 freeze_bn： True 和 freeze_blocks： “［0，1］” 所指定的那樣。在一個凍結(jié)的任務(wù)層，不要改變一個卷積層的權(quán)重。這在遷移學(xué)習(xí)中尤其有用，因為一般特征已經(jīng)在淺層中捕獲。您不僅可以重用所學(xué)的功能，還可以減少培訓(xùn)時間。有關(guān)每個字段的詳細(xì)信息，請參閱 TLT 入門指南 。

maskrcnn_config {
 nlayers: 50
 arch: "resnet"
 freeze_bn: True
 freeze_blocks: "[0,1]"
 gt_mask_size: 112

 # Region Proposal Network
 rpn_positive_overlap: 0.7
 rpn_negative_overlap: 0.3
 rpn_batch_size_per_im: 256
 rpn_fg_fraction: 0.5
 rpn_min_size: 0.

 # Proposal layer.
 batch_size_per_im: 512
 fg_fraction: 0.25
 fg_thresh: 0.5
 bg_thresh_hi: 0.5
 bg_thresh_lo: 0.

 # Faster-RCNN heads.
 fast_rcnn_mlp_head_dim: 1024
 bbox_reg_weights: "(10., 10., 5., 5.)"

 # Mask-RCNN heads.
 include_mask: True
 mrcnn_resolution: 28

 # training
 train_rpn_pre_nms_topn: 2000
 train_rpn_post_nms_topn: 1000
 train_rpn_nms_threshold: 0.7

 # evaluation
 test_detections_per_image: 100
 test_nms: 0.5
 test_rpn_pre_nms_topn: 1000
 test_rpn_post_nms_topn: 1000
 test_rpn_nms_thresh: 0.7

 # model architecture
 min_level: 2
 max_level: 6
 num_scales: 1
 aspect_ratios: "[(1.0, 1.0), (1.4, 0.7), (0.7, 1.4)]"
 anchor_scale: 8

 # localization loss
 rpn_box_loss_weight: 1.0
 fast_rcnn_box_loss_weight: 1.0
 mrcnn_weight_loss_mask: 1.0
}

訓(xùn)練模型

數(shù)據(jù)和等級庫文件準(zhǔn)備就緒后，可以使用以下命令開始培訓(xùn)：

tlt-train mask_rcnn -e $spec_file_path -r $experiment_dir -k $KEY --gpus N

使用更多 GPUs 進(jìn)行培訓(xùn)可以讓網(wǎng)絡(luò)更快地接收更多數(shù)據(jù)，從而在開發(fā)過程中為您節(jié)省寶貴的時間。 TLT 支持 multi- GPU 訓(xùn)練，這樣您就可以用多個 GPUs 并行訓(xùn)練模型。如果自動混合精度（ AMP ）通過將enable_amp設(shè)置為 True 啟用訓(xùn)練，與 F32 訓(xùn)練相比，您可以預(yù)期速度提升 20 – 50% 。在訓(xùn)練期間，一個詳細(xì)的日志記錄每五次迭代的訓(xùn)練損失和驗證集上的評估指標(biāo)。

throughput: 34.4 samples/sec
==================== Metrics =====================
FastRCNN box loss: 0.27979
FastRCNN class loss: 0.11633
FastRCNN total loss: 0.39612
L2 loss: 0.83087
Learning rate: 0.00014
Mask loss: 1.3277
RPN box loss: 0.03868
RPN score loss: 0.60576
RPN total loss: 0.64443
Total loss: 3.19912

如果由于任何原因，培訓(xùn)過程中斷，您可以通過執(zhí)行相同的命令來恢復(fù)培訓(xùn)。它會自動從上次保存的檢查點提取。

評估模型

要評估模型，請使用以下命令：

tlt-evaluate mask_rcnn -e $spec_file_path -m $model_path -k $KEY

面具 R-CNN 報道可可的 檢測評估指標(biāo) 。例如， AP50 表示 IoU 設(shè)置為 50% 時的平均精度（ AP ）。

所有的檢測框架都使用 mAP 作為一個共享的度量，采用了 Pascal VOC ，與 AP50 相當(dāng)。該分類模型支持各種度量，包括 Top K 準(zhǔn)確度、精確度和召回率以及混淆矩陣。

使用 8 GPUs 訓(xùn)練 100K 次迭代后，您可以觀察到以下指標(biāo)：

=========== Metrics ===========
AP: 0.334154785
AP50: 0.539312243
AP75: 0.358969182
APl: 0.453923374
APm: 0.354732722
APs: 0.181649670
ARl: 0.661920488
ARm: 0.533207536
ARmax1: 0.297426522
ARmax10: 0.477609098
ARmax100: 0.503548384
ARs: 0.317135185
mask_AP: 0.307278961
mask_AP50: 0.505144179
mask_AP75: 0.325496018
mask_APl: 0.432014465
mask_APm: 0.327025950
mask_APs: 0.151430994
mask_ARl: 0.626315355
mask_ARm: 0.492682129
mask_ARmax1: 0.281772077
mask_ARmax10: 0.439913362
mask_ARmax100: 0.461205393
mask_ARs: 0.271702766

KPI 是通過對 NGC 的預(yù)訓(xùn)練模型進(jìn)行微調(diào)獲得的， NGC 最初是在開放圖像數(shù)據(jù)集的子集上進(jìn)行訓(xùn)練的。如果使用 ImageNet 預(yù)訓(xùn)練權(quán)重進(jìn)行訓(xùn)練，或者使用更大的迭代次數(shù)進(jìn)行訓(xùn)練，則 KPI MIG 將有所不同。

驗證模型

現(xiàn)在您已經(jīng)訓(xùn)練了模型，運(yùn)行推斷并驗證預(yù)測。要用 TLT 直觀地驗證模型，請使用 tlt-infer 命令。 tlt-infer 命令支持對。 tlt 模型和 TensorRT 引擎的推理。 tlt-infer 生成帶有邊框的帶注釋圖像?；蛘撸€可以可視化分段掩碼或以 cocojson 格式序列化輸出元數(shù)據(jù)。例如，要使用。 tlt 文件運(yùn)行推理，請運(yùn)行以下命令：

tlt-infer mask_rcnn -i $input_images_dir -o $annotated_images_dir -e $spec_file -m $tlt_model -l $json_label -t $threshold --include_mask

圖 2 所示的原始圖像與圖 3 中所示的帶注釋圖像進(jìn)行了比較。如您所見，該模型對與 COCO 訓(xùn)練數(shù)據(jù)不同的圖像是魯棒的。

導(dǎo)出模型

推斷吞吐量和創(chuàng)建有效模型的速度是部署 深度學(xué)習(xí) 應(yīng)用程序的兩個關(guān)鍵指標(biāo)，因為它們直接影響上市時間和部署成本。 TLT 包括一個 tlt-export 命令，用于導(dǎo)出和準(zhǔn)備 TLT 模型以進(jìn)行部署。 tlt-export 命令可以選擇性地生成校準(zhǔn)緩存，以便以 INT8 精度運(yùn)行推斷。有關(guān)詳細(xì)信息，請參見 用 NVIDIA TensorRT 部署深度神經(jīng)網(wǎng)絡(luò) 。

模型導(dǎo)出為。 etlt （加密的 TLT ）文件。文件可由 DeepStream 軟件開發(fā)工具包 使用，它解密模型并將其轉(zhuǎn)換為 TensorRT 引擎。導(dǎo)出模型將訓(xùn)練過程與推理分離，并允許轉(zhuǎn)換到 TLT 環(huán)境外的 TensorRT 引擎。 TensorRT 引擎特定于每個硬件配置，應(yīng)該為每個唯一的推理環(huán)境生成。

例如，要在 INT8 中導(dǎo)出模型，請使用以下命令：

tlt-export mask_rcnn -m $model_path -o $int8_etlt_file -e $spec_file -k $KEY --cal_image_dir $calibration_image_dir --batch_size N --batches $num_cal_batches --cal_cache_file $calibration_table --cal_data_file $calibration_data_cache --data_type int8

這將生成一個 INT8 校準(zhǔn)表和。 etlt 文件。要將模型量化為 INT8 ，必須提供一個要在其上進(jìn)行校準(zhǔn)的數(shù)據(jù)集，該數(shù)據(jù)集由 --cal_image_dir 和 --cal_data_file 參數(shù)提供。這些參數(shù)指定校準(zhǔn)所需的圖像目錄和 tensorfile 。 tensorfile 中的批處理數(shù)是從 batches 和 batch_size 值獲得的。確保 --cal_image_dir 中提到的目錄中至少有 （batch_size * batches） 個映像。

使用 DeepStream 部署

在 DeepStream 中集成 Mask R-CNN 模型很簡單，因為 DeepStream 5 。 0 默認(rèn)支持實例分段網(wǎng)絡(luò)。 SDK 中提供了模型的配置文件和標(biāo)簽文件。這些文件可以用于生成的模型以及您自己的訓(xùn)練模型。在 GitHub 中提供了一個在一個類數(shù)據(jù)集上訓(xùn)練的樣本掩碼 R-CNN 模型。默認(rèn)情況下，配置和標(biāo)簽文件應(yīng)該適用于該模型。對于您在這篇文章中培訓(xùn)的模型，需要進(jìn)行一些小的修改。

從 正在下載 和 installing 啟動 DeepStream SDK 。自述文件中提供了使用 DeepStream 運(yùn)行 TLT 模型的說明：

/opt/nvidia/deepstream/deepstream-5.0/samples/configs/tlt_pretrained_models

下面是運(yùn)行 Mask R-CNN 模型的關(guān)鍵配置文件：

/opt/nvidia/deepstream/deepstream-5.0/samples/configs/tlt_pretrained_models/deepstream_app_source1_mrcnn.txt

/opt/nvidia/deepstream/deepstream-5.0/samples/configs/tlt_pretrained_models/config_infer_primary_mrcnn.txt

/deepstream_app_source1_mrcnn.txt 文件是 deepstream 應(yīng)用程序使用的主要配置文件。此文件配置整個視頻分析管道的參數(shù)。有關(guān)詳細(xì)信息，請參見 引用應(yīng)用程序配置 。有關(guān) DeepStream 中 Mask R-CNN 推理管道的更多信息，請參見 使用 NVIDIA DeepStream 5 。 0 構(gòu)建智能視頻分析應(yīng)用程序（已為 GA 更新） 。

/config_infer_primary_mrcnn.txt 文件是一個推理配置文件，用于設(shè)置掩碼 R-CNN 推理的參數(shù)。此文件由主 deepstream_app_source1_mrcnn.txt 配置調(diào)用。以下是根據(jù)模型修改的關(guān)鍵參數(shù)：

tlt-model-key=
tlt-encoded-model=
labelfile-path=
int8-calib-file=
infer-dims=
num-detected-classes=<# of classes if different than default>

下面是一個例子：

[property]
gpu-id=0
net-scale-factor=0.017507
offsets=123.675;116.280;103.53
model-color-format=0
tlt-model-key=
tlt-encoded-model=
output-blob-names=generate_detections;mask_head/mask_fcn_logits/BiasAdd
parse-bbox-instance-mask-func-name=NvDsInferParseCustomMrcnnTLT
custom-lib-path=/opt/nvidia/deepstream/deepstream-5.0/lib/libnvds_infercustomparser.so
network-type=3 ## 3 is for instance segmentation network
labelfile-path=
int8-calib-file=
infer-dims=
num-detected-classes=<# of classes if different than default>
uff-input-blob-name=Input
batch-size=1
0=FP32, 1=INT8, 2=FP16 mode
network-mode=2
interval=0
gie-unique-id=1
no cluster
0=Group Rectangles, 1=DBSCAN, 2=NMS, 3= DBSCAN+NMS Hybrid, 4 = None(No clustering)
MRCNN supports only cluster-mode=4; Clustering is done by the model itself
cluster-mode=4
output-instance-mask=1

它在 SDK 中提供的剪輯上運(yùn)行。要嘗試自己的源代碼，請在 /deepstream_app_source1_mrcnn.txt 中修改 ［source0］ 。

圖 4 顯示了在不同平臺上使用 deepstream-app 可以預(yù)期的端到端性能。性能以 deepstream-app 處理的每秒幀數(shù)（ FPS ）來衡量。

推理分辨率為 1344 × 832

在 NVIDIA Jetson Nano 和 DLAs 上，它的批處理大小為 1 。

在 Jetson AGX Xavier 和 Xavier NX 上，運(yùn)行的批處理大小為 2 。

在 T4 上，它以批大小 4 運(yùn)行。

圖 4 基于 DeepStream 的 Mask R-CNN 模型性能分析。

結(jié)論

在這篇文章中，您學(xué)習(xí)了如何使用 maskr-CNN 架構(gòu)和 TLT 訓(xùn)練實例分割模型。這篇文章展示了使用 NGC 的一個預(yù)先訓(xùn)練過的模型的開源 COCO 數(shù)據(jù)集，使用 TLT 進(jìn)行訓(xùn)練和優(yōu)化，然后使用 deepstreamsdk 將模型部署到邊緣。

您可以應(yīng)用這些步驟來訓(xùn)練和部署您自己的自定義網(wǎng)絡(luò)。訓(xùn)練可以在多個 GPUs 上進(jìn)行，以并行運(yùn)行并加快訓(xùn)練速度。也可以生成 INT8 校準(zhǔn)文件，以 INT8 精度運(yùn)行推斷。以 INT8 精度運(yùn)行可以提高邊緣設(shè)備的推理性能。

關(guān)于作者

Yu Wang 是智能視頻分析團(tuán)隊的高級工程師，致力于創(chuàng)建深度學(xué)習(xí)管道/模型并將其部署到邊緣。 2017 年加入 NVIDIA 之前，他在普渡大學(xué)電子與計算機(jī)工程學(xué)院獲得博士學(xué)位。他的研究興趣是圖像處理、計算機(jī)視覺和深度學(xué)習(xí)。

審核編輯：郭婷