點云是坐標(biāo)系中的點數(shù)據(jù)集。點包含豐富的信息，包括三維坐標(biāo)（X、Y、Z）、顏色、分類值、強(qiáng)度值和時間等。點云主要來自于各種NVIDIA Jetson用例中常用的激光雷達(dá)，如自主機(jī)器、感知模塊和3D建模。

其中一個關(guān)鍵應(yīng)用是利用遠(yuǎn)程和高精度的數(shù)據(jù)集來實現(xiàn)3D對象的感知、映射和定位算法。

PointPillars是最常用于點云推理的模型之一。本文將探討為Jetson開發(fā)者提供的NVIDIA CUDA加速PointPillars模型。馬上下載CUDA-PointPillars模型。

什么是CUDA-Pointpillars

本文所介紹的CUDA-Pointpillars可以檢測點云中的對象。其流程如下：

基本預(yù)處理：生成柱體。

預(yù)處理：生成BEV特征圖（10個通道）。

用于TensorRT的ONNX模型：通過TensorRT實現(xiàn)的ONNX模式。

后處理：通過解析TensorRT引擎輸出生成邊界框。

圖 1 。 CUDA 點柱管道。

基本預(yù)處理

基本預(yù)處理步驟將點云轉(zhuǎn)換為基本特征圖。基本特征圖包含以下組成部分：

基本特征圖。

柱體坐標(biāo)：每根柱體的坐標(biāo)。

參數(shù)：柱體數(shù)量。

圖 2 。將點云轉(zhuǎn)換為基礎(chǔ)要素地圖

預(yù)處理

預(yù)處理步驟將基本特征圖（4個通道）轉(zhuǎn)換為 BEV 特征圖（10個通道）。

圖 3 。將基本要素地圖轉(zhuǎn)換為 BEV 要素地圖

用于TensorRT的ONNX模型

出于以下原因修改OpenPCDet的原生點柱：

小型操作過多，并且內(nèi)存帶寬低。

NonZero等一些TensorRT不支持的操作。

ScatterND等一些性能較低的操作。

使用“dict”作為輸入和輸出，因此無法導(dǎo)出ONNX文件。

為了從原生OpenPCDet導(dǎo)出ONNX，我們修改了該模型（圖4）。

圖 4 。 CUDA Pointpillars 中 ONNX 模型概述。

您可把整個ONNX文件分為以下幾個部分：

輸入：BEV特征圖、柱體坐標(biāo)、參數(shù)，均在預(yù)處理中生成。

輸出：類、框、Dir_class，在后處理步驟中解析后生成一個邊界框。

ScatterBEV：將點柱（一維）轉(zhuǎn)換為二維圖像，可作為TensorRT的插件。

其他：TensorRT支持的其他部分。

圖 5 。將點支柱數(shù)據(jù)散射到二維主干的二維圖像中。

后處理

在后處理步驟中解析TensorRT引擎的輸出（class、box和dir_class）和輸出邊界框。圖6所示的是示例參數(shù)。

圖 6 。邊界框的參數(shù)。

使用 CUDA PointPillars

若要使用CUDA-PointPillars，需要提供點云的ONNX模式文件和數(shù)據(jù)緩存：

 std::vector nms_pred; PointPillar pointpillar(ONNXModel_File, cuda_stream); pointpillar.doinfer(points_data, points_count, nms_pred);

將OpenPCDet訓(xùn)練的原生模型轉(zhuǎn)換為CUDA-Pointpillars的ONNX文件

我們在項目中提供了一個Python腳本，可以將OpenPCDet訓(xùn)練的原生模型轉(zhuǎn)換成CUDA-Pointpillars的ONNX文件?？稍贑UDA-Pointpillars的/tool 目錄下找到exporter.py 腳本。

可在當(dāng)前目錄下運(yùn)行以下命令獲得pointpillar.onnx文件：

$ python exporter.py --ckpt ./*.pth

性能

下表顯示了測試環(huán)境和性能。在測試之前提升CPU和GPU的性能。

表 1 測試平臺與性能

開始使用 CUDA PointPillars

本文介紹了什么是CUDA-PointPillars以及如何使用它來檢測點云中的對象。

由于原生OpenPCDet無法導(dǎo)出ONNX，而且對于TensorRT來說，性能較低的小型操作數(shù)量過多，因此我們開發(fā)了CUDA-PointPillars。該應(yīng)用可以將OpenPCDet訓(xùn)練的原生模型導(dǎo)出為特殊的ONNX模型，并通過TensorRT推斷ONNX模型。

關(guān)于作者

Lei Fan 是 NVIDIA 的高級 CUDA 軟件工程師。他目前正與 TSE 中國團(tuán)隊合作，開發(fā)由 CUDA 優(yōu)化軟件性能的解決方案。

Lily Li 正在為 NVIDIA 的機(jī)器人團(tuán)隊處理開發(fā)人員關(guān)系。她目前正在 Jetson 生態(tài)系統(tǒng)中開發(fā)機(jī)器人技術(shù)解決方案，以幫助創(chuàng)建最佳實踐。

審核編輯：郭婷