基于 NVIDIA 的 GPU 解決方案，艾氪英諾持續(xù)拓寬產(chǎn)品在泛交通領(lǐng)域的自動(dòng)駕駛-車路協(xié)同應(yīng)用場(chǎng)景。

如何完成稀疏卷積的高效推理部署

成為一大挑戰(zhàn)

點(diǎn)云檢測(cè)算法 PointPillars 等衍生算法采用 2D 卷積，可以快速適配主流的算法框架便于落地部署，因而受到業(yè)界歡迎。但 Pillar 編碼與 2D 卷積結(jié)合的方式，并不能充分利用點(diǎn)云空間的三維特征，研究與實(shí)踐表明，基于 3D 卷積的 Voxel-based 方式則在識(shí)別準(zhǔn)確率提升方面效果顯著，其中稀疏卷積在自動(dòng)駕駛相關(guān)感知算法越來越受到廣泛重視。

現(xiàn)階段業(yè)內(nèi)十分需要面向 NVIDIA 設(shè)備成熟的 3D 點(diǎn)云感知壓縮算法部署工具，能夠?qū)⑾∈杈矸e部署到 NVIDIA GPU 上，在 3D 點(diǎn)云感知算法高精度需求下，滿足推理效率指標(biāo)的工程落地要求。因此，如何利用 TensorRT 深度學(xué)習(xí)推理引擎的完整工具，完成稀疏卷積的高效推理部署的工程化落地成為一大挑戰(zhàn)。

NVIDIA TensorRT 高性能推理庫(kù)

助力艾氪英諾打造稀疏卷積的最佳部署

艾氪英諾所研發(fā)的部署工具 EE-DLVM 基于 TensorRT 開發(fā)。TensorRT 通過結(jié)合抽象出特定硬件細(xì)節(jié)的高級(jí) API 和優(yōu)化推理的實(shí)現(xiàn)來達(dá)到高吞吐量、低延遲和低設(shè)備內(nèi)存占用。該部署工具兼容主流檢測(cè)模型同時(shí)針對(duì)稀疏卷積操作進(jìn)行了設(shè)計(jì)與優(yōu)化，將 TensorRT 在 NVIDIA GPU 上加速效果與稀疏卷積算子本身的優(yōu)異效果相結(jié)合。

艾氪英諾 EE-DLVM 部署工具通過在稀疏卷積相關(guān)算子的實(shí)踐，在 3D 點(diǎn)云基于 Voxel 感知算法模型部署上取得三點(diǎn)突破：

（1）針對(duì)稀疏卷積的相關(guān)模型而設(shè)計(jì)的 Graph Trace 程序，可以跟蹤數(shù)據(jù)流向，然后轉(zhuǎn)化為 Graph 并成功導(dǎo)出 ONNX。

（2）前處理模塊使用了稀疏卷積，在 EE-DLVM 部署工具優(yōu)化下有高達(dá) 20 倍左右加速效果。

（3）將模型準(zhǔn)確高效地部署到 NVIDIA GPU 上，如 Xavier NX 和 AGX Orin 上。

借力 NVIDIA 技術(shù)，艾氪英諾在自動(dòng)駕駛-車路協(xié)同領(lǐng)域持續(xù)深耕創(chuàng)新

基于城市與高速等多種智慧交通場(chǎng)景，以及路側(cè)與車端的感知任務(wù)體系中，基于激光雷達(dá)的 3D 物體檢測(cè)是重要的感知信號(hào)來源，也是車路協(xié)同感知系統(tǒng)的核心之一，因此需要充分地考慮算法實(shí)時(shí)性和準(zhǔn)確性的平衡。TensorRT 作為 NVIDIA 的深度學(xué)習(xí)推理引擎，可以為艾氪英諾相關(guān)自動(dòng)駕駛算法應(yīng)用提供低延遲、高吞吐率的部署推理。模型獲得 TensorFlow、PyTorch、Caffe 等主流訓(xùn)練框架支持，在模型優(yōu)化與編譯過程中，已經(jīng)支持混合精度、PTQ 和 QAT 量化訓(xùn)練，是在行業(yè)應(yīng)用中最為普及的加速框架，適用于算法模型部署于嵌入端、云端以及汽車硬件平臺(tái)上運(yùn)行。

——艾氪英諾聯(lián)合創(chuàng)始人 陳朋鑫博士

艾氪英諾的 EE-DLVM 部署工具，將稀疏卷積成功結(jié)合到 NVIDIA TensorRT 加速框架中。產(chǎn)品基于稀疏卷積強(qiáng)大的性能，在眾多交通場(chǎng)景的算法部署中，得到廣泛應(yīng)用和迭代。產(chǎn)品采用 NVIDIA 系列的硬件平臺(tái)，在兼顧了數(shù)據(jù)長(zhǎng)度可變的點(diǎn)云數(shù)據(jù)特性同時(shí)可利用 TensorRT 的結(jié)構(gòu)化加速特性，成功實(shí)現(xiàn)了 3D 點(diǎn)云細(xì)粒度結(jié)構(gòu)化稀疏在自動(dòng)駕駛場(chǎng)景中的應(yīng)用。同時(shí)，為了構(gòu)建高效、透明、安全的車路協(xié)同感知網(wǎng)絡(luò)體系，與 NVIDIA 初創(chuàng)加速計(jì)劃共享生態(tài)合作成果，在后續(xù)的產(chǎn)品規(guī)劃中，將會(huì)逐步開源產(chǎn)品的所有源代碼，其中也會(huì)包括稀疏卷積組件部分。

——艾氪英諾技術(shù)副總 葉溯

通過 NVIDIA 初創(chuàng)加速計(jì)劃，艾氪英諾利用會(huì)員專享的 NVIDIA 深度學(xué)習(xí)培訓(xùn)中心（DLI）免費(fèi)課程機(jī)會(huì)，結(jié)合 NVIDIA 初創(chuàng)加速計(jì)劃提供的 NVIDIA 技術(shù)與專家資源，對(duì) EE-DLVM 部署工具進(jìn)行深入的技術(shù)溝通與產(chǎn)品打磨。同時(shí)借助今年 8 月舉辦的 NVIDIA 初創(chuàng)企業(yè)展示華東站路演活動(dòng)，亦得以將產(chǎn)品快速推廣給潛在用戶。在 NVIDIA 提供的 GPU 解決方案基石上，結(jié)合艾氪英諾在行業(yè)與技術(shù)上的認(rèn)知，使得我們?cè)谧詣?dòng)駕駛-車路協(xié)同領(lǐng)域能夠持續(xù)不斷地深耕技術(shù)、創(chuàng)新產(chǎn)品，通過 AI 技術(shù)降本增效，拓寬產(chǎn)品在泛交通領(lǐng)域的應(yīng)用場(chǎng)景。

——艾氪英諾創(chuàng)始人兼 CEO 張磊