日前，黑芝麻智能機(jī)器學(xué)習(xí)專(zhuān)家張蕾在由黑芝麻智能主辦的“2023智能汽車(chē)高峰論壇”上發(fā)表了主題為“基于激光雷視融合的3D自動(dòng)標(biāo)注技術(shù)助力自動(dòng)駕駛更上一層樓”的演講，分享了黑芝麻智能在3D數(shù)據(jù)自動(dòng)標(biāo)注方面的研發(fā)進(jìn)展。

越來(lái)越多的新車(chē)開(kāi)始配備激光雷達(dá)，以提高車(chē)輛的自主安全性和實(shí)現(xiàn)更高級(jí)別的輔助駕駛以及自動(dòng)駕駛能力。然而，純?nèi)斯?D標(biāo)注和驗(yàn)收的效率低、耗時(shí)長(zhǎng)、成本高昂。而通過(guò)先進(jìn)的AI技術(shù)，利用車(chē)載激光雷達(dá)和多攝像頭，可以自動(dòng)地對(duì)車(chē)輛、行人、騎行人等動(dòng)態(tài)道路使用者進(jìn)行3D物體檢測(cè)，進(jìn)而高效率地輔助甚至部分替代純?nèi)斯?biāo)注。

日前，在由黑芝麻智能主辦的“2023智能汽車(chē)高峰論壇”上，黑芝麻智能機(jī)器學(xué)習(xí)專(zhuān)家張蕾發(fā)表了主題為“基于激光雷視融合的3D自動(dòng)標(biāo)注技術(shù)助力自動(dòng)駕駛更上一層樓”的演講，分享了黑芝麻智能在3D數(shù)據(jù)自動(dòng)標(biāo)注方面的研發(fā)進(jìn)展。

自研系統(tǒng)性能方案比肩世界領(lǐng)先算法

在自動(dòng)駕駛中需要用道路上目標(biāo)物3D的位置進(jìn)行規(guī)劃和決策，但傳統(tǒng)的攝像頭解決方案對(duì)于深度和3D位置的估計(jì)不夠準(zhǔn)確。在采用了BEV技術(shù)以后，需要大量的真實(shí)3D標(biāo)注的數(shù)據(jù)來(lái)輔助訓(xùn)練BEV上的3D模型，這樣可以融合多個(gè)攝像頭的信息，直接去獲得3D世界的物體。

為此，黑芝麻智能自主設(shè)計(jì)和開(kāi)發(fā)了一套基于激光雷達(dá)和多攝像頭進(jìn)行3D自動(dòng)標(biāo)注的方案。該方案履行兩階段的方法，第一階段是先通過(guò)多幀點(diǎn)云的方式和圖像融合，得到初始的3D標(biāo)注；第二階段是以物體為中心的3D精調(diào)，進(jìn)一步提高3D檢測(cè)精準(zhǔn)度。

對(duì)于3D物體框的精調(diào)，黑芝麻智能采用了兩種不同方案。靜態(tài)物體在多幀點(diǎn)云對(duì)齊以后，可以得到一個(gè)密度非常高的單個(gè)物體點(diǎn)云。在單幀點(diǎn)云里即使看不到一個(gè)物體的全貌，但經(jīng)過(guò)以物體為中心的點(diǎn)云融合以后，基本上可以看到完整的物體形狀，這樣可以更好地估計(jì)其尺寸。另一方面，對(duì)于動(dòng)態(tài)物體，它的軌跡會(huì)形成一個(gè)有用的信息，根據(jù)動(dòng)態(tài)累計(jì)的點(diǎn)云也可以更好地估計(jì)其大小和空間上的位置。

張蕾介紹，黑芝麻智能的這一方案，融合了多種模態(tài)，目前包括360度激光雷達(dá)和六個(gè)攝像頭的信息，還有前融合和后融合的方式。在兩階段的模型里面，采用的是以物體為中心的點(diǎn)云對(duì)齊精調(diào)的方式，生成高度緊湊的3D目標(biāo)檢測(cè)框。而多幀激光雷達(dá)點(diǎn)云的時(shí)序融合，能有效彌補(bǔ)單幀點(diǎn)云的稀疏和遮擋問(wèn)題。同時(shí)，整個(gè)模型不同階段可以進(jìn)行多種融合，下一階段還可以在整個(gè)模型的不同層次階段進(jìn)行融合。另外，在采用了跟圖像檢測(cè)做后融合的方法以后，黑芝麻智能還將檢測(cè)物體的類(lèi)別從三類(lèi)擴(kuò)展到十三類(lèi)，并且還可以通過(guò)聚合的方式實(shí)現(xiàn)復(fù)雜不規(guī)則物體的檢測(cè)。與此同時(shí)，黑芝麻智能的方案，采用了模塊化設(shè)計(jì)，可根據(jù)不同需求增加、去除可選的處理環(huán)節(jié)，達(dá)到最優(yōu)化效益。

根據(jù)在Waymo公開(kāi)數(shù)據(jù)上測(cè)試的結(jié)果，黑芝麻智能3D 物體自動(dòng)標(biāo)注系統(tǒng)的性能可以比肩世界領(lǐng)先算法的性能。

自建數(shù)據(jù)采集系統(tǒng)與完整的云服務(wù)平臺(tái)

基于華山二號(hào)A1000芯片，黑芝麻智能還可同時(shí)提供傳感器采集設(shè)備，客戶可基于這套設(shè)備同步采集360度旋轉(zhuǎn)激光雷達(dá)和6個(gè)1080p攝像頭數(shù)據(jù)，同時(shí)采集IMU、GPS、輪速編碼器等多種數(shù)據(jù)。

黑芝麻智能還可以對(duì)這一3D自動(dòng)標(biāo)注系統(tǒng)做進(jìn)一步擴(kuò)展，包括通過(guò)差異化的多模型集成來(lái)進(jìn)一步提高算法準(zhǔn)確度，通過(guò)運(yùn)行時(shí)的數(shù)據(jù)增強(qiáng)來(lái)進(jìn)一步提高算法準(zhǔn)確度，通過(guò)半監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)來(lái)訓(xùn)練更好的模型，通過(guò)在神經(jīng)網(wǎng)絡(luò)深層結(jié)構(gòu)上的多傳感器融合來(lái)進(jìn)一步提高模型能力，通過(guò)融合聚類(lèi)方法來(lái)檢測(cè)未知的路面障礙物等等。

張蕾在演講結(jié)尾時(shí)表示，在開(kāi)發(fā)基于激光雷達(dá)和多攝像頭的自動(dòng)駕駛領(lǐng)域的 3D 物體自動(dòng)標(biāo)注系統(tǒng)的同時(shí)，黑芝麻智能可為客戶提供數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、3D 自動(dòng)標(biāo)注、人工標(biāo)注及檢驗(yàn)的云服務(wù)平臺(tái)。

審核編輯：湯梓紅