自動(dòng)駕駛難度很大，標(biāo)記數(shù)據(jù)不應(yīng)該那么難。

像素級(jí)語(yǔ)義掩碼在2D和3D投影之間完美關(guān)聯(lián)據(jù)麥姆斯咨詢報(bào)道，激光雷達(dá)（LiDAR）新銳廠商O(píng)uster近日與Playment和Scale.AI一起宣布了一項(xiàng)激光雷達(dá)數(shù)據(jù)標(biāo)記合作伙伴計(jì)劃，以為Ouster快速增長(zhǎng)的客戶群（目前已超過(guò)300家，并且還在不斷增長(zhǎng)中！）簡(jiǎn)化并提高激光雷達(dá)數(shù)據(jù)標(biāo)記的效率。Ouster希望其開(kāi)發(fā)的數(shù)據(jù)標(biāo)記技術(shù)不僅可以服務(wù)于Ouster的客戶，還能惠及廣闊的機(jī)器學(xué)習(xí)行業(yè)。幾個(gè)月來(lái)，Ouster與Playment和Scale.AI合作開(kāi)發(fā)了一種新的數(shù)據(jù)標(biāo)記工具，利用Ouster激光雷達(dá)數(shù)據(jù)自身的2D-3D特性，將數(shù)據(jù)標(biāo)記成本降低了50%，并能提供更高精度、更快速的標(biāo)記以及更多的標(biāo)記選項(xiàng)，還能大大簡(jiǎn)化從數(shù)據(jù)捕獲到開(kāi)始模型訓(xùn)練的過(guò)程。此外，Ouster還為激光雷達(dá)數(shù)據(jù)開(kāi)發(fā)了一種開(kāi)放格式，使客戶的數(shù)據(jù)記錄、存儲(chǔ)、傳輸、加載和標(biāo)記變得更加簡(jiǎn)單。Ouster開(kāi)放了這種數(shù)據(jù)格式，希望產(chǎn)業(yè)其它廠商能夠圍繞Ouster已經(jīng)開(kāi)始的工作進(jìn)行標(biāo)準(zhǔn)化（盡管它只支持結(jié)構(gòu)化激光雷達(dá)數(shù)據(jù)）。這種激光雷達(dá)格式將包含在Ouster開(kāi)源驅(qū)動(dòng)的更新中，使客戶的OS-1傳感器數(shù)據(jù)能夠直接以這種格式記錄，以便將其轉(zhuǎn)移到Playment、Scale.AI或其他廠商進(jìn)行數(shù)據(jù)標(biāo)記。結(jié)構(gòu)化激光雷達(dá)數(shù)據(jù)的優(yōu)勢(shì)

OS-1傳感器結(jié)構(gòu)化激光雷達(dá)數(shù)據(jù)的可視化

傳統(tǒng)激光雷達(dá)通常采用機(jī)械旋轉(zhuǎn)單元或者是光束掃描單元。典型的機(jī)械旋轉(zhuǎn)激光雷達(dá)傾向于以非恒定的速度旋轉(zhuǎn)，導(dǎo)致每幀的點(diǎn)間隔不均勻。同時(shí)，MEMS或掃描激光雷達(dá)傾向于有部分光束以非線性S形曲線掃描。這些都不利于將激光雷達(dá)數(shù)據(jù)存儲(chǔ)在固定網(wǎng)格中，用于2D深度學(xué)習(xí)、壓縮數(shù)據(jù)格式和易于標(biāo)記。得益于Ouster的多光束flash激光雷達(dá)設(shè)計(jì)，Ouster的OS-1傳感器能夠輸出結(jié)構(gòu)化激光雷達(dá)數(shù)據(jù)，其中水平和垂直角度間距就像相機(jī)一樣，始終保持不變。這就能使激光雷達(dá)輸出2048 x 64像素尺寸固定的深度圖以及每幀上的強(qiáng)度和環(huán)境光圖像，從而可以使用卷積神經(jīng)網(wǎng)絡(luò)，并大規(guī)模簡(jiǎn)化圖像存儲(chǔ)和標(biāo)記。

雖然RGB-D相機(jī)和傳統(tǒng)flash激光雷達(dá)也能夠輸出結(jié)構(gòu)化深度數(shù)據(jù)，但與Ouster OS-1相比，這兩類傳感器在室外環(huán)境中的探測(cè)距離、深度分辨率、視場(chǎng)或穩(wěn)定性都不如OS-1。不過(guò)，這些短距離結(jié)構(gòu)化3D相機(jī)仍然可以從Ouster正在開(kāi)發(fā)的工作中受益，Ouster鼓勵(lì)這些產(chǎn)品的制造商考慮應(yīng)用Ouster的方案。結(jié)構(gòu)化激光雷達(dá)數(shù)據(jù)的標(biāo)記工作流Ouster通過(guò)與標(biāo)記合作伙伴合作，在其標(biāo)記工具中利用Ouster的結(jié)構(gòu)化數(shù)據(jù)優(yōu)勢(shì)，最大限度地降低了標(biāo)記成本，提高其功能性，并顯著提高了注釋精度。例如：

- 為注釋器提供同步的2D和3D視圖，作為當(dāng)前任務(wù)的直觀視覺(jué)確認(rèn)；

- 在2D激光雷達(dá)圖像中注釋像素級(jí)掩碼，并使用3D點(diǎn)云檢查掩碼精度，通過(guò)添加或移除單個(gè)點(diǎn)或選擇點(diǎn)簇并更新2D掩碼，來(lái)優(yōu)化3D點(diǎn)云內(nèi)的掩碼；

- 使用3D邊界框自動(dòng)生成100%準(zhǔn)確的2D掩碼（語(yǔ)義或?qū)嵗指睿?、長(zhǎng)方體或2D圖像中的邊界框。一旦親身了解過(guò)這種標(biāo)記流程的運(yùn)行，就會(huì)清楚它有多高效和準(zhǔn)確。另一種方法是為2D和3D數(shù)據(jù)復(fù)制這項(xiàng)工作：

從3D邊界框自動(dòng)生成的完美2D像素級(jí)掩碼（左下圖像），以及2D掩碼用于優(yōu)化3D邊界框的精度

這種方案盡可能用最少的工作量和最高的精度，提供了最大的標(biāo)記族，從2D邊界框、語(yǔ)義和實(shí)例掩碼到3D邊界框（2D或3D）、點(diǎn)云語(yǔ)義和實(shí)例分割。

頂部圖像中顯示了手工標(biāo)記的3D邊界框，下圖2D幀圖像中顯示了自動(dòng)生成的像素級(jí)掩碼、邊界框和長(zhǎng)方體這些意味著什么？10~50%的成本降低和更快地標(biāo)記無(wú)需單獨(dú)標(biāo)記2D和3D數(shù)據(jù)集，Ouster將所需的注釋量減少了2倍，最終降低了客戶的成本。更小的文件尺寸Ouster的開(kāi)源結(jié)構(gòu)化數(shù)據(jù)格式，可將文件尺寸及其相關(guān)的傳輸成本降低97%。目前，隨著激光雷達(dá)數(shù)據(jù)量的不斷增高，以至于一些客戶需要將硬盤驅(qū)動(dòng)器運(yùn)送給他們的標(biāo)記合作伙伴。是時(shí)候改變這一現(xiàn)狀了！更高的標(biāo)記精度通過(guò)2D和3D格式之間標(biāo)記的可轉(zhuǎn)換性，提高了2D和3D標(biāo)記精度，為注釋提供了更多的視覺(jué)輔助，實(shí)現(xiàn)了100%準(zhǔn)確的2D語(yǔ)義掩碼。語(yǔ)義分割中不再有邊界問(wèn)題。即使是商店和展廳內(nèi)的行人和汽車也能輕松準(zhǔn)確地進(jìn)行標(biāo)記！更準(zhǔn)確的標(biāo)記還意味著Ouster可以在測(cè)試算法時(shí)生成更準(zhǔn)確、可測(cè)量和有意義的指標(biāo)。

注意圖中汽車經(jīng)銷商展廳的窗框，已經(jīng)自動(dòng)從車輛掩碼中去除

盡管圖中零售店的人群中分布著樹(shù)木、窗戶和家具，但這些顧客在2D圖像中也被完美地分割出來(lái)

動(dòng)態(tài)遮罩（Rotoscoping）和綠屏摳像這些詞匯是不是看起來(lái)有點(diǎn)眼熟，因?yàn)樗鼈兇_實(shí)很流行。在另一個(gè)大眾產(chǎn)業(yè)，幾十年來(lái)一直在投資在大型2D圖像集中生成像素精確掩碼的技術(shù)和工具，那就是：電影產(chǎn)業(yè)。動(dòng)態(tài)遮罩和綠屏摳像技術(shù)已經(jīng)有很長(zhǎng)的歷史，通常是高度手動(dòng)的（對(duì)綠屏摳像來(lái)說(shuō)略少），是一種從相機(jī)的場(chǎng)景中分割演員和其它感興趣的對(duì)象以進(jìn)行合成的方法。像自動(dòng)駕駛和機(jī)器人產(chǎn)業(yè)一樣，它們最近一直在開(kāi)發(fā)利用3D相機(jī)和深度學(xué)習(xí)的自動(dòng)化動(dòng)態(tài)遮罩技術(shù)。