谷歌人工智能實(shí)驗(yàn)室近日發(fā)布 Objectron 數(shù)據(jù)集，這是一個(gè)以3D目標(biāo)為中心的視頻剪輯的集合，這些視頻剪輯從不同角度捕獲了較大的一組公共對(duì)象。數(shù)據(jù)集包括 15K 帶注釋的視頻剪輯，并補(bǔ)充了從地理多樣的樣本中收集的超過 4M 帶注釋的圖像（覆蓋五大洲的 10 個(gè)國(guó)家）。

機(jī)器學(xué)習(xí)(ML)的最新技術(shù)已經(jīng)在許多計(jì)算機(jī)視覺任務(wù)上取得了SOTA的結(jié)果，但僅僅是通過在2D照片上訓(xùn)練模型而已。 在這些成功的基礎(chǔ)上，提高模型對(duì) 3D 物體的理解力有很大的潛力來支持更廣泛的應(yīng)用場(chǎng)景，如增強(qiáng)現(xiàn)實(shí)、機(jī)器人、自動(dòng)化和圖像檢索。 今年早些時(shí)候，谷歌發(fā)布了 MediaPipe Objectron，一套為移動(dòng)設(shè)備設(shè)計(jì)的實(shí)時(shí) 3D 目標(biāo)檢測(cè)模型，這個(gè)模型是基于一個(gè)已標(biāo)注的、真實(shí)世界的 3D 數(shù)據(jù)集，可以預(yù)測(cè)物體的 3D 邊界。

然而，理解3D 中的對(duì)象仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，因?yàn)榕c2D 任務(wù)(例如，ImageNet、 COCO 和 Open Images)相比，缺乏大型的真實(shí)世界數(shù)據(jù)集。 為了使研究團(tuán)體能夠繼續(xù)推進(jìn)3D 對(duì)象理解，迫切需要發(fā)布以對(duì)象為中心的視頻數(shù)據(jù)集，這些數(shù)據(jù)集能夠捕獲更多的對(duì)象的3D 結(jié)構(gòu)，同時(shí)匹配用于許多視覺任務(wù)(例如，視頻或攝像機(jī)流)的數(shù)據(jù)格式，以幫助機(jī)器學(xué)習(xí)模型的訓(xùn)練和基準(zhǔn)測(cè)試。 近期谷歌發(fā)布了 Objectron 數(shù)據(jù)集，這是一個(gè)以對(duì)象為中心的短視頻剪輯數(shù)據(jù)集，從不同的角度捕捉了一組更大的普通對(duì)象。

每個(gè)視頻剪輯都伴隨著 AR 會(huì)話元數(shù)據(jù)，其中包括攝像機(jī)姿態(tài)和稀疏點(diǎn)云。數(shù)據(jù)還包含為每個(gè)對(duì)象手動(dòng)注釋的3D 邊界，這些 bounding box 描述了對(duì)象的位置、方向和尺寸。 每個(gè)視頻剪輯都隨附有 AR 的元數(shù)據(jù)，其中包括相機(jī)姿勢(shì)和稀疏點(diǎn)云。數(shù)據(jù)還包含每個(gè)對(duì)象的手動(dòng)注釋的 3D 邊界框，用于描述對(duì)象的位置，方向和尺寸。 該數(shù)據(jù)集包括15K 注釋視頻剪輯與超過4M 注釋圖像收集的地理多樣性樣本(涵蓋10個(gè)國(guó)家橫跨五大洲)。

3D 目標(biāo)檢測(cè)解決方案

除了這個(gè)數(shù)據(jù)集，谷歌還分享了一個(gè) 3D 目標(biāo)檢測(cè)解決方案，可以用于4類物體：鞋子、椅子、杯子和相機(jī)。 這些模型是在 MediaPipe 中發(fā)布的，MediaPipe 是谷歌的開源框架，用于跨平臺(tái)可定制的流媒體機(jī)器學(xué)習(xí)解決方案，它同時(shí)也支持機(jī)器學(xué)習(xí)解決方案，比如設(shè)備上的實(shí)時(shí)手勢(shì)、虹膜和身體姿態(tài)跟蹤。

與之前發(fā)布的 single-stage Objectron 模型相比，這些最新版本采用了兩級(jí)架構(gòu)。 第一級(jí)使用 TensorFlow 目標(biāo)檢測(cè)模型來尋找物體的 2D 裁剪，第二級(jí)使用圖像裁剪來估計(jì)三維bounding box，同時(shí)計(jì)算下一幀對(duì)象的二維裁剪，使得目標(biāo)檢測(cè)器不需要運(yùn)行每一幀。第二階段的三維 bounding box 預(yù)測(cè)器是以83 FPS在 Adreno 650 GPU 上運(yùn)行。

3D 目標(biāo)檢測(cè)的評(píng)估指標(biāo)

有了真實(shí)的注釋，我們就可以使用 3D IoU（intersection over union）相似性統(tǒng)計(jì)來評(píng)估 3D 目標(biāo)檢測(cè)模型的性能，這是計(jì)算機(jī)視覺任務(wù)常用的指標(biāo)，衡量bounding box與ground truth的接近程度。 谷歌提出了一種計(jì)算一般的面向三維空間的精確 3D IoU 的算法。 首先使用 Sutherland-Hodgman Polygon clipping 算法計(jì)算兩個(gè)盒子面之間的交點(diǎn)，這類似于計(jì)算機(jī)圖形學(xué)的剔除技術(shù)（frustum culling），利用所有截?cái)喽噙呅蔚耐拱?jì)算相交的體積。最后，通過交集的體積和兩個(gè)盒子的并集的體積計(jì)算 IoU。 谷歌表示將隨數(shù)據(jù)集一起發(fā)布評(píng)估的源代碼。

數(shù)據(jù)格式

Objectron 數(shù)據(jù)集的技術(shù)細(xì)節(jié)，包括使用和教程，均可在數(shù)據(jù)集網(wǎng)站上獲得。這些數(shù)據(jù)集中的物體包括自行車、書籍、瓶子、相機(jī)、麥片盒、椅子、杯子、筆記本電腦和鞋子等，和數(shù)據(jù)集一起發(fā)布的具有以下內(nèi)容: 1.視頻序列 2.帶注釋的標(biāo)簽(目標(biāo)的3D 邊界框) 3.AR 元數(shù)據(jù) (如照相機(jī)姿態(tài)、點(diǎn)云和平面表面) 4.處理過的數(shù)據(jù)集: 混合版本的帶注釋的幀、tf.example 格式的圖像和 SequenceExample 格式的視頻 5.支持基于上面描述的度量評(píng)估的腳本 6.支持腳本將數(shù)據(jù)加載到 Tensorflow、Pytorch、Jax并且可視化數(shù)據(jù)集 除了數(shù)據(jù)集，谷歌還開放了數(shù)據(jù)管道來解析 Tensorflow、 PyTorch 和 Jax 框架中的數(shù)據(jù)集。

還提供了 colab notebook 的實(shí)例 。 通過發(fā)布這個(gè) Objectron 數(shù)據(jù)集，谷歌希望能夠使研究團(tuán)體推進(jìn)三維物體幾何理解的極限。同時(shí)也希望促進(jìn)新的研究和應(yīng)用，如視圖合成，改進(jìn)的 3D 表示和非監(jiān)督式學(xué)習(xí)等。 參考鏈接： https://ai.googleblog.com/2020/11/announcing-objectron-dataset.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+blogspot%2FgJZg+%28Google+AI+Blog%29

責(zé)任編輯：xj

原文標(biāo)題：重磅！谷歌發(fā)布3D目標(biāo)檢測(cè)數(shù)據(jù)集及檢測(cè)方案

文章出處：【微信公眾號(hào)：新機(jī)器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。