對于機器人感知來說，RGB圖加卷積網(wǎng)絡已經(jīng)變成了感知系統(tǒng)的標配。在機器人和通常的計算機視覺任務中，人們會從從VGG或者ResNet等網(wǎng)絡模型中借鑒基礎結構以及預訓練權重，隨后利用遷移學習的方法在特定任務的數(shù)據(jù)上進行微調(diào)來實現(xiàn)對于特定任務的學習。但對于某些任務來說，只知道場景的顏色信息只能提供有限的感知。例如要訓練機器人抓取一個新的未知物體，那么這時候理解物體及所處環(huán)境的幾何形貌就比感知它的顏色紋理重要的多。

rgb圖和對應的深度圖（圖例用灰色）

進行操作的物理過程主要依賴于物體的幾何、位姿和其他與顏色無關的信息（或者是顏色不變量）?？梢韵胂笠幌履阍谑掷镛D筆的過程，我們可以流暢的旋轉而不需要盯著它看，這是因為我們已經(jīng)對于手指和筆接觸點的空間位置、朝向有了極為深入的理解和認識。那么我們不禁要問，我們可以利用彩色圖獲取對于物體如此深入的理解嗎？

其實在視覺領域還有一個可供選擇的解決方案：深度圖。這是一種單通道灰度圖，包含了相機到物體的深度信息，同時提供了對于物體顏色不變的信息。并且我們還可以利用濾波器來消除背景噪聲，這在很多機器人任務上十分有效。接下來的文章中將會介紹研究人員如何結合深度學習和深度圖在以下三個項目中取得有效的成果：Dex-Net用于機器人抓取、物體分割和機器人鋪床的任務。

感知深度

深度圖一般在特定的視角下編碼了對于環(huán)境中物體的距離信息。近年來隨著計算機視覺的發(fā)展，深度感知領域也產(chǎn)生了很多進展。

傳統(tǒng)獲取深度圖的方法是利用雙目立體視覺獲取視差信息從而得到環(huán)境的深度的。而今天大多使用的深度傳感器則是基于結構光傳感器的原理，通過將已知模式的紅外光投影到環(huán)境并解算來實現(xiàn)深度的獲取。另一種方法是通過激光雷達來獲取環(huán)境精確的深度信息，但缺點是高昂的成本和成像速度。

所以Kinect的出現(xiàn)提供了一種消費級的RGB-D成像系統(tǒng)，可以通過硬件更快更便宜的獲取環(huán)境的深度信息。如今很多機器人系統(tǒng)中，比如FetchRobot和Toyoya的機器人都裝配有相似的感知系統(tǒng)，而且這一技術還在不斷改進，Intel的realsense和Photoneo公司的產(chǎn)品都提供了更為優(yōu)異的表現(xiàn)。

在深度圖的幫助下，研究人員們可以使用深度信息幫助機器人導航、實時建圖和跟蹤、為室內(nèi)環(huán)境建模等任務。同時深度圖為機器人提供了距離障礙物的遠近信息，這也使得它們在導航中獲得了壁障和定位的能力。

同時深度圖還被用于在游戲中實時地檢測、識別和定位人體的各個部分，移除造成模糊的因素（比如光線和衣服等）。更有研究人員利用模擬的深度圖像來引導機械臂接近物體。目前人們已經(jīng)可以利用圖形學的方法較為精確的通過模擬生成大量的深度數(shù)據(jù)了。

這些結果表明，對于某些任務深度圖可以編碼足夠多的有用信息和色彩不變信息用于幫助訓練任務。下面將用三個例子來具體說明。

機器人抓取

抓取很多類從未見過的物體對于機器人來說依然是一個嚴峻的挑戰(zhàn)。盡管很多研究人員利用RGB圖像來完成這一任務，但需要耗費大量的時間來進行訓練。而最新進展的關鍵在于可以利用渲染技術，基于幾何和相機位置，通過3D模型合成精確的深度圖。

Bair的Dexterity Network（Dex-Net）是一個綜合了算法、代碼和數(shù)據(jù)集的項目用于訓練機器人的抓取策略，它結合了大規(guī)模的合成數(shù)據(jù)集、機器人模型和隨機采樣，以及深度學習技術。Dex-Net在抓取中引入了域隨機化的概念，集中于利用簡單的夾具來抓取復雜的物體。在先前的研究中，研究人員提出了670萬張圖片的虛擬數(shù)據(jù)集用于訓練抓取質量模型。目前他們將這一模型拓展到了深度圖上。

首先生成和增強大量的物體網(wǎng)格模型，隨后對于每個模型生成多種抓取位置，最后計算每一個物體及其抓取的魯棒性，并生成對應的模擬深度圖。其中通過估計抓取成功的概率來計算魯棒性。

研究人員將Dex-Net拓展了新功能，可以自動生成用于物體模型抓取的改進數(shù)據(jù)集。抓取同時定義了位姿角度和夾爪的深度。上圖描述了生成數(shù)據(jù)的流程。研究的目標是訓練出一個可以通過深度圖來檢測夾爪是否可以成功夾住物體的模型。

抓取質量網(wǎng)絡的架構

研究人員利用這一數(shù)據(jù)集訓練了抓取質量網(wǎng)絡（Grasp Quality,GQ-CNN），用于檢測每一次抓取成功的可能性。人們可以利用GQ-CNN檢測不同抓取方式，并從中選取概率最高的方案來使用。

2017年，Dex-Net拓展到了箱內(nèi)分揀任務（bin-picking），這需要從一堆無需的物體中一個個的分揀出物體。Bair的研究人員將bin-picking理解為部分觀測的馬爾科夫決策過程，同時利用仿真來生成物體堆進行學習。通過仿真，可以得到物體位置的完整信息，并利用監(jiān)督策略對GQ-CNN進行的微調(diào)，最后將學習到的策略用于ABB YuMi機器人上，實現(xiàn)了在僅僅利用深度圖的情況下在3mins內(nèi)分揀除了十個物體。下圖顯示了Dex-Net顯示的抓取點（紅點），其中第一行是真實數(shù)據(jù)，第二行是仿真數(shù)據(jù)。

箱內(nèi)物體分割

實例分割任務需要判斷圖像中的像素分屬于哪一個物體，它廣泛應用于視覺任務和機器人感知中。例如機器人需要在箱子里抓取物體時，就需要先對其中的物體進行分析以便區(qū)分不同物體。

先前的研究主要集中在利用RGB圖實現(xiàn)的Mask R-CNN上，但訓練需要大量手工標注的數(shù)據(jù)。同時用于訓練Mask R-CNN的數(shù)據(jù)包含的物體個數(shù)有限，可能還不足以完成貨倉內(nèi)地分揀任務，對于微調(diào)所需要的數(shù)據(jù)也需要手工耗時耗力的得到。所以研究人員們提出可以放松算法的要求可以再得到物體的掩膜后再來預測類別，這樣就可以對大規(guī)模的物體預測掩膜，此時物體的幾何信息就顯得更加重要。

這一任務的數(shù)據(jù)現(xiàn)有相似的3D模型生成物體堆，再從中獲取精確的深度圖和對應的掩膜圖

基于幾何的分割來說，我們可以利用仿真和渲染技術來獲取大規(guī)模類別豐富的，同時帶有標簽的深度數(shù)據(jù)集。研究人員假設這些深度圖包含了用于分割的足夠信息，這主要是每個物體可以由深度圖中的像素邊界來進行區(qū)分。利用1600個3D模型和pybullet物理引擎，生成了50k的箱內(nèi)物體堆深圖數(shù)據(jù)。由于物體已知，生成深度圖和掩膜的精度得到了有效的保證。最終利用這一深度數(shù)據(jù)集，研究人員訓練出了SD Mask R-CNN網(wǎng)絡，從合成的深度圖中分割出每一個實例。

在實際中算法的表現(xiàn)，第一行是高精度數(shù)據(jù)第二行是低精度數(shù)據(jù)，最后一列是本算法的結果。

令人驚奇的是，這個沒有見過任何真實數(shù)據(jù)的SD Mask R-CNN表現(xiàn)超過了點云分割和精調(diào)過的Mask R-CNN。值得注意的是，真實數(shù)據(jù)和仿真數(shù)據(jù)的物體并不相同，這意味著SD Mask R-CNN確實能夠預測出新的物體掩膜，同時利用深度圖時可以減少主干網(wǎng)絡的大小（彩色圖ResNet101，深度圖ResNet-35）。

實例分割被解耦成了分類和分割兩個任務。對于數(shù)據(jù)集中十個物體的分類，僅僅使用VGG在10mins內(nèi)就能訓練達到95%的準確率。這一工作證明SD Mask R-CNN可以與分類網(wǎng)絡串行工作，這使得對于不同物體集的訓練變得容易。

總的來說，利用深度圖代替RGB圖實現(xiàn)分割給我們帶來了以下啟示：

- 深度編碼的幾何信息足以對物體進行實例分割；

- 深度圖可以便捷迅速的生成，并且訓練結果能有效遷移到真實數(shù)據(jù)上；

- 在不同物體間深度線索的表示更為一致，利用深度圖訓練的網(wǎng)絡具有更好的泛化性。

機器人鋪床

機器人鋪床是一個典型的家庭應用場景，它容錯性高、時間充裕同時也是人類不喜歡的工作。研究人員先前通過RGB圖像來訓練機器人，而最近使用深度感知技術將鋪床的技能遷移到不同顏色和問題的毯子上。

雜亂的床，前四個為訓練數(shù)據(jù)，后兩個彩色為測試數(shù)據(jù)。

機器人需要將鋪床分解成一下幾個任務，首先需要識別毯子的角，然后移動到合適的位置抓起這個角最大化毯子的面積（鋪開），最后在進行折疊。再一次強調(diào)一個假設：深度圖中包含了鋪床任務中所需毯子角點足夠可靠的幾何信息。

為了收集訓練數(shù)據(jù)，研究人員在毯子角上放置了紅色mark，利用機器人的RGB-D攝像頭就可以自動地獲取彩色和深度信息。隨后利用收集到的深度圖和對應的角點信息來訓練卷積網(wǎng)絡從不同的毯子布置中找到可以抓取的角點。

由于抓取點檢測和物體檢測任務類似，這里使用了YOLO模型作為預訓練，并添加了幾層用于微調(diào)。模型在2018張深度數(shù)據(jù)上進行了訓練，結果顯示雖然YOLO適用于彩色場景檢測的，但依然可以基于它在深度圖上得到很好的結果。

深度圖帶來的額外優(yōu)勢是可以通過距離信息濾除干擾。

利用深度圖實現(xiàn)抓取點檢測的結果。結果顯示這種方法大大超過了基線，幾乎實現(xiàn)了與人類同樣的水準。

上圖顯示了算法對于青色毯子抓取點的檢測結果。抓取網(wǎng)絡并沒有利用青色毯數(shù)據(jù)進行訓練，由于測試數(shù)據(jù)深度圖和訓練的深度圖十分類似，即使不一樣的顏色也能獲得優(yōu)異的結果。隨著機器人移動到另一側，距機器人最近的抓取點也被很好的檢測出來。（RGB訓練的抓取網(wǎng)絡表現(xiàn)就不如深度圖訓練的網(wǎng)絡，因為訓練數(shù)據(jù)都是白色床單。為了獲得更好的效果就需要投入更多顏色和紋理的床單采集數(shù)據(jù)。）

深度魅力

這些項目表明深度圖攜帶了足夠的信息支撐抓取點檢測、實例分割和變形物體角點檢測。隨著深度傳感器質量和分辨率的提高，對于機器人也將變得日益重要。人們可以很便捷快速地合成深度圖，這種具有顏色不變性和豐富幾何信息的數(shù)據(jù)，同時可以充分利用其固有的特性來去除噪聲和干擾。同時深度圖比RGB維度更低，網(wǎng)絡更傾向于從中學習出邊緣和空間模式。