平面抓取首先于只能從單個(gè)角度去抓，如果想更加靈活，需要獲取6DoF的抓取姿態(tài)，如下圖。

2.1 代表性方法

近年來(lái)的代表性方法包括2017-Grasp Pose Detection in Point Clouds，2018-PointNetGPD：Detecting Grasp Configurations from Point Sets，2019-6-Dof GraspNet：Variational Grasp Generation for Object Manipulation等，都包含兩大模塊：候選抓取位置的篩選，以及抓取質(zhì)量的評(píng)估。這類方法思路與Dex-Net2.0相同，但是作用在3D空間。

2017-GPD使用傳統(tǒng)方法進(jìn)行候選抓取位置的篩選，需要滿足抓取器不與物體碰撞，且抓取器內(nèi)部至少存在一個(gè)點(diǎn)；之后基于三個(gè)角度下Depth圖像基于CNN網(wǎng)絡(luò)等進(jìn)行抓取質(zhì)量估計(jì)，如下圖所示。

2018-PointNetGPD (Hamberger University, Jianwei Zhang)也使用傳統(tǒng)方法篩選候選抓取位置，之后不使用深度圖評(píng)估抓取質(zhì)量，而是使用抓取器內(nèi)部的點(diǎn)云，使用3D神經(jīng)網(wǎng)絡(luò)PointNet進(jìn)行抓取質(zhì)量估計(jì)，如下圖所示。

2019-6-Dof GraspNet (Nvidia)，對(duì)兩大模塊進(jìn)行了改進(jìn)，首先使用大規(guī)模虛擬數(shù)據(jù)進(jìn)行候選抓取位置的Encoder，這樣給定單視角下的點(diǎn)云，能夠Decoder出少量質(zhì)量很高的候選抓取位置；其次，不同于PointNetGPD只對(duì)抓取器內(nèi)部的點(diǎn)云進(jìn)行抓取質(zhì)量評(píng)估，其對(duì)抓取器連同單視角點(diǎn)云，一起使用PointNet++網(wǎng)絡(luò)評(píng)估抓取質(zhì)量；最后還對(duì)最終抓取位置進(jìn)行了優(yōu)化。其框架如下圖。

2.2 總結(jié)

進(jìn)行空間6-Dof抓取，需要進(jìn)行實(shí)例分割，確保點(diǎn)云準(zhǔn)確，噪聲少，否則影響效果；訓(xùn)練可在虛擬環(huán)境中進(jìn)行，只要虛擬環(huán)境中的3D模型精確，則不使用domain adaption也能在真實(shí)環(huán)境下得到很好的結(jié)果。

該類方法適合任意角度的抓取，然而該類方法的弊端是，盡管使用了Encoder和Decoder的方式生成候選抓取位置，但是單個(gè)角度下獲得的數(shù)據(jù)畢竟有限，而如果能夠?qū)ξ矬w進(jìn)行補(bǔ)全，則使用傳統(tǒng)方法生成候選抓取位置也能夠得到很好的結(jié)果。這類方法在下一章介紹。

3、形狀補(bǔ)全：

3.1代表方法

這類方法也有很多的嘗試，代表方法主要有：2017-Shape Completion Enabled Robotic Grasping，2019-Multi-Modal Geometric Learning for Grasping and Manipulation，2019-Data-Efficient Learning for Sim-to-Real Robotic Grasping using Deep Point Cloud Prediction Networks，2019-kPAM-SC: Generalizable Manipulation Planning using KeyPoint Affordance and Shape Completion等。

2017-Shape Completion Enabled Robotic Grasping是代表性方法，使用3D CNN進(jìn)行shape completion，其框圖如下。

2019-Multi-Modal Geometric Learning for Grasping and Manipulation, (Peter Allen, Columbia University)，根據(jù)觸覺(jué)得到對(duì)側(cè)的點(diǎn)信息，輔助進(jìn)行修補(bǔ)。

2019-Data-Efficient Learning for Sim-to-Real Robotic Grasping using Deep Point Cloud Prediction Networks（Google Brain and X）使用RGB+Depth作為輸入的網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)行形狀補(bǔ)全；Video demos can be accessed via https://sites.google.com/site/shapeawaresimtoreal/

2019-kPAM-SC: Generalizable Manipulation Planning using KeyPoint Affordance and Shape Completion (MIT) 使用關(guān)鍵點(diǎn)以及同一類型的3D模型輔助進(jìn)行形狀補(bǔ)全，Video demos can be accessed via https://sites.google.com/view/generalizable-manipulation/

3.2 總結(jié)

這類方法能夠?qū)σ活愊嗨频男螤畹玫讲诲e(cuò)的修補(bǔ)結(jié)果，無(wú)法做到任意通用；但如果能夠?qū)σ活愇矬w進(jìn)行了較好的修補(bǔ)，則進(jìn)行候選抓取位置估計(jì)，以及抓取質(zhì)量評(píng)價(jià)都可以使用傳統(tǒng)方法。

4、人形抓手

以上方法針對(duì)的都是平行兩指抓取器，而當(dāng)前絕大多數(shù)方法，都沒(méi)有考慮人形抓手，因?yàn)槠渥杂啥忍吡?。做不到任意抓取以及通用，然而針?duì)少量物體，或者一類物體，可以得到較好的結(jié)果。

4.1代表方法

2019-Generating Grasp Poses for a High-DOF Gripper Using Neural Networks（Xu Kai, NUDT and University of Maryland at College Park）：

針對(duì)25DoF的手形抓取器，依賴完整物體體素模型，訓(xùn)練集使用GraspIt!生成，如下圖，之后使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型得到抓取姿態(tài)，其框架如下圖。

4.2 總結(jié)

使用人形抓手進(jìn)行通用抓取太難了，現(xiàn)階段實(shí)現(xiàn)不了。可以針對(duì)特定一類物體，實(shí)現(xiàn)類內(nèi)的通用抓取。

編輯：黃飛

?