人們非常擅長(zhǎng)操作物體，而無(wú)需將視角調(diào)整到某一固定或特定位置。這種能力（稱為視覺(jué)動(dòng)作整合）在孩童時(shí)期通過(guò)在各種情境中操作物體而習(xí)得，并由一種利用豐富的感官信號(hào)和視覺(jué)作為反饋的自適應(yīng)糾錯(cuò)機(jī)制控制。不過(guò)，對(duì)于機(jī)器人技術(shù)中基于視覺(jué)的控制器而言，想要具備這種能力卻十分困難。

直到現(xiàn)在，這種控制器都基于一種用于從固定安裝式攝像頭讀取視覺(jué)輸入數(shù)據(jù)的固定裝置，訓(xùn)練和測(cè)試過(guò)程中不能移動(dòng)或重新調(diào)整攝像頭的位置。在視角大幅變化的情況下快速獲取視覺(jué)運(yùn)動(dòng)控制技能的能力將對(duì)自主機(jī)器人系統(tǒng)產(chǎn)生重大影響。例如，這種能力對(duì)于參與緊急情況或?yàn)?zāi)區(qū)救援工作的機(jī)器人來(lái)說(shuō)尤其必要。

在本周的 CVPR 2018 大會(huì)上，我們提交了名為“Sim2Real Viewpoint Invariant Visual Servoing by Recurrent Control”的論文。在這篇論文中，我們研究了一種新型深度網(wǎng)絡(luò)架構(gòu)（由兩個(gè)完全卷積網(wǎng)絡(luò)和一個(gè)長(zhǎng)短期記憶單元組成），該架構(gòu)可以從過(guò)去的動(dòng)作和觀察結(jié)果學(xué)習(xí)以進(jìn)行自校準(zhǔn)。我們的視覺(jué)適應(yīng)網(wǎng)絡(luò)利用由演示軌跡和強(qiáng)化學(xué)習(xí)目標(biāo)組成的各種模擬數(shù)據(jù)，能夠從各種視角控制機(jī)械臂到達(dá)各種視覺(jué)指示目標(biāo)，并且不依賴于攝像頭校準(zhǔn)。

用物理機(jī)械臂到達(dá)視覺(jué)指示目標(biāo)的視角不變操作

我們學(xué)習(xí)了一種策略，可以通過(guò)從截然不同的攝像頭視角捕獲的感官輸入到達(dá)不同的目標(biāo)

第一行所示為視覺(jué)指示目標(biāo)

挑戰(zhàn)

通過(guò)從未知視角捕獲的單一圖像分析可控自由程度(DoF) 對(duì)視覺(jué)運(yùn)動(dòng)的影響可能不夠明確和具體。確定動(dòng)作對(duì)圖像-空間運(yùn)動(dòng)的影響并成功執(zhí)行所需的任務(wù)需要一個(gè)具備對(duì)過(guò)去動(dòng)作的記憶能力的強(qiáng)大感知系統(tǒng)。要解決這一具有挑戰(zhàn)性的問(wèn)題，我們必須解決以下基本問(wèn)題：

? 如何提供適當(dāng)?shù)慕?jīng)驗(yàn)，讓機(jī)器人在模擬終身學(xué)習(xí)范式的純視覺(jué)觀察的基礎(chǔ)上學(xué)習(xí)自適應(yīng)行為？

? 如何設(shè)計(jì)一個(gè)集強(qiáng)大感知和自適應(yīng)控制于一體并能夠快速轉(zhuǎn)移到未知環(huán)境的模型？

為此，我們?cè)O(shè)計(jì)了一個(gè)新的操作任務(wù)，為一個(gè)七自由度機(jī)械臂提供一種物體的圖像，并指示它在一系列干擾物中拿到特定的目標(biāo)物體，同時(shí)每一次試驗(yàn)的視角會(huì)發(fā)生巨大變化。通過(guò)這種方式，我們能夠模擬復(fù)雜行為的學(xué)習(xí)以及向未知環(huán)境的轉(zhuǎn)移。

用物理機(jī)械臂和各種攝像頭視角完成到達(dá)視覺(jué)指示目標(biāo)的任務(wù)

利用模擬學(xué)習(xí)復(fù)雜行為

收集機(jī)器人經(jīng)驗(yàn)數(shù)據(jù)費(fèi)時(shí)費(fèi)力。在之前的博文中，我們展示了如何通過(guò)將數(shù)據(jù)收集和試驗(yàn)分配給多個(gè)機(jī)器人來(lái)擴(kuò)展學(xué)習(xí)技能。盡管這種方法加快了學(xué)習(xí)速度，但學(xué)習(xí)視覺(jué)自校準(zhǔn)等復(fù)雜行為仍然不可行，學(xué)習(xí)復(fù)雜行為時(shí)需要我們將機(jī)器人置于包含各種視角的大型空間中。

因此，我們選擇在模擬中學(xué)習(xí)此類復(fù)雜行為，我們可以收集無(wú)限的機(jī)器人試驗(yàn)數(shù)據(jù)，并輕松將攝像頭移到各個(gè)隨機(jī)視角。除了在模擬中快速收集數(shù)據(jù)外，我們還可以擺脫在機(jī)器人周圍安裝多個(gè)攝像頭的硬件限制。

我們?cè)谀M中使用域隨機(jī)化技術(shù)來(lái)學(xué)習(xí)可泛化的策略。

為了學(xué)習(xí)要向未知環(huán)境轉(zhuǎn)移的強(qiáng)大視覺(jué)特征，我們使用了Sadeghi & Levine在 2017 年提出的一項(xiàng)稱為“域隨機(jī)化”（又名“模擬隨機(jī)化”）的技術(shù)，使機(jī)器人能夠完全在模擬中學(xué)習(xí)基于視覺(jué)的策略，從而可以泛化到現(xiàn)實(shí)世界。這項(xiàng)技術(shù)已被證明適用于各種機(jī)器人任務(wù)，例如室內(nèi)導(dǎo)航、物體定位以及挑選和放置等。此外，為了學(xué)習(xí)自校準(zhǔn)等復(fù)雜行為，我們利用模擬功能來(lái)生成合成演示并結(jié)合強(qiáng)化學(xué)習(xí)目標(biāo)來(lái)學(xué)習(xí)強(qiáng)大的機(jī)械臂控制器。

用模擬的七自由度機(jī)械臂到達(dá)視覺(jué)指示目標(biāo)的視角不變操作

我們學(xué)習(xí)了一種策略，可以通過(guò)從截然不同的攝像頭視角捕獲的感官輸入到達(dá)不同的目標(biāo)

將感知與控制分離

為了能夠快速轉(zhuǎn)移到未知環(huán)境中，我們?cè)O(shè)計(jì)了一個(gè)深度神經(jīng)網(wǎng)絡(luò)，將感知和控制相結(jié)合，并同時(shí)進(jìn)行端到端訓(xùn)練，且在必要情況下允許二者分別進(jìn)行學(xué)習(xí)。將感知與控制分離讓轉(zhuǎn)移到未知環(huán)境變得容易，并且使得模型既靈活又高效，因?yàn)樗拿總€(gè)部分（即“感知”或“控制”）可以使用少量數(shù)據(jù)單獨(dú)適應(yīng)新環(huán)境。

另外，雖然網(wǎng)絡(luò)的控制部分完全使用模擬數(shù)據(jù)訓(xùn)練，但網(wǎng)絡(luò)的感知部分通過(guò)用物體邊界框收集少量靜態(tài)圖像來(lái)補(bǔ)充，而不需要用物理機(jī)器人收集整個(gè)動(dòng)作序列軌跡。在實(shí)踐中，我們只用了來(lái)自 22 個(gè)圖像的 76 個(gè)物體邊界框來(lái)微調(diào)網(wǎng)絡(luò)的感知部分。

現(xiàn)實(shí)世界的機(jī)器人和移動(dòng)攝像頭設(shè)置第一行所示為場(chǎng)景布置，第二行為機(jī)器人的視覺(jué)感官輸入

早期結(jié)果

我們?cè)谖锢頇C(jī)器人和真實(shí)物體上測(cè)試了視覺(jué)適應(yīng)版本的網(wǎng)絡(luò)，這些物體的外觀與模擬中使用的完全不同。在實(shí)驗(yàn)中，桌子上會(huì)出現(xiàn)一個(gè)或兩個(gè)物體 -“見(jiàn)過(guò)的物體”（如下圖所示）用于視覺(jué)適應(yīng)，實(shí)驗(yàn)中使用的是小型靜態(tài)真實(shí)圖像集。在視覺(jué)適應(yīng)期間沒(méi)有看到“未見(jiàn)過(guò)的物體”。在測(cè)試過(guò)程中，指示機(jī)械臂從各個(gè)視角到達(dá)視覺(jué)指示物體。對(duì)于雙物體實(shí)驗(yàn)，第二個(gè)物體用于“迷惑”機(jī)械臂。由于純模擬網(wǎng)絡(luò)具有良好的泛化能力（因?yàn)樗鞘褂糜螂S機(jī)化技術(shù)進(jìn)行訓(xùn)練的），加上我們的網(wǎng)絡(luò)架構(gòu)非常靈活，因此，雖然實(shí)驗(yàn)中僅收集了非常少量的靜態(tài)視覺(jué)數(shù)據(jù)用于視覺(jué)適應(yīng)，控制器的表現(xiàn)仍然有了很大提升。

在使用少量真實(shí)圖像進(jìn)行視覺(jué)特征適應(yīng)后，性能提高了10% 以上。使用的所有真實(shí)物體都與模擬中看到的物體截然不同。

我們認(rèn)為，學(xué)習(xí)在線視覺(jué)自適應(yīng)是一個(gè)重要而又具有挑戰(zhàn)性的課題，其目標(biāo)是學(xué)習(xí)可泛化策略，讓機(jī)器人能夠在多樣化、非結(jié)構(gòu)型現(xiàn)實(shí)世界中運(yùn)行。我們的方法可以延伸到任何類型的自動(dòng)自校準(zhǔn)。