機(jī)器人專家正在開發(fā)可以通過觀察人類來學(xué)習(xí)新任務(wù)的自動(dòng)化機(jī)器人。在未來，培訓(xùn)交互式機(jī)器人可能一天對每個(gè)人來說都是一件容易的事，即使那些沒有編程專業(yè)知識(shí)的人也是如此。這可以實(shí)現(xiàn)在家里，您可能有一天會(huì)向家用機(jī)器人展示如何做日常雜務(wù)，在工作場所中，您可以像新員工一樣訓(xùn)練機(jī)器人，向他們展示如何執(zhí)行許多職責(zé)。想想黑鏡中的場景，到那時(shí)，機(jī)器人會(huì)掌握更多的技能。

為了實(shí)現(xiàn)這一愿景，麻省理工學(xué)院的研究人員設(shè)計(jì)了一個(gè)系統(tǒng)，使這些類型的機(jī)器人可以學(xué)習(xí)復(fù)雜的任務(wù)，原先，按照機(jī)器人編程思維，這些日常任務(wù)就會(huì)用太多令人困惑的規(guī)則來阻礙它們，而自己人的自我學(xué)習(xí)則可以避開他們。這樣的系統(tǒng)最后任務(wù)之一是在某些條件下為人設(shè)置餐桌。

研究人員的這項(xiàng)系統(tǒng)的核心是“不確定規(guī)格計(jì)劃”（PUnS）系統(tǒng)，該機(jī)器人具有人性化的計(jì)劃能力，可以同時(shí)權(quán)衡許多模棱兩可（甚至可能相互矛盾）的要求，以達(dá)到最終目標(biāo)。這樣做時(shí)，系統(tǒng)總是根據(jù)關(guān)于要執(zhí)行的任務(wù)的一些可能允許的“條件”，從而選擇最可能采取的措施。

在他們的工作中，研究人員匯編了一個(gè)數(shù)據(jù)集，其中包含有關(guān)如何將八種物體（杯子，杯子，勺子，叉子，刀，餐盤，小盤子和碗）以各種配置放置在桌子上的信息。機(jī)械手臂首先觀察到隨機(jī)選擇的人類擺放桌子的演示。然后，研究人員要求該部門根據(jù)所看到的內(nèi)容，以特定的配置，在實(shí)際實(shí)驗(yàn)和仿真中自動(dòng)設(shè)置路徑。

為了獲得成功，研究人員嘗試了更多可能性，但即使研究人員故意移除，堆疊或隱藏物品，機(jī)器人也可以權(quán)衡許多可能的放置順序。在通常，所有這些都會(huì)使機(jī)器人過于困惑。但是研究人員的機(jī)器人在幾個(gè)真實(shí)的實(shí)驗(yàn)中沒有犯任何錯(cuò)誤，而在成千上萬的模擬測試運(yùn)行中只有少數(shù)錯(cuò)誤。

“我們的愿景是將編程交給領(lǐng)域?qū)＜遥麄兛梢酝ㄟ^直觀的方式對機(jī)器人進(jìn)行編程，而不是向工程師描述要添加代碼的工程師的指令，”航空學(xué)研究生的第一作者Ankit Shah說。宇航公司（AeroAstro）和互動(dòng)機(jī)器人小組強(qiáng)調(diào)說，他們的工作只是實(shí)現(xiàn)這一愿景的第一步?！斑@樣一來，機(jī)器人將不再需要執(zhí)行預(yù)先編程的任務(wù)。工廠工人可以教機(jī)器人執(zhí)行多個(gè)復(fù)雜的組裝任務(wù)。家用機(jī)器人可以學(xué)習(xí)如何在家里堆放櫥柜，裝載洗碗機(jī)或擺放桌子。”

與Shah一同參加論文的還有AeroAstro和Interactive Robotics Group的研究生 Shen Li和Interactive Robotics Group的負(fù)責(zé)人Julie Shah，后者是AeroAstro和計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的副教授。

不確定的意圖

機(jī)器人是具有明確“目的”的任務(wù)的良好計(jì)劃者，但這項(xiàng)系統(tǒng)可以幫助他們描述機(jī)器人需要完成的任務(wù)，并考慮其動(dòng)作，環(huán)境和最終目標(biāo)。原先通過觀察示范來學(xué)習(xí)擺桌子，充滿了不確定的可能性，因?yàn)闄C(jī)器人必須根據(jù)菜單和客人的座位將物品放置在某些位置，并根據(jù)物品的即時(shí)可用性或社交慣例將它們放置在某些順序中。而當(dāng)前的機(jī)器人規(guī)劃方法無法處理這種不確定的規(guī)范。

在目前，一種流行的計(jì)劃方法是“強(qiáng)化學(xué)習(xí)”，一種反復(fù)試驗(yàn)的機(jī)器學(xué)習(xí)技術(shù)，獎(jiǎng)勵(lì)和懲罰他們在完成任務(wù)時(shí)所采取的行動(dòng)。但是對于不確定規(guī)格的任務(wù)，很難定義明確的獎(jiǎng)勵(lì)和懲罰。簡而言之，機(jī)器人永遠(yuǎn)不會(huì)從對與錯(cuò)中全面學(xué)習(xí)。

研究人員的系統(tǒng)稱為PUnS（用于不確定規(guī)格的計(jì)劃），使機(jī)器人能夠在一系列可能的規(guī)格上保持“信念”。然后可以使用信念本身來分配獎(jiǎng)勵(lì)和懲罰。Ankit Shah說：“機(jī)器人本質(zhì)上是根據(jù)任務(wù)的意圖或想法來決定行為，并采取符合其想法的行動(dòng)，而不是我們給出明確的要求?！?/p>

該系統(tǒng)建立在“線性時(shí)間邏輯”（LTL）之上，該語言是一種表達(dá)性語言，可以使機(jī)器人對當(dāng)前和未來的結(jié)果進(jìn)行推理。研究人員在LTL中定義了模板，這些模板對各種基于時(shí)間的條件進(jìn)行了建模，例如現(xiàn)在必須發(fā)生的事情，必須最終發(fā)生的事情以及必須發(fā)生直到發(fā)生其他事情為止。機(jī)器人對30個(gè)人演示設(shè)置表的觀察產(chǎn)生了25種不同LTL公式的概率分布。每個(gè)公式都為設(shè)置表格編碼了略有不同的首選項(xiàng)或規(guī)范。這種概率分布成為其想法（信念）。

“每個(gè)公式都編碼不同的東西，但是當(dāng)機(jī)器人考慮所有模板的各種組合，并試圖使所有東西都滿足時(shí)，它最終將做正確的事情，” Ankit Shah說。

遵循標(biāo)準(zhǔn)

研究人員還制定了一些標(biāo)準(zhǔn)，指導(dǎo)機(jī)器人滿足對這些候選公式的全部信念。例如，一個(gè)滿足最可能的公式，該公式以最高的概率丟棄除模板之外的所有其他內(nèi)容。其他人滿足最大數(shù)量的唯一公式，而不考慮其總概率，或者滿足代表最高總概率的幾個(gè)公式。另一個(gè)簡單地將誤差最小化，因此系統(tǒng)會(huì)忽略失敗概率很高的公式。

設(shè)計(jì)人員可以在訓(xùn)練和測試之前選擇四個(gè)標(biāo)準(zhǔn)中的任何一個(gè)進(jìn)行預(yù)設(shè)。每個(gè)人在靈活性和規(guī)避風(fēng)險(xiǎn)之間都有自己的權(quán)衡。標(biāo)準(zhǔn)的選擇完全取決于任務(wù)。例如，在安全關(guān)鍵的情況下，設(shè)計(jì)人員可以選擇限制故障的可能性。但是在失敗后果不那么嚴(yán)重的情況下，設(shè)計(jì)人員可以選擇賦予機(jī)器人更大的靈活性，以嘗試不同的方法。

有了適當(dāng)?shù)臉?biāo)準(zhǔn)，研究人員開發(fā)了一種算法，將機(jī)器人的信念（指向所需公式的概率分布）轉(zhuǎn)換為等效的強(qiáng)化學(xué)習(xí)問題。該模型將根據(jù)決定遵循的規(guī)范，對執(zhí)行的動(dòng)作給予獎(jiǎng)勵(lì)或懲罰來對機(jī)器人進(jìn)行ping操作。

在模擬中要求機(jī)器人將工作臺(tái)設(shè)置為不同的配置時(shí)，在20，000次嘗試中，它僅犯了6個(gè)錯(cuò)誤。在現(xiàn)實(shí)世界中的演示中，它顯示出類似于人類執(zhí)行任務(wù)的行為。例如，如果某個(gè)項(xiàng)目最初不可見，則機(jī)器人將完成不包含該項(xiàng)目的表格的其余部分的設(shè)置。然后，當(dāng)叉子被露出時(shí)，它將把叉子放在適當(dāng)?shù)奈恢谩Ｉ嘲⒄f：“靈活性非常重要?！?“否則，當(dāng)它期望放置叉子而不完成剩余的桌子設(shè)置時(shí)，它將卡住。”

接下來，研究人員希望修改系統(tǒng)，以幫助機(jī)器人根據(jù)口頭指示，更正或用戶對機(jī)器人性能的評(píng)估來改變其行為。沙阿說：“假設(shè)一個(gè)人向機(jī)器人演示了如何在一個(gè)位置擺放桌子。這個(gè)人可能會(huì)說，‘對所有其他位置都做同樣的事情’，或者‘將刀子放在這里的叉子之前，” ?！拔覀兿Ｍ麨橄到y(tǒng)開發(fā)方法，使其自然適應(yīng)這些口頭命令，而無需進(jìn)行其他演示?！?/p>