前方請(qǐng)注意，一款機(jī)器人正在對(duì)你微笑！

該機(jī)器人由來(lái)自中國(guó)的哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)專業(yè)在讀博士生陳博源主導(dǎo)研發(fā)，它的名字叫夏娃（EVA）。

陳博源告訴 DeepTech，夏娃的命名源于希伯來(lái)語(yǔ)，意為 “生命 “。相關(guān)論文已于 5 月 30 日在 ICRA 會(huì)議上發(fā)表，論文名為《從心而笑：用學(xué)習(xí)模型驅(qū)動(dòng)機(jī)器人臉》Smile Like You Mean It: Driving Animatronic Robotic Face with Learned Models，陳博源擔(dān)任第一作者。今年 4 月，機(jī)器人的早期藍(lán)圖也已經(jīng)在 Hardware-X 上開(kāi)源。

目前，多數(shù)機(jī)器人都是靜態(tài)面孔、或者執(zhí)行預(yù)先設(shè)計(jì)好的表情，但隨著酒店機(jī)器人等 C 端產(chǎn)品的普及，面部更加逼真、且能根據(jù)不同情景表達(dá)多樣表情的機(jī)器人，也成為科學(xué)家們的研究對(duì)象。

夏娃的誕生耗時(shí)五年左右，陳博源的導(dǎo)師霍德?利普森（Hod Lipson）說(shuō)：“夏娃的想法在幾年前就形成了，當(dāng)時(shí)我和我的學(xué)生開(kāi)始注意到我們實(shí)驗(yàn)室里的機(jī)器人正用它那塑料的、大大的眼睛盯著我們看?！?有次在雜貨店里，他看到一個(gè)補(bǔ)貨機(jī)器人，它帶著一頂舒適的手工編織帽。

當(dāng)時(shí)霍德就想，人們通過(guò)給機(jī)器人設(shè)計(jì)眼睛、身份或名字，來(lái)增加它們的人性化，如果眼睛和衣服都有效，為什么不制造一個(gè)擁有超級(jí)表情和反應(yīng)靈敏的人臉機(jī)器人呢？

然而說(shuō)易行難，過(guò)去幾十年來(lái)，機(jī)器人的身體都由金屬或塑料制成，由于材料過(guò)硬導(dǎo)致機(jī)身無(wú)法像人體組織那樣流動(dòng)和移動(dòng)。

但是，模仿人類(lèi)的面部表情，是讓機(jī)器人實(shí)現(xiàn)自適應(yīng)面部反應(yīng)的第一步。盡管這類(lèi)系統(tǒng)具有實(shí)際價(jià)值，但現(xiàn)有研究主要集中在硬件設(shè)計(jì)和預(yù)先編程的面部表情上，即允許機(jī)器人從預(yù)定義的集合中選擇一個(gè)面部表情。

而人類(lèi)能實(shí)現(xiàn)的表情復(fù)雜且多樣，因此具備該能力的機(jī)器人研發(fā)仍有一定挑戰(zhàn)性。

幾年前，夏娃項(xiàng)目的第一階段啟動(dòng)，最初的夏娃是一個(gè)無(wú)實(shí)體的藍(lán)色半身像。之所以用藍(lán)色，是因?yàn)檠芯空呦Ｍ苊鈾C(jī)器人和人類(lèi)過(guò)于相似，那種設(shè)計(jì)非常容易導(dǎo)致 “恐怖谷” 效應(yīng)（Uncanny Valley），該效應(yīng)指的是對(duì)于會(huì)威脅到人類(lèi)存在的事物，人類(lèi)會(huì)產(chǎn)生本能的反感和恐懼。

研究中，該團(tuán)隊(duì)給夏娃設(shè)計(jì)了一款皮膚，其面部柔軟而富有表情，還能和人類(lèi)表情相匹配。使用基于視覺(jué)的自我監(jiān)督學(xué)習(xí)框架，可把夏娃的學(xué)習(xí)過(guò)程分為生成模型和逆模型，從而實(shí)現(xiàn)準(zhǔn)確和多樣化的面部模仿。

牽動(dòng)臉部 42 塊微小肌肉，表達(dá) 6 種基本情緒

具體來(lái)說(shuō)，他們使用尼龍線和馬達(dá)來(lái)牽引夏娃臉上的柔性硅膠臉皮，這種機(jī)械結(jié)構(gòu)構(gòu)成了夏娃臉部的人造 “肌肉”。

憑借不同 “肌肉” 部位的拉伸和收縮，夏娃會(huì)表達(dá)憤怒、厭惡、恐懼、喜悅、悲傷和驚訝等六種基本情緒。

而通過(guò)附著在夏娃皮膚和骨骼不同點(diǎn)上的 42 塊微小肌肉，它可表達(dá)的表情遠(yuǎn)超預(yù)先編程方法可達(dá)到的范圍。

創(chuàng)造夏娃的最大挑戰(zhàn)，是設(shè)計(jì)一個(gè)足夠緊湊的系統(tǒng)。該系統(tǒng)能讓它適應(yīng)人類(lèi)頭骨的范圍，同時(shí)還能具備足夠的功能以產(chǎn)生各種面部表情。

為克服該挑戰(zhàn)，陳博源等人使用 3D 打印來(lái)制造各種零件，這些零件能和夏娃的頭骨無(wú)縫集成在一起。結(jié)合上面提到的自監(jiān)督學(xué)習(xí)系統(tǒng)，可讓夏娃的學(xué)習(xí)過(guò)程完全不依賴于任何來(lái)自人來(lái)的數(shù)據(jù)集。

經(jīng)過(guò)團(tuán)隊(duì)初期的努力，夏娃的微笑、皺眉甚至是不高興，都會(huì)給實(shí)驗(yàn)室成員帶來(lái)情緒反應(yīng)。

陳博源的導(dǎo)師霍德說(shuō)：“有一天，當(dāng)夏娃突然給我一個(gè)大大的、友好的微笑時(shí)，我正忙著自己的事，我知道這純粹是機(jī)械性的，但我發(fā)現(xiàn)自己不由自主地回以微笑。”

夏娃會(huì)笑了！接下來(lái)，他們要對(duì)指導(dǎo)夏娃面部動(dòng)作的 AI 程序進(jìn)行編程。編程之后，假如有人來(lái)到夏娃身邊，它可使用深度學(xué)習(xí)來(lái) “閱讀” 人類(lèi)表情。

但他們很快意識(shí)到，夏娃的面部運(yùn)動(dòng)過(guò)程過(guò)于復(fù)雜，因此無(wú)法被預(yù)定義的規(guī)則集控制。為應(yīng)對(duì)該挑戰(zhàn)，陳博源和團(tuán)隊(duì)使用多個(gè)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，創(chuàng)建出了夏娃的 “大腦”。

該“大腦” 具備兩大能力：讓夏娃通過(guò)大量的隨機(jī)運(yùn)動(dòng)，來(lái)了解自己復(fù)雜的機(jī)械系統(tǒng)能夠做出的各種表情；其次，在 “閱讀” 人類(lèi)面孔后能夠想象：如果夏娃要模仿同樣的表情，自己看起來(lái)應(yīng)該是什么樣子的呢？

為了讓夏娃知道自己的機(jī)械結(jié)構(gòu)和臉部結(jié)構(gòu)之間的對(duì)應(yīng)關(guān)系，團(tuán)隊(duì)記錄下了數(shù)小時(shí)夏娃在鏡頭面前隨意運(yùn)動(dòng)的影像，就像人類(lèi)在鏡子前觀看自己一樣，夏娃的內(nèi)部神經(jīng)網(wǎng)絡(luò)（逆模型）學(xué)會(huì)了將肌肉運(yùn)動(dòng)、和自己臉部的視頻片段進(jìn)行配對(duì)。

這時(shí)，夏娃對(duì)其自我形象已經(jīng)具備初步了解，接下來(lái)通過(guò)另一個(gè)深度神經(jīng)網(wǎng)絡(luò)（生成模型），它會(huì)將自我形象與目標(biāo)面部表情特征進(jìn)行匹配。

經(jīng)過(guò)多次迭代和兩個(gè)神經(jīng)網(wǎng)絡(luò)，夏娃最終可以閱讀人類(lèi)的表情，并且對(duì)不同的表情進(jìn)行實(shí)時(shí)模仿。

夏娃 2.0：設(shè)計(jì)上做出重大升級(jí)

基于夏娃 1.0，陳博源和即將加入其所在實(shí)驗(yàn)室攻讀博士學(xué)位的胡宇航，在本次論文中提出了夏娃 2.0，把此前設(shè)計(jì)做了重大升級(jí)。

據(jù)他介紹，夏娃 2.0 由兩個(gè)子模塊組成：面部運(yùn)動(dòng)模塊和頸部運(yùn)動(dòng)模塊。

研究中，他們倆使用微型伺服電機(jī)來(lái)驅(qū)動(dòng)夏娃表面的所有部件，這些部件都基于現(xiàn)成的硬件組件，可以自行 3D 打印或者去網(wǎng)上購(gòu)買(mǎi)。

夏娃 2.0 還有一個(gè)基于學(xué)習(xí)的通用框架，能讓它從視覺(jué)觀察中學(xué)習(xí)面部模擬，從而模仿人類(lèi)的不同表情。

更重要的是，該方法無(wú)需依賴人類(lèi)監(jiān)督來(lái)提供命令，其關(guān)鍵思想是將問(wèn)題分解為兩個(gè)階段：（1) 給定標(biāo)準(zhǔn)化的人類(lèi)面部特征之后，首先使用生成模型合成具有同樣表情的機(jī)器人自我圖像；(2）然后，利用逆網(wǎng)絡(luò)輸出的電機(jī)指令來(lái)驅(qū)動(dòng)機(jī)器人做出對(duì)應(yīng)表情。

相關(guān)實(shí)驗(yàn)表明，該方法優(yōu)于此前基于最近鄰搜索的算法、以及從人臉到動(dòng)作的直接映射方法。此外，夏娃的模仿可視化表明，對(duì)于不同的人類(lèi)對(duì)象，該方法可模仿出準(zhǔn)確的面部表情。

陳博源介紹稱，該研究概括了 12 個(gè)人類(lèi)受試者和近 400 個(gè)不同的面部表情。經(jīng)測(cè)試發(fā)現(xiàn)，夏娃的響應(yīng)時(shí)間約為 0.18s，實(shí)時(shí)反應(yīng)能力較強(qiáng)。

在夏娃 2.0 中，其面部運(yùn)動(dòng)模塊可以進(jìn)一步分為顱骨框架、眼睛模塊、肌肉模塊和顎模塊。團(tuán)隊(duì)還重新設(shè)計(jì)了顱骨框架的三維形狀，為的是擴(kuò)大機(jī)動(dòng)空間，讓夏娃做更靈活的運(yùn)動(dòng)。新的頭骨框架，也讓其皮膚連接更緊密，面部外觀更光滑、更自然。

通過(guò)增加一對(duì)球關(guān)節(jié)和三對(duì)平行四邊形機(jī)制，還可確保夏娃 6 自由度的眼球模塊可在 ±20?的水平和垂直范圍內(nèi)自由移動(dòng)，每個(gè)眼球的旋轉(zhuǎn)由兩個(gè)電機(jī)和三個(gè)球關(guān)節(jié)連桿控制。此外，基于人臉的眼瞼設(shè)計(jì)也得到升級(jí)。

為了減少肌肉控制噪音，陳博源讓每根尼龍繩穿過(guò)連接頭骨前部、和電機(jī)的透明乙烯基管，這樣可確保每塊肌肉的變形與電機(jī)的旋轉(zhuǎn)角度成正比。

我們可以和機(jī)器人建立信任嗎？

夏娃只是一項(xiàng)實(shí)驗(yàn)室設(shè)備，它還不能像人類(lèi)那樣使用面部表情，去進(jìn)行復(fù)雜的交流。但是，這種可對(duì)各種人體面部表情語(yǔ)言做出反應(yīng)的機(jī)器人研究，將對(duì)機(jī)器人在工作場(chǎng)所、醫(yī)院、學(xué)校和家庭中發(fā)揮重要作用。

陳博源認(rèn)為，未來(lái)機(jī)器人與人類(lèi)的交互只增不減，因此和機(jī)器建立信任也變得越來(lái)越重要。

概括來(lái)說(shuō)，該團(tuán)隊(duì)提出了一種新的軟皮膚、以及基于視覺(jué)系統(tǒng)的電子機(jī)器人臉感知系統(tǒng)，并介紹了一個(gè)兩階段的自我監(jiān)督學(xué)習(xí)框架人臉模擬。

其實(shí)驗(yàn)表明，在各種條件下，兩階段算法均能提高模仿人類(lèi)面部表情的準(zhǔn)確性和多樣性，并能實(shí)現(xiàn)實(shí)時(shí)規(guī)劃，有望給實(shí)際應(yīng)用開(kāi)辟新的機(jī)會(huì)。

陳博源表示，模仿——是賦予機(jī)器人更復(fù)雜技能的重要一步。但是，對(duì)于交互式社交機(jī)器人來(lái)說(shuō)，生成適當(dāng)?shù)姆磻?yīng)也是必不可少的。

更廣泛地說(shuō)，構(gòu)建交互式機(jī)器人需要對(duì)他人情感、欲望和意圖進(jìn)行更高水平的理解。因此對(duì)他來(lái)說(shuō)，未來(lái)一個(gè)有趣的方向是探索機(jī)器人的高階思維。

陳博源生于 1994 年，談及學(xué)習(xí)經(jīng)歷，他告訴 DeepTech，其本科就讀于吉林大學(xué)電子科學(xué)與工程學(xué)院，大四做畢設(shè)時(shí)，獲得去英國(guó)曼徹斯特大學(xué)訪問(wèn)的機(jī)會(huì)。本科畢業(yè)后，因?yàn)橄矚g紐約的藝術(shù)氣息，申請(qǐng)來(lái)到哥倫比亞大學(xué)讀碩士。

后來(lái)在 TedTalk 看到目前導(dǎo)師霍德的演講，并被后者深深吸引，霍德的演講曾是 TedTalk 上點(diǎn)擊率最高的機(jī)器人主題演講，出于對(duì)學(xué)術(shù)大牛的崇拜，以及剛好項(xiàng)目上有合作，陳博源來(lái)到霍德教授組（創(chuàng)意機(jī)器實(shí)驗(yàn)室）讀博士，目前是博士最后一年。

談及未來(lái)就業(yè)，他說(shuō)無(wú)論是教職機(jī)會(huì)和工業(yè)界機(jī)會(huì)，都會(huì)考慮一下。至于夏娃的未來(lái)，他表示希望不斷對(duì)軟硬件功能升級(jí)，使得夏娃可以作為一類(lèi)研究平臺(tái)，為教育、醫(yī)療領(lǐng)域的認(rèn)知機(jī)器人做出重要貢獻(xiàn)。

原文標(biāo)題：具備6種情緒，還會(huì)跟著奧巴馬一起笑！26歲吉大畢業(yè)生研發(fā)軟皮膚機(jī)器人，已被ICRA 2021接收 | 專訪

文章出處：【微信公眾號(hào)：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq