實(shí)踐證明，將神經(jīng)形態(tài)技術(shù)從實(shí)驗(yàn)室應(yīng)用于實(shí)踐的過(guò)程很緩慢。本周，新加坡國(guó)立大學(xué)的研究人員向前推進(jìn)了一步，展示了一種事件驅(qū)動(dòng)的視覺(jué)觸覺(jué)感知系統(tǒng)，該系統(tǒng)使用英特爾的Loihi芯片控制結(jié)合了觸覺(jué)感知和視覺(jué)的機(jī)械臂。值得注意的是，他們還在GPU系統(tǒng)上運(yùn)行了該練習(xí)，并報(bào)告了基于Loihi的系統(tǒng)性能稍好，功耗卻低得多。

國(guó)大研究人員今天在本周舉行的虛擬機(jī)器人科學(xué)與系統(tǒng)會(huì)議上介紹了他們的研究結(jié)果。預(yù)期將觸覺(jué)感測(cè)（抓地力）與視覺(jué)（位置）結(jié)合起來(lái)，可以顯著提高機(jī)械手的精確度和處理物體時(shí)的抓地力。神經(jīng)形態(tài)技術(shù)的使用也有望降低機(jī)器人技術(shù)所需的功耗，這是神經(jīng)形態(tài)技術(shù)的主要目標(biāo)。

“我們對(duì)這些結(jié)果感到興奮。他們表明，神經(jīng)形態(tài)系統(tǒng)是組合多個(gè)傳感器以改善機(jī)器人感知力的有希望的難題。這是朝著建設(shè)能效高，值得信賴的機(jī)器人邁出的一步，該機(jī)器人可以在意外情況下快速，適當(dāng)?shù)刈龀鲰憫?yīng)?！眹?guó)大教授和作者哈羅德·索（Harold Soh）在一篇 描述工作的論文（事件驅(qū)動(dòng)的視覺(jué)觸覺(jué)傳感和機(jī)器人學(xué)習(xí)）中說(shuō)道 。

長(zhǎng)期以來(lái)，英特爾一直處于將神經(jīng)形態(tài)技術(shù)商業(yè)化的最前沿，其Loihi （芯片）/ Pohoiki（系統(tǒng)）是最發(fā)達(dá)的平臺(tái)之一。神經(jīng)形態(tài)系統(tǒng)模仿自然系統(tǒng)（例如大腦），因?yàn)樗鼈兪褂眉夥?a href="http://www.brongaenegriffin.com/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)（SNN）來(lái)處理信息，而不是機(jī)器/深度學(xué)習(xí)中更常用的人工神經(jīng)網(wǎng)絡(luò)（ANN）。

英特爾神經(jīng)形態(tài)計(jì)算實(shí)驗(yàn)室主任Mike Davies表示：“新加坡國(guó)立大學(xué)的這項(xiàng)研究使人對(duì)機(jī)器人技術(shù)的未來(lái)有了一個(gè)令人信服的瞥見(jiàn)，在機(jī)器人技術(shù)中，事件是通過(guò)事件驅(qū)動(dòng)的方式結(jié)合多種方式進(jìn)行感知和處理的。這項(xiàng)工作增加了越來(lái)越多的結(jié)果，表明一旦在基于事件的范式中重新設(shè)計(jì)了整個(gè)系統(tǒng)，包括傳感器，數(shù)據(jù)格式，算法和硬件體系結(jié)構(gòu)，神經(jīng)形態(tài)計(jì)算可以顯著提高延遲和功耗?！?英特爾還公布了這項(xiàng)工作的情況。

國(guó)大論文的摘錄很好地描述了挑戰(zhàn)和貢獻(xiàn)：

“許多日常任務(wù)需要多種感覺(jué)方式才能成功執(zhí)行。例如，考慮從冰箱中取出一箱豆?jié){，人們可以通過(guò)視覺(jué)來(lái)確定該紙箱的位置，并可以通過(guò)簡(jiǎn)單的掌握推斷出該紙箱中包含多少液體。然后，他們可以使用視覺(jué)和觸覺(jué)來(lái)提起物體而不會(huì)使其滑落。這些動(dòng)作（和推論）是使用高效節(jié)能的神經(jīng)底物來(lái)進(jìn)行的，與當(dāng)前人工系統(tǒng)中使用的多模式深度神經(jīng)網(wǎng)絡(luò)相比，人腦所需的能量要少得多。

“在這項(xiàng)工作中，我們采取了關(guān)鍵步驟，以實(shí)現(xiàn)對(duì)機(jī)器人系統(tǒng)的有效視覺(jué)觸覺(jué)感知。我們從異步和事件驅(qū)動(dòng)的生物系統(tǒng)中獲得啟發(fā)。與耗費(fèi)大量資源的深度學(xué)習(xí)方法相反，事件驅(qū)動(dòng)的感知形成了一種替代方法，該方法可保證高能效和低延遲-這些功能是實(shí)時(shí)移動(dòng)機(jī)器人的理想選擇。但是，相對(duì)于標(biāo)準(zhǔn)的同步感知方法，事件驅(qū)動(dòng)的系統(tǒng)仍未開(kāi)發(fā)?！?/p>

長(zhǎng)期以來(lái)，多模式傳感的價(jià)值已被公認(rèn)為是推進(jìn)機(jī)器人技術(shù)的重要組成部分。但是，使用尖峰神經(jīng)網(wǎng)絡(luò)的局限性阻礙了在實(shí)時(shí)感測(cè)功能中使用神經(jīng)形態(tài)芯片。

“神經(jīng)形態(tài)學(xué)習(xí)，特別是尖峰神經(jīng)網(wǎng)絡(luò)（SNN），為學(xué)習(xí)事件數(shù)據(jù)提供了一種競(jìng)爭(zhēng)性方法。類似于基于事件的傳感器，SNN直接與離散的尖峰一起工作，因此具有相似的特性，即低延遲，高時(shí)間分辨率和低功耗。從歷史上看，SNN由于缺乏良好的培訓(xùn)程序而受到阻礙。由于尖峰不可微，因此無(wú)法使用基于梯度的方法（例如反向傳播）。有效的SNN培訓(xùn)的最新發(fā)展以及神經(jīng)形態(tài)硬件（例如，IBM TrueNorth和Intel Loihi）的新生出現(xiàn)，引起了人們對(duì)包括機(jī)器人技術(shù)在內(nèi)的各種應(yīng)用的神經(jīng)形態(tài)學(xué)習(xí)的興趣。SNN尚未在偽事件圖像數(shù)據(jù)集上始終勝過(guò)其深層ANN表親，

另一個(gè)障礙是僅僅開(kāi)發(fā)足夠的觸覺(jué)傳感設(shè)備?！氨M管觸覺(jué)傳感器有許多應(yīng)用（例如，微創(chuàng)手術(shù)和智能假體），但觸覺(jué)傳感技術(shù)仍落后于視覺(jué)。特別地，當(dāng)前的觸覺(jué)傳感器仍然難以縮放并與機(jī)器人平臺(tái)集成。原因有兩個(gè)：首先，許多觸覺(jué)傳感器通過(guò)時(shí)分多址（TDMA）進(jìn)行接口連接，在該接口中，周期性地和順序地對(duì)各個(gè)分類單元進(jìn)行采樣。隨著傳感器中紫杉樹(shù)數(shù)量的增加，TDMA的串行讀取本質(zhì)會(huì)固有地導(dǎo)致讀取延遲的增加。其次，高空間定位精度通常是通過(guò)在傳感器中添加更多的出租車來(lái)實(shí)現(xiàn)的。這總是導(dǎo)致更多的接線，

研究人員開(kāi)發(fā)了自己的新型“神經(jīng)啟發(fā)式”觸覺(jué)傳感器（NeuTouch）：“ NeuTouch的結(jié)構(gòu)類似于人的指尖：它包含“皮膚”和“骨骼”，并且物理尺寸為37×21 ×13毫米 這種設(shè)計(jì)有助于與擬人化末端執(zhí)行器（用于假肢或類人機(jī)器人）和標(biāo)準(zhǔn)的多指夾持器集成。在我們的實(shí)驗(yàn)中，我們將NeuTouch與Robotiq 2F-140抓手配合使用。研究人員寫道：“我們的重點(diǎn)是指尖設(shè)計(jì)，但是可以開(kāi)發(fā)出適合不同應(yīng)用的替代結(jié)構(gòu)?！?/p>

NeuTouch的觸覺(jué)感應(yīng)是通過(guò)帶有39個(gè)紫杉醇的電極層和基于石墨烯的壓阻薄膜實(shí)現(xiàn)的。紫杉樹(shù)的形狀類似于人的指尖的快速適應(yīng)（FA）機(jī)械感受器，并且沿徑向排列，其密度從傳感器的中心到外圍，范圍從高到低。

在典型的抓握過(guò)程中，NeuTouch（具有凸表面）往往會(huì)與紫杉醇密度最高的中央?yún)^(qū)域的物體進(jìn)行初始接觸。相應(yīng)地，可以在觸覺(jué)感測(cè)的較早階段捕獲豐富的觸覺(jué)數(shù)據(jù)，這可能有助于加速推理（例如，用于早期分類）。基于石墨烯的壓力傳感器由于其高的楊氏模量而形成了有效的觸覺(jué)傳感器，有助于減少傳感器的磁滯和響應(yīng)時(shí)間。

研究人員說(shuō)，主要目標(biāo)是確定他們的多模式系統(tǒng)是否能夠有效檢測(cè)使用單個(gè)傳感器難以分離的物體之間的差異，以及重量峰值計(jì)數(shù)損失是否會(huì)帶來(lái)更好的早期分類性能?！罢?qǐng)注意，我們的目標(biāo)不是得出最佳的分類器;實(shí)際上，我們沒(méi)有包括可能會(huì)改善結(jié)果的本體感受數(shù)據(jù)，也沒(méi)有進(jìn)行詳盡（且計(jì)算量大）的最佳架構(gòu)搜索。相反，我們?cè)噲D了解在合理的設(shè)置中同時(shí)使用視覺(jué)和觸覺(jué)峰值數(shù)據(jù)的潛在好處?！?/p>

他們使用了四個(gè)不同的容器：一個(gè)咖啡罐，百事可樂(lè)瓶，紙板豆?jié){紙箱和金屬金槍魚(yú)罐。該機(jī)器人被用來(lái)抓握和提起每個(gè)物體15次，并對(duì)物體進(jìn)行分類并確定其重量。多模態(tài)SNN模型得分最高（81%），比任何單模測(cè)試高出約10%。

在將Loihi神經(jīng)形態(tài)芯片與GPU（Nvidia GeForce RTX 2080）進(jìn)行比較時(shí)，它們的整體性能大致相似，但是基于Loihi的系統(tǒng)使用的功率卻少得多（見(jiàn)表）。最新的工作是向前邁出的重要一步。

最好閱讀全文，但這里是對(duì)本文實(shí)驗(yàn)的概述。

機(jī)器人運(yùn)動(dòng)。機(jī)器人將抓握并提升每個(gè)對(duì)象類別十五次，每個(gè)類別產(chǎn)生15個(gè)樣本。使用MoveIt笛卡爾姿勢(shì)控制器計(jì)算運(yùn)動(dòng)各部分的軌跡。簡(jiǎn)要地說(shuō)，將機(jī)器人抓具初始化為在每個(gè)物體的指定抓握點(diǎn)上方10厘米處。然后將末端執(zhí)行器移至抓握位置（2秒），并使用Robotiq抓握控制器關(guān)閉抓具（4秒）。然后，per紙牙將物體提起5厘米（2秒），并保持0.5秒。

數(shù)據(jù)預(yù)處理。對(duì)于這兩種方式，我們都從抓取，提升和保持階段中選擇了數(shù)據(jù)（對(duì)應(yīng)于圖4中的2.0s至8.5s窗口），并將bin持續(xù)時(shí)間設(shè)置為0.02s（325個(gè)bin），并且合并閾值Smin = 1我們使用分層的K折創(chuàng)建5個(gè)拆分;每個(gè)分組包含240個(gè)訓(xùn)練課程和60個(gè)具有相同班級(jí)分布的測(cè)試示例。

分類模型。我們將SNN與常規(guī)的深度學(xué)習(xí)進(jìn)行了比較，特別是具有門控循環(huán)單元（GRU）的多層感知器（MLP）［54］和3D卷積神經(jīng)網(wǎng)絡(luò)（CNN-3D）［55］。我們使用（i）僅觸覺(jué)數(shù)據(jù)，（ii）僅視覺(jué)數(shù)據(jù)和（iii）組合的視覺(jué)觸覺(jué)數(shù)據(jù)來(lái)訓(xùn)練每個(gè)模型。注意，組合數(shù)據(jù)上的SNN模型對(duì)應(yīng)于VT-SNN。在單一模式上訓(xùn)練時(shí)，我們視情況使用視覺(jué)或觸覺(jué)SNN。我們使用PyTorch實(shí)施了所有模型。