聲音里包含了豐富的信息，例如，聽到“吱呀”的聲音就知道門開了，聽到“沙沙”的樹葉聲就知道起風(fēng)了。依靠聽覺，人類可以更好地感知世界。但對于機器人來說，目前它們只能基于視覺和少量的觸覺進(jìn)行操作。為了讓機器人未來具備更好的感知力，科學(xué)家們正在研究如何賦予機器人聽覺。

近日，卡內(nèi)基梅隆大學(xué)（CMU）機器人研究所的研究人員對聲音和機器人動作之間的相互作用進(jìn)行了大規(guī)模的研究，發(fā)現(xiàn)聲音可以幫助機器人區(qū)分物體，識別率能達(dá)到79.2%，還能識別使物體發(fā)出聲音的動作，以及預(yù)測物體的物理屬性。相關(guān)研究發(fā)表在《機器人技術(shù)：科學(xué)與系統(tǒng)》雜志上。

在此之前，沒有任何算法，也沒有數(shù)據(jù)集可以幫助機器人建立對物體的理解，形成機器人聽覺。主要原因在于聲音的產(chǎn)生受到許多因素的相互影響。例如，機器人撞擊物體時發(fā)出的聲音取決于撞擊的力度、物體的結(jié)構(gòu)、麥克風(fēng)的位置等等。這使得從聲音中提取對機器人有用的信息變得十分困難。

項目的研究人員之一萊雷爾·平托（Lerrel Pinto）說：“在其他領(lǐng)域的許多初步工作表明，聲音可能有用，但尚不清楚它在機器人技術(shù)中有多有用?！?br /> 為了回答這一問題，研究人員首先創(chuàng)建了一個“傾斜機器人”（Tilt-Bot）。這個“傾斜機器人”由一個方形托盤、一個機械臂和固定裝置組成。托盤的四周有擋板，擋板上貼著聲波捕捉裝置，托盤上方安裝有一個攝像頭。

研究人員將60種常見物體（例如蘋果、鞋子和網(wǎng)球）分別放置在托盤上，隨著機械臂向隨機方向傾斜，物體會撞擊擋板并發(fā)出聲音。通過“傾斜機器人”，研究人員收集了60種物體的15000組交互記錄，每組交互記錄都包含聲音、動作和視覺數(shù)據(jù)。

用于創(chuàng)建數(shù)據(jù)集的Tilt-Bot（中），可用于收集視覺（左）、聲音（右下）和動作（右上）數(shù)據(jù)

利用Tilt-Bot收集的數(shù)據(jù)，研究人員得出了關(guān)于聲音和機器人動作之間相互作用的三個發(fā)現(xiàn)。

首先，聲音可以幫助機器人區(qū)分物體。通過建立學(xué)習(xí)模型，機器人可以通過聲音區(qū)分60種不同的物體，而且識別準(zhǔn)確率達(dá)到79.2%。

第二，聲音還可以幫助機器人用于識別使物體發(fā)出聲音的動作類型。通過建立模型，機器人只要一聽到某一物體的聲音，就能預(yù)測出使這個物體發(fā)出聲音的動作，而且產(chǎn)生的誤差比只用視覺信息進(jìn)行識別的機器人低42%。

第三，僅通過一個物體發(fā)出的聲音，機器人就能判斷出這個物體的物理屬性，而且產(chǎn)生的誤差比僅用視覺進(jìn)行判斷產(chǎn)生的誤差低了24%。也就是說，聽覺比視覺更能捕捉物體的物理性質(zhì)。

平托認(rèn)為，機器人能利用聲音提取信息并不奇怪，他說：“真正令人興奮的是，我們預(yù)期它會失敗時，它真的就失敗了?！崩纾瑱C器人無法通過聲音分辨紅色和綠色之間的差異?！暗?，如果是不同的物體，例如一個磚塊和一個杯子，它可能會弄清楚?！?/p>

研究人員聲稱，這是關(guān)于聲音和動作之間相互作用的首次大規(guī)模研究。他們將把Tilt-Bot數(shù)據(jù)集公開，為將來在機器人聽覺領(lǐng)域的研究提供幫助，擴展聲音在機器人中的使用范圍。

平托補充說，我們的研究結(jié)果是如此令人鼓舞，以至于未來機器人將可能配備一根帶工具的拐杖，只要用拐杖輕輕敲擊，機器人就能識別出想要識別的物體。