最近的人工智能研究指出了觸覺和視覺之間的協(xié)同效應(yīng)。其中一個可以測量三維表面和慣性特性，而另一個則提供了物體投影外觀的整體視圖。

在這項工作的基礎(chǔ)上，三星、麥吉爾大學(xué)和約克大學(xué)的研究人員調(diào)查了人工智能系統(tǒng)是否可以通過對物體初始狀態(tài)的視覺和觸覺測量來預(yù)測物體的運動。

研究人員在一篇論文中描述表示：“之前的研究已經(jīng)表明，預(yù)測運動中的物體的軌跡是具有挑戰(zhàn)性的，因為在相互作用的表面上存在未知的摩擦和幾何特性，以及不確定的壓力分布?！薄盀榱藴p輕這些困難，我們專注于學(xué)習(xí)一種經(jīng)過訓(xùn)練的預(yù)測工具，它可以捕捉運動軌跡中信息最豐富、最穩(wěn)定的元素?！?/p>

具體來說，研究人員開發(fā)了一種可以穿透皮膚的傳感器，他們聲稱這種傳感器可以在捕捉圖像的同時提供詳細(xì)的觸覺測量。

除此之外，他們還創(chuàng)建了一個名為“生成式多模態(tài)感知（Generative Multimodal Perception）”的框架，該框架利用視覺和觸覺數(shù)據(jù)來學(xué)習(xí)對物體姿態(tài)、形狀和力的信息，從而進行編碼，并對物體運動做出預(yù)測。

為了預(yù)測物體在物理交互過程中的靜止?fàn)顟B(tài)，他們使用了所謂的靜止?fàn)顟B(tài)預(yù)測，以及動態(tài)場景中的視覺觸覺運動數(shù)據(jù)集，包括物體在平面上自由落體，沿斜面上滑下，以及從他們的靜止?fàn)顟B(tài)收到干擾。

在實驗中，研究人員說，他們的方法能夠預(yù)測物體靜止?fàn)顟B(tài)下的原始視覺和觸覺測量值，而且準(zhǔn)確度很高，預(yù)測結(jié)果與事實非常吻合。

此外，研究人員聲稱框架學(xué)習(xí)了視覺、觸覺和3D姿勢模式之間的映射，以便它可以處理缺失的模式，例如當(dāng)觸覺信息在輸入中不可用時，以及預(yù)測對象脫離傳感器表面的情況時，導(dǎo)致空的輸出圖像。

研究稱，在物理場景中預(yù)測對象運動受益于利用兩種形式：視覺信息捕獲對象屬性，如3D形狀和位置，而觸覺信息提供了相互作用力和由此產(chǎn)生的對象運動和接觸的關(guān)鍵線索。新的AI框架則，可根據(jù)圖像和觸覺數(shù)據(jù)預(yù)測物體運動，這將可以更好幫助人類做出預(yù)測。
責(zé)編AJX