本期為大家分享一篇關(guān)于基于視觸覺傳感器下力動態(tài)估計的一篇文章——Dynamic-Vision-Based Force Measurements Using Convolutional Recurrent Neural Networks。

在機器人執(zhí)行抓取動作時，接觸力的大小與接觸位置對抓取成功有至關(guān)重要的影響，文章研究團隊在以往研究基礎(chǔ)上提出了一種使用三種不同結(jié)構(gòu)的LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對觸覺力進行動態(tài)重建的方法，傳感器能夠在10ms延遲下連續(xù)測量從抓取開始到物體釋放的力，測量接觸力不受物體尺寸的影響。

與傳統(tǒng)相機不同，神經(jīng)擬態(tài)視覺傳感器沒有 “幀” 的概念，文中使用的DVS攝像機尺寸為40× 60×25毫米。當(dāng)現(xiàn)實場景中發(fā)生變化時，神經(jīng)擬態(tài)視覺傳感器會產(chǎn)生一些像素級的輸出（即事件），一個事件具體包括（t， x， y， p），這里的 x， y 為事件在2D空間的像素坐標(biāo)，t為事件的時間戳，p為事件的極性。事件的極性代表場景的亮度變化： 上升（1）（positive） or 下降 （0）（negative）。DVS相機對觸覺層進行圖像采集后，將事件集預(yù)處理后送入神經(jīng)網(wǎng)絡(luò)中，通過再經(jīng)由Dense Layers處理后對力進行動態(tài)大小估計。

DVS相機在捕捉觸覺傳感層變化時，需要對每個像素的前序列對力進行測量與每個幀處的觸發(fā)事件相關(guān)聯(lián)。為了解決RNN訓(xùn)練時的梯度問題，文章引入了LSTM和選通遞歸單元（GRU）來控制內(nèi)存狀態(tài)，通過將LSTM層與卷積層和密集層相結(jié)合來估計接觸力，對LSTM、Convolutional LSTM （Conv-LSTM）、CNN-LSTM三種結(jié)構(gòu)。在CNN-LSTM結(jié)構(gòu)中，卷積運算應(yīng)用于幀，以將特征提取到1D向量中，該向量后跟LSTM單元，以隨時間對提取的特征進行建模。Conv-LSTM則是在LSTM門內(nèi)進行卷積運算，保持輸入的二維維度，以捕獲構(gòu)造幀的空間和時間信息。

隨后通過實驗對數(shù)據(jù)進行收集，實驗裝置包括一個ATI F/T傳感器、一個DVS相機傳感器和一個透明3D打印平面（靜態(tài)平面），該平面由硅膠覆蓋。硅膠材料具有約0.5mm厚度的50肖氏硬度，夾持器的右平面保持靜止，而左平面（動態(tài)平面）移動以對硅膠層施加壓力。

由于硅膠的彈性、控制器延遲和測量不確定性，接觸力值和實驗持續(xù)時間略有不同。由于傳感器連續(xù)計算接觸力，每個實驗分為抓取、保持和釋放階段，并研究每個階段的傳感器性能（圖2b）。為了評估傳感器性能，MSE基于力傳感器測量值和預(yù)測值之間的差異計算。在尺寸為8 mm、12 mm和16 mm的三個螺栓上進行了35次試驗。在每次試驗中，接觸力從零開始，在保持階段達到最大值3.12 N。時間間隔為T=10 ms，以確保在幀中累積足夠數(shù)量的事件。此外，基于從240×180到115×115的最大接觸對象接觸面積裁剪幀，以減少內(nèi)存需求。最后將數(shù)據(jù)集輸入到三種深度學(xué)習(xí)模型中進行訓(xùn)練，選取最低MSE值作為模型進行預(yù)測，與論文研究團隊此前提出的TDNN網(wǎng)絡(luò)進行了比較，其平均絕對誤差（MAE）與MSE值如下表所示：

在對抓取、保持和釋放階段期間的力大小估計和真實值的比較如下圖所示：

結(jié)果表明，對于抓取階段，力的精度較為準(zhǔn)確，三種網(wǎng)絡(luò)結(jié)構(gòu)都獲得了類似的結(jié)果。后面階段由于硅膠膜的彈性，在保持和釋放階段誤更大。此外，在釋放階段結(jié)束時，不同網(wǎng)絡(luò)架構(gòu)之間的精度差異不斷增加。此外，與F/T傳感器相比，有一定的時間滯后。

在論文中，研究團隊提出了一種動態(tài)估計接觸力的新方法。通過DVS相機捕捉接觸區(qū)域的強度變化，提出了一種新的動態(tài)方法來估計尺寸變化物體的接觸力，開發(fā)三個基于LSTM的網(wǎng)絡(luò)，以基于每個像素的變化規(guī)律來估計接觸力，同時具備空間和時間特征信息。該傳感器在機器人上對三個不同尺寸的螺栓進行了驗證。Conv-LSTM網(wǎng)絡(luò)獲得了最好的結(jié)果，在抓持階段接觸力計算的MSE=0.064 N，在保持階段估計接觸壓力的MSE=0.082 N，盡管存在振動，但該傳感器只有10ms的延遲，適用于實時抓取應(yīng)用。