Mirru 應(yīng)用是用來做什么的？

Mirru 是一款正在開發(fā)中的免費(fèi)開源 Android 應(yīng)用，可以通過追蹤手部 （Hand Tracking） 來控制機(jī)械手。通過這款應(yīng)用，用戶可以將其真手的抓握動(dòng)作實(shí)時(shí)映射到機(jī)械手，而這種機(jī)械手可以通過 3D 打印和自行組裝得到，成本低廉。通過 Mirru，我們希望為當(dāng)前昂貴、繁瑣的專有技術(shù)提供一種廉價(jià)、直觀和開放的端到端替代方案。

Mirru 團(tuán)隊(duì)由 Violeta López 和 Vladimir Hermand 合作成立，這兩位獨(dú)立設(shè)計(jì)師和技術(shù)專家目前居住在巴黎。為了啟動(dòng)這個(gè)項(xiàng)目，該團(tuán)隊(duì)參加了 Tweag 的 Open Source Fellowship program 計(jì)劃，從該計(jì)劃的工程師之一 Dorran Howell 處獲取資金支持、指導(dǎo)和數(shù)據(jù)工程專業(yè)知識。該計(jì)劃幫助 Mirru 從基礎(chǔ)開始啟動(dòng)項(xiàng)目。

Tweag

https://tweag.io

Open Source Fellowship program 計(jì)劃

https://www.tweag.io/blog/2020-02-14-os-fellowship/

我們這一計(jì)劃為期 3 個(gè)月，旨在開發(fā)出一個(gè)可以利用計(jì)算機(jī)視覺技術(shù)控制任何藍(lán)牙開源機(jī)械假肢的初版 Android 應(yīng)用，并在 Google Play 商店免費(fèi)提供，讓用戶可以根據(jù)自己的手打印機(jī)械手并進(jìn)行組裝，然后下載應(yīng)用來操控。在 MediaPipe 的幫助下，我們無需構(gòu)建自己的機(jī)器學(xué)習(xí)模型（因?yàn)闆]有相關(guān)資源或訓(xùn)練數(shù)據(jù)）即可快速構(gòu)建應(yīng)用原型。

為什么要使用手部追蹤？

利用手機(jī)和帶有手部追蹤功能的前置攝像頭，您能夠用一種新穎實(shí)惠、簡單易用且功能繁多的方式控制假肢。

假設(shè)我左手截肢，擁有一個(gè)機(jī)械假肢。每天，我都需要使用機(jī)械手來執(zhí)行許多不同的抓握動(dòng)作。例如，我需要使用雙指張合或三點(diǎn)抓握的手勢來拾取小物品，或需要用整個(gè)手拿起水果或杯子等物品。我通過肌電傳感器來改換和執(zhí)行這些抓握動(dòng)作，例如，讓我可以通過繃緊和放松上肢肌肉來張開手掌和進(jìn)行抓握。這種肌電傳感器在身體和機(jī)械手之間起主要的連接作用。

然而，借助傳感器生活并不像看起來那么容易。人們可能需要很長時(shí)間才能適應(yīng)如何控制肌電傳感器，而且很多人永遠(yuǎn)都適應(yīng)不了。同樣，找假肢師安裝這種傳感器的費(fèi)用也可能非常高，特別是對于發(fā)展中國家/地區(qū)或沒有健康保險(xiǎn)的人士。最后，目前市面上大多數(shù)設(shè)備的抓握動(dòng)作僅有不到 10 種，僅少數(shù)型號能夠創(chuàng)建自定義抓握動(dòng)作，但通常比較麻煩。

Mirru 提供了一個(gè)替代方法。只需使用大眾普及的手機(jī)，您就可以通過數(shù)字化方式將真手的動(dòng)作實(shí)時(shí)映射到機(jī)械手上，用一種直觀的方式控制機(jī)械手。如此一來，用戶不再需要向假肢師支付昂貴的安裝費(fèi)用，也能夠快速設(shè)置不限數(shù)量的抓握動(dòng)作。

目前，Mirru 完全不涉及肌電圖，因?yàn)榭煽康募∪鈧鞲衅鲀r(jià)格昂貴。設(shè)置的抓握動(dòng)作需要通過 Android 手機(jī)觸發(fā)，所以，該應(yīng)用的首個(gè)版本更適合掃地、手握書閱讀、或者拿取杯子或購物袋這樣的活動(dòng)。在未來，我們希望將肌電傳感器與手部追蹤相結(jié)合，發(fā)揮二者的優(yōu)勢。

下面介紹了如何通過 Mirru 應(yīng)用設(shè)置一個(gè)抓握動(dòng)作：假設(shè)，我想用機(jī)械手抓住一個(gè)物品。我需要將機(jī)械手放到該物品前面，然后用健全的手在 Android 手機(jī)前面擺出相應(yīng)的抓握動(dòng)作，這時(shí) Mirru 會將這個(gè)動(dòng)作實(shí)時(shí)映射到機(jī)械手。然后，我可以鎖定機(jī)械手的這一新抓握動(dòng)作，收回健全的那只手。最后，我可以保存這個(gè)抓握動(dòng)作供日后使用，并將其添加到我的抓握動(dòng)作庫中。

Brunel Hand 和 Mirru Arduino Sketch

我們的目標(biāo)是讓盡可能多的用戶打印、組裝和控制自己的機(jī)械手，為此我們設(shè)計(jì)了 Mirru 這個(gè) Android 應(yīng)用，可兼容通過支持藍(lán)牙的 Arduino 板和伺服電機(jī)進(jìn)行控制的機(jī)械手。

對于我們的項(xiàng)目，我們打印并組裝了一個(gè)由 Open Bionics 制造的開源機(jī)械手 Brunel Hand。首先，我們 3D 打印了 Brunel Hand 的 可 3D 打印文件，這些文件依據(jù) CC Attribution-Sharealike 4.0 國際許可的規(guī)定使用。然后，我們購買了必要的伺服電機(jī)、彈簧和螺絲來組裝機(jī)械手。加上 3D 打印資料和購買伺服電機(jī)的費(fèi)用，購買和組裝機(jī)械手的成本大約為 500 歐元。

Brunel Hand

https://openbionicslabs.com/shop/brunel-hand

可 3D 打印文件

https://www.thingiverse.com/thing:3000641

Brunel Hand 配備了基于肌電的固件和由 Open Bionics 開發(fā)的 PCB 板，但由于機(jī)械手只有 4 個(gè)伺服電機(jī)，對使用的微控制器類型沒有限制。我們最終選擇使用 Adafruit ESP32 Feather Board 開發(fā)板來實(shí)現(xiàn)藍(lán)牙功能，并創(chuàng)建了 Arduino Sketch 供需要打印和組裝機(jī)械手的用戶下載、定制和上傳。然后，用戶可以下載 Mirru 應(yīng)用，并將其用作打印機(jī)械手的控制臺。

Arduino Sketch

https://github.com/mirru-app/mirru-android

用 MediaPipe 進(jìn)行手部追蹤

業(yè)內(nèi)有一系列手部追蹤計(jì)算機(jī)視覺解決方案可用于這個(gè)項(xiàng)目，但我們需要一個(gè)快速、開源的解決方案，不需要自行訓(xùn)練模型，并能夠在便攜式設(shè)備可靠運(yùn)行，例如手機(jī)。

MediaPipe 為手部追蹤提供了出色的開箱即用支持，由于我們沒有可用的訓(xùn)練數(shù)據(jù)或資源從零開始創(chuàng)建模型，因此它非常適合我們的團(tuán)隊(duì)。我們能夠輕松構(gòu)建 Android 示例應(yīng)用，同時(shí)應(yīng)用的出色性能也令我們驚喜。更好的是，我們不需要對現(xiàn)成的手部追蹤模型或圖表進(jìn)行任何調(diào)整，因?yàn)?Hand Landmark 模型為我們的原型提供了所有必要的輸出。

MediaPipe

https://mediapipe.dev

手部追蹤

https://google.github.io/mediapipe/solutions/hands.html

在讓真實(shí)用戶測試機(jī)械手時(shí)，我們很高興聽到其中很多用戶都對這款應(yīng)用快速的動(dòng)作轉(zhuǎn)換效率感到印象深刻，而且市場上目前還沒有任何應(yīng)用能夠如此迅速地支持用戶自定義抓握方式。

將3D MediaPipe點(diǎn)轉(zhuǎn)換為機(jī)械手的輸入

為實(shí)現(xiàn) Mirru 應(yīng)用的目標(biāo)，我們需要使用手部追蹤來實(shí)時(shí)、獨(dú)立地控制 Brunel Hand 的每根手指。在 Brunel Hand 中，食指、中指和無名指通過伺服電機(jī)驅(qū)動(dòng)，在 0-180 度的角度范圍中移動(dòng)；0 度表示手指完全豎直，180 度表示手指完全向下彎曲。

由于缺乏足夠的訓(xùn)練數(shù)據(jù)，我們無法從零開始創(chuàng)建模型來為我們計(jì)算這些伺服角度，所以我們選擇使用一種啟發(fā)式方法，將默認(rèn)的手部追蹤標(biāo)志點(diǎn)輸出與原型初始版本的硬件所需的輸入相關(guān)聯(lián)。

我們一開始不確定 3D 標(biāo)志點(diǎn)中的估計(jì)深度 （Z） 坐標(biāo)的精確度是否足以用于轉(zhuǎn)換輸入，或者該標(biāo)志點(diǎn)是否僅用于二維。首先，我們記錄了一個(gè)示例數(shù)據(jù)集，并在 Jupyter Notebook 中用 Plotly 使抓握點(diǎn)可視。

鑒于這項(xiàng)技術(shù)只使用一個(gè)攝像頭，沒有任何深度傳感器，坐標(biāo)的質(zhì)量和精度立刻給我們留下了深刻的印象。正如 MediaPipe 文檔所述，Z 坐標(biāo)與 X/Y 坐標(biāo)的比例略有不同，但看起來這并沒有對我們的原型構(gòu)成重大挑戰(zhàn)。

由于 3D 標(biāo)志點(diǎn)足夠精確，我們選擇使用 3D 計(jì)算關(guān)聯(lián)標(biāo)志點(diǎn)輸出與機(jī)械手所需的輸入。在我們的方法中，我們通過計(jì)算手指方向和手掌定義的平面法線之間的角度，來計(jì)算手指相對于手掌的銳角。角度為 0° 表示手指完全收回，角度為 180° 則表示手指完全伸出。我們能夠通過計(jì)算從指根標(biāo)志點(diǎn)到指尖標(biāo)志點(diǎn)的向量來計(jì)算手指的方向。

我們通過選擇手掌平面的三個(gè)點(diǎn)來計(jì)算手掌法線。使用標(biāo)志點(diǎn) 0 作為參考點(diǎn)，我們計(jì)算邊 1 和邊 2 的向量，并計(jì)算這些向量的叉積以得到手掌法線。最后，我們計(jì)算手指方向與手掌法線的夾角。這將以弧度為單位返回用于計(jì)算度數(shù)的角度。

我們必須進(jìn)行額外的處理來匹配機(jī)械手拇指的自由度。拇指的移動(dòng)方式比其他手指更復(fù)雜。為使應(yīng)用能夠處理拇指的動(dòng)作，我們對拇指方向和手掌法線進(jìn)行了類似的計(jì)算，但使用了不同的標(biāo)志點(diǎn)。

在 Android 手機(jī)上計(jì)算了伺服角度后，我們就可以通過藍(lán)牙將相關(guān)值發(fā)送到 Arduino 板，Arduino 板驅(qū)使伺服電機(jī)移動(dòng)到正確的位置。由于模型輸出中存在一定的噪點(diǎn)，我們在管道中添加了一個(gè)平滑步驟，這一步驟非常重要，可以避免機(jī)械手指在運(yùn)動(dòng)時(shí)因?yàn)檫^于抖動(dòng)而無法精確抓握。

總結(jié)

Mirru 應(yīng)用和 Mirru Arduino Sketch 的設(shè)計(jì)旨在幫助任何人用自己的真手和 Android 手機(jī)來控制一個(gè)開源的機(jī)械手。這是一種新穎和低成本的肌肉傳感替代方案，MediaPipe 也已經(jīng)證明這是完整應(yīng)用中用于實(shí)現(xiàn)手部追蹤組件的正確工具。

Mirru 團(tuán)隊(duì)能夠使用 MediaPipe 的現(xiàn)成解決方案快速啟動(dòng)項(xiàng)目，無需收集任何訓(xùn)練數(shù)據(jù)或從零開始設(shè)計(jì)模型。從手部追蹤點(diǎn)到機(jī)械手的實(shí)時(shí)轉(zhuǎn)換速度特別快，這讓 Mirru 的用戶感到非常高興，這也為假肢的未來應(yīng)用開辟了眾多可能性。

我們很高興看到 MediaPipe 手部追蹤功能與現(xiàn)有肌電機(jī)械手結(jié)合蘊(yùn)藏的巨大潛力，因?yàn)檫@將為實(shí)時(shí)創(chuàng)建和保存定制機(jī)械手抓握方式提供強(qiáng)大而先進(jìn)的方法。

另外，在 MediaPipe 的幫助下，我們能夠提供一種開源的專有假肢替代方法，無需使用肌電傳感器，也無需尋求假肢師的幫助，成本也要比市場中的已有方案要低得多，同時(shí)源代碼可以由其他開發(fā)者定制和構(gòu)建。我們非常期待聽到開源社區(qū)的其他想法，以及手部追蹤技術(shù)能夠?qū)僦脩艉椭圃焐處淼闹妗?/p>

對于 Mirru 應(yīng)用的當(dāng)前狀態(tài)，我們尚不能夠記錄和保存序列長于靜態(tài)抓握手點(diǎn)位置的移動(dòng)手勢。例如，記錄手指在鋼琴上彈奏低音線的連續(xù)動(dòng)作，就像可循環(huán)的 gif 動(dòng)圖一樣。機(jī)械手應(yīng)用存在著諸多可能性，我們很高興 MediaPipe 為我們的探索提供了支持。

我們期待著這一領(lǐng)域出現(xiàn)更多的貢獻(xiàn)者。如果您對這一應(yīng)用有任何想法或意見，請發(fā)送郵件至 mirruapp@gmail.com，或訪問我們的 GitHub。

GitHub

https://github.com/mirru-app

本文由 Google AI 機(jī)器學(xué)習(xí)研究產(chǎn)品經(jīng)理 Igor Kibalchich 策劃。

客座博文 / 來自 Mirru 和 Tweag 工程團(tuán)隊(duì)

編輯：jq