智能手機(jī)盛行的時(shí)代，觸控成了主流的人機(jī)交互方式。不過對(duì)于智能手表以及VR設(shè)備，觸控顯然不是理想的交互方式。那么，谷歌提出的想要徹底改變?nèi)藱C(jī)互動(dòng)方式的手勢(shì)控制Soli到底是什么黑科技？

　　Google Project Soli亮相

　　在Google I/O 2015大會(huì)上，以一個(gè)敏捷團(tuán)隊(duì)為核心，向外與各大院校與各行各業(yè)的企業(yè)與研究所建立合作的方式運(yùn)作，進(jìn)行各種跨界研究的谷歌ATAP團(tuán)隊(duì)分享了其在人機(jī)交互方面的最新進(jìn)展，包括Project Soli與Project Jacquard。

　　Project Soli是基于無線電波反射建立的交互體系。5mm波長(zhǎng)的無線電波有能力捕捉到5m空間范圍以內(nèi)的精細(xì)動(dòng)作。然而這其中的技術(shù)挑戰(zhàn)在于，目前市面上的無線電波發(fā)射器都太大了。Project Soli的目標(biāo)是將無線電波發(fā)射器+接收器做到手表上，在四分之一硬幣尺寸的芯片里集成無線電波發(fā)射天線與接收天線。

　　Project Soli研發(fā)出一塊只有手指甲一樣大的芯片，可以裝嵌在不同類型的電子產(chǎn)品。透過芯片發(fā)射出來的雷達(dá)，可以準(zhǔn)確探測(cè)出使用者的手部動(dòng)作，特定的手勢(shì)可以調(diào)較不同設(shè)置，如聲量大小、放大縮小、甚至開關(guān)機(jī)等等。

　　Project Jacquard是一個(gè)將人機(jī)交互界面植入到紡織品（即衣物）當(dāng)中的項(xiàng)目。衣物的年產(chǎn)量（百億級(jí)）大約是智能手機(jī)（億級(jí)）的百倍以上，是個(gè)極大的市場(chǎng)，但是存在如下的技術(shù)挑戰(zhàn)：1、生產(chǎn)過程可融入紡織品的工廠制作流程中；2、電子電路和芯片不怕熨燙的高溫、不怕洗衣機(jī)的水泡、不怕用戶在穿戴過程中拉扯的破壞。

　　雖然Jacquard觸摸纖維項(xiàng)目和Soli仍然還留在ATAP，但Soli至少有了一個(gè)新的宏大目標(biāo)：打造配備雷達(dá)技術(shù)的消費(fèi)電子設(shè)備產(chǎn)業(yè)和設(shè)計(jì)語言。

　　Project Soli進(jìn)展

　　繼2015年首度亮相之后，Project Soli 手勢(shì)遙控概念今年有更進(jìn)一步的演示了。Google I/O 2016大會(huì)上完全通過手勢(shì)控制的智能手表和無線揚(yáng)聲器產(chǎn)品原型首次亮，智能手表是一臺(tái)改裝的 LG Urbane，可以感應(yīng)你的手的遠(yuǎn)近，以及動(dòng)作。離最遠(yuǎn)的時(shí)候是普通的時(shí)間顯示表面，隨著手指的靠近會(huì)出現(xiàn)愈來愈多的功能，而再遠(yuǎn)離的話表面就又回來了。

　　除了LG外，Soli團(tuán)隊(duì)也將這個(gè)技術(shù)做進(jìn)了一個(gè)JBL的音響里，但這里它能「看」到的范圍就大得多，可以判斷整只手的手勢(shì)，像是比「贊」的話，可以代表跳下一首曲子。

　　Soli 擁有 18，000 FPS 的雷達(dá)偵測(cè)更新率，可以「看」到相當(dāng)細(xì)微的動(dòng)作，甚至連輕輕撮手指都能偵側(cè)到。谷歌ATAP技術(shù)項(xiàng)目負(fù)責(zé)人Ivan Poupyrev表示：“通過讓移動(dòng)和固定終端實(shí)現(xiàn)第三種交互方式，手勢(shì)感應(yīng)帶來了徹底改變?nèi)藱C(jī)互動(dòng)的新機(jī)遇。這樣將能填補(bǔ)現(xiàn)有的空白，在觸摸和語音控制交互的基礎(chǔ)上增添一種便捷的備選交互方案。”

　　英飛凌與谷歌ATAP希望憑借“Solli”雷達(dá)技術(shù)滿足包括家庭娛樂、移動(dòng)終端和物聯(lián)網(wǎng)（IoT）等在內(nèi)的眾多市場(chǎng)的需求。

　　英飛凌電源管理及多元化市場(chǎng)事業(yè)部總裁Urschitz表示：“我們的目標(biāo)是創(chuàng)建新的市場(chǎng)標(biāo)準(zhǔn)，帶來卓越性能與全新用戶體驗(yàn)，從而打造實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)和物聯(lián)網(wǎng)的核心技術(shù)?！北M管虛擬現(xiàn)實(shí)技術(shù)已能為我們帶來身臨其境的感覺，但到目前為止，用戶并不能與其互動(dòng)。谷歌與英飛凌開發(fā)的60 GHz雷達(dá)應(yīng)用可填補(bǔ)空白，作為實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù)。

　　ATAP的目的不僅僅是證明這類產(chǎn)品在理論上的可能性，它與LG、高通、JBL等公司進(jìn)行了合作，并向這些公司證明它們可以在市場(chǎng)上推出產(chǎn)品。

　　如何用雷達(dá)實(shí)現(xiàn)手勢(shì)識(shí)別

　　雷達(dá)，英文Radar（Radio Detection And Ranging），利用發(fā)射“無線電磁波”得到反射波來探測(cè)目標(biāo)物體的距離，角度，和瞬時(shí)速度。隨著天線尺寸和芯片的極度縮小，在可預(yù)見的未來，更多的雷達(dá)設(shè)備將會(huì)以微型器件面世，如圖所展示的那樣，它們不僅能嵌入可穿戴設(shè)備，成為物聯(lián)網(wǎng)的一類重要傳感器。

　　圖 傳統(tǒng)的探測(cè)偵查雷達(dá)（左）以及Project Soli中用于手勢(shì)識(shí)別的迷你雷達(dá)（右）

　　相比于其它隔空操作技術(shù)，比如體感相機(jī)、超聲波等，雷達(dá)有著一些天然優(yōu)勢(shì)：比如無論白天黑夜，暴曬寒風(fēng)，皆可正常工作；在體積、成本，以及功耗上都比Kinect等體感相機(jī)來得要更低；高頻雷達(dá)測(cè)量物體距離通?？梢跃_到毫米級(jí)別；而低頻雷達(dá)則可以做到“穿墻而過”，完全無視遮擋物的存在。這些特性讓雷達(dá)，尤其是微型雷達(dá)，在未來都有著廣闊的應(yīng)用前景。

　　雷達(dá)的組成

　　一般雷達(dá)由發(fā)射器、接收器、發(fā)射／接收天線、信號(hào)處理單元，以及終端設(shè)備組成。發(fā)射器通過發(fā)射天線將經(jīng)過調(diào)頻或調(diào)幅的電磁波發(fā)射出去；部分電磁波觸碰物體后被反射回接收器，這就好比聲音碰到墻壁被反射回來一樣；信號(hào)處理單元分析接受到的信號(hào)并從中提取有用的信息諸如物體的距離、角度，以及行進(jìn)速度；這些結(jié)果最終被實(shí)時(shí)地顯示在終端設(shè)備上。傳統(tǒng)的軍事雷達(dá)還常配有機(jī)械控制的旋轉(zhuǎn)裝置用以調(diào)整天線的朝向，而新型雷達(dá)則更多通過電子方式做調(diào)整。

　　為節(jié)省材料和空間，通常發(fā)射器和接收器可以共享同一個(gè)天線，方法是交替開關(guān)發(fā)射或接收器避免沖突。終端設(shè)備通常是一個(gè)可以顯示物體位置的屏幕，但在迷你雷達(dá)的應(yīng)用中更多是將雷達(dá)提取的物理信息作為輸入信號(hào)傳送給諸如手表或其它電子設(shè)備。信號(hào)處理單元才是雷達(dá)真正的創(chuàng)意和靈魂所在，主要利用數(shù)學(xué)物理分析以及計(jì)算機(jī)算法對(duì)雷達(dá)信號(hào)作過濾、篩選，并計(jì)算出物體的方位。在這基礎(chǔ)之上，還可以利用前沿的機(jī)器學(xué)習(xí)算法對(duì)捕捉的信號(hào)作體感手勢(shì)識(shí)別等等。

　　雷達(dá)實(shí)現(xiàn)手勢(shì)識(shí)別

　　雷達(dá)的測(cè)距或者測(cè)速都把物體想像成一個(gè)抽象的點(diǎn)。而真實(shí)的物體如手掌則可以認(rèn)為是一堆三維點(diǎn)的集合體。所以在反射波中已然蘊(yùn)藏了許多個(gè)點(diǎn)的距離與速度信號(hào)。同時(shí)呈現(xiàn)這些信息的一個(gè)好方法叫做距離－多普勒映射（Range-Dopler Map），簡(jiǎn)稱RDM（如圖）。RDM中的橫軸是速度，縱軸是距離。它可以認(rèn)為是一張反射波的能量分布圖或概率圖，每一個(gè)單元的數(shù)值都代表了反射波從某個(gè)特定距離和特定速度的物體得到的反射波能量。仔細(xì)看的話，從RDM中已然可以窺見探測(cè)物體的特征身形！基于RDM及其時(shí)間序列， 我們可以采用機(jī)器學(xué)習(xí)的方法識(shí)別特定的能量模式變化，進(jìn)而識(shí)別手勢(shì)及動(dòng)作。在Soli推出之前，Nvidia也做過類似的研究。

　　圖 距離-多普勒（速度）映射的等高線表示示例 每一個(gè)單元值代表了反射波中具有對(duì)應(yīng)距離和速度的點(diǎn)的集合的反射能量。該映射可以作為特征向量用于機(jī)器學(xué)習(xí)識(shí)別手勢(shì)動(dòng)作。

　　Project Soli面臨的挑戰(zhàn)及解決方法

　　Google 第一版的Soli技術(shù)邀請(qǐng)了60名開發(fā)者參與，開發(fā)者們也想出了各種奇特的應(yīng)用，像是辨識(shí)材料、3D建模等，甚至是做進(jìn)方向盤里，讓你手不用離開方向盤，就可以控制娛樂系統(tǒng)。

　　不過第一版的 Soli 耗電量極為驚人，其實(shí)無法用在穿戴設(shè)備上，Project Soli技術(shù)負(fù)責(zé)人波普列夫（Ivan Poupyrev）說，“如果某種技術(shù)能整合在智能手表中，它就能整合到其他任何產(chǎn)品中?！盇TAP重新設(shè)計(jì)了Soli芯片，進(jìn)一步減小了其尺寸，降低了能耗，并多次對(duì)它進(jìn)行優(yōu)化。據(jù)Soli首席和硬件產(chǎn)品工程師哈基姆·拉賈（Hakim Raja）稱，經(jīng)過一年的的努力，Google和Infineon一起最終實(shí)現(xiàn)了芯片的最小化。它非常薄，4根天線能提供全雙工通信，收發(fā)雷達(dá)信號(hào)，Soli的電耗由1.2W 降低到了0.054W，足有22倍之多。同時(shí) Google也將程序優(yōu)化了256x，讓Snapdragon 400、Intel Atom 處理器等都能順暢跑動(dòng)。

　　把芯片做得如此小也有弊端。雷達(dá)的設(shè)計(jì)目標(biāo)是探測(cè)在數(shù)英里及更遠(yuǎn)距離之外飛行的金屬物體，而非數(shù)英寸之外、手指作出的幅度僅為數(shù)毫米的手勢(shì)。就在不久前，人們還不需要擔(dān)心這種水平的能耗，沒有人考慮如此小的雷達(dá)芯片對(duì)信號(hào)的影響。

　　Soli首席研究員意識(shí)到把雷達(dá)提供的空間信號(hào)轉(zhuǎn)化為能在計(jì)算機(jī)上處理的時(shí)間信號(hào)的意義。沒有什么比如此小的芯片遭遇的噪聲問題更棘手了，她的算法必須在眾多噪聲中找出需要的信號(hào)。對(duì)信號(hào)進(jìn)行聚束是不可能的，通過芯片的每個(gè)信號(hào)都必須被捕獲。換句話說，這是一項(xiàng)很復(fù)雜的任務(wù)。

　　與電子工藝相比，決定識(shí)別出用戶手勢(shì)后電子設(shè)備作出何種反應(yīng)的機(jī)器學(xué)習(xí)算法就相對(duì)簡(jiǎn)單了，但它也絕對(duì)不是小兒科。對(duì)于配置觸摸屏的設(shè)備，屏幕上會(huì)顯示按鈕和滑動(dòng)條；對(duì)于有實(shí)體開關(guān)的設(shè)備，用戶在撥動(dòng)開關(guān)時(shí)能感覺到刻度。但是，如果什么也沒有，如何引導(dǎo)用戶進(jìn)行操作呢？

　　波普利夫表示，“萬物都有自己的界面？每個(gè)開關(guān)、智能灑水器或杯子都有自己的界面？這會(huì)引發(fā)混亂?！盨oli的目標(biāo)之一是開發(fā)一種既容易掌握、又足夠靈活能控制許多功能的通用設(shè)計(jì)語言。

　　Soli首席機(jī)械工程師尼克·吉利安（Nick Gillian）介紹了團(tuán)隊(duì)已經(jīng)敲定的基本手勢(shì)。手勢(shì)分為遠(yuǎn)處和近處兩大類，在遠(yuǎn)處，用戶可以使用的手勢(shì)不多（用戶可以揮舞手臂，與微軟Kinect體感控制器相似）；用戶靠近設(shè)備后，Soli能識(shí)別更細(xì)微的動(dòng)作。

　　波普列夫表示，Soli的“設(shè)計(jì)語言借鑒了實(shí)體控制”。這些控制是捻（拇指在食指上捻，就像捻牙簽玩一樣）、響指（拇指拍打食指）、搓（拇指沿著食指滑動(dòng)）。

　　Soli控制手勢(shì)的優(yōu)勢(shì)是能提供兩個(gè)級(jí)別的反饋：除能看到屏幕對(duì)手勢(shì)的反應(yīng)外，還能感覺到手指的動(dòng)作。這聽起來有些荒謬，但手指能相互觸摸到也是一種“有形”的操作。

　　Project Soli的未來計(jì)劃

　　首款Soli原型是LG Watch Urbane和JBL音箱，這兩款產(chǎn)品近期內(nèi)都不會(huì)上市銷售。揚(yáng)聲器是靠空氣振動(dòng)發(fā)聲的，因此要在其中集成一款能探測(cè)毫米級(jí)別運(yùn)動(dòng)的芯片，會(huì)有一些難題需要解決；智能手表仍然存在電源和交互問題需要解決。

　　谷歌稱，它將于 2017 年發(fā)布測(cè)試版 Project Soli 開發(fā)者工具包，其中包括尺寸更小和能耗更低的 Project Soli 硬件，功耗只有之前的 1/22（54 毫瓦特），體積也只有最初模型的三分之一。隨后，這個(gè)解決方案可以整合進(jìn)更多的移動(dòng)智能設(shè)備中。

　　對(duì)于 Project Soli 項(xiàng)目的未來，開發(fā)團(tuán)隊(duì)認(rèn)為能做的有很多。

　　左側(cè)為原型，右下角為最終版這項(xiàng) ATAP 的項(xiàng)目，又是手勢(shì)識(shí)別，又是雷達(dá)芯片，雖然可以更好的解決智能手表顯示屏過小的問題，但是肯定不會(huì)只滿足于用到智能手表上。就像團(tuán)隊(duì)說到的那樣，他們希望 Soli 芯片可以出現(xiàn)在更多的地方，成為未來人機(jī)交互的一種新方式。開發(fā)團(tuán)隊(duì)認(rèn)為，現(xiàn)在更多都在關(guān)注語音控制，但是人類進(jìn)化出來的雙手同樣重要。