2017年9月7日，中德合璧的拜騰汽車橫空出世，致力于做國(guó)內(nèi)版“特斯拉”的這家公司，除了在南京設(shè)有生產(chǎn)基地外，整個(gè)產(chǎn)品平臺(tái)、產(chǎn)品設(shè)計(jì)、產(chǎn)品技術(shù)和配件等都在慕尼黑。

發(fā)布會(huì)上，拜騰推出了將于2019年面世的首款產(chǎn)品-純電動(dòng)中型SUV車型，這輛車最大的亮點(diǎn)是——配有一款尺寸驚人的液晶屏，具體尺寸是長(zhǎng)125厘米、高25厘米。

這塊屏幕在2018CES上大出風(fēng)頭，但隱藏在其背后的，還有另外一項(xiàng)功能：動(dòng)態(tài)手勢(shì)操控。

什么是動(dòng)態(tài)手勢(shì)操控？這還得從手勢(shì)本身說(shuō)起。

手勢(shì)是人手或者手和手臂結(jié)合產(chǎn)生的多種動(dòng)作，通常分為靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)。簡(jiǎn)單來(lái)說(shuō)，靜態(tài)手勢(shì)只需要判斷某個(gè)時(shí)間點(diǎn)上手勢(shì)的外形特征即可，而動(dòng)態(tài)手勢(shì)則需采集一段時(shí)間內(nèi)持續(xù)的動(dòng)作，進(jìn)行分析，增加了時(shí)間信息和動(dòng)作特征。因此動(dòng)態(tài)手勢(shì)識(shí)別的難度要大于靜態(tài)手勢(shì)。

手勢(shì)識(shí)別通常是出現(xiàn)在VR/AR領(lǐng)域，原本多用于家庭娛樂(lè)、智能穿戴領(lǐng)域，但由于價(jià)格高昂,此項(xiàng)技術(shù)一直沒(méi)有大規(guī)模應(yīng)用。而原本在此領(lǐng)域扮演重要角色的手勢(shì)識(shí)別，也沒(méi)能大展身手。那么作為一個(gè)新的應(yīng)用場(chǎng)景，手勢(shì)識(shí)別在車內(nèi)交互領(lǐng)域能否煥發(fā)新生？

《高工智能汽車》采訪了凌感科技（Usens）美國(guó)產(chǎn)品和運(yùn)營(yíng)副總裁王亞明，來(lái)聽(tīng)聽(tīng)他怎么說(shuō)。

王亞明畢業(yè)于麻省理工學(xué)院，有20年的軟件和嵌入式系統(tǒng)經(jīng)驗(yàn)。此前曾擔(dān)任美國(guó)微軟、Intel風(fēng)河公司、聯(lián)發(fā)科的高層，擔(dān)任產(chǎn)品總監(jiān)和企業(yè)高級(jí)管理，現(xiàn)任凌感科技美國(guó)公司總經(jīng)理。

手勢(shì)識(shí)別的二三事兒

手勢(shì)識(shí)別的實(shí)現(xiàn)方式，經(jīng)歷了二維到三維的轉(zhuǎn)變。二維手型識(shí)別，也稱靜態(tài)二維手勢(shì)識(shí)別，識(shí)別的是手勢(shì)中最簡(jiǎn)單的一類。只能識(shí)別出幾個(gè)靜態(tài)的手勢(shì)動(dòng)作，比如握拳或者五指張開(kāi)。這種手勢(shì)識(shí)別本身是通過(guò)視覺(jué)分析算法，得到預(yù)設(shè)圖像和拍攝圖像的差異，然后理解手勢(shì)的含義。

更確切的來(lái)講，是一種手形識(shí)別，而非手勢(shì)，因?yàn)槭謩?shì)是三維動(dòng)態(tài)的。二維手勢(shì)識(shí)別拓展性差、控制感弱，因此通常只用來(lái)實(shí)現(xiàn)一些簡(jiǎn)單的功能。

另外一種二維手勢(shì)識(shí)別，通過(guò)更先進(jìn)的計(jì)算機(jī)視覺(jué)算法，具有了追蹤手勢(shì)運(yùn)動(dòng)的能力，體驗(yàn)上從純粹的狀態(tài)控制，變成了比較豐富的平面控制。

為了實(shí)現(xiàn)更豐富場(chǎng)景的應(yīng)用，手勢(shì)識(shí)別引入了三維的方式。三維的手勢(shì)識(shí)別主要是增加了Z軸的信息，即目標(biāo)的距離。二維的圖像在得到距離值后，便可以構(gòu)建出立體的模型，通過(guò)追蹤不同時(shí)刻目標(biāo)物體的三維立體形態(tài)變化，識(shí)別、認(rèn)識(shí)不同的形態(tài)，也就可以到更多與之相匹配的的標(biāo)準(zhǔn)含義。這就直接豐富了手勢(shì)識(shí)別的數(shù)量、類型。

三維手勢(shì)識(shí)別的實(shí)現(xiàn)方式，通常有三種，結(jié)構(gòu)光(Structure Light)、光飛時(shí)間(Time of Flight)、多角成像(Multi-camera)。結(jié)構(gòu)光是通過(guò)激光投射器投射激光束，經(jīng)過(guò)光柵打到物體上產(chǎn)生折射的位移，然后用攝像頭來(lái)采集圖樣，通過(guò)圖樣的位移變化，算出物體的位置、深度信息。這種方式使用的最佳范圍是1米到4米。

光飛時(shí)間的方式是用CMOS傳感器接收發(fā)光原件發(fā)射到物體上的反射光，然后通過(guò)光子的飛行時(shí)間計(jì)算距離，這種方式簡(jiǎn)單，不需要計(jì)算機(jī)視覺(jué)方面的能力。

還有一種就是多角成像的原理，使用兩個(gè)或者兩個(gè)以上的攝像頭同時(shí)攝取圖像，模擬人類視覺(jué)，得到目標(biāo)物體的距離信息，類似于雙目測(cè)距。這種技術(shù)依賴于計(jì)算機(jī)視覺(jué)算法來(lái)匹配兩張圖片里的相同目標(biāo)，相對(duì)前兩種技術(shù)而言，性價(jià)比較高。

結(jié)緣拜騰

凌感科技成立于2013年，是一家為AR/VR提供三維人機(jī)交互解決方案的高科技公司，目前已經(jīng)在硅谷、北京、杭州、深圳等地設(shè)立研發(fā)及運(yùn)營(yíng)中心。其核心技術(shù)通過(guò)識(shí)別手部22個(gè)關(guān)鍵點(diǎn)，26個(gè)自由度，辨別手部姿態(tài)，實(shí)現(xiàn)全手勢(shì)識(shí)別。

引以為傲的Inside-out追蹤技術(shù)，檢測(cè)人頭部的旋轉(zhuǎn)及運(yùn)動(dòng)位移，實(shí)現(xiàn)6自由度位置跟蹤，真實(shí)還原人在現(xiàn)實(shí)世界中的體驗(yàn)效果，是VR沉浸感不可或缺的重要指標(biāo)之一。

凌感科技在傳統(tǒng)的消費(fèi)者領(lǐng)域，手勢(shì)識(shí)別的能力較強(qiáng)，但由于諸多原因，VR/AR并沒(méi)有如人們想象的一樣快速的成長(zhǎng)起來(lái)，行業(yè)進(jìn)入了較長(zhǎng)的蟄伏期。

汽車的車內(nèi)交互方式，通常有語(yǔ)音、手勢(shì)、觸控、物理摁鍵等方式，隨著汽車的智能化來(lái)臨，前兩種方式逐漸有取代傳統(tǒng)交互方式的趨勢(shì)。

其中，車內(nèi)手勢(shì)交互屬于新事物，在存量車中較為少見(jiàn)，大多出現(xiàn)在一些新的概念車中。相比于傳統(tǒng)的AR/VR領(lǐng)域，車內(nèi)手勢(shì)識(shí)別目前主要停留在簡(jiǎn)單動(dòng)作識(shí)別層面，要求可靠穩(wěn)定、快速響應(yīng)。

凌感科技的車內(nèi)交互之路，源于一次偶然。拜騰汽車在推出新款車型時(shí)，準(zhǔn)備在車上加入手勢(shì)識(shí)別的功能。

拜騰汽車采用了50英寸共享全面屏，對(duì)這款屏幕的操作方式，公司希望可以實(shí)現(xiàn)手勢(shì)動(dòng)態(tài)操控。即駕駛員可通過(guò)手勢(shì)，完成原有觸控、摁鍵要完成的功能。

對(duì)于原來(lái)做車內(nèi)手勢(shì)識(shí)別的企業(yè)而言，這種需求完成難度大，對(duì)手勢(shì)識(shí)別的精準(zhǔn)度、穩(wěn)定性以及響應(yīng)速度都提出了更高的要求，同時(shí)在功能的豐富性方面也不可同日而語(yǔ)。

但對(duì)于做AR/VR手勢(shì)識(shí)別出身的凌感科技而言，車載手勢(shì)識(shí)別從功能豐富性上是做了減法，需要適應(yīng)的是車載要求的一些規(guī)范。

由于凌感科技主要做的是軟件算法層面的工作，且手勢(shì)識(shí)別的方式有TOF、多角成像等方式，硬件層面只需要找相應(yīng)符合要求的攝像頭生產(chǎn)商即可。因此，滿足汽車要求的產(chǎn)品方案，并不難產(chǎn)。

彼時(shí)業(yè)內(nèi)符合其要求的，并沒(méi)有幾家，凌感科技接受了工作邀請(qǐng)，并且完成了其車載手勢(shì)識(shí)別的第一次嘗試。應(yīng)用在拜騰汽車上的手勢(shì)識(shí)別，有“開(kāi)始”、“拖曳”、“指向”、“菜單”、“OK”五個(gè)手勢(shì)，駕駛員只需要伸出右手，完成相應(yīng)動(dòng)作即可進(jìn)行操控。

跟拜騰的合作比較順利，也讓公司意識(shí)到，除了傳統(tǒng)領(lǐng)域，正在興起的智能汽車交互，也將會(huì)是另外一個(gè)市場(chǎng)。

TOF景深、單目IR

凌感科技目前提供的針對(duì)車載手勢(shì)交互的產(chǎn)品中，支持2種模組。其手勢(shì)識(shí)別可支持的使用范圍包括，主副駕駛、后排乘客交互的多種場(chǎng)景。

其中在主駕駛位上的交互，包含中控屏、HUD的交互，副駕駛位和中控屏的交互，以及后排乘客和乘客屏的交互。

交互的方式主要有：

? 命令式手勢(shì)(Gesture)：接聽(tīng)電話， 調(diào)節(jié)音量， 選取歌曲等

? 2D動(dòng)態(tài)交互：操作2D圖形界面， 娛樂(lè)， 社交， 工作

? 3D動(dòng)態(tài)交互：操作圖形界面， 娛樂(lè)， 社交

凌感科技美國(guó)產(chǎn)品和運(yùn)營(yíng)副總裁王亞明表示，就目前而言，車內(nèi)手勢(shì)交互限于硬件條件（液晶大屏尚未普及），只完成少數(shù)簡(jiǎn)單幾項(xiàng)的功能，并不豐富。

但手勢(shì)識(shí)別本質(zhì)上可以大大提升車內(nèi)操控的體驗(yàn)，并不需要駕駛員分心，去觀察傳統(tǒng)觸控、摁鍵完成操控的位置以及功能，操作人員僅僅需要記住相應(yīng)功能的手勢(shì)，即可完成操控。

而隨著車內(nèi)大屏的更新?lián)Q代，越來(lái)越多的功能需要觸控去完成，對(duì)于駕駛的安全有一定的影響，如果能用手勢(shì)代替原有的操控，將會(huì)大大提升駕乘體驗(yàn)，

同時(shí)，相比于車內(nèi)的另外一種交互方式——語(yǔ)音交互，手勢(shì)識(shí)別也有其它的一些優(yōu)勢(shì)。語(yǔ)音交互是通過(guò)機(jī)器識(shí)別人類語(yǔ)言，完成功能響應(yīng)。

一方面，語(yǔ)音識(shí)別由于人類語(yǔ)言的多樣性，識(shí)別算法的有效性，準(zhǔn)確性，很難達(dá)到通識(shí)天下語(yǔ)言，無(wú)往而不利。

另外一方面，人類的一些操控行為，并不一定能全部用語(yǔ)言描述。比如對(duì)持續(xù)性命令的執(zhí)行（調(diào)節(jié)音量，調(diào)節(jié)音視頻播放速度、進(jìn)度等），較難量化的命令，語(yǔ)音識(shí)別就存在一定的局限性。

這類似于鼠標(biāo)之于PC，其重要性很難被取代。

因此，手勢(shì)識(shí)別在未來(lái)的車內(nèi)交互領(lǐng)域，重要性一定會(huì)逐步體現(xiàn)。國(guó)際上一些傳統(tǒng)的汽車OEM廠商，已經(jīng)在其高端車上搭載了一些簡(jiǎn)單的手勢(shì)識(shí)別功能，其它車企也在觀望、試探階段。

王亞明相信，隨著汽車智能化的發(fā)展，手勢(shì)識(shí)別一定會(huì)廣泛進(jìn)入汽車市場(chǎng)。

車內(nèi)手勢(shì)識(shí)別的萌芽期

當(dāng)然，手勢(shì)識(shí)別的上車之路，還需要一定的過(guò)程。比如，最常見(jiàn)的就是手勢(shì)識(shí)別方案的成本、可靠性，準(zhǔn)確性，體驗(yàn)是否能達(dá)到廠商的要求。

公司目前針對(duì)汽車手勢(shì)識(shí)別，有兩種方案，一種是攝像頭放置在中控位，一種是在車頂位。

中控位的方式ToF景深模組和單目IR模組都適合。優(yōu)勢(shì)是能獲得比較清晰的手區(qū)域圖像， 遮擋小， 適合提取全手骨骼。不同車型的設(shè)置不一樣， 安裝的位置和角度需要根據(jù)實(shí)際車型調(diào)整， 算法也需要相應(yīng)進(jìn)行一定定制。

車頂位的方式適用深度攝像頭（比如BMW采用了這種方式） ， 優(yōu)勢(shì)是能夠很好的控制水平方向距離， 適合手指類的動(dòng)態(tài)操作、 點(diǎn)擊等。 劣勢(shì)是需要?jiǎng)幼鳂?biāo)準(zhǔn)，否則隨意地動(dòng)作遮擋會(huì)多。

王亞明表示，無(wú)論哪種方式，都需要同車企深度合作，在汽車設(shè)計(jì)早期就進(jìn)入共同的研發(fā)階段。而這，不僅需要公司的實(shí)力過(guò)硬，同時(shí)產(chǎn)品的功能也能夠豐富，多樣。

由于手勢(shì)識(shí)別需要深度學(xué)習(xí)以及視覺(jué)的實(shí)時(shí)處理，對(duì)于硬件的算力也有一定的要求。通常的做法是分享汽車ECU算力或者配置單獨(dú)處理器。前者容易適配，改裝容易、價(jià)格便宜，主機(jī)廠商也樂(lè)意，但需要手勢(shì)識(shí)別部分的算力不占用太多資源。后者成本高昂，主機(jī)廠商接受度較低。

手勢(shì)識(shí)別初期在少量歐美高端車上的應(yīng)用，給全球其它車企起到了一定的示范作用。目前國(guó)內(nèi)的一些車企也在籌劃手勢(shì)識(shí)別進(jìn)車的事宜，手勢(shì)識(shí)別進(jìn)入汽車的速度可能會(huì)超出外界想象。

因此公司未來(lái)也會(huì)將更多的注意力以及重心放在汽車手勢(shì)識(shí)別領(lǐng)域。同時(shí)，由于國(guó)內(nèi)是全球最大的汽車消費(fèi)、生產(chǎn)市場(chǎng)，公司的重心也轉(zhuǎn)移到了國(guó)內(nèi)。目前凌感科技全球共有60余人的團(tuán)隊(duì)，其中2/3在中國(guó)，王亞明表示，其非?？春梦磥?lái)手勢(shì)識(shí)別在車內(nèi)的應(yīng)用。