2019年CES展會(huì)上，智能駕艙、車(chē)載人機(jī)交互系統(tǒng)、沉浸式體驗(yàn)成為大家集中的關(guān)注焦點(diǎn)。

今年一個(gè)明顯趨勢(shì)是各大汽車(chē)OEM廠商都在推動(dòng)手勢(shì)識(shí)別HMI的商用落地，包括實(shí)現(xiàn)對(duì)天窗、車(chē)窗、智能座椅、空調(diào)的調(diào)節(jié)控制、以及車(chē)載娛樂(lè)多媒體系統(tǒng)的選擇、播放等操作。

從當(dāng)前趨勢(shì)當(dāng)中可以看出傳統(tǒng)按鍵的交互方式，已經(jīng)轉(zhuǎn)變?yōu)橛|控、語(yǔ)音、手勢(shì)識(shí)別等多模態(tài)融合的人機(jī)交互模式。

手勢(shì)識(shí)別的興起，背后還是來(lái)自于市場(chǎng)需求，一方面是座艙顯示的快速普及，一個(gè)是用戶(hù)體驗(yàn)成為大家關(guān)注的重點(diǎn)。

“車(chē)內(nèi)顯示已經(jīng)從主儀表盤(pán)、單一中控，延伸到多屏主控、后排頭枕等座艙娛樂(lè)形態(tài)。車(chē)內(nèi)車(chē)外多形態(tài)的顯示需求必然會(huì)催生未來(lái)多模態(tài)人機(jī)交互的需求?！?月16日，在2018高工智能汽車(chē)年會(huì)上，未動(dòng)科技副總裁劉風(fēng)表示。

剛剛結(jié)束的2019CES上，汽車(chē)主機(jī)廠展示重點(diǎn)紛紛偏向電子座艙、智能座艙、概念座艙，部分知名主機(jī)廠的智能駕艙就采用了未動(dòng)科技提供的手勢(shì)識(shí)別人機(jī)交互解決方案。從本屆CES展會(huì)可以看出，多模態(tài)的人機(jī)交互和駕駛員監(jiān)測(cè)已顯示出銳不可擋的發(fā)展勢(shì)頭。

一、多模態(tài)人機(jī)交互的融合

從駕乘體驗(yàn)來(lái)看，車(chē)已經(jīng)不單是一個(gè)代步工具，而是一個(gè)作為人機(jī)交互、滿(mǎn)足娛樂(lè)需求、辦公需求的個(gè)性化移動(dòng)空間。如果要實(shí)現(xiàn)以上目標(biāo)，無(wú)論按鍵還是觸屏等單一交互模式都已經(jīng)不能滿(mǎn)足人機(jī)交互系統(tǒng)多樣化的需求。

未來(lái)如果要想做到多模態(tài)的融合，其設(shè)計(jì)原則和實(shí)現(xiàn)途徑有哪些？

當(dāng)前多模態(tài)人機(jī)交互設(shè)計(jì)的原則，一個(gè)是首先要保證智能駕艙的安全；第二，人機(jī)交互要舒適和便捷，要符合人體自然的使用習(xí)慣和感知需求。

目前的車(chē)內(nèi)人機(jī)交互途徑基本上分為接觸式和非接觸式的，非接觸式的就是語(yǔ)音和手勢(shì)，以及不久即將實(shí)現(xiàn)的眼動(dòng)識(shí)別和情緒識(shí)別等。所以多模態(tài)智能人機(jī)交互會(huì)成為未來(lái)人機(jī)交互的主流，并且逐步實(shí)現(xiàn)大規(guī)模商用。

二、多模態(tài)人機(jī)交互的優(yōu)勢(shì)

相比單一的人機(jī)交互模式而言，到底智能的多模態(tài)人機(jī)交互的優(yōu)勢(shì)體現(xiàn)在哪里？

未動(dòng)科技給出了一個(gè)多模態(tài)命令頻率的統(tǒng)計(jì)數(shù)據(jù)，從數(shù)據(jù)中可以看出，多模態(tài)交互的優(yōu)勢(shì)體現(xiàn)在空間上可以更快、效率更高、交互識(shí)別準(zhǔn)確率更高，而且對(duì)于關(guān)鍵的任務(wù)完成率更高。

劉風(fēng)舉了一個(gè)多模態(tài)人機(jī)交互的案例，比如語(yǔ)音輸入“我想看看路左邊廣場(chǎng)的背面大廈的照片”，需要一個(gè)描述準(zhǔn)確的完整語(yǔ)句才能完成；而如果采用多模態(tài)的交互方式，只需要用手指向交互對(duì)象或者通過(guò)眼動(dòng)追蹤再疊加語(yǔ)音即可更加準(zhǔn)確地實(shí)現(xiàn)上述交互目的，由此可以看出通過(guò)視覺(jué)方式可以有更好的指向性，如人們口頭上經(jīng)常說(shuō)的“那、這”等代詞在語(yǔ)義上容易產(chǎn)生多義性，使用手勢(shì)就不會(huì)產(chǎn)生此類(lèi)問(wèn)題，但是通過(guò)語(yǔ)音有時(shí)候可以更準(zhǔn)確的描述對(duì)象。

從上面的事例可以看出，單一的交互模式有時(shí)候在交互過(guò)程當(dāng)中會(huì)有一定的局限性，并且交互效率較低，而采用多模態(tài)融合交互模式就不會(huì)出現(xiàn)如上問(wèn)題。

三、多模態(tài)交互的應(yīng)用場(chǎng)景

那么，多模態(tài)交互的典型應(yīng)用場(chǎng)景是什么？

從多模態(tài)交互的優(yōu)勢(shì)可以看出，其典型應(yīng)用場(chǎng)景就是單一交互模態(tài)受限或者效率較低的場(chǎng)景，下面以HUD和后排乘客娛樂(lè)系統(tǒng)舉例進(jìn)行說(shuō)明。

一個(gè)是普通的抬頭顯示，從主控屏上可以通過(guò)手勢(shì)分享相應(yīng)的內(nèi)容到抬顯屏幕上；地圖導(dǎo)航疊加眼動(dòng)跟蹤，可以讓駕駛員體驗(yàn)到更加逼真的導(dǎo)航服務(wù)；而使用語(yǔ)音可以疊加相關(guān)具體的內(nèi)容，比如說(shuō)我想選取某一個(gè)指標(biāo)和信息，投到抬顯屏幕上去，通過(guò)語(yǔ)音就可以做到很好的交互。

多模態(tài)交互的另一個(gè)典型場(chǎng)景是后排娛樂(lè)系統(tǒng)，一個(gè)是通過(guò)手勢(shì)像做游戲方面的交互，還有通過(guò)VR為后排的駕乘人員提供更好的沉浸式的娛樂(lè)體驗(yàn)。

此外，未動(dòng)科技憑借創(chuàng)新的技術(shù)實(shí)力，也獲得了2018高工智能汽車(chē)金球獎(jiǎng)評(píng)選“年度國(guó)產(chǎn)DMS供應(yīng)商”及“年度智能網(wǎng)聯(lián)創(chuàng)新技術(shù)”兩項(xiàng)大獎(jiǎng)。

四、多模態(tài)人機(jī)交互是未來(lái)趨勢(shì)

從智能駕駛的汽車(chē)，未來(lái)過(guò)度到智能情感交互的智能汽車(chē)。如果傳統(tǒng)汽車(chē)只是代步工具的話，未來(lái)的汽車(chē)是真正實(shí)現(xiàn)人機(jī)互動(dòng)、情感交互的移動(dòng)載體。

在這個(gè)基礎(chǔ)上，未來(lái)的感知系統(tǒng)會(huì)為人機(jī)交互，包括情感交互提供一個(gè)切實(shí)可行的途徑和手段。劉風(fēng)表示，多模態(tài)融合是必然的發(fā)展趨勢(shì)，未來(lái)的人機(jī)交互系統(tǒng)會(huì)更加智能化、理解用戶(hù)的交互意圖。

通過(guò)眼動(dòng)跟蹤和情緒識(shí)別，人機(jī)交互系統(tǒng)可提前感知用戶(hù)的交互意圖，疊加語(yǔ)音識(shí)別等交互模式，最終可以為用戶(hù)提供一個(gè)高效、便捷、舒適的人機(jī)交互系統(tǒng)。

還有一種情況，更深層次的判斷當(dāng)前駕乘者的情緒和個(gè)人狀態(tài)是什么樣的，如果是處于極度憤怒和悲傷的狀態(tài)，也不適合做車(chē)輛的接管，這個(gè)層次是更高層次的交互需求。

未來(lái)的車(chē)肯定會(huì)發(fā)展到這個(gè)階段，當(dāng)前主要是停留在姿態(tài)識(shí)別。從駕乘者的姿態(tài)方面判斷他是否有接管車(chē)輛的能力，未來(lái)把情緒的能力結(jié)合在一起，才能真正做到人車(chē)智能化、便捷、合理化的交互。

此外，自動(dòng)駕駛有一個(gè)重要的環(huán)節(jié)，在緊急的情況下判斷人是否有接管車(chē)輛的能力，這就需要監(jiān)測(cè)一個(gè)人的身體姿態(tài)信息，為自動(dòng)駕駛鋪平道理。

DMS駕駛員行為監(jiān)測(cè)，被認(rèn)為是未來(lái)幾年汽車(chē)智能化的主要基礎(chǔ)功能之一，同時(shí)也是L3級(jí)自動(dòng)駕駛的標(biāo)配，用于隨時(shí)監(jiān)控司機(jī)是否將注意力放在道路上，保障行駛更安全。

劉風(fēng)表示，隨著時(shí)間的推移和技術(shù)不斷成熟，DMS將成為汽車(chē)的必配模塊，未動(dòng)科技也將進(jìn)一步加強(qiáng)與智能汽車(chē)合作伙伴的業(yè)務(wù)合作，實(shí)現(xiàn)對(duì)座艙全方位的前、后座的監(jiān)測(cè)（比如遺忘的兒童和寵物等監(jiān)測(cè)）。

此外，隨著今年未動(dòng)科技DMS方案更多在乘用車(chē)、商用車(chē)等不同領(lǐng)域的應(yīng)用，將實(shí)現(xiàn)對(duì)駕駛員的身份識(shí)別、駕駛員疲勞監(jiān)測(cè)以及危險(xiǎn)駕駛行為的監(jiān)測(cè)功能，極大降低交通事故率。