第二屆百度AI開發(fā)者大會在北京舉行，百度AI交互設計院在首次舉辦的AI設計分論壇上，分享了《AI時代的人因工程》主題演講，他們認為：在AI時代，全新的設計將會重構(gòu)我們身邊的工具、生產(chǎn)力、生活甚至心理學。AI時代的人因工程，是關于人的能力、行為、限制的特點，也關于人的社會、文化、心理，是真正以人類為中心的系統(tǒng)工程。他們還將腦電、肌電和眼動等生理測量方法引入了人因工程研究中，將研究方法進行創(chuàng)新迭代，不斷助力百度的AI產(chǎn)品進行“重構(gòu)”。百度開發(fā)者大會剛剛結(jié)束，百度AI交互設計院又隨即推出了最新的研究報告《多維對話——走向視聽融合的語音交互新體驗研究》，進一步用扎實的研究彰顯了他們在AI交互設計領域的專業(yè)實力。

過去四十年，人與機器的交互方式在不斷進化，幾乎每十年就會有一次重大革新。來到人工智能時代，生活中越來越多的設備開始支持語音交互，語音交互逐漸成為人們傳達意圖和與設備交流的優(yōu)先選擇（Voice First）。與傳統(tǒng)交互相比，語音交互解放了雙手和雙眼，人們可以低成本與設備互動；而且，語音是多維的，除了言語本身的信息，言語中還蘊含著豐富情感，允許人們與設備進行更充分的互動。

語音交互也有局限性。語音交互是非可視化的，容易增加人們的記憶負擔，設想語音查詢信息的場景，你可能需要集中精力聽，如果不留神就容易錯過一些內(nèi)容。鑒于此，正如人工智能專家吳恩達提到的，人與機器交流最高效的方式是語言，而機器與人最高效的交流方式是語言加上視覺，即需要在聽覺基礎上融入視覺信息彌補語音交互的不足。從語音向視覺延伸，在語音交互中融入可視化信息，已經(jīng)是業(yè)界探索下一代語音交互范式的重要趨勢。以智能音箱為例，除了無屏音箱以外，市場上開始出現(xiàn)帶屏幕的音箱。

百度人工智能交互設計院本期以有屏智能設備為研究對象，聚焦語音交互反饋和內(nèi)容輸出環(huán)節(jié)的體驗?？紤]到屏幕尺寸差異可能對反饋和內(nèi)容輸出體驗的影響，研究選擇了兩種不同屏幕尺寸的設備，分別是智能音箱（7英寸）和智能電視（55英寸）。本期的主要研究問題包括：

1）有屏設備的指令上屏反饋體驗，主要指用戶輸入語音指令后，文本指令上屏的延遲時間以及文本指令在屏幕上呈現(xiàn)的合理時間；

2）有屏設備內(nèi)容輸出的音量干擾體驗，主要指用戶在特定場景下（如聽音樂/看視頻），插入其它任務后（如查詢百科），不同內(nèi)容輸出時的音量合理設置。

有屏設備的指令上屏體驗研究

與無屏設備相比，顯示屏的融入使語音交互過程有更豐富的反饋形式。以語音識別階段為例，在無屏設備上，用戶通常無法直接知道輸入指令的識別結(jié)果。而有屏設備直接在屏幕上顯示指令的識別結(jié)果，用戶可以方便的查看識別結(jié)果的正確或錯誤情況，例如上屏后的指令"我要聽周杰倫的青花瓷"。然而，目前很多設備在指令上屏時存在一定程度的延遲現(xiàn)象，本實驗對指令上屏合理的延遲時間和呈現(xiàn)時間進行研究。

1、指令上屏延遲時間實驗

由于市場上的有屏設備多數(shù)采用實時上屏方式，即用戶輸入語音指令的同時就開始在屏幕上呈現(xiàn)識別結(jié)果，因此，本實驗只研究實時上屏。在實驗中我們使用實時逐字上屏的方式，并以控制首字上屏延遲時間為主要變量（注：首字上屏延遲時間指從用戶開始說到第一個字上屏的時間間隔），我們設置了不同的首字延遲時間，以此獲取用戶對指令上屏速度的滿意度評價（5點量表：1-非常不滿意，2-比較不滿意，3-一般，4-比較滿意，5-非常滿意）。在實驗中，我們分別提供了3種不同長度的指令。

實驗結(jié)果表明，首字延遲時間越短，用戶的滿意度越高，不同屏幕尺寸設備的首字延遲時間滿意度略有差異，我們將"4-比較滿意"看做用戶滿意的得分下限，將"3-一般"看做用戶可接受的得分下限，不同設備間用戶滿意和可接受的上屏時間如下：

1）對于有屏音箱，用戶滿意的首字延遲時間下限在500ms左右，可接受的首字延遲時間下限在1500-1600ms左右；

2）對于智能電視，用戶滿意的首字延遲時間下限在600-700ms左右，可接受的首字延遲時間下限在1100-1200ms左右；

結(jié)合對市場上其它設備的研究發(fā)現(xiàn)，部分設備的首字上屏時間明顯比用戶滿意的時間下限長，少數(shù)甚至比可接受的下限還要長。關于指令上屏速度，產(chǎn)品仍有改善和優(yōu)化的空間，即語音識別ASR（Automatic Speech Recognition）技術除了在不斷提升識別準確率以外，同時也需要關注識別速度指標的提升。

2、指令上屏呈現(xiàn)時間實驗

除了指令上屏時間，我們進一步對指令上屏后合理的呈現(xiàn)時間進行研究，以避免指令呈現(xiàn)時間太短導致用戶無法看清，或者呈現(xiàn)時間太長導致整個交互過程拖沓冗余。在實驗中，我們以文字呈現(xiàn)時間為主要變量（注：文字呈現(xiàn)時間指文本指令最后一個字上屏后到全部指令消失的時間間隔），獲取用戶對不同呈現(xiàn)時間的滿意度評價。由于語音識別涉及語言模型技術，實際的指令上屏并不是逐字的方式，因此，本部分實驗我們也模擬了逐塊上屏的方式，以指令"我想看劉德華2010年以前主演的香港電影"為例，"劉德華"被整體識別后才上屏。在實驗中，我們也分別提供了3種不同長度的指令。

實驗結(jié)果表明，存在最優(yōu)的文字上屏呈現(xiàn)時間，不同屏幕尺寸設備之間，最優(yōu)的文字上屏呈現(xiàn)時間無顯著差異。不同上屏方式間存在差異，逐字上屏和逐塊上屏的最優(yōu)呈現(xiàn)時間分別如下：

1）逐字上屏方式下，最優(yōu)的指令呈現(xiàn)時間為200-500ms的區(qū)間；

2）逐塊上屏方式下，最優(yōu)的指令呈現(xiàn)時間為400-700ms的區(qū)間。

由于逐塊上屏方式更接近真實產(chǎn)品的上屏方式，因此建議主要參考400-700ms的呈現(xiàn)時間。需要說明的是，由于實時上屏的方式允許用戶在輸入語音指令過程中就可以查看已經(jīng)上屏的文字，這與整體識別后上屏的方式明顯不同，因此，如果產(chǎn)品采用的是整體識別后上屏的方式，不建議參考本部分實驗的結(jié)論。

有屏設備的音量干擾體驗研究

有屏設備除了使語音交互有更豐富的反饋以外，屏幕的引入也擴展了設備過去不具備的功能，例如視頻內(nèi)容消費和視頻通訊能力等。同時設備的使用也在經(jīng)歷從過去單一任務到多個任務的變化，當看視頻時，你可以隨時插入任務查找信息，例如看電視劇《扶搖》時查詢演員楊冪的信息。本部分實驗主要研究用戶插入任務后，前景內(nèi)容和背景內(nèi)容間的音量干擾體驗，如當前景內(nèi)容正在語音播報信息時，背景視頻或音樂的合理音量范圍，以避免過高的背景音對用戶獲取信息產(chǎn)生干擾。

1、音量干擾實驗

在實驗中，用戶被要求分別在看視頻和聽音樂兩種場景下進行信息查詢。我們設置了兩種初始音量（注：初始音量是用戶看視頻/聽音樂的音量）：60和65分貝，用戶查詢?nèi)宋锘虬倏菩畔⒑?，通過設置不同的背景音量（注：此時前景內(nèi)容為語音播報信息，背景內(nèi)容為視頻或音樂），獲取用戶對背景音量的滿意度評價。同時結(jié)合實驗后問卷了解用戶對前景和背景信息展示的態(tài)度。由于不同設備間音量刻度范圍存在差異，實驗中對有屏音箱和智能電視的背景音量進行了分別設置。

實驗結(jié)果發(fā)現(xiàn)，無論背景是視頻還是音樂，用戶都不喜歡背景完全靜音（注：下圖中"0"代表背景完全靜音）。針對有屏音箱和智能電視，當初始音量約為60分貝時，背景音量舒適范圍略有差異，具體結(jié)果如下：

1）針對有屏音箱，背景視頻音量下降至36-53分貝范圍，背景音樂音量下降至39-56分貝范圍時，用戶主觀感覺較舒適；

2）針對智能電視，背景視頻音量下降至39-53分貝范圍，背景音樂音量下降至36-53分貝范圍時，用戶主觀感覺較舒適。

實驗中我們同時研究了初始音量為65分貝時背景音量的舒適范圍，因?qū)嶒灲Y(jié)果與上述趨勢基本一致，篇幅所限，暫不一一展開。

此外，結(jié)合實驗后的問卷調(diào)研結(jié)果發(fā)現(xiàn)，關于背景的播放狀態(tài)，背景為音樂時用戶更傾向繼續(xù)播放，而背景為視頻時有屏音箱端傾向視頻暫停的用戶更多。主要是由于有屏音箱端背景視頻被完全覆蓋，因此，用戶認為背景視頻暫停較好，以避免錯過感興趣的視頻內(nèi)容。

關于前景內(nèi)容的播放狀態(tài)，無論屏幕尺寸差異和背景媒體類型，多數(shù)用戶希望能夠?qū)η熬靶畔⑦M行語音播報，而不僅僅是在屏幕上以文字或圖文的形式展示。

本文針對有屏設備的語音交互體驗進行研究，重點探索整合視覺系統(tǒng)后交互反饋和內(nèi)容輸出環(huán)節(jié)的體驗問題。對指令上屏的延遲時間和指令呈現(xiàn)時間給出了我們的研究結(jié)果和設計建議，以及不同內(nèi)容輸出時前景和背景的合理音量設置等。

從語音向視覺的延伸，語音交互的邊界和外延仍將不斷變化。語音交互與傳統(tǒng)的交互方式并不是互斥的、非此即彼的關系，未來的人機交互將融入聽覺、視覺、觸覺、味覺、嗅覺等多模態(tài)的交互方式。未來的交互范式必然不是這些交互方式的簡單堆砌和羅列，而是在考慮特定場景、人的因素、環(huán)境條件等因素后有序的、合理的組合和設計。百度人工智能交互設計院也將會持續(xù)的關注多模態(tài)交互領域的研究和設計，并不斷輸出我們的研究成果和觀點。