谷歌I/O 2018正如火如荼地進(jìn)行著。今年大會吸引了超過6000人前來現(xiàn)場，除了提前幾小時就排好的長隊，會場外的交通也早早陷入癱瘓。據(jù)不少勤奮早起的自媒體同行的凌晨報道，谷歌I/O 2018的亮點主要有以下幾個：

深度學(xué)習(xí)在醫(yī)療領(lǐng)域的應(yīng)用；

Google Assistant：看得見、聽得到、會對話、會打電話的新一代谷歌個人助理；

TPU 3.0：性能是TPU 2.0的8倍；

Android P：智能化的手機操作系統(tǒng)，能利用機器學(xué)習(xí)節(jié)電、調(diào)節(jié)亮度，更大程度貼合用戶使用習(xí)慣。

其中，Google Assistant電話功能背后的技術(shù)是Google Duplex，在大會上發(fā)布完畢后，Google AI（原Google Research官博）就發(fā)表了Google工程副總裁兼首席工程師Yaniv Leviathan的一篇介紹文章。

Gmail已成“精”

以下是論智對博客的編譯。

人類與計算機互動的一個長期目標(biāo)是使人們能與計算機自然對話，就像普通人之間的對話一樣。近年來，特別是隨著深度神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，我們目睹了計算機在理解、生成自然語言上的“革命性”能力提升。但盡管如此，即便是當(dāng)今最先進(jìn)的AI系統(tǒng)，它還是不能很好地理解自然語言。舉個例子，如今自動電話客服系統(tǒng)所使用的技術(shù)還停留在努力識別簡單的單詞和命令上，它們不參與對話流程，如果聽不懂客戶說話內(nèi)容，它們會強制要求對方調(diào)整表述，而不是進(jìn)行自我調(diào)整。

所以今天，谷歌宣布推出Google Duplex，一種能在電話中用自然語言完成“現(xiàn)實世界”任務(wù)的技術(shù)。它目前已經(jīng)能完成一些特定任務(wù)，如安排某些類型的預(yù)約。這類工作要求系統(tǒng)能做到自然對話，就像人與人正常溝通一樣，而無需強制對方適應(yīng)機器。

Google Duplex的適用空間非常狹窄，這也使它能起作用的一大原因。研究人員提出的一個關(guān)鍵思路就是把它限制在一些狹窄的封閉域中，讓AI進(jìn)行有限地廣泛探索。當(dāng)Duplex深度某領(lǐng)域后，它才能學(xué)會自然對話，也就是說，它不能進(jìn)行一般對話。

聽起來都很自然，它們都是發(fā)生在計算機和真人店家之間的對話。

Google Duplex技術(shù)的自然性可以讓人們的對話體驗更加舒適?？紤]到谷歌向來很重視用戶和企業(yè)對服務(wù)的良好體驗，因此產(chǎn)品的透明度非常關(guān)鍵。這也是本文反復(fù)強調(diào)Google Duplex目前只適用于部分預(yù)約場景的原因。

進(jìn)行自然對話

AI在自然對話方面有幾個難點：一是自然語言難以理解，二是難以模仿自然行為，三是用戶期待更快的回應(yīng)，四則是用合適的語調(diào)生成自然的聲音很困難。

當(dāng)人們彼此交談時，他們說出的話比人和計算機的對話要復(fù)雜得多。他們會經(jīng)常在話說到一半的時候糾正表述，而且往往表達(dá)得啰嗦、語法不嚴(yán)謹(jǐn)、嚴(yán)重依賴上下文。他們還喜歡用寬泛的表述，有時在一個句子里就能連用一大串：

所以……額……星期二到星期四，我們的開門時間是11點到14點，然后16點到19點。然后星期五、星期六、星期天，我們……星期五和星期六我們11點到21點開門，星期天我們13點到21點開門。

比起機器，人類在用自然語言對話時語速非?？欤偌由峡邶X不清、錯詞率更高，因此常規(guī)的語音識別也會識別困難。在電話通話中，由于背景噪聲大，音質(zhì)不佳，這樣的問題就更嚴(yán)重了。

而在較長的談話中，相同的句子可以根據(jù)上下文具有非常不同的含義。例如在預(yù)約場景下，“Ok for 4”可以同時表示時間（4點）和人數(shù)（4人）。如果AI要理解這一點，它必須上溯幾個句子找根據(jù)，但這一過程會因為電話通話高水平的字錯誤率而變得相當(dāng)復(fù)雜。

決定要說什么是一個關(guān)于對話任務(wù)和對話狀態(tài)的函數(shù)。此外，圍繞自然對話，Google Duplex也參考了一些常見的做法——其中包括闡述（elaboration，“下周五。”“啥時候？”“下個禮拜五，18號！”）、同步（sync，“你聽得清嗎？”）、中斷（interruption，“號碼是212……”“你能再說一遍嗎？”）、暫停（pause，“你能等一會兒嗎？”[等待]“謝謝！”——等待1秒和等待2分鐘含義不同）。

認(rèn)識Duplex

Google Duplex在對話上的自然表現(xiàn)主要歸功于這4方面的進(jìn)步：理解、交互、時機和交流。

它的核心是一個專用于解決自然對話問題的遞歸神經(jīng)網(wǎng)絡(luò)（RNN），在TensorFlow Extended (TFX)平臺上完成構(gòu)建，使用的訓(xùn)練數(shù)據(jù)來自匿名電話會話數(shù)據(jù)語料庫。該網(wǎng)絡(luò)有多個輸入，包括原音頻特征、把原音頻輸入Google自動語音識別（ASR）技術(shù)后的輸出、上下文、對話的參數(shù)（例如預(yù)約的所需服務(wù)或當(dāng)前時間）等，研究人員為每種任務(wù)分別訓(xùn)練了一些模型，但語料庫是跨任務(wù)共享的。最后，他們又用TFX中的超參數(shù)優(yōu)化進(jìn)一步改進(jìn)了模型。

原音頻經(jīng)ASR系統(tǒng)處理后輸入網(wǎng)絡(luò)，網(wǎng)絡(luò)最終的輸出經(jīng)TTS系統(tǒng)轉(zhuǎn)為音頻

Duplex處理“中斷”、“闡述”以及對“同步”的回應(yīng)：

聽起來很自然

Google Duplex組合使用文本到語音（TTS）引擎和綜合TTS引擎（使用Tacotron和WaveNet）控制語調(diào)。

由于在對話中加入了“嗯”“呃”等詞匯，系統(tǒng)的回應(yīng)聽起來更自然。但這其實是TTS連接兩個音調(diào)不同的聲音或正在等待合成時使用的小障眼法，是一種自然的表示問題正在受理中的狀態(tài)（人們也經(jīng)常這么做）。經(jīng)過用戶研究，研究人員發(fā)現(xiàn)這種反應(yīng)能在不利的對話情景下給對方帶來熟悉、自然的感覺。

此外，Google Duplex在回應(yīng)速度方面也比較符合用戶期望。當(dāng)人們說完一件簡單的事后，比如“hello？”，他們希望得到及時的回復(fù)，對回復(fù)延遲也比較敏感。如果系統(tǒng)檢測到這種情況，它會馬上切換成更快、精度更低的模型來工作。在極端情況下，Google Duplex甚至都不會調(diào)用RNN，而至直接使用最快的近似值（通常會帶各種表示猶豫的詞匯，人類面對這種事情也會有類似的反應(yīng)）。這種做法使系統(tǒng)的響應(yīng)延遲能小于100毫秒。

有趣的是，研究人員發(fā)現(xiàn)，這種表達(dá)上的拖延有利于使對話更自然——例如在回復(fù)一個非常復(fù)雜的句子時，這種“呃呃啊啊”的做法有奇效。

系統(tǒng)操作

Google Duplex系統(tǒng)能夠應(yīng)對復(fù)雜對話，并且能完全自主地完成絕大部分任務(wù)，無需人工干預(yù)。該系統(tǒng)具有自我監(jiān)控功能，可以識別無法自動完成的任務(wù)（例如，安排異常復(fù)雜的預(yù)約）。面對這種情況時，它會主動向施令者發(fā)出信號。

為了在新領(lǐng)域訓(xùn)練系統(tǒng)，研究人員使用的是實時監(jiān)督訓(xùn)練。和其他訓(xùn)練任務(wù)一樣，在這些實驗中，Google Duplex也會有一個充當(dāng)“教師”的經(jīng)驗豐富的模型為充當(dāng)“學(xué)生”的模型提供指導(dǎo)，確保后者執(zhí)行任務(wù)的的水平最終能和自己一致。通過監(jiān)督“學(xué)生”在新場景通話中的表現(xiàn)，“教師”能根據(jù)需要實時影響“學(xué)生”的行為，直到它的行為滿足系統(tǒng)預(yù)期。

對于企業(yè)和用戶

經(jīng)常需要預(yù)約的企業(yè)可以從Google Duplex身上獲益，有了這樣一個智能助理，企業(yè)就無需額外安排指導(dǎo)人員，也不用為培訓(xùn)員工煞費苦心。Google Duplex還能提醒即將到期的預(yù)約項目，方便他們參加、取消或重新安排。

此外，一些用戶會經(jīng)常致電企業(yè)查詢網(wǎng)上無法獲得的信息（假期營業(yè)時間）。Google Duplex可以幫助企業(yè)應(yīng)付這些同類電話，并在網(wǎng)上及時更新信息。

對于個人用戶，Google Duplex可以讓生活更方便。如果想打預(yù)約電話，他們只需給智能助理下指令就能安心處理其他事情，通話過程在后臺進(jìn)行，安靜無聲，無需參與。

它的另一個好處是Duplex能夠以異步方式與服務(wù)提供商進(jìn)行授權(quán)通信，例如，在非工作時間和對方聯(lián)絡(luò)。它還可以幫助解決殘障人士的不便和語言障礙問題，例如聽力障礙的用戶或不會說當(dāng)?shù)卣Z言的用戶可以把通話任務(wù)交給Duplex，讓它幫忙執(zhí)行任務(wù)。

今年夏季，谷歌將在Google Assistant中測試Google Duplex，屆時它的功能包括預(yù)約餐廳、預(yù)約美發(fā)和跟老板請假。

Google Duplex負(fù)責(zé)人Yaniv Leviathan和該項目的工程經(jīng)理Matan Kalman通過Duplex打電話預(yù)訂了一頓飯

讓人們和技術(shù)能自然而然地互動，這是谷歌長久以來的承諾，而Google Duplex向這個方向邁出了第一步。