從 2014 年的夏天小冰出現(xiàn)在我們的視野到今天，談到小冰，你的第一印象是什么？一款可愛、萌萌噠的聊天機器人？一款隨時在你身邊，可以幫你做一些場景任務(wù)的語音助手？如果說，這兩年智能音箱成為 AI 領(lǐng)域里的“流量明星”，那小冰更想讓你領(lǐng)略她“偶像與實力”兼?zhèn)涞镊攘Α?/p>

從第四代小冰到第六代小冰，武威從團隊的主要研發(fā)人員成為現(xiàn)在小冰核心技術(shù)的負責人、首席科學家。這幾年來，他一直致力于開放域?qū)υ挼难芯?，為了深入了解小冰是如何走進我們的生活，走入我們的內(nèi)心，AI科技大本營采訪到了微軟小冰首席科學家——武威，帶領(lǐng)大家深入了解小冰背后的技術(shù)以及聊天機器人的發(fā)展歷程與趨勢。

武威與三代小冰核心技術(shù)的成長史

武威：我個人的研究方向主要是開放域?qū)υ?，探索的一個主要應用場景是聊天機器人的對話引擎，也就是聊天機器人對話引擎的核心算法。搭建開放域?qū)υ捘Ｐ?，主要有基于檢索和基于對話生成兩種方法。我們一直在研究檢索模型方法，通過研究實際對話中上下文與回復候選匹配等問題，構(gòu)建檢索模型，并與小冰團隊的工程師們一起合作，把這種方法應用在小冰上。在持續(xù)研究兩三年后，我們又拓展出基于文本、視頻回復候選的匹配，也是在此之后，我和團隊把研究與應用拓展到多模態(tài)層面。關(guān)于對話生成，我們早期主要是基于上下文的回復生成, 后來研究并應用了共感模型，這些技術(shù)都成為每一代小冰背后的核心技術(shù)。同時，我個人也將研究領(lǐng)域拓展到基于生成模型的對話管理和生成模型的個性化對話管理。

在小冰的業(yè)務(wù)中，我參與了小冰諸多關(guān)鍵技術(shù)的研發(fā)工作?，F(xiàn)在，小冰全球的生成模型，包括中國、日本、印度尼西亞和美國等不同語言的生成模型，主要都是由我負責。

正是小冰團隊多年來在聊天機器人領(lǐng)域的不斷研究與探索，在 2018 EMNLP 會議中，我與大家分享了聊天機器人領(lǐng)域的歷史、發(fā)展現(xiàn)狀與未來的趨勢。經(jīng)過這些年的努力，聊天機器人對話模型的一些基本問題已經(jīng)得到很好的解決，比如對話回復和對話生成兩個技術(shù)難點。

首先在對話回復方面，通過匹配的方法根據(jù)對話上下文找到合適的回復，其匹配精度在不斷提高。以小冰的模型方法在公開數(shù)據(jù)集上的性能表現(xiàn)為例，兩年間我們把模型的準確率從 66% 提升到了 80%，這還沒有考慮一些強力的預訓練模型比如 Bert。其次是對話生成，早期的方法經(jīng)常給出無趣、萬能的回復，經(jīng)過近幾年學界的研究，萬能回復問題雖不能說完全避免，但是從初期把簡單的機器翻譯模型應用在對話生成，到后來對上下文建模問題的探索，都是不斷提出針對這個問題更好的解決方案?，F(xiàn)在工業(yè)界搭建聊天機器人，系統(tǒng)協(xié)調(diào)已經(jīng)不再是一個難點問題。

目前，大家都在探討聊天機器人如何商業(yè)落地，這就需要我們把研究成果與技術(shù)發(fā)展更加緊密結(jié)合，推動聊天機器人的落地。關(guān)于未來的趨勢和熱點方向，其一是多模態(tài)在聊天機器人領(lǐng)域中的研究與應用。聊天機器人不僅可以綜合處理圖像、聲音和文字信息，同時可以進行綜合模態(tài)，甚至包括情感等特征信息的輸出與表達。目前，學界在這個領(lǐng)域的研究已經(jīng)進入火熱態(tài)勢，也涌現(xiàn)了很多公開數(shù)據(jù)集，來探索如何利用多模態(tài)構(gòu)建對話引擎。第二個方向是個性化分析與推薦的研究與應用，這也是目前學界和工業(yè)界都在發(fā)力的一個方向。

小冰的核心技術(shù)：對話引擎

小冰背后最核心部分是對話引擎。傳統(tǒng)的對話引擎主要分為 ASR+TTS、NLU、DM 和 NLG 四個模塊。隨著大數(shù)據(jù)技術(shù)和深度學習技術(shù)的發(fā)展，把 NLU、DM 和 NLG 模塊用統(tǒng)計模型的方法，進行端到端的訓練。

以小冰為代表的聊天機器人對話引擎，現(xiàn)在主要有兩種方法：基于檢索方法和基于生成式方法。兩種方法中，神經(jīng)網(wǎng)絡(luò)都發(fā)揮著非常重要的作用：

基于檢索的方法：根據(jù)用戶輸入的數(shù)據(jù)（對話信息），系統(tǒng)查詢索引（Index）后找到所有可能的回復，對所有候選回復進行排序篩選，最后挑選出認為最合適的回復，返回給用戶，其關(guān)鍵在于構(gòu)建索引庫（語料庫）。

基于生成式的方法：用于數(shù)據(jù)數(shù)據(jù)（對話信息），系統(tǒng)通過深度學習方法生成一個回復返回給用戶，其關(guān)鍵在于用深度學習方法構(gòu)建一個生成模型。

近年來，深度學習的發(fā)展在自然語言處理領(lǐng)域也發(fā)揮著重要的作用，研究與應用的每一個技術(shù)幾乎都使用了深度學習的方法。

基于檢索的方法的關(guān)鍵在于如何根據(jù)上下文對話、語義理解與候選回復等信息設(shè)計并構(gòu)建 Matching Models。隨著 Matching Models 越來越成熟，模式（pattern）覆蓋越來越多時，訓練性能和測試性能之間的差距，可能無法通過模型結(jié)構(gòu)改善，因此現(xiàn)在我們將更注重模型的學習。

基于生成式方法的一個基本模型是 Encoder-Attention-Decoder 模型，其模型結(jié)構(gòu)借鑒了 MT（機器翻譯）模型?，F(xiàn)在基于生成模型的方法已經(jīng)得到很多的關(guān)注，學界和工業(yè)界都在不斷研究與應用這個方法。

除了基于檢索與基于生成模型的方法，武威在報告中，還有很多主要的技術(shù)與每項技術(shù)使用的不同方法、不同網(wǎng)絡(luò)模型。如 NLP 任務(wù)中的 Word Embedding 與 Sentence Embedding 的各種模型，多樣性回復的解決方法，融入 Topic、情緒情感特征和表情的方法，強化學習、GAN 與 個性化等問題的研究與探索等等。

傳送門：《Deep Chit-Chat: Deep Learning for ChatBots》

http://www.ruiyan.me/pubs/tutorial-emnlp18.pdf

第六代小冰的共感模型

AI科技大本營：第六代小冰是如何做到根據(jù)當前話題與上下文，回復信息、引領(lǐng)對話、提出新對話甚至進行持續(xù)性對話？

武威：原來的聊天機器人集中于對話怎么回復、如何回復一些簡單的問題。而小冰第六代發(fā)布生成式的共感模型，旨在提供一個一致的框架，解決上下文理解、意圖識別與持續(xù)性對話三個問題。提出共感模型的關(guān)鍵在于把對話過程提升至一個被動與主動結(jié)合的交互過程。

在共感模型中，有三個重要環(huán)節(jié)：明確對話狀態(tài)、策略選擇與回復生成。首先，我們明確設(shè)定了幾種對話狀態(tài)。一種是無意識狀態(tài)，比如沒有額外意圖、無須太多反應的社交詞令。一種是有意識狀態(tài)，需要確認、主動提問或主動引導的話題狀態(tài)。明確對話狀態(tài)后，就到了回復生成與策略選擇的過程。當用戶開始對話后，我們首先要識別意圖，是問好、提問、陳述信息還是意在獲取信息等，其開放域?qū)υ挼囊鈭D非常寬泛。結(jié)合不同的意圖與當前對話內(nèi)容，決定下一輪的對話策略，匹配之前識別到的意圖，最后生成回復的對話，這就形成了策略選擇和回復生成結(jié)合的過程。通過數(shù)據(jù)學習或正向?qū)W習等方法選擇合適的策略，讓整個對話更持續(xù)、更順暢的。

就像我們平時人與人之間的對話過程一樣，并不都是處在完全被動的互動過程，我們會根據(jù)對話內(nèi)容決定說些什么，也會在某些時候引導或提出新對話，這背后的策略與想法也是共感建模的核心。

AI科技大本營：策略選擇與回復生成結(jié)合的過程是否是強化學習的過程？小冰是否應用了強化學習方法？

武威：強化學習過程中必不可少的一部分是獎勵函數(shù)（Reward Function），在開放域?qū)υ掃^程中，如何定義獎勵函數(shù)是一個具有挑戰(zhàn)的問題。在基于任務(wù)型對話中，最終是否完成任務(wù)以及完成所需輪數(shù)可以用作強化學習的獎勵函數(shù)，但是在開放域?qū)υ捴?，僅用對話輪數(shù)衡量不一定完全正確，同時也沒有找到合適度量人機交互滿意度的方式。我們確實嘗試過用強化學習方法構(gòu)建共感模型，但實驗結(jié)果的提升并不十分明顯。在小冰產(chǎn)品的應用中也發(fā)現(xiàn)了這個現(xiàn)象。這也是研究和應用的不同之處。

多模態(tài)的高級認知體系

2017 年第五代小冰發(fā)布了全雙工語音交互，并在打電話和智能音箱兩個場景中落地。到了第六代小冰，融合了共感模型的對話引擎、全雙工語音和實時視覺三個類別的全新感官系統(tǒng)，并同時進行開放域?qū)υ挕?/p>

AI科技大本營：隨著計算機視覺、NLP 等領(lǐng)域不斷取得突破，多模態(tài)信息在感知層面有好的表現(xiàn)是不夠的，深入到理解、更高級的認知能力時，現(xiàn)在小冰在多模態(tài)領(lǐng)域研究中做到了什么樣的程度？目前有哪些方面的新研究？

武威：目前小冰在多模態(tài)領(lǐng)域取得的進展可以總結(jié)為松耦合狀態(tài)，各個模態(tài)可以一起工作，但耦合之下還不夠十分緊密。比如，假如聊天機器人有了視覺，看到了視頻，看到了周圍的環(huán)境，同時又接收聲音、語音或文字信息，我們可以想象這些信息都應該對小冰的回復有所幫助，但是這兩種模態(tài)的信息是如何結(jié)合產(chǎn)生幫助的？什么時候應該結(jié)合一起，什么時候不需要結(jié)合？當模態(tài)變多后，耦合也會增多，那耦合之間是否會有所沖突？有了沖突，產(chǎn)生噪音，如何規(guī)避噪音？比如情感特征，聲音包含情感，如何與文字結(jié)合，使回復的對話也能帶有情感？乃至最終表達情感是通過 TTS 方式還是表情表達更為合適與自然？這些問題都還在研究過程中，但還不是完全清楚。

AI科技大本營：多模態(tài)在小冰情感計算模型發(fā)揮著怎樣的作用？

武威：第六代小冰已經(jīng)是一個整體情感計算框架。通過小冰的探索，要實現(xiàn)帶有情感的聊天機器人，多模態(tài)是必不可少的。我們也從單模態(tài)進行考量，但是在對話交互中的效果并不是非常好。小冰從單模態(tài)到多模態(tài)，結(jié)合圖像、視頻、語音和文字等信息后，情感像一條紐帶，貫穿一起，架構(gòu)于此。目前這還是一個具有挑戰(zhàn)性的課題，我們也在探索中。

AI科技大本營：除了多模態(tài)研究，還有哪些研究趨勢？

武威：除了多模態(tài)，個性化聊天機器人也是我們正在研究的方向。個性化不止一兩種，而是非常多的個性。其實，共性與個性的問題是如何平衡大數(shù)據(jù)與小數(shù)據(jù)間的問題，共性代表了大數(shù)據(jù)，個性代表了小數(shù)據(jù)，如果強調(diào)個性，數(shù)據(jù)太少，可能無法做出一個合格、有質(zhì)量的對話引擎；如果用大數(shù)據(jù)搭建了高質(zhì)量的對話模型，有可能就無法體現(xiàn)個性。所以，小數(shù)據(jù)的個性化離不開大數(shù)據(jù)?，F(xiàn)在學界和工業(yè)界也都在探索大數(shù)據(jù)如何與小數(shù)據(jù)綜合利用，實現(xiàn)有質(zhì)量的個性化對話模型。

小冰的 AI 創(chuàng)造力

武威：AI 創(chuàng)造一直是小冰的一個重點研究與應用方向，幾乎和對話同等重要。從早期小冰作詩、金融領(lǐng)域文本生成、音樂與歌曲生成，到現(xiàn)在小冰的有聲讀物，都是小冰在 AI 創(chuàng)造領(lǐng)域取得的成果。在 NLP 領(lǐng)域，目前，在短文本生成與創(chuàng)造已經(jīng)有了比較不錯的效果，現(xiàn)在也已經(jīng)有更多的研究投入在更復雜的任務(wù)上，比如基于文本或視頻講故事，長文寫作等。未來，我們也在想，小冰是否可以完成寫小說、寫散文等內(nèi)容與藝術(shù)創(chuàng)造任務(wù)，這應該也是處于一個探索的“有待突破”的研究領(lǐng)域。

AI科技大本營：同行或同類產(chǎn)品中，也有以內(nèi)容創(chuàng)作為主要落地場景，實現(xiàn) AI 賦能與更多的商業(yè)價值，成為非常重視的方向，小冰未來在這方面有什么計劃？

武威：內(nèi)容創(chuàng)作在一定程度上已經(jīng)可以節(jié)省人力，在可與人類相媲的質(zhì)量前提下，完成的更快更多，這本身確實具有一定的價值與商業(yè)價值。但是它能帶來更深層次的價值是什么樣子的，目前還不是十分清楚。比如，大家也都在討論的用 AI 創(chuàng)作藝術(shù)品，這個價值到底有多少，也很難衡量。

下一代小冰

AI科技大本營：小冰與很多第三平臺的合作，除了智能家居領(lǐng)域，還希望探索哪些應用場景？未來如何定位，實現(xiàn)商業(yè)化價值？

武威：小冰的產(chǎn)品線非常豐富，應用場景也在不斷豐富。不僅應用在智能家居、智能音箱中，小冰的聲音還有有聲讀物、節(jié)目主持以及企業(yè)垂直解決方案等。有聲讀物已經(jīng)超過了 400 萬小時的收聽量，小冰姐姐講故事已經(jīng)覆蓋了國內(nèi)了 90% 以上的兒童早教機器人，80% 在線收聽品平臺。到現(xiàn)在，小冰一共參與生成主持了 55 檔電視節(jié)目。與日本 LAWSON 合作，幫助便利店發(fā)放優(yōu)惠券等垂直解決方案。還有，國內(nèi)個性化聊天機器人與網(wǎng)易、華為等公司合作，幫助他們打造自己的聊天機器人。所以，小冰乃至聊天機器人的應用除了 IOT 還有更多。因為，在我們看來，說話本身就是一種剛需，人在日常生活與工作中，很多事情都需要通過說話溝通來解決。我們也曾想過，要不要馬上去做目前大家都在談到的剛需，比如問答。但是，如果在解決實際問題解決時，機器人不能滿足用戶的需求，也無法讓用戶留存與活躍，而后續(xù)也就無從再談。所以，我們做小冰，是先做常態(tài)再滿足剛需。

和不同的第三方平臺合作，面對不同的需求，我們主要有三種拓展商業(yè)模式的方法：一種是我們根據(jù)對方平臺幫助其打造一個自有的 AI 產(chǎn)品；二是嵌入小冰平臺到對方平臺中，輔助對方 AI 產(chǎn)品，融入對方平臺的生態(tài)系統(tǒng)；三是我們提供平臺，對方利用微軟的技術(shù)、運營與產(chǎn)品打造自己平臺的一些差異化特征，推出相應產(chǎn)品與應用。

AI科技大本營：未來小冰如何保持領(lǐng)先？第七代小冰是否有發(fā)布計劃？

武威：在開放域?qū)υ掃@個賽道，希望大家一起努力把聊天機器人做的越來越好。比如 Facebook 現(xiàn)在也開始布局，目前 Alexa 主打還是任務(wù)導向，其實也在此領(lǐng)域開始投入。未來小冰仍將通過已有的優(yōu)勢，比如用戶與數(shù)據(jù)優(yōu)勢，持續(xù)打磨技術(shù)，希望繼續(xù)處于領(lǐng)先水平。未來，小冰的核心仍然是對話引擎、AI 創(chuàng)造以及解決方案。能夠在情感計算框架下誕生更多聊天機器人服務(wù)于更多的合作伙伴，也是我們期待的事情。第七代小冰還是值得大家期待的。