▌一、深度文本匹配的簡介

1. 文本匹配的價值

文本匹配是自然語言理解中的一個核心問題，它可以應用于大量的自然語言處理任務中，例如信息檢索、問答系統(tǒng)、復述問題、對話系統(tǒng)、機器翻譯等等。這些自然語言處理任務在很大程度上都可以抽象成文本匹配問題，比如信息檢索可以歸結(jié)為搜索詞和文檔資源的匹配，問答系統(tǒng)可以歸結(jié)為問題和候選答案的匹配，復述問題可以歸結(jié)為兩個同義句的匹配，對話系統(tǒng)可以歸結(jié)為前一句對話和回復的匹配，機器翻譯則可以歸結(jié)為兩種語言的匹配。

2. 深度文本匹配的優(yōu)勢

傳統(tǒng)的文本匹配技術(shù)如圖1中的 BoW、TFIDF、VSM等算法，主要解決詞匯層面的匹配問題，而實際上基于詞匯重合度的匹配算法存在著詞義局限、結(jié)構(gòu)局限和知識局限等問題。

詞義局限：的士和出租車雖然字面上不相似，但實為同一種交通工具；而蘋果在不同的語境下表示的東西不同，或為水果或為公司；

結(jié)構(gòu)局限：機器學習和學習機器雖詞匯完全重合，但表達的意思不同；

知識局限：秦始皇打 Dota，這句話雖從詞法和句法上看均沒問題，但結(jié)合知識看這句話是不對的。

傳統(tǒng)的文本匹配模型需要基于大量的人工定義和抽取的特征，而這些特征總是根據(jù)特定的任務（信息檢索或者自動問答）人工設(shè)計的，因此傳統(tǒng)模型在一個任務上表現(xiàn)很好的特征很難用到其他文本匹配任務上。而深度學習方法可以自動從原始數(shù)據(jù)中抽取特征，省去了大量人工設(shè)計特征的開銷。首先特征的抽取過程是模型的一部分，根據(jù)訓練數(shù)據(jù)的不同，可以方便適配到各種文本匹配的任務當中；其次，深度文本匹配模型結(jié)合上詞向量的技術(shù)，更好地解決了詞義局限問題；最后得益于神經(jīng)網(wǎng)絡(luò)的層次化特性，深度文本匹配模型也能較好地建模短語匹配的結(jié)構(gòu)性和文本匹配的層次性[1]。

3. 深度文本匹配的發(fā)展路線

圖 1 深度文本匹配的發(fā)展路線

隨著深度學習在計算機視覺、語音識別和推薦系統(tǒng)領(lǐng)域中的成功運用，近年來有很多研究致力于將深度神經(jīng)網(wǎng)絡(luò)模型應用于自然語言處理任務，以降低特征工程的成本。最早將深度學習應用于文本匹配的是微軟 Redmond 研究院。2013年微軟 Redmond 研究院發(fā)表了 DSSM [2]，當時 DSSM 在真實數(shù)據(jù)集上的效果超過了SOTA(State of the Art)；為了彌補 DSSM 會丟失上下文的問題，2014年微軟又設(shè)計了CDSSM [3]；2016年又相繼發(fā)表了 DSSM-LSTM， MV-DSSM。微軟的 DSSM 及相關(guān)系列模型是深度文本匹配模型中比較有影響力的，據(jù)了解百度、微信和阿里的搜索場景中都有使用。

其他比較有影響的模型有：2014年華為諾亞方舟實驗室提出的 ARC-I和ARC-II [4]，2015年斯坦福的 Tree-LSTM [5]，2016年 IBM 的 ABCNN [6]，中科院的 MatchPyramid [7]，2017年朱曉丹的 ESIM[8]，2018 年騰訊 MIG 的多信道信息交叉模型 MIX [9]。

一般來說，深度文本匹配模型分為兩種類型，表示型和交互型。表示型模型更側(cè)重對表示層的構(gòu)建，它會在表示層將文本轉(zhuǎn)換成唯一的一個整體表示向量。典型的網(wǎng)絡(luò)結(jié)構(gòu)有 DSSM、CDSMM 和 ARC-I。這種模型的核心問題是得到的句子表示失去語義焦點，容易發(fā)生語義偏移，詞的上下文重要性難以衡量。交互型模型摒棄后匹配的思路，假設(shè)全局的匹配度依賴于局部的匹配度，在輸入層就進行詞語間的先匹配，并將匹配的結(jié)果作為灰度圖進行后續(xù)的建模。典型的網(wǎng)絡(luò)結(jié)構(gòu)有 ARC-II、DeepMatch 和 MatchPyramid。它的優(yōu)勢是可以很好的把握語義焦點，對上下文重要性合理建模。由于模型效果顯著，業(yè)界都在逐漸嘗試交互型的方法。

圖 2 深度文本匹配模型的類型

▌二、智能客服的簡介

1. 智能客服的應用背景

由于人工客服在響應時間、服務時間和業(yè)務知識等方面的局限性，有必要研發(fā)智能客服系統(tǒng)，使其通過智能化的手段來輔助人工客服為用戶服務。智能客服與人工客服的優(yōu)劣勢對比如圖 4 所示。

圖 3 智能客服與人工客服的優(yōu)劣勢對比

2. 智能客服的核心模塊

智能客服的一般框架如圖 5 所示：當有 Query 請求時，首先對 Query 進行補全、解析和需求理解；其次，問題召回模塊通過精準召回、核心召回和語義召回從 FAQ 庫召回與 Query 相關(guān)的問題；接著，問題排序模塊通過 CTR 模型和相似度模型對召回的問題進行排序，選出 Top k 返回給用戶；最后，反饋系統(tǒng)記錄用戶的點擊行為等，對模型進行更新。具體哪些模型會被更新，與語義召回和相似度模型階段使用的算法有關(guān)。

圖 4 智能客服的一般框架

在智能客服的框架中，最重要的模塊是 FAQ 庫的構(gòu)建、語義召回、相似度模型和模型更新，它們性能的好壞對用戶的使用體驗有很大影響。

FAQ 庫的構(gòu)建

對于重視用戶體驗的客服系統(tǒng)來說，F(xiàn)AQ 庫的構(gòu)建是非常嚴格的，它的內(nèi)容需要非常完整和標準，不能像聊天機器人那樣可以插科打諢。一般的做法是將積累的 FAQ ，或是將場景相關(guān)的設(shè)計文檔、PRD文檔中的相應內(nèi)容整理成 FAQ，添加到 FAQ 庫中。日常的維護就是運營人員根據(jù)線上用戶的提問做總結(jié)，把相應的問題和答案加入 FAQ 庫。不難想像，隨著用戶量的增加，用戶的問題種類五花八門，問法多種多樣，這種維護方式肯定會給運營帶來很大的壓力，也會給用戶帶來糟糕的體驗。那么，有沒有什么自動或是半自動的方法可以解決新問題的挖掘和 FAQ 庫的更新？

一種理想的 FAQ 庫構(gòu)建的流程應該是：從客服的直接對話出發(fā)，提取出與產(chǎn)品相關(guān)的問題，計算問題之間的距離，通過增量聚類的方法把用戶相似的問題聚到一起，最后由運營人員判斷新增的問題能否進入 FAQ 庫，同時將他們的反饋更新給文本匹配模型。

圖 5 理想的FAQ 庫構(gòu)建的流程

語義召回

當 FAQ 庫達到一定規(guī)模時，再讓用戶請求的 Query 與 FAQ 庫中的問題一一計算相似度是非常耗時的，而問題召回模塊可以通過某些算法只召回與請求 Query 相關(guān)的問題，減少問題相似度模型階段的復雜度。精準召回和核心召回是基于詞匯重合度的檢索方法，它們的局限是不能召回那些 FAQ 庫中與請求 Query 無詞匯重合，但語義表達是一樣的問題，而語義召回可以解決此類問題。

相似度模型

相似度模型分別計算召回的相關(guān)問題與請求 Query 之間的相似度，作為排序模型的特征之一。需要注意，此處的相似度模型不同于語義召回中的相似度計算，前者更靠近輸出端，對準確率要求高；后者對召回率要求高。因此，這兩個模塊在實現(xiàn)時使用的模型往往不同，在我們的文本匹配引擎中，語義召回使用的是基于表示型的深度文本匹配模型，相似度模型使用的是基于交互型的深度文本匹配模型和其他傳統(tǒng)文本匹配模型的混合模型。

模型更新

智能客服投入線上使用后，用戶 query 可能與某些模型的訓練數(shù)據(jù)分布不一致，導致智能客服的響應不理想。因此，十分有必要從收集到的用戶行為數(shù)據(jù)中挖掘相關(guān)知識，并更新相關(guān)模型。

▌三、深度文本匹配在智能客服中的應用

1. 為什么使用深度文本匹配

問題聚類、語義召回和相似度模型都可以歸結(jié)為文本匹配問題。傳統(tǒng)智能客服在這些模塊中使用的是傳統(tǒng)文本匹配方法，不可避免地會遇到詞義局限、結(jié)構(gòu)局限和知識局限等問題；加上傳統(tǒng)文本匹配方法多是無監(jiān)督的學習方法，那么由這些方法訓練的模型就無法利用運營人員的反饋和用戶的點擊行為等知識。然而，使用深度文本匹配的方法則可以有效地解決這些弊端。具體改進方面如圖 6 所示。

圖 6 深度文本匹配對傳統(tǒng)智能客服的改進

2. 怎么樣使用深度文本匹配

我們曾在智能客服的不同領(lǐng)域中嘗試過多種深度文本匹配方法，通過業(yè)務場景推動技術(shù)演進的方式，逐淅形成了一套成熟的文本匹配引擎。我們的文本匹配引擎除了使用傳統(tǒng)的機器學習模型（如話題匹配模型、詞匹配模型、VSM等）外，還使用了基于表示型和基于交互型的深度文本匹配模型。

深度文本匹配模型

Representation-based Model

表示型的深度文本匹配模型能抽出句子主成分，將文本序列轉(zhuǎn)換為向量，因此，在問題聚類模塊，我們使用表示型的深度文本匹配模型對挖掘的問題和 FAQ 庫的問題做預處理，方便后續(xù)增量聚類模塊的計算；在語義召回模塊，我們使用表示型的深度文本匹配模型對 FAQ 庫的問題做向量化處理，并建立索引，方便問題召回模塊增加對用戶 query 的召回。另外，我們使用基于 Bi-LSTM 的表示型模型以捕獲句子內(nèi)的長依賴關(guān)系。模型結(jié)構(gòu)如圖 7 所示。

圖 7 基于 Bi-LSTM 的表示型模型

Iteraction-based Model

我們在相似度模型模塊使用了基于交互型的深度文本匹配模型 MatchPyramid，其原因有三點：

第一點，表示型的深度文本匹配模型對句子表示時容易失去語義焦點和發(fā)生語義偏移，而交互型的深度文本匹配模型不存在這種問題，它能很好地把握語義焦點，對上下文重要性進行合理建模。

第二點，在語義召回階段，用戶 query 與召回問題間的語義相似度會作為排序模型的特征之一，同樣地，相似度模型階段，用戶 query 與召回問題間的另一種語義相似度也會作為排序模型的特征之一。

第三點，相似度模型需要實時計算，用戶每請求一次，相似度模型就需要計算 n 個句對的相似度，n 是問題召回的個數(shù)。而序列型的神經(jīng)網(wǎng)絡(luò)不能并行計算，因此我們選擇了網(wǎng)絡(luò)結(jié)構(gòu)是 CNN 的 MatchPyramid 模型。模型結(jié)構(gòu)如圖 8 所示。

圖 8 An overview of MatchPyramid on Text Matching

文本匹配引擎

由于自然語言的多樣性，文本匹配問題不是某個單一模型就能解決的，它涉及到的是算法框架的問題。每個模型都有獨到之處，如何利用不同模型的優(yōu)點去做集成，是任何文本匹配引擎都需要解決的問題。我們的文本匹配引擎融合了傳統(tǒng)文本匹配模型和深度文本匹配模型，具體的框架如圖 9 所示。

圖 9 文本匹配引擎的框架

3. 深度智能客服的效果評測

應用上述的文本匹配引擎后，我們?yōu)槟称嚬鹃_發(fā)的智能客服系統(tǒng)，在測試集上的 precision 達到了 97%；與某壽險公司合作完成的智能客服，其 precision 比 baseline 高出 10 個點。除此之外，在對話系統(tǒng)的音樂領(lǐng)域中，使用深度文本匹配引擎替代模糊匹配后，整體 precision 提高了 10 個點；在通用領(lǐng)域的測試集上，我們的文本匹配引擎也與百度的 SimNet 表現(xiàn)不相上下。