本系列博客主要分享了微軟 Azure 的團(tuán)隊(duì)使用 IntelAnalytics Zoo在 Azure 的平臺(tái)上為客戶(hù)支持服務(wù)平臺(tái)添加 AI 模塊的一些實(shí)踐。本篇博客是此系列中的第一篇。在本篇中，我們將介紹為客服平臺(tái)添加“文本分類(lèi)”模塊的大致流程及實(shí)踐經(jīng)驗(yàn)。

背景

在如今商業(yè)高度發(fā)達(dá)的社會(huì)，客戶(hù)支持服務(wù)平臺(tái)已被廣泛使用在售前和售后為客戶(hù)提供技術(shù)或業(yè)務(wù)支持，例如銀行的電話(huà)客服，淘寶京東等電商的在線(xiàn)客服等等。傳統(tǒng)的客戶(hù)支持服務(wù)平臺(tái)僅僅是一個(gè)簡(jiǎn)單的溝通工具，實(shí)際的服務(wù)和問(wèn)題解答都是靠大量的人工客服和客戶(hù)直接交互。后來(lái)隨著機(jī)器智能和自動(dòng)化技術(shù)的提升，越來(lái)越多的商家開(kāi)始為客服系統(tǒng)添加智能模塊，節(jié)省人力，提升顧客的交互體驗(yàn)。

我們有一個(gè)試驗(yàn)中的智能客服平臺(tái)。它主要基于在線(xiàn)的文字對(duì)話(huà)，客戶(hù)在對(duì)話(huà)界面中提出問(wèn)題，平臺(tái)從支持文檔和預(yù)先存儲(chǔ)的常用答案中搜尋答案回復(fù)客戶(hù)。如果客戶(hù)覺(jué)得答案給的不合適，可以主動(dòng)尋求轉(zhuǎn)人工幫助，后臺(tái)的支持人員會(huì)在線(xiàn)和客戶(hù)對(duì)話(huà)，提供幫助?；A(chǔ)的客服系統(tǒng)問(wèn)答給用戶(hù)自動(dòng)提供的答案主要來(lái)自于預(yù)先編輯好的對(duì)話(huà)流和基于 Information-retrieval 的文檔搜索、索引和權(quán)重計(jì)算。在陸陸續(xù)續(xù)有了一些真實(shí)的問(wèn)答交互之后，我們希望改進(jìn)初版的系統(tǒng)，利用機(jī)器學(xué)習(xí)和人工智能實(shí)現(xiàn)基于不斷累積的真實(shí)數(shù)據(jù)的自動(dòng)學(xué)習(xí)和進(jìn)化。一方面，利用自然語(yǔ)言意圖識(shí)別和 QA 問(wèn)答相關(guān)技術(shù)來(lái)提高結(jié)果的準(zhǔn)確性；另一方面，利用對(duì)話(huà)內(nèi)容和其他客戶(hù)特征進(jìn)一步提升效率和用戶(hù)體驗(yàn)——例如對(duì)對(duì)話(huà)進(jìn)行情感分析，對(duì)包含負(fù)面情緒的客戶(hù)進(jìn)行特殊處理；根據(jù)對(duì)話(huà)內(nèi)容進(jìn)行分類(lèi)，為轉(zhuǎn)接人工對(duì)應(yīng)團(tuán)隊(duì)提高服務(wù)效率；根據(jù)用戶(hù)畫(huà)像選擇更相關(guān)的問(wèn)題答案。

作為初步嘗試，我們?cè)谠械南到y(tǒng)中添加了兩個(gè)新的智能模塊（使用 IntelAnalytics Zoo實(shí)現(xiàn)）：文本分類(lèi)模塊，和 QA 排序模塊。文本分類(lèi)模塊的作用是對(duì)對(duì)話(huà)的服務(wù)類(lèi)型進(jìn)行分類(lèi)，以使得轉(zhuǎn)接對(duì)應(yīng)人工團(tuán)隊(duì)的時(shí)候更加高效，這個(gè)模塊以后經(jīng)過(guò)一些簡(jiǎn)單的修改還可用于情感分析。QA 排序模塊則用來(lái)對(duì)現(xiàn)在搜索引擎得到的答案進(jìn)行再排序。

目前我們已經(jīng)做了一些實(shí)驗(yàn)，效果還不錯(cuò)，后續(xù)的實(shí)驗(yàn)和部署還在進(jìn)行中。在這個(gè)系列博客里，我們會(huì)逐步把我們?cè)诖罱ㄟ@個(gè)客服平臺(tái)的流程和經(jīng)驗(yàn)分享出來(lái)，供大家參考借鑒。

在本篇博客中，我們主要介紹基于Analytics Zoo 0.2.0 版本為客服平臺(tái)添加“文本分類(lèi)”模塊的大致流程及實(shí)踐經(jīng)驗(yàn)。

為什么采用 Analytics Zoo

Analytics Zoo是 Intel 開(kāi)發(fā)的一個(gè)開(kāi)源大數(shù)據(jù)分析 +AI 平臺(tái)。項(xiàng)目包含 Scala 和 Python 兩套 API，提供了一系列方便實(shí)用的封裝和工具（包括 Pipeline API 以及更 high-level 的 API，預(yù)定義的模型，在公共數(shù)據(jù)集上預(yù)訓(xùn)練的模型，以及參考的實(shí)用案例等等），使用戶(hù)能更容易地使用 Spark 和 Intel BigDL（Intel 開(kāi)源的一個(gè)基于 Spark 的分布式深度學(xué)習(xí)框架）進(jìn)行深度學(xué)習(xí)應(yīng)用的開(kāi)發(fā)。

客服平臺(tái)的對(duì)話(huà)數(shù)據(jù)量會(huì)隨著系統(tǒng)投入使用逐漸變得龐大，將數(shù)據(jù)存放在 Hadoop 集群上可以滿(mǎn)足集中管理、分享和可擴(kuò)展性的需要。而使用Analytics Zoo讀取和處理存放在 Hadoop/Spark 集群上的數(shù)據(jù)是非常方便的事情。Analytics Zoo在標(biāo)準(zhǔn)的 Spark 集群上面使用 Scala API 訓(xùn)練和預(yù)測(cè)并不需要對(duì)云有特殊的改動(dòng)或配置，還有很多預(yù)定義的模型可以開(kāi)箱即用。在預(yù)測(cè)的時(shí)候，可以使用Analytics Zoo提供的 POJO 風(fēng)格的 service API（本地運(yùn)行無(wú)需 Spark 集群）來(lái)做低延遲的預(yù)測(cè)。如果是對(duì)吞吐量要求較高的話(huà)，則建議使用Analytics Zoo提供的標(biāo)準(zhǔn) prediction API（可以運(yùn)行在 Spark 集群上）。這兩套 API 都可以很方便地被添加到基于 java 的 service 中。

文本分類(lèi)概述

文本分類(lèi)是一種常見(jiàn)自然語(yǔ)言處理任務(wù)，主要的目的是將輸入的文字片段分配到一個(gè)或者多個(gè)類(lèi)別中。例如，垃圾郵件分類(lèi)就是把郵件的內(nèi)容片段分配到是否垃圾郵件的類(lèi)別中。而我們這里的應(yīng)用場(chǎng)景則是將一段對(duì)話(huà)歸類(lèi)到一種服務(wù)類(lèi)別中。

訓(xùn)練一個(gè)文本分類(lèi)模型的過(guò)程一般包括幾個(gè)步驟：采集和準(zhǔn)備訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)的文本集，數(shù)據(jù)清洗和預(yù)處理預(yù)處理，在訓(xùn)練數(shù)據(jù)集上訓(xùn)練模型，在驗(yàn)證數(shù)據(jù)集上評(píng)估的指標(biāo)，如果驗(yàn)證集上的指標(biāo)不夠好，則繼續(xù)優(yōu)化模型（包括添加新數(shù)據(jù)，調(diào)整參數(shù)，算法等）。

Analytics Zoo提供了一系列預(yù)定義好的文

本分類(lèi)模型（如 CNN, LSTM 和 GRU）。我們直接選擇了其中基于 CNN 的分類(lèi)模型作為基礎(chǔ)進(jìn)行開(kāi)發(fā)（以下訓(xùn)練過(guò)程中使用的 API 均以 python API 為例）。

在上面的接口定義中，class_num 是指該文本分類(lèi)問(wèn)題包含類(lèi)的數(shù)量，token_length 是指每個(gè)詞對(duì)應(yīng)詞向量的大小，sequence_length 是指每個(gè)文本所包含的詞的數(shù)目，encoder 是指對(duì)輸入的詞向量序列的編碼器（可以是 cnn, lstm 或者 gru），encoder_output_dim 是指編碼器的輸出維度。這個(gè)模型接收的輸入的是一段文字的詞向量的序列，輸出是一個(gè)類(lèi)別標(biāo)簽數(shù)字。

如果對(duì)這個(gè)模型內(nèi)部包含的具體神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)感興趣，可以查看這段源代碼（https://github.com/intel-analytics/analytics-zoo/blob/branch-0.2/pyzoo/zoo/models/textclassification/text_classifier.py#L58-L72）。

數(shù)據(jù)采集和預(yù)處理

訓(xùn)練數(shù)據(jù)中的每一條記錄包含兩個(gè)字段：對(duì)話(huà)歷史和對(duì)應(yīng)的服務(wù)類(lèi)別標(biāo)簽。我們采集了幾千條這樣的記錄，并用半自動(dòng)和人工的方法進(jìn)行了類(lèi)標(biāo)簽的標(biāo)注。拿到原始訓(xùn)練數(shù)據(jù)以后，首先對(duì)對(duì)話(huà)文本進(jìn)行了清洗，去掉文本中無(wú)意義的 tag 和亂碼，并轉(zhuǎn)化成每一條記錄都是（text, label）的 text RDD。然后我們對(duì) text RDD 做了預(yù)處理，生成文本分類(lèi)模型可以接收的輸入。要注意，數(shù)據(jù)清洗和預(yù)處理的部分，對(duì)于訓(xùn)練數(shù)據(jù)和對(duì)將來(lái)應(yīng)用預(yù)測(cè)中的新數(shù)據(jù)都要一致。

清洗之后的 text RDD 記錄示例 （每條記錄都是一對(duì)對(duì)話(huà)文本和類(lèi)標(biāo)）

清洗過(guò)程這里不再贅述，下面主要介紹預(yù)處理主要包含的常用步驟：

1. 中文分詞 （Tokenization）

和英文不同，中文文本由連續(xù)的字序列組成，每句話(huà)的詞與詞之間沒(méi)有特定的分隔符，需要通過(guò)語(yǔ)義和詞典進(jìn)行分詞。我們采用的是jieba對(duì)原始文本內(nèi)容進(jìn)行分詞。經(jīng)過(guò)分詞之后，原文本被轉(zhuǎn)化成了一個(gè)由詞構(gòu)成的數(shù)組。

2. 去掉停用詞 （Stopwords Removal）

停用詞是在文本檢索過(guò)程中出現(xiàn)頻率很高但又不涉及具體內(nèi)容的單詞，這些詞的存在通常對(duì)于文本分類(lèi)的幫助不大。可以選擇使用中文常用的停用詞表（比如“只要”、“無(wú)論”等）或者用戶(hù)自己指定停用詞，將這些詞從分詞的結(jié)果中去除。

3. 統(tǒng)一長(zhǎng)度（Sequence Aligning）

不同的文本通常會(huì)有不同的長(zhǎng)度，但對(duì)于一個(gè)深度學(xué)習(xí)模型而言，則需要統(tǒng)一規(guī)格的輸入，因此我們要把文本對(duì)應(yīng)的詞數(shù)組轉(zhuǎn)換成相同的長(zhǎng)度。對(duì)于給定的長(zhǎng)度 sequence_length（比如 500），如果文本包含的詞數(shù)目大于該長(zhǎng)度，可以選擇從文本開(kāi)頭或者從結(jié)尾截取該文本中該長(zhǎng)度數(shù)量的詞。如果文本的詞數(shù)目不足該長(zhǎng)度，則可以在原本的詞之前或之后加上虛擬的詞來(lái)補(bǔ)足（比如“##”）。

4. 轉(zhuǎn)換為詞向量 （Word2Vec）

處理到目前為止每個(gè)文本轉(zhuǎn)換成的仍然是詞的數(shù)組，但要放入模型進(jìn)行訓(xùn)練，需要的是數(shù)值的輸入，因此我們需要把每個(gè)詞轉(zhuǎn)化為相同維度的詞向量。我們采用的是 Facebook 開(kāi)源的詞向量工具 FastText （https://github.com/facebookresearch/fastText），F(xiàn)astText 提供預(yù)先訓(xùn)練好的中文詞向量，每個(gè)詞對(duì)應(yīng)一個(gè) 300 維的空間向量。在詞向量的空間中，任意兩個(gè)向量的之間的距離能體現(xiàn)對(duì)應(yīng)的兩個(gè)詞之間的語(yǔ)義聯(lián)系，兩個(gè)語(yǔ)義上很相似或者有很強(qiáng)關(guān)聯(lián)的詞對(duì)應(yīng)的詞向量會(huì)有很近的距離。對(duì)于不在預(yù)先訓(xùn)練好的 FastText 中的詞，我們用一個(gè) 300 維的零向量來(lái)代替。

5. 轉(zhuǎn)換為 Sample

經(jīng)過(guò)以上的處理之后，每個(gè)文本轉(zhuǎn)換為形狀是（sequence_length, 300）的多維向量。對(duì)于文本所屬的類(lèi)別，我們則轉(zhuǎn)換為整數(shù)來(lái)表示。把多維向量作為 feature，類(lèi)別作為 label，每條文本數(shù)據(jù)生成一個(gè) BigDL Sample （https://bigdl-project.github.io/0.6.0/#APIGuide/Data/#sample）。最終整個(gè)數(shù)據(jù)集轉(zhuǎn)化成 Sample RDD 用于模型基于 Spark 的分布式訓(xùn)練。

sample_rdd=vectors_rdd.map(lambdavectors,label:to_sample(vectors,label))

模型訓(xùn)練，測(cè)試，評(píng)估和優(yōu)化

在準(zhǔn)備好 RDD 格式的訓(xùn)練集（train_rdd）和驗(yàn)證集（val_rdd），并按照例子實(shí)例化好一個(gè)模型（text_classifier）之后，我們創(chuàng)建一個(gè) BigDL Optimizer 對(duì)模型進(jìn)行分布式訓(xùn)練。這是一個(gè)類(lèi)別用整數(shù)表示的多分類(lèi)問(wèn)題，損失函數(shù)我們選擇的是稀疏分類(lèi)交叉熵?fù)p失 （Sparse Categorical Cross Entropy）。

在創(chuàng)建 Optimizer 的時(shí)候可以指定讓模型在訓(xùn)練集上進(jìn)行多少次迭代訓(xùn)練（epochs），每次訓(xùn)練使用的批大?。╞atch_size），采用的優(yōu)化方法以及它的學(xué)習(xí)率（learning rate） 等參數(shù)。

可以在訓(xùn)練的過(guò)程中，在驗(yàn)證集上輸出指定的性能指標(biāo) （比如 Top1 accuracy） ，這樣能了解到模型在訓(xùn)練的過(guò)程中是否已經(jīng)過(guò)擬合。同時(shí) BigDL 也支持在訓(xùn)練過(guò)程中階段性保存快照可用于之后恢復(fù)訓(xùn)練。更詳細(xì)的 Optimizer 的參數(shù)和使用方法請(qǐng)參考文檔（Analytics-zoo 同時(shí)支持 BigDL 0.5 和 0.6 版本，Python pip install 默認(rèn)同時(shí)安裝的是 BigDL 0.6 版本）：https://bigdl-project.github.io/0.6.0/#ProgrammingGuide/optimization/

如果不選擇在訓(xùn)練的過(guò)程中驗(yàn)證，也可以在訓(xùn)練完成后，用訓(xùn)練好的模型對(duì)驗(yàn)證數(shù)據(jù)進(jìn)行預(yù)測(cè)并檢查準(zhǔn)確率。要保證驗(yàn)證集也經(jīng)過(guò)了和訓(xùn)練集同樣的預(yù)處理過(guò)程。模型會(huì)返回對(duì)應(yīng)的概率分布或者所預(yù)測(cè)的分類(lèi)編號(hào)。

如果驗(yàn)證集上結(jié)果不好，就要對(duì)模型進(jìn)行優(yōu)化，這個(gè)過(guò)程基本是重復(fù)調(diào)參/調(diào)數(shù)據(jù)/訓(xùn)練/測(cè)試驗(yàn)證的過(guò)程，直到準(zhǔn)確率可以滿(mǎn)足實(shí)用要求。我們這個(gè)模型一開(kāi)始幾次的準(zhǔn)確率是不夠好的，我們之后對(duì)學(xué)習(xí)率進(jìn)行了調(diào)整，并添加了新的訓(xùn)練數(shù)據(jù)，增加了停用詞詞典，后來(lái)準(zhǔn)確率有了大幅提升 。

以上的訓(xùn)練過(guò)程在單機(jī)上和集群上都可以運(yùn)行。

如何操作可以參考文檔：https://analytics-zoo.github.io/0.2.0/#PythonUserGuide/run/

另外，Analytics Zoo提供了完整的文本分類(lèi)的指南和實(shí)例供用戶(hù)參考：

https://analytics-zoo.github.io/0.2.0/#ProgrammingGuide/text-classification/。

https://github.com/intel-analytics/analytics-zoo/tree/branch-0.2/pyzoo/zoo/examples/textclassification。

將模型預(yù)測(cè)部分與 service 集成

拿到訓(xùn)練好的模型之后，接下來(lái)要做的就是把新輸入的文本經(jīng)過(guò)同樣的預(yù)處理之后喂給模型，然后模型會(huì)輸出一個(gè)分類(lèi)的標(biāo)簽。由于我們的微服務(wù)是用 Java 實(shí)現(xiàn)的，考慮到效率，我們沒(méi)有直接用 python 代碼進(jìn)行預(yù)測(cè)，而是用Analytics Zoo提供的 POJO 風(fēng)格的 Java Inference API （用法和接口參考文檔https://analytics-zoo.github.io/0.2.0/#ProgrammingGuide/inference/）實(shí)現(xiàn)了預(yù)測(cè)部分的代碼（Java API 可以直接 load python code 訓(xùn)練好的模型來(lái)做預(yù)測(cè)），示意如下。另外 Analytics Zoo 也提供了文本分類(lèi)的完整的 web service 示例可參考：https://github.com/intel-analytics/analytics-zoo/tree/master/apps/web-service-sample

模型的持續(xù)更新和發(fā)布

數(shù)據(jù)是隨著時(shí)間不斷累積的，因此在實(shí)際使用中經(jīng)常會(huì)定期使用全量或增量數(shù)據(jù)重新訓(xùn)練模型，并把模型更新到預(yù)測(cè)服務(wù)中。要實(shí)現(xiàn)這一點(diǎn)，只需定期運(yùn)行訓(xùn)練程序得到新的模型，然后利用上面示例過(guò)的 model.load API 重新加載更新過(guò)的新模型就可以了。另外，我們的 service 用基于 Kubernetes 的方案進(jìn)行持續(xù)更新和集成。Analytics Zoo也提供了 docker 的 image （https://github.com/intel-analytics/analytics-zoo/tree/branch-0.2/docker） 供下載安裝。

結(jié)語(yǔ)

相信大家看了以上的介紹，已經(jīng)對(duì)如何使用文本分類(lèi)，以及如何將類(lèi)似模塊添加到自己的應(yīng)用中有了大致的了解。我們將在這個(gè)系列后續(xù)的博客中介紹其他方面的內(nèi)容和實(shí)踐進(jìn)展。

如果需要更多信息，請(qǐng)?jiān)L問(wèn) Analytics Zoo 在 Github 上的項(xiàng)目地址（https://github.com/intel-analytics/analytics-zoo） ，并且可以從 Market place 上面下載使用已經(jīng)準(zhǔn)備好的預(yù)裝 Analytics Zoo 和 BigDL 的鏡像（https://market.azure.cn/zh-cn/marketplace/apps/intel.bigdlstandard）。