前言

文本相似是NLP工業(yè)化中的一個基本任務(wù)，很多應(yīng)用需要計算兩文本之間的相似程度，包括文本檢索中相似文本的去重、問答系統(tǒng)中query與標準模板問題的匹配、句子對語義判斷等。

根據(jù)不同的標準可以將該任務(wù)劃分為不同的類別：如根據(jù)文本長度的不同，可分為短文本相似度（短語/句子級）和長文本相似度（段落/文章級）；又如根據(jù)特征工程的構(gòu)建方式不同，可分基于統(tǒng)計特征生成（TF/TF-IDF/Simhash）和基于語義的特征模型（word2vec、doc2vec）。同樣相似度的計算方式也有多種，如最小編輯距離、歐氏距離、漢明距離、余弦距離等。本期文章以新聞類數(shù)據(jù)相似任務(wù)的實際開發(fā)過程為順序展開介紹。

統(tǒng)計特征 + 漢明距離

《Detecting near-duplicates for web crawling》

Simhash是一種局部hash算法，在2002年被Charikar提出，谷歌在2007年將該算法用于識別相似內(nèi)容網(wǎng)頁數(shù)據(jù)上，證明了Simhash在該類問題上的實用性。Simhash的核心思想是，通過分詞選用文中關(guān)鍵詞來代表一篇文章，然后將這些關(guān)鍵詞hash編碼為固定長度的二進制序列，然后在通過設(shè)置好的權(quán)重對關(guān)鍵詞的編碼進行加權(quán)，簡單合并后再次降維為二進制數(shù)據(jù)，最后通過漢明距離計算不同文章之間的相似性。至于Simhash的數(shù)學(xué)推導(dǎo)在各個博客中都有較為詳細的介紹，這里便不再贅述。其中，有關(guān)關(guān)鍵詞選取和權(quán)重設(shè)置上，目前常見的方式是計算文章中各個詞的TF-IDF值，取topN的內(nèi)容作為關(guān)鍵詞，并以TF-IDF值做為權(quán)重。

上述以統(tǒng)計特征結(jié)合漢明距離的方式能夠在一定程度上反應(yīng)文章的相似性，但在實際嘗試中仍舊存在部分問題。

TF-IDF算法是創(chuàng)建在這樣一個假設(shè)之上的：對區(qū)別文檔最有意義的詞語應(yīng)該是那些在文檔中出現(xiàn)頻率高，而在整個文檔集合的其他文檔中出現(xiàn)頻率少的詞語。如果特征空間坐標系取tf詞頻作為測度，就可以體現(xiàn)同類文本的特點。引入了逆文本頻度idf的概念，以tf和idf的乘積作為特征空間坐標系的取值測度，并用它完成對權(quán)值tf的調(diào)整，調(diào)整權(quán)值的目的在于突出重要單詞，抑制次要單詞。

從理論上講，Simhash最重要的一步在于如何選取有代表性的關(guān)鍵詞。在分詞時使用的TF-IDF算法，本質(zhì)上idf是一種試圖抑制噪聲的加權(quán)，并且單純地認為文本頻率小的單詞就越重要，文本頻率大的單詞就越無用，顯然這并不是完全正確的。idf的簡單結(jié)構(gòu)并不能有效地反映單詞的重要程度和特征詞的分布情況，其無法很好地完成對權(quán)值調(diào)整的功能，所以TF-IDF法的精度并不是很高。

從實際測試結(jié)果上講，在醫(yī)藥領(lǐng)域中，某些關(guān)鍵詞語存在相近的含義、某些代表醫(yī)藥項目進度的詞匯或者表示否定語義的詞匯內(nèi)容會很大程度上左右兩篇文章的相似結(jié)果。這些因素在Simhash算法中都無法加以顯式的考慮和控制。

語義特征 + 余弦距離

《Distributed Representations of Sentences and Documents》

在最開始的嘗試中，提及了基于IF-IDF的Simhash算法無法提供文章或者詞匯中的語義信息。想要利用文章或詞匯中的語義信息自然想到了word2vec。word2vec是基礎(chǔ)的文本表示方式之一。如果對一篇文章進行embedding，那么詞向量直接平均或采用tf-idf進行加權(quán)平均都能夠得到一篇文章的向量表示。但考慮到上述在Simhash中對TF-IFDF加權(quán)能力的分析，還是希望能夠得到一種更加細粒度的向量表示方法。

上述提及的這篇文章，作者受word2vec的啟發(fā)，提出doc2vec。模型能夠?qū)W習(xí)長文本的連續(xù)向量表示，并適用于句子、段落和文章等不同長度的文本數(shù)據(jù)。具體的做法便是，提出了一種稱為 the Distributed Memory Model of Paragraph Vectors（PV-DM）的模塊部分，該部分存儲不同段落的特征向量，該向量與窗口內(nèi)其他詞向量拼接輸入模型，進行梯度更新。

doc2vec的優(yōu)勢在于能夠在大規(guī)模的語料上無監(jiān)督訓(xùn)練、考慮到了詞義信息并具備局部(窗口大小)的語序信息。缺點在于文本向量D'也是需要有反向傳播的過程，若未進行隨機化固定，每次產(chǎn)生的文本向量會不同，影響文本相似度的計算。此外，從實際的結(jié)果上看，doc2vec與word2vec一樣有OOV問題，對于一些固定結(jié)構(gòu)，詞不同的文本來說，很容易產(chǎn)生相同的文本向量。

語義特征 + 主題信息 + 余弦距離

《P-SIF: Document Embeddings Using Partition Averaging》

結(jié)合具體任務(wù)所設(shè)計的數(shù)據(jù)內(nèi)容，我們發(fā)現(xiàn)與傳統(tǒng)文本內(nèi)容相比，新聞數(shù)據(jù)所表述的是一個主題明確的事件。如醫(yī)藥公司某產(chǎn)品研發(fā)進度、不同醫(yī)藥公司之間的合作事宜等等。因此，在向量表示中加入主題信息，也能夠影響文章的相似性。

上述提及的該文章認為，使用詞向量的加權(quán)平均傳統(tǒng)方式對句子語義信息的表示具有較好的效果，但采用同樣的方法對文章級別的語義表示效果不佳。主要原因在于文本中包含有表征不同主題的word，不同主題下的word向量其對應(yīng)的權(quán)重因子不同。因此作者提出P-SIF，通過主題聚類的思想，產(chǎn)生不同主題下的權(quán)重因子，對每個主題下的詞向量進行concat，作為該word的最終向量表示。

圖中舉例了5種文本主題下的主題權(quán)重分布，對應(yīng)不同主題下，有不同的主題權(quán)重。單個主題對應(yīng)的詞向量采用w2v、tf-idf、主題權(quán)重因子的乘積表示，最終文本表征表示為各個詞向量的加權(quán)求和即可。其中主題權(quán)重因子采用ksvd的方法分解得到，需要指定主題的數(shù)目。

在實際的測試過程中發(fā)現(xiàn)，加入了主題這個變量，可以更細粒度的表征文本，相比基于tf-idf的w2v表征文本是一種進步；缺點主要包括OOV、主題數(shù)不好確定，語義表征能力不足，特別是對各個詞向量加權(quán)求和的文本表征不容易平衡單個詞的關(guān)鍵作用。例如 對于兩篇文章基本雷同，但涉及的某個關(guān)鍵詞不同，得到的兩篇文章的相似性會比較高，如果這個詞在訓(xùn)練階段沒有收錄到詞典，則會出現(xiàn)相似度為1的情況。需要借助后續(xù)關(guān)鍵詞識別的策略，進行文本間區(qū)分，補充其表征能力不足的問題。

語義特征 + 主題信息 + 余弦距離 + 實體信息

如果繼續(xù)深挖新聞數(shù)據(jù)有什么特征，那么必定會考慮到新聞數(shù)據(jù)特點，即規(guī)范的新聞都會有五個基本的要素：時間、地點、事件、起因、人員（或組織）。因此，如果能夠從新聞的導(dǎo)語或者標題內(nèi)容中對上述關(guān)鍵因素進行抽取，那么就能較準確地判斷兩新聞之間的相似與否。故此，在實際開發(fā)的過程中，我們嘗試在 「語義特征 + 主題信息 + 余弦距離」方案的基礎(chǔ)上，增加對通用實體類型的抽取。

實體內(nèi)容的抽取在本任務(wù)中起到是一個提供輔助信息的作用。因此暫時并沒有講該模塊和文章的embedding表示有過于緊密的結(jié)合。對于NER的抽取任務(wù)，可參考過往我們在《中文NER碎碎念—聊聊詞匯增強與實體嵌套》?的討論，本文不再展開贅述。

預(yù)訓(xùn)練語言模型獲取語義特征

對于語義相似的任務(wù)，在工業(yè)生產(chǎn)中很難獲得大量的標注數(shù)據(jù)用于有監(jiān)督的訓(xùn)練。為了提升模型語義表征能力，我們還可以把視線投向大規(guī)模預(yù)訓(xùn)練的語言模型上。這里也僅提供一個思路，嘗試使用無監(jiān)督語義相似度的BERT-flow或者BERT-whitening來獲取語義特征。

《On the Sentence Embeddings from Pre-trained Language Models》

考慮到，在得到句子的向量表示后，常常使用余弦相似度來比較或者排序。但余弦相似度是在標準正交基中使用的。因此，如果想要使用BERT所得到的句向量來衡量句子之間的相似性，需要使得向量空間的基底在各個分量上是均勻的、獨立的，表現(xiàn)出來一種“各向同性”的特質(zhì)。flow模型實際上是一個向量變換模型，而作者主要的想法是要用flow模型來校正BERT得到的句向量的分布。

《Whitening Sentence Representations for Better Semantics and Faster Retrieval》

BERT-whitening則認為，flow模型中涉及到的逆變換和雅可比行列式計算實際需要滿足變換簡單、易計算的特點。因此每一層的非線性變換能力就“很弱”，為了保證充分的擬合能力，模型就必須堆得非常深。但實際上BERT-flow所使用的模型計算量并大。因此，作者提出可以使用一種簡單的線性變換（相當(dāng)于白化操作）來淺層地對BERT的向量進行轉(zhuǎn)換，能到達和BERT-flow接近甚至超越的效果。

總結(jié)

新聞長文本的表征可以用于相似度的計算、文本分類、文本聚合等方向，目前筆者做的方向是相似度去重，即從海量的新聞中發(fā)現(xiàn)相似的醫(yī)藥新聞，提升關(guān)鍵數(shù)據(jù)的采集和處理效率。相似新聞包括兩個含義，一方面是字符級別的相似，可以直接采用基于字符的對比方法，如Simhash、編輯距離等，其難點在于部分新聞存在篇幅，部分關(guān)鍵詞不同。另一方面是新聞涉及的事件相似，字符相似度不高，這種不僅需要有一定的語義理解，同時需要有關(guān)鍵實體的識別。基于大規(guī)模訓(xùn)練的語言模型對語義的理解天生要高于字符和基于w2v的方式，而預(yù)訓(xùn)練模型在長文本的復(fù)雜度和效果的突破將直接為長文本的下游處理帶來新的方向。

審核編輯 ：李倩

?