研究動機

多標(biāo)簽文本分類（multi-label text classification, 簡稱MLTC）的目的是在給定文本后要求模型預(yù)測其多個非互斥的相關(guān)標(biāo)簽。該任務(wù)在許多自然語言處理任務(wù)上都有體現(xiàn)。如在表1中，需要給該文檔打上標(biāo)簽：basketball、NBA、sport。

表1多標(biāo)簽文本分類的例子

一種處理MLTC的簡單方法是將其轉(zhuǎn)換為多個獨立的二分類問題。該方法被稱為BinaryRelevance (BR)，由于其簡單性而被大規(guī)模使用。但該方法的弊端也十分明顯，即該方法完全忽略了標(biāo)簽之間的相關(guān)信息。直覺上，知道一些標(biāo)簽——如上例中的basketball及NBA——會使得預(yù)測其他標(biāo)簽（如sport）更加簡單。研究者指出對于多標(biāo)簽分類任務(wù)而言，有效利用標(biāo)簽之間的相關(guān)性是有益的、甚至是必要的。為此，涌現(xiàn)出許多利用標(biāo)簽關(guān)系的算法，其中最知名的就是算法Classifier Chains（CC）。該算法將多個二分類器串聯(lián)起來，其中每個分類器使用之前分類器的預(yù)測結(jié)果作為額外的輸入。該方法將潛在的標(biāo)簽依賴納入考慮，但該問題的最大缺陷在于不同的標(biāo)簽順序會產(chǎn)生天壤之別的性能。同時，CC算法的鏈?zhǔn)浇Y(jié)構(gòu)使得算法無法并行，在處理大規(guī)模數(shù)據(jù)集時效率低下。

近年來，也有學(xué)者將標(biāo)簽集合視作標(biāo)簽序列，并使用基于神經(jīng)網(wǎng)絡(luò)的端到端模型（seq2seq）來處理該任務(wù)。相較于CC預(yù)測所有標(biāo)簽，這類seq2seq的模型只預(yù)測相關(guān)標(biāo)簽。因此該類模型的決策鏈條長度更短，性能更優(yōu)。但這類模型的性能強烈依賴于標(biāo)簽的順序。在多標(biāo)簽數(shù)據(jù)集中，標(biāo)簽本質(zhì)上是無序的集合，未必可以線性排列。學(xué)者們指出不同的標(biāo)簽順序?qū)τ趯W(xué)習(xí)和預(yù)測有著重大影響。舉例來說，對于表1中的例子，如果標(biāo)簽序列以sport開始，則對于預(yù)測其他相關(guān)標(biāo)簽的幫助不大。

02

—

解決方案

為了處理上述問題，我們提出了Multi-Label Reasoner（ML-Reasoner），一個基于推理機制的算法。ML-Reasoner的框架如圖1所示，我們?yōu)槊恳粋€標(biāo)簽分配一個二分類器，它們同時預(yù)測所有標(biāo)簽以滿足標(biāo)簽的無序性質(zhì)。這樣的話，ML-Reasoner可以同時計算每一個標(biāo)簽相關(guān)的概率。例如在處理上例時，ML-Reasoner可能認為標(biāo)簽NBA相關(guān)的概率為0.9，basketball的為0.7，sport為0.55，football為0.3.這樣，ML-Reasoner就完全避免依賴標(biāo)簽順序。同時為了有效利用標(biāo)簽的相關(guān)性，我們設(shè)置了一種新穎的迭代推理機制，即將上一輪對所有標(biāo)簽相關(guān)的預(yù)測作為下一次迭代的額外特征輸入。這種方法使得ML-Reasoner可以在每一輪的迭代中完善預(yù)測結(jié)果。舉例來說，考慮到標(biāo)簽NBA與basketball相關(guān)的概率較高，模型可以在后續(xù)迭代中，將標(biāo)簽sport的概率調(diào)高。

圖1 Multi-Label Reasoner整體框架圖

具體到Reasoner的實現(xiàn)，我們將其劃分為五個組件，其相關(guān)交互關(guān)系見圖2。

圖2多標(biāo)簽文本分類的Reasoner模塊

- Text Encoder將詞語序列轉(zhuǎn)換為稠密的向量表示，主要負責(zé)抽取文本特征；

- Label Encoder將上一輪次所有標(biāo)簽的相關(guān)概率轉(zhuǎn)換為相應(yīng)的標(biāo)簽表示；

- Attention模塊負責(zé)計算文本與不同標(biāo)簽之間的相關(guān)性；

- Combiner則將文本的原始特征與標(biāo)簽特征進行整合；

- 具有相同結(jié)構(gòu)但不同參數(shù)的Classifier則預(yù)測各個標(biāo)簽的相關(guān)性。

至于損失函數(shù)，我們選擇了Binary Cross Entropy (BCE)。更具體的設(shè)置請參見原文。

03

—

實驗

我們在兩個常用的多標(biāo)簽文本分類數(shù)據(jù)集Arxiv Acadmeic Paper Dataset（AAPD）及Reuters Corpus Volum I （RCV1-V2）上進行了實驗。AAPD數(shù)據(jù)量更少、標(biāo)簽密度更大，分類難度更大。評價指標(biāo)則選用了hamming loss，micro-precision，micro-recall及micro-F1；其中hamming loss越低越好，其他則越高越好。至于基準(zhǔn)模型，我們選用了經(jīng)典模型如BR、CC、LP，也有性能優(yōu)越的seq2seq模型如CNN-RNN、SGM，還有其他一些表現(xiàn)卓越的多標(biāo)簽文本分類模型如LSAN，之外也將seq2set納入進來作為比較。seq2set使用強化學(xué)習(xí)算法來緩解seq2seq模型對于標(biāo)簽順序的依賴程度。同時，為了驗證ML-Reasoner在不同文本編碼器上能帶來的性能提升，我們分別使用了CNN、LSTM及BERT作為ML-Reasoner框架中的Text Encoder模塊。實驗結(jié)果如表2所示。

表2 ML-Reasoner及基準(zhǔn)模型在兩個數(shù)據(jù)集上的性能

從表中可以看出，ML-Reasoner在兩個數(shù)據(jù)集上均達到了SOTA水準(zhǔn)，且在三種不同文本編碼器上都能帶來顯著提升。

為了驗證ML-Reasoner可以完全避免對標(biāo)簽順序的依賴，我們隨機打亂AAPD數(shù)據(jù)集的標(biāo)簽順序，并進行了測試；各個模型的性能如表3所示。從表中可以看到，CC及seq2seq模型的性能受標(biāo)簽順序的劇烈影響；seq2set可以顯著緩解seq2seq的問題；而ML-Reasoner則完全不受標(biāo)簽順序的影響。

表3各模型在標(biāo)簽打亂的AAPD數(shù)據(jù)集上的性能

我們也通過燒蝕實驗（見圖3），確定了推理機制確實是性能提升的關(guān)鍵。

圖3 ML-Reasoner（T=1,2,5）及CNN-Round（T=1,2,5）在AAPD測試集上的性能雷達圖

我們也探究了迭代次數(shù)對模型性能的影響，由圖4可知，進行了一次推理就可以帶來顯著提升；而推理次數(shù)的再次提高并不能帶來更多的提升。這可能是因為模型及數(shù)據(jù)集的選擇導(dǎo)致的。

圖4不同迭代輪數(shù)下的ML-Reasoner在AAPD測試集上的性能雷達圖

為了進一步理解Reasoner發(fā)揮作用的機制，我們從數(shù)據(jù)集中選取了一些典型示例（見表4）。在第一個例子中，模型通過推理將相關(guān)標(biāo)簽math.OC添上；模型處理第二個例子時，則將無關(guān)標(biāo)簽cs.LO剔除；有時添加與刪除的動作也會同時發(fā)生（見第三個例子）。當(dāng)然，推理偶爾也會使預(yù)測結(jié)果變差（見第四、第五個例子）。

表4 AAPD測試集中一些由于推理機制預(yù)測結(jié)果出現(xiàn)變化的實例

為了驗證上述例子的變化確實是因為考慮了標(biāo)簽之間的相關(guān)性，我們進一步統(tǒng)計模型在添加或刪除某個標(biāo)簽時與其他標(biāo)簽的共現(xiàn)頻率。從圖5中，可以觀察到模型往往在添加某個標(biāo)簽時，其共現(xiàn)頻率（第二行）與真實共現(xiàn)頻率接近（第一行）；而刪除某個標(biāo)簽時，其共現(xiàn)頻率（第三行）與真實共現(xiàn)頻率（第一行）則相差較遠。

圖5 AAPD標(biāo)簽的共現(xiàn)頻率圖

04

—

結(jié)論

在本文中，我們提出了算法ML-Reasoner。該算法可以同時預(yù)測所有標(biāo)簽進而避免了對標(biāo)簽順序的依賴；之外，他通過新穎的推理機制利用了標(biāo)簽之間的高階關(guān)系。實驗結(jié)果表明了ML-Reasoner在捕獲標(biāo)簽依賴之間的有效性；進一步的分析驗證了其確實未對標(biāo)簽順序產(chǎn)生依賴。一些經(jīng)驗性試驗也揭示了該算法發(fā)揮作用的機制。由于ML-Reasoner未顯式利用標(biāo)簽之間的關(guān)系，如層次結(jié)構(gòu)等，如何將這些信息納入考慮是值得進一步探索的。

原文標(biāo)題：【IPM2020】一種處理多標(biāo)簽文本分類的新穎推理機制

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq