引言

本文介紹了復(fù)旦大學(xué)數(shù)據(jù)智能與社會計(jì)算實(shí)驗(yàn)室（Fudan DISC）在Findings of ACL 2021上錄用的一篇關(guān)于論辯挖掘的工作：Leveraging Argumentation Knowledge Graph for Interactive Argument Pair Identification，通過構(gòu)建論辯領(lǐng)域的知識圖譜并融合其中的相關(guān)知識，提升互動論點(diǎn)對識別任務(wù)的準(zhǔn)確性。

互動論點(diǎn)對識別（Interactive Argument Pair Interaction）是對話式論辯挖掘研究領(lǐng)域中的一個核心任務(wù)?，F(xiàn)有對于互動論點(diǎn)對識別的研究將其視為句子匹配問題，并且在很大程度上依賴于文本信息來計(jì)算文本相似性。然而，論點(diǎn)之間的互動通常會涉及論題的背景知識，并需要知識概念之間的推理，這超出了文本相似度層面的信息。

在本文中，我們提出利用外部知識來增強(qiáng)交互式論點(diǎn)對的識別。我們從在線論壇中不同主題的討論語料中構(gòu)建論辯知識圖譜。在此基礎(chǔ)上，被引用論點(diǎn)和回復(fù)論點(diǎn)之間的交互便可被表示為知識圖譜中的推理路徑。在實(shí)際中，我們利用圖卷積網(wǎng)絡(luò) （GCN） 來學(xué)習(xí)知識圖中的概念實(shí)體表示，并使用基于 Transformer 的編碼器來學(xué)習(xí)推理路徑的表示。

最后，采用信息對齊網(wǎng)絡(luò)來捕獲概念信息（實(shí)體級和路徑級）和文本信息的交互。實(shí)驗(yàn)結(jié)果表明，我們的模型在基準(zhǔn)數(shù)據(jù)集中達(dá)到了最先進(jìn)的性能。進(jìn)一步的實(shí)驗(yàn)分析證明了我們模型通過知識圖譜中的概念路徑來執(zhí)行知識推理的合理性及有效性。

研究背景

論辯挖掘旨在分析論辯性文本中的語義和邏輯結(jié)構(gòu)。目前論辯挖掘的研究方向大致可以分為單篇式論辯（Monological Argumentation）以及對話式論辯（Dialogical Argumentation）。

二者的主要區(qū)別在于，單篇式論辯的研究對象通常為單篇式的論辯場景，如學(xué)生議論文、公開演講等一整篇論辯性文章或一段論辯文本，相關(guān)的任務(wù)包括論辯部件預(yù)測、說服力評估和論辯總結(jié)等；而對話式論辯的研究對象通常為辯論賽或者在線論壇場景下，由持有不同觀點(diǎn)的多方參與者之間的互動所產(chǎn)生的文本，相關(guān)任務(wù)包含互動論點(diǎn)對識別、抽取等。

現(xiàn)有對于互動論點(diǎn)對識別的研究將其視為句子匹配問題，并且在很大程度上依賴于文本信息來計(jì)算文本相似性。雖然相關(guān)深度學(xué)習(xí)模型取得了一定的判別效果，但對于互動論點(diǎn)對中真正具有互動關(guān)系的概念實(shí)體的利用程度仍有不足，也就是說該任務(wù)需要超出文本相似度的知識信息。

兩條現(xiàn)有模型無法正確識別的互動論點(diǎn)對示例。在第一個例子中，兩句論點(diǎn)之間的聯(lián)系由“president”和“Obama”以及“John Boehner”和“speaker of the house”所構(gòu)建，這屬于自然語言中常見的常識類知識；而在第二個例子中，兩句論點(diǎn)之間的聯(lián)系則需要通過“global warming”導(dǎo)致“sea level”提高來體現(xiàn)，這段推理過程中所出現(xiàn)的關(guān)系為論辯領(lǐng)域中所特有的因果聯(lián)系。

因此，我們希望在互動論點(diǎn)對識別的任務(wù)中融入上述兩類知識，來提升該任務(wù)上模型的效果，并提供更直接的可解釋性。具體做法上，本文構(gòu)建了論辯領(lǐng)域的知識圖譜，并以圖譜中推理路徑的方式來融合相關(guān)知識。在模型層面，本文通過使用圖卷積網(wǎng)絡(luò)（GCN）編碼相關(guān)實(shí)體，并使用Transformer編碼器編碼相關(guān)推理路徑，再將這兩個級別的概念編碼與文本編碼進(jìn)行信息對齊，從而完成對于互動論點(diǎn)對識別任務(wù)的增強(qiáng)。

圖譜構(gòu)建

原始圖譜構(gòu)建

本文在Tan等人所構(gòu)建的CMV文本數(shù)據(jù)集的基礎(chǔ)上，采用OpenIE來抽取出其中的（實(shí)體、關(guān)系、實(shí)體）三元組，將所有的實(shí)體作為節(jié)點(diǎn)，所有的關(guān)系作為邊，得到了原始的知識圖譜。該階段中加入的知識對應(yīng)于研究背景中提到的第二類知識——因果聯(lián)系。該階段的圖譜統(tǒng)計(jì)信息如下圖所示。

概念對齊

為了進(jìn)一步提升我們所構(gòu)建的圖譜質(zhì)量，同時也為了加入研究背景中所提到的第一類常識知識，本文在得到上述原始圖譜后，進(jìn)行了概念對齊操作。對于兩個知識圖譜中的實(shí)體，如果它們在Wiikipedia中的搜索結(jié)果相同，則將它們之間加入”等價(jià)“的實(shí)體關(guān)系。概念對齊后的知識圖譜相關(guān)統(tǒng)計(jì)信息如下圖所示。結(jié)果顯示概念對齊后，圖譜的連通性明顯增加，稀疏性的問題得到了一定程度上的解決。

方法描述

本文提出了將論辯圖譜知識融入互動論點(diǎn)對識別任務(wù)的模型框架。該框架主要包含三個模塊，文本編碼器、概念編碼器以及信息對齊網(wǎng)絡(luò)。

論點(diǎn)對文本信息建模

給定一對候選引用-回復(fù)論點(diǎn)對，我們將其拼接后通入BERT句子對分類模型，取出其中的［CLS］符號的表示即可得到論點(diǎn)對的文本層面表示。

論點(diǎn)對概念信息建模

給定一對候選引用-回復(fù)論點(diǎn)對的上下文，我們抽取出其中所包含的概念實(shí)體，接下來從實(shí)體和路徑兩個層面進(jìn)行概念信息建模。

2.1 實(shí)體級別

我們采用平均池化的BERT詞向量得到每個節(jié)點(diǎn)的初始化表示，接著使用二層GCN網(wǎng)絡(luò)來對每個節(jié)點(diǎn)信息進(jìn)行匯總?cè)诤希瑥亩玫搅嗣總€提及的實(shí)體的概念表示。

2.2 路徑級別

在本文中，推理路徑定義為論辯雙方所提到的概念實(shí)體對之間在知識圖譜中經(jīng)過遍歷而順次連接得到的序列。在得到上述實(shí)體的表示后，我們從圖譜中枚舉出雙方所有的概念實(shí)體對之間的最短路徑，再經(jīng)過Transformer編碼器來對其進(jìn)行編碼表示，進(jìn)而得到了每條推理路徑的表示

信息對齊網(wǎng)絡(luò)

得到基于每個實(shí)體以及每條路徑的概念表示之后，我們構(gòu)建了信息對齊網(wǎng)絡(luò)來將不同的實(shí)體以及路徑匯總得到概念層面的總表示。具體來說，我們利用文本信息表示來對所有的推理路徑進(jìn)行注意力池化匯總得到推理路徑的總表示，在利用推理路徑總表示來對所有的實(shí)體進(jìn)行注意力池化匯總得到概念實(shí)體的總表示。

在得到以上文本和概念層面的總表示后，我們將這些維度的特征拼接并通過一個線性層，來預(yù)測當(dāng)前候選論點(diǎn)對成為互動論點(diǎn)對的匹配分?jǐn)?shù)，從而得到最終的判別結(jié)果。

實(shí)驗(yàn)

互動論點(diǎn)對識別性能

下表展示了在互動論點(diǎn)對識別數(shù)據(jù)集上的各模型性能。實(shí)驗(yàn)結(jié)果顯示本文提出的模型在P@1和MRR指標(biāo)上均優(yōu)于已有模型，一方面體現(xiàn)在文本信息建模方面，預(yù)訓(xùn)練模型BERT的性能超過了之前最先進(jìn)的DVAE模型；另一方面體現(xiàn)在上下文信息建模方面，通過融入論辯圖譜對于論點(diǎn)概念的編碼表示的組件超過了之前的層次化CNN上下文建模給模型所帶來的提升。

消融實(shí)驗(yàn)

下表展示了本文所提模型的消融實(shí)驗(yàn)，從結(jié)果中可以發(fā)現(xiàn)三個主要模塊中對模型性能影響最大的是文本信息編碼；在概念編碼中對于模型性能提升最明顯的是路徑編碼器。

進(jìn)一步分析

本文對于得到的知識圖譜中推理路徑進(jìn)行了進(jìn)一步探究，主要分為四個子實(shí)驗(yàn)：

（a）概念對連通性：實(shí)驗(yàn)顯示對于存在互動關(guān)系的正確論點(diǎn)對以及不存在互動關(guān)系的負(fù)樣本，雙方概念中存在推理路徑（即聯(lián)通）的實(shí)體對分別占54%和41%，即連通性對于判斷是否存在互動關(guān)系有一定判別作用；

（b）推理路徑長度分布：實(shí)驗(yàn)顯示在正確論點(diǎn)對中的推理路徑平均長度會略低于負(fù)樣本中的推理路徑，即更長的推理路徑傾向于出現(xiàn)在無關(guān)的論點(diǎn)對中；

（c）推理路徑中的關(guān)系分布：我們通過統(tǒng)計(jì)出現(xiàn)在所有推理路徑中的關(guān)系，并應(yīng)用一些詞典資源（如+/-EffectWordnet/Connotation Frames等）對關(guān)系進(jìn)行分類，結(jié)果顯示在所有推理路徑中，常識知識的關(guān)系和因果知識的關(guān)系占比非常接近，各占了所有關(guān)系的40%左右；

（d）路徑長度截?cái)啵罕疚耐ㄟ^對路徑長度做限制，去掉超過限制長度的推理路徑并重復(fù)實(shí)驗(yàn)，結(jié)果顯示對于互動論點(diǎn)對識別的任務(wù)，當(dāng)推理路徑的長度限制設(shè)置在4的時候達(dá)到最好效果，經(jīng)分析這可能是推理路徑數(shù)量（路徑長度越大路徑數(shù)越多）和推理路徑質(zhì)量（路徑長度越小越有可能為正樣本中的路徑）之間的權(quán)衡。

總結(jié)

本文提出了一個模擬人類辯論推理過程的模型框架。具體實(shí)踐中，我們首先從在線辯論論壇ChangeMyView出發(fā)，利用OpenIE工具、詞典資源和Wikipedia相關(guān)API進(jìn)行概念對齊，構(gòu)建了一個對話式辯論領(lǐng)域的知識圖譜。

接著利用基于路徑的圖模型對辯論雙方的概念對之間的推理路徑進(jìn)行編碼，并將概念信息與預(yù)先訓(xùn)練好的語言模型BERT獲得的語義信息進(jìn)行對齊。在互動論點(diǎn)對識別任務(wù)上的實(shí)驗(yàn)表明該模型能夠有效、透明地利用外部知識，進(jìn)一步關(guān)于推理路徑的實(shí)驗(yàn)也顯示出基于我們構(gòu)建的知識圖譜所生成的推理路徑具有較高的質(zhì)量。

編輯：jq