引言

從自然語言文本中自動提取語義信息是許多實(shí)際應(yīng)用領(lǐng)域中的重要研究問題。尤其是在最近通過社交媒體網(wǎng)站，新聞門戶網(wǎng)站和論壇等渠道在線發(fā)布內(nèi)容之后；大量相關(guān)的科學(xué)出版物揭示了諸如情感分析，嘲諷/爭議/真實(shí)性/謠言/假新聞檢測以及論據(jù)挖掘等問題的解決方案的影響和意義越來越大。

立場檢測作為情感分類任務(wù)中的一個(gè)子任務(wù)，在上述領(lǐng)域中都起著舉足輕重的作用，并且在不同的場景設(shè)置中任務(wù)的定義方式也不同，其中最常見的定義是將文本生產(chǎn)者的立場朝著目標(biāo)自動分類為以下三個(gè)類別之一：{支持，反對，中立}。

本次DISC小編分享的三篇ACL2020論文將從不同方面圍繞立場檢測領(lǐng)域進(jìn)行研究，包括新任務(wù)、新數(shù)據(jù)集、以及加入外部知識的新模型等。

文章概覽

網(wǎng)絡(luò)論辯中的一致性預(yù)測——立場極性與強(qiáng)度檢測（Agreement Prediction of Arguments in Cyber Argumentation for Detecting Stance Polarity and Intensity）

論文地址：https://www.aclweb.org/anthology/2020.acl-main.509.pdf

在在線辯論中，用戶對彼此的論點(diǎn)和想法表達(dá)不同程度的同意/反對。通常，同意/反對的語義隱含在文本中，必須經(jīng)過預(yù)測才能分析集體意見?，F(xiàn)有的立場檢測方法可以預(yù)測帖子對主題或帖子的立場的極性，但不考慮該立場的強(qiáng)度。我們在判斷兩段對話的關(guān)系中引入了一個(gè)新的研究問題，即立場極性和強(qiáng)度預(yù)測。這個(gè)問題具有挑戰(zhàn)性，因?yàn)榱鰪?qiáng)度上的差異通常很細(xì)微，需要細(xì)致的語言理解。在網(wǎng)絡(luò)辯論數(shù)據(jù)中心的研究表明，將立場極性和強(qiáng)度數(shù)據(jù)都納入在線辯論中可以帶來更好的討論分析。

走出“回聲室”：檢測反對辯論發(fā)言（Out of the Echo Chamber: Detecting Countering Debate Speeches）

論文地址：https://www.aclweb.org/anthology/2020.acl-main.633.pdf

隨著從傳統(tǒng)新聞媒體向社交媒體和類似場所的轉(zhuǎn)變，讀者更傾向于被困在“回音室”中，并且可能成為假新聞和虛假信息的犧牲品，缺乏容易獲得不同意見的渠道。因此，作者提出了檢測反對立場發(fā)言的任務(wù)，具體來說，是給定一段辯論文本（長文本），從當(dāng)前的大語料庫中找到與其意見相反的辯論文本（長文本）。操作層面上，作者在文中遵循論辯領(lǐng)域的規(guī)范標(biāo)準(zhǔn)構(gòu)建了3685篇辯論長文本作為該任務(wù)的數(shù)據(jù)集，并進(jìn)行了人工以及機(jī)器模型的實(shí)驗(yàn)，結(jié)果顯示該任務(wù)設(shè)置合理且極具挑戰(zhàn)性。

使用可遷移的語義-情感知識增強(qiáng)跨領(lǐng)域立場檢測（Enhancing Cross-target Stance Detection with Transferable Semantic-Emotion Knowledge）

論文地址：https://www.aclweb.org/anthology/2020.acl-main.291.pdf

當(dāng)有足夠的帶標(biāo)簽的訓(xùn)練數(shù)據(jù)可用時(shí)，立場檢測任務(wù)中人們已經(jīng)取得了巨大的成功。但是，注釋足夠的數(shù)據(jù)會占用大量人力，這為將立場分類器推廣到具有新目標(biāo)的數(shù)據(jù)建立了很大的障礙。在本文中，作者提出了一種用于跨目標(biāo)立場檢測的語義-情感知識轉(zhuǎn)移（SEKT）模型，該模型使用外部知識（語義和情感詞典）作為橋梁來實(shí)現(xiàn)跨不同目標(biāo)的知識轉(zhuǎn)移。在大型現(xiàn)實(shí)數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)結(jié)果證明，SEKT模型相對于最新的基線方法具有優(yōu)越性。

數(shù)據(jù)概覽

對于立場檢測任務(wù)，不同的應(yīng)用場景中的任務(wù)設(shè)置會存在一定的差異，例如在最傳統(tǒng)的設(shè)置中，立場檢測被定義為給定兩段文本，我們需要判斷出兩段文本之間的支持/反對關(guān)系；在另一些場景中可能定義為給定文本和某一主題，判斷它們之間的語義關(guān)系等等，上述提到的三篇論文所使用到的數(shù)據(jù)集分別如下所示：

ICAS: 上述第一篇文章中所構(gòu)建的新數(shù)據(jù)集。數(shù)據(jù)來源自作者所搭建的智能網(wǎng)絡(luò)論辯系統(tǒng)（intelligent cyber argumentation system, ICAS）中2017年秋季至2019年春季所積累的數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)包含用戶回復(fù)時(shí)輸入文本以及他們對于自己所產(chǎn)生的回復(fù)的立場極性/強(qiáng)度的打分。

IBM Debater - Recorded Debating Dataset - Release #5: 第二篇論文中所構(gòu)建的新數(shù)據(jù)集，作者采用（Mirkin et. al., 2018）所提出的辯論文本生成規(guī)范，通過聘請專業(yè)辯論人員進(jìn)行給定主題、立場的口頭陳述，再通過語音轉(zhuǎn)文本技術(shù)生成對應(yīng)的辯論文本，最終得到了3684條辯論長文本。

SemEval-2016 Task 6: 第三篇論文中所使用的數(shù)據(jù)集，來自于SemEval2016年的第六個(gè)任務(wù)，共包含在4個(gè)話題上的4870條推特文本，每條推特文本都包含在一個(gè)話題上的立場標(biāo)簽。

論文

1

動機(jī)

強(qiáng)度是立場關(guān)系的重要方面，這一維度的信息可以幫助我們對于用戶之間的回復(fù)進(jìn)行更為深入的分析；

先前的立場檢測方法大多僅判斷立場的極性（同意/不同意/中立），但極少數(shù)考慮立場的強(qiáng)度（強(qiáng)，弱等）。

在研究立場強(qiáng)度的前人工作中，對于立場強(qiáng)度判別建模為更細(xì)粒度的分類問題（如：強(qiáng)烈同意/同意/中立/反對/強(qiáng)烈反對）并進(jìn)行更為詳細(xì)的標(biāo)注，但發(fā)現(xiàn)這樣的分類數(shù)據(jù)在使得模型在原來的三分類問題的任務(wù)中出現(xiàn)了明顯的性能下降。

創(chuàng)新點(diǎn)

從上述動機(jī)出發(fā)，作者提出了給論點(diǎn)編碼的新方式：一致值編碼。

一致值編碼（取值范圍為[-1.0,+1.0])由兩個(gè)因子構(gòu)成：

符號(+/-/0)，分別對應(yīng)立場極性(支持/反對/中立)

振幅(取值范圍[0,1.0])，對應(yīng)上文中所提到的立場強(qiáng)度(0代表無強(qiáng)度/中立；1.0代表完全支持/完全反對)

立場的一致值=符號*振幅

數(shù)據(jù)集

作者搭建了智能網(wǎng)絡(luò)論辯系統(tǒng)（intelligent cyber argumentation system, ICAS），并邀請研究生在該平臺上進(jìn)行論辯互動，并為自己的回復(fù)進(jìn)行一致值的標(biāo)注（一致值的標(biāo)注以0.2為最小間隔），如下圖所示：

作者收集了從2017年秋季至2019年春季所記錄的所有文本、一致值標(biāo)注的數(shù)據(jù)，共計(jì)從904位用戶中得到了22606條論點(diǎn)數(shù)據(jù)。

模型

作者應(yīng)用了SemEval 2016 Twitter 立場檢測任務(wù)中表現(xiàn)最好的五個(gè)模型，進(jìn)行了相應(yīng)改動（注：由于原本的立場檢測任務(wù)為分類任務(wù)，而上文提到的強(qiáng)度判別為回歸任務(wù)，故在本任務(wù)中需要將這些模型最后的分類層進(jìn)行改為輸出[-1.0,+1.0]的實(shí)值）應(yīng)用到了上文所描述的新數(shù)據(jù)集中，模型分別如下所示：

Ridge-M以及Ridge-S

這兩個(gè)回歸模型基于1-3gram的詞特征、2-5gram的字符特征等文本特征表示（Ridge-S模型還加入了詞嵌入特征），并將其輸入SVM模型從而得到在立場上的分類標(biāo)簽（在此任務(wù)中SVM被替換成了Ridge回歸模型）。

SVR-RF-R整合模型

該模型利用語言特征、主題特征、詞嵌入特征以及一些詞法特征（共2855維），并將其輸入至一個(gè)SVM分類器、一個(gè)隨機(jī)森林分類器、一個(gè)樸素貝葉斯模型進(jìn)行多數(shù)投票從而得到最后的分類結(jié)果（在此任務(wù)中三個(gè)模型被替換為SVR、隨機(jī)森林回歸器以及Ridge回歸模型）。

pkudblab-PIP

該模型如下圖所示，是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型，通過將輸入句子的詞向量依次送入2D卷積層、最大池化層、全連接稠密層從而得到最終的標(biāo)簽分類（該任務(wù)中輸出層替換為sigmoid層，從而輸出實(shí)值一致值）。

T-PAN-PIP

該模型如下圖所示，是一個(gè)基于遞歸神經(jīng)網(wǎng)絡(luò)的模型。該模型通過將輸入句子的詞向量依次送入BiLSTM以及注意力層，從而得到最終的標(biāo)簽分類（該任務(wù)中輸出替換為sigmoid層，從而輸出實(shí)值一致值）。

實(shí)驗(yàn)

該論文的實(shí)驗(yàn)主要從兩方面進(jìn)行：

上述五個(gè)在立場極性檢測中表現(xiàn)最好的模型在新任務(wù)新數(shù)據(jù)集上的表現(xiàn)：

如圖所示，五個(gè)模型在新數(shù)據(jù)集上的RMSE（均方誤差根）分布在0.596~0.718之間，作者稱這個(gè)表現(xiàn)與原任務(wù)上的效果接近。其中SVR-RF-R整合模型的RMSE指標(biāo)最低，取得了最好的效果。

所提出的新任務(wù)是否提升了模型在原任務(wù)上的表現(xiàn)：

注意到當(dāng)前新任務(wù)的標(biāo)簽以及預(yù)測都是一個(gè)取值范圍為[-1.0,+1.0]的實(shí)數(shù)值，為了與傳統(tǒng)的立場極性檢測作比較，作者將新任務(wù)的一致值標(biāo)簽以及預(yù)測都取其符號，于是新任務(wù)又被轉(zhuǎn)化成了分類問題。最終，作者將僅預(yù)測極性任務(wù)的模型性能與上述預(yù)測一致值的模型在極性標(biāo)簽上的性能做對比（如下圖所示），發(fā)現(xiàn)了大多數(shù)模型（4個(gè)）在經(jīng)過了一致值預(yù)測任務(wù)的訓(xùn)練后，在立場極性的判斷上都比原分類任務(wù)的模型表現(xiàn)更好，從而得出了新任務(wù)單就立場極性的判斷上也能提升模型的性能，是一個(gè)合理的任務(wù)。

2

動機(jī)

缺乏對特定觀點(diǎn)提出異議的相反觀點(diǎn)的了解，可能導(dǎo)致我們的決策最終基于片面或者存在偏見的信息。

具體操作上，該任務(wù)定義為：給定輸入文本和語料庫，請從該語料庫中檢索一個(gè)包含與輸入文本中提出的論點(diǎn)相駁斥的反文本。

數(shù)據(jù)集

數(shù)據(jù)集構(gòu)建

本篇文章作者采用（Mirkin et. al., 2018）所提出的辯論文本生成規(guī)范，通過聘請專業(yè)辯論人員進(jìn)行給定主題、立場的口頭陳述，再通過語音轉(zhuǎn)文本技術(shù)生成對應(yīng)的辯論文本，具體的數(shù)據(jù)集生成過程如下：

錄制支持論題的演講

專業(yè)辯手給定一系列論題(motion)以及相關(guān)的背景資料（從Wikipedia等在線資源網(wǎng)站上獲得）

每位辯手每次被給予十分鐘的準(zhǔn)備時(shí)間

準(zhǔn)備時(shí)間結(jié)束后每位辯手每次錄制一段長度為四分鐘的的辯論演講（用于支持給定論題）

將上述得到的演講錄音通過語音轉(zhuǎn)文字技術(shù)轉(zhuǎn)換為文本

錄制反對論題的演講

專業(yè)辯手給定一系列論題(motion)、一篇由上述過程生成的支持論題的演講稿以及相關(guān)的背景資料（從Wikipedia等在線資源網(wǎng)站上獲得）

每位辯手每次被給予十分鐘的準(zhǔn)備時(shí)間

準(zhǔn)備時(shí)間結(jié)束后每位辯手每次錄制一段長度為四分鐘的的辯論演講（用于反對給定的支持演講稿）

將上述得到的演講錄音通過語音轉(zhuǎn)文字技術(shù)轉(zhuǎn)換為文本

上述過程中所涉及的論題、論點(diǎn)之間的關(guān)系如下圖所示（其中、為兩個(gè)不同的論題，表示支持論題的演講，表示反對這些支持演講的演講，實(shí)線和虛線分別表示顯式反對與隱式反對）：

數(shù)據(jù)集分析

共包含460個(gè)不同論題

總共錄制了1797段支持論題的演講

總共錄制了1887段反對這些支持演講的演講

348篇為顯式反駁

1389篇為隱式反駁

150篇為直接反對給定議題的演講，并不駁斥任何一篇支持議題的演講

實(shí)驗(yàn)

人工表現(xiàn)

在收集到上述數(shù)據(jù)集之后，作者先進(jìn)行了人工表現(xiàn)的實(shí)驗(yàn)。作者共組織了兩場實(shí)驗(yàn)，第一場參與者為進(jìn)行過多次數(shù)據(jù)標(biāo)注任務(wù)的標(biāo)注專家，第二場參與者為隨機(jī)招募的實(shí)驗(yàn)者。

對于每一段支持論題的演講，組織方都會給出3~5段反對演講，其中有一段是正確的駁斥所給定的支持言論，剩余則為同一論題下與支持言論不構(gòu)成駁斥關(guān)系的錯(cuò)誤選項(xiàng)，受試者需要從給定的候選文本給出自己認(rèn)為的正確答案，當(dāng)無法確定時(shí)，需要他們隨機(jī)猜一個(gè)答案并說明情況。人工實(shí)驗(yàn)的結(jié)果如下表所示（A表示人工試驗(yàn)的準(zhǔn)確率，R表示隨機(jī)猜的準(zhǔn)確率；Ex表示標(biāo)注專家的結(jié)果，Cr表示隨機(jī)招募的受試者的結(jié)果）：

由上表我們可以得出如下幾個(gè)結(jié)論：

人工表現(xiàn)遠(yuǎn)超隨機(jī)猜測的準(zhǔn)確率，說明這個(gè)任務(wù)是可行的；

標(biāo)注專家結(jié)果比受試者有明顯提升；

隱式駁斥的文本相比顯示駁斥文本更難選擇正確。

模型表現(xiàn)

在進(jìn)行完人工實(shí)驗(yàn)之后，作者采用了較多的語言模型來進(jìn)行自動化實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如下表所示：

其中值得一提的是BERT的表現(xiàn)差強(qiáng)人意，在眾多基于特征的方法中處于下游，甚至與隨機(jī)猜的準(zhǔn)確率相近，這是因?yàn)楦鶕?jù)之前的方式所生成的數(shù)據(jù)集長度遠(yuǎn)超BERT的最大長度512，因此作者不得不對原文以及候選項(xiàng)都進(jìn)行截?cái)?，但仍然未能得到使人滿意的結(jié)果，這也從另一方面體現(xiàn)出當(dāng)前對于長文本的處理方法仍存在較大的局限性。

3

動機(jī)&貢獻(xiàn)

當(dāng)前階段盡管立場檢測任務(wù)已經(jīng)有了長足發(fā)展，但跨領(lǐng)域的的目標(biāo)立場檢測（指訓(xùn)練集和數(shù)據(jù)集在領(lǐng)域上存在差異）進(jìn)展較小。

本文從語義相關(guān)和情感相關(guān)的詞匯表中構(gòu)建語義情感知識圖（SE圖），并通過應(yīng)用圖卷積網(wǎng)絡(luò)（GCN）對上述的情感知識圖進(jìn)行表示學(xué)習(xí)，并將傳統(tǒng)的BiLSTM進(jìn)行了改進(jìn)，使其可以更好地使用上述SE圖所帶來的外部知識。

實(shí)驗(yàn)結(jié)果顯示，通過上述方式的處理，模型在跨領(lǐng)域的目標(biāo)立場檢測任務(wù)上取得了SOTA的表現(xiàn)。

數(shù)據(jù)集

本篇文章所采用的數(shù)據(jù)集來自于SemEval2016年的第六個(gè)任務(wù)，共包含在4個(gè)話題，包括Donald Trump (DT), Hillary Clinton (HC), Legalization of Abortion (LA), 和Feminist Movement (FM)上的4870條推特文本，每條推特文本都包含在一個(gè)話題上的立場標(biāo)簽。作者還向其中加入了一個(gè)新的話題，Trade Policy (TP)，其包含了1245條推特文本。之后作者將這五個(gè)話題按照其語義分為了兩組：婦女權(quán)利（FM, LA）以及美國政治（DT，HC，TP）。由此，作者構(gòu)造出了八組跨領(lǐng)域的目標(biāo)立場檢測任務(wù) ( DT→HC, HC→DT, FM→LA, LA→FM, TP→HC, HC→TP, TP→DT, DT→TP)。（左箭頭表示從源領(lǐng)域到目標(biāo)領(lǐng)域）

模型

作者所提出的模型SEKT整體架構(gòu)如下圖所示，其主要由兩部分構(gòu)成：SE圖以及知識增強(qiáng)的BiLSTM：

語義-情感知識圖（SE圖）構(gòu)建

將SenticNet中的同義/近義詞兩兩之間連邊

將EmoLex中每個(gè)詞及其對應(yīng)的可能的情感兩兩連邊

上述過程如下圖所示，注意這里我們構(gòu)建的是包含詞和情感標(biāo)簽的異質(zhì)網(wǎng)絡(luò)圖：

語義-情感知識圖表示

對于每個(gè)節(jié)點(diǎn)，我們從全知識圖中抽出一個(gè)的子圖（文中k取1）

接下來把傳到一個(gè)兩層GCN中

最后我們將傳入一個(gè)全連接層來得到圖的最終表示

知識增強(qiáng)的BiLSTM

該模塊結(jié)構(gòu)如下圖所示：

上圖中左邊藍(lán)色部分為普通BiLSTM的結(jié)構(gòu)組件，按如下公式更新狀態(tài)：

該模塊中右半部分為知識知曉的記憶模塊，按如下方式更新狀態(tài)：

對于每一個(gè)詞，我們從SE圖中抽取出其對應(yīng)的實(shí)體，并且獲得以其為中心的子圖表示。

最終，將所得到的目標(biāo)表示以及句子表示再通過一個(gè)注意力層，便可得到句子在目標(biāo)上的立場分類預(yù)測結(jié)果。

實(shí)驗(yàn)

與基線模型相比

作者所提出的完整模型在SemEval 2016 任務(wù)6數(shù)據(jù)集上的表現(xiàn)如下圖所示：

可以看出作者的SEKT模型在8個(gè)跨領(lǐng)域的目標(biāo)立場檢測任務(wù)中的表現(xiàn)都超過了大多數(shù)基線模型，達(dá)到了SOTA的效果，說明作者這種通過加入語義詞典與情感詞典的外部知識模型，完成了領(lǐng)域遷移中對于關(guān)鍵詞的表示以及關(guān)系建模。

消融實(shí)驗(yàn)

在驗(yàn)證了完整模型的SOTA性能后，作者進(jìn)一步進(jìn)行了消融實(shí)驗(yàn)，在上述8個(gè)任務(wù)中去掉SE圖建模以及將拓展的BiLSTM替換為傳統(tǒng)LSTM，分別進(jìn)行性能對照，結(jié)果如下圖所示：

可以看出在大多數(shù)跨領(lǐng)域的目標(biāo)立場檢測中，去掉SE圖表示或去掉對于BiLSTM的改進(jìn)，都會使得模型性能下降0.02左右的指標(biāo)，從而證明了這兩部分的重要性。（注：作者此處的消融實(shí)驗(yàn)不僅僅是去掉了SE兩個(gè)詞典中的信息以及圖表示學(xué)習(xí)的信息，而是保留這些信息，但在模型層面去掉上述較為復(fù)雜的操作，因此在不影響輸入的信息量的情況下，但就模型設(shè)計(jì)方面證明了所提模型的優(yōu)越性）。