1、總述
事件檢測旨在從給定的文本中識別事件觸發(fā)詞,并將其分類為事件類型。目前事件檢測的大多數(shù)方法在很大程度上依賴于訓(xùn)練實(shí)例,而幾乎忽略了事件類型之間的相關(guān)性。因此,它們往往會面臨數(shù)據(jù)匱乏的問題,并且無法處理新的未見過的事件類型。
為了解決這些問題,我們將事件檢測重構(gòu)成事件本體填充的過程:將事件實(shí)例鏈接到事件本體中的預(yù)定義事件類型,并提出一種新穎的借助本體嵌入進(jìn)行事件檢測的框架——OntoED。我們通過建立事件類型之間的聯(lián)系來豐富事件本體,并進(jìn)一步推理出更多的事件對之間的關(guān)聯(lián)。
OntoED可以基于事件本體實(shí)現(xiàn)事件知識的利用和傳播,特別是從高資源傳播到低資源的事件類型。此外,OntoED可以通過建立未知事件類型與現(xiàn)有事件的鏈接,實(shí)現(xiàn)對新的未見事件類型的檢測。
2、方法
具體來說,OntoED模型分為三階段:
(1)事件本體填充
在這一階段,初始的事件本體包含孤立的事件類型和事件實(shí)例,這一步就是為了建立起事件類型和事件實(shí)例的初始關(guān)聯(lián),并建立起事件實(shí)例之間的聯(lián)系。
Instance Encoder:我們利用BERT得到事件實(shí)例的表示 ;
Class Encoder:每個事件類型由事件原型 表示,初始的事件原型是通過計(jì)算事件實(shí)例表示的均值得到;
Event Detector:通過計(jì)算事件實(shí)例表示 和事件原型 之間的向量距離進(jìn)行事件檢測;
Instance Relation Extractor:抽取事件實(shí)例之間的關(guān)系。我們利用 來建模兩個事件實(shí)例表示之間的相互作用,并用softmax進(jìn)行關(guān)系分類。
(2)事件本體學(xué)習(xí)
在事件本體學(xué)習(xí)階段,通過事件實(shí)例之間的聯(lián)系建立起事件類型之間的聯(lián)系,以得到更為豐富的事件本體。
Ontology Completion:主要包含建模事件實(shí)例的內(nèi)部結(jié)構(gòu)(Instance-to-class Linking)以及事件類型之間關(guān)聯(lián)的外部結(jié)構(gòu)(Class-to-class Linking)。
Ontology Embedding:主要包含原型傳播和原型更新。在原型傳播階段,每個事件原型會傳播到與它鄰接的事件原型上,我們用 的矩陣 來表示事件對之間的關(guān)系;在原型更新階段,每個事件原型的表示更新成自身原本的原型表示與鄰接原型傳播得到表示的加權(quán)平均。
傳播到每個事件原型的表示:
事件原型更新后的表示:
(3)事件關(guān)聯(lián)推斷
在事件關(guān)聯(lián)推斷階段,通過上一階段得到的事件之間的關(guān)聯(lián)推斷出更多事件對之間的聯(lián)系,比如,(e1, CAUSE, e2) → (e1, BEFORE, e2);(e1, BEFORE, e2) ∧ (e2, BEFORE, e3) → (e1, BEFORE, e3)。
給定grounding ,我們通過計(jì)算它的得分來判斷事件之間關(guān)聯(lián)推斷成立的可能性。
這里我們主要考慮了本體語言O(shè)WL2中所定義的關(guān)系的對象屬性:
并利用線性映射假設(shè)對關(guān)系矩陣的表示進(jìn)行約束:
最后通過計(jì)算grounding左右兩邊關(guān)系矩陣的表示差異來得到grounding的得分,也就是可以通過grounding右邊的事件關(guān)聯(lián)推斷出grounding左邊新的事件關(guān)聯(lián)的可能性。
3、實(shí)驗(yàn)
(1)數(shù)據(jù)集
為了驗(yàn)證OntoED的效果,我們構(gòu)造了包含事件之間關(guān)系的事件抽取數(shù)據(jù)集——OntoEvent(數(shù)據(jù)集鏈接已給出,詳細(xì)的數(shù)據(jù)統(tǒng)計(jì)在論文的支撐材料里)。
(2)實(shí)驗(yàn)結(jié)果
我們分別在全量樣本、少樣本、零樣本的數(shù)據(jù)上做了實(shí)驗(yàn)。實(shí)驗(yàn)表明,OntoED比以往的事件檢測方法效果更佳,尤其是在低資源的情況下。
編輯:jq
-
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1236瀏覽量
26187
原文標(biāo)題:ACL2021 | OntoED:利用本體表示學(xué)習(xí)實(shí)現(xiàn)低資源的事件抽取
文章出處:【微信號:zenRRan,微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
利用開源uart2axi4實(shí)現(xiàn)串口訪問axi總線
電纜隧道在線監(jiān)測的實(shí)現(xiàn)
解鎖立式廣告機(jī)優(yōu)勢密碼,暢享高效傳播|高格欣科技
中興通訊斬獲ESG年度傳播影響力先鋒獎
如何利用Verilog HDL在FPGA上實(shí)現(xiàn)SRAM的讀寫測試
如何利用Trace機(jī)制實(shí)現(xiàn)LLCP預(yù)覽功能
天馬微電子榮獲杰出ESG價值傳播獎
軟通動力斬獲年度企業(yè)公關(guān)傳播案例獎
信號如何在PCB中傳播
傳音控股入選2025品牌全球傳播力榜總榜
如何利用RAKsmart服務(wù)器實(shí)現(xiàn)高效多站點(diǎn)部署方案
利用衍射光學(xué)實(shí)現(xiàn)單向光聚焦 新帖標(biāo)志
OntoED可以基于事件本體實(shí)現(xiàn)事件知識的利用和傳播
評論