本次將分享ICLR2021中的三篇投遞文章，涉及知識圖譜與訓(xùn)練模型相結(jié)合和命名實體識別（NER）的研究工作。

文章概覽

知識圖譜和語言理解的聯(lián)合預(yù)訓(xùn)練（JAKET： Joint Pre-training of Knowledge Graph and Language Understanding）。該論文提出了知識圖譜和文本的聯(lián)合訓(xùn)練框架，通過將RoBERTa作為語言模型將上下文編碼信息傳遞給知識圖譜，同時借助圖注意力模型將知識圖譜的結(jié)構(gòu)化信息反饋給語言模型，從而實現(xiàn)知識圖譜模型和語言模型的循環(huán)交替訓(xùn)練，使得在知識圖譜指導(dǎo)下的預(yù)訓(xùn)練模型能夠快速適應(yīng)新領(lǐng)域知識。

語言模型是開放知識圖譜（Language Models are Open Knowledge Graphs）。該論文提出了能夠自動化構(gòu)建知識圖譜的Match and Map（MAMA）模型，借助預(yù)先訓(xùn)練好的語言模型中的注意力權(quán)重來提取語料中的實體間關(guān)系，并基于已有的schema框架自動化構(gòu)建開放性知識圖譜。

命名實體識別中未標(biāo)記實體問題的研究（Empirical Analysis of Unlabeled Entity Problem in Named Entity Recognition）。論文探究了未標(biāo)注實體問題對NER實驗指標(biāo)的影響，并提出了一種負采樣策略，通過改進損失函數(shù)，將為標(biāo)注實體當(dāng)作負樣本訓(xùn)練，從而極大改善了未標(biāo)注實體問題對NER實驗指標(biāo)的影響。

論文細節(jié)

1

論文動機

現(xiàn)有的將知識圖譜與預(yù)訓(xùn)練模型相結(jié)合的研究工作還存在挑戰(zhàn)：當(dāng)預(yù)先訓(xùn)練好的模型與新領(lǐng)域中的知識圖譜結(jié)合微調(diào)時，語言模型難以高效學(xué)習(xí)到結(jié)構(gòu)化的實體關(guān)系語義信息。同時知識圖譜的理解推理能力也需要上下文的輔助?；诖耍撐奶岢隽艘粋€聯(lián)合預(yù)訓(xùn)練框架：JAKET，通過同時對知識圖譜和語言建模，實現(xiàn)兩個模型之間的信息互補和交替訓(xùn)練。方法1. 知識模塊（Knowledge Module，KM）知識模塊主要是對知識圖譜進行建模，生成含有結(jié)構(gòu)化信息的實體表示。采用圖注意力模型和組合算子思想來聚合實體嵌入和關(guān)系嵌入信息。在第L層的實體V的嵌入信息傳播公式為：

考慮到計算過程中可能會出現(xiàn)的實體數(shù)爆炸問題，實驗采用了設(shè)置minibatch領(lǐng)域采樣的方法獲取多跳鄰居集合。2. 語言模塊（Language Module，LM）語言模塊主要是對文本建模，學(xué)習(xí)文本的嵌入表示。采用RoBERT-base作為預(yù)訓(xùn)練模型。3.解決循環(huán)依賴問題（Solve the syclic dependency）由于LM和KM是互相傳遞信息的，訓(xùn)練過程存在循環(huán)依賴問題，不便于后續(xù)計算優(yōu)化。論文提出了分解語言模型解決此問題，即將LM分解為LM1和LM2子模塊，將RoBERT的前6層和后6層分別作為LM1和LM2，實現(xiàn)LM1，KM和LM2的聯(lián)合訓(xùn)練。整體框架如下圖所示。

實驗結(jié)果論文在實體類別預(yù)測、關(guān)系類別預(yù)測、詞塊掩碼預(yù)測、實體掩碼預(yù)測4個任務(wù)上進行預(yù)訓(xùn)練，并在小樣本關(guān)系分類、KGQA和實體分類這3個下游任務(wù)上進行實驗。實驗結(jié)果分別如下圖所示：

由實驗結(jié)果可知，在3個任務(wù)中論文提出的JAKET都可以進一步提高性能，并且聯(lián)合預(yù)訓(xùn)練可以有效減少模型對下游訓(xùn)練數(shù)據(jù)的依賴。

2

論文動機

知識圖譜的構(gòu)建方法通常需要人工輔助參與，但是人力成本太高；

同時BERT等預(yù)訓(xùn)練模型通常在非常大規(guī)模的語料上訓(xùn)練，訓(xùn)練好的模型本身包含常識知識，這些知識可以促進上層的其他應(yīng)用。

所以本論文提出了一種無監(jiān)督的Match and Map（MAMA）模型，來將預(yù)訓(xùn)練語言模型中包含的知識轉(zhuǎn)換為知識圖譜。

方法

1. 匹配（Match）

Match階段主要是自動抽取三元組。對于輸入的文本，使用開源工具抽取出實體，并將實體兩兩配對為頭實體和尾實體，利用預(yù)訓(xùn)練模型的注意力權(quán)重來提取實體對的關(guān)系。通過beam search的方法搜索多條從頭實體到尾實體的路徑，從而獲取多個候選的三元組。再通過設(shè)置一些限制規(guī)則過濾掉不符常理的三元組，即得到用于構(gòu)建知識圖譜的三元組。

2. 映射（Map）

Map階段主要是將Match階段抽取到的三元組映射到知識圖譜中去。利用成熟的實體鏈接和關(guān)系映射技術(shù)，將三元組映射到已有的固定schema圖譜中。對于部分映射或完全不匹配的三元組，就構(gòu)建開放schema的知識圖譜，并最后將這兩類知識圖譜融合，得到一個靈活的開放性知識圖譜。

整體框架如下：

論文中使用BERT-large對Wikipedia語料進行自動化構(gòu)建知識圖譜，圖譜效果如下：

實驗結(jié)果

論文在TAC KBP和Wikidata數(shù)據(jù)集上進行槽填充任務(wù)實驗。

在TAC KBP數(shù)據(jù)集上的結(jié)果如下表：

基于TAC KBP數(shù)據(jù)集的實驗結(jié)果主要有兩點：一是MAMA模型能夠提升知識圖譜的槽填充效果；二是更大/更深的語言模型能夠抽取出更高質(zhì)量的知識圖譜。

在Wikidata數(shù)據(jù)集上的結(jié)果如下表：

基于Wikidata數(shù)據(jù)集的實驗結(jié)論一方面說明MAMA可擴展到更大的語料庫，另一方面說明MAMA能從更大規(guī)模的語料庫中抽取出更完整的知識圖譜。

3

論文動機

實體未標(biāo)注問題是命名實體識別（NER）任務(wù)中的常見問題，且該問題在實際情況中無法完全避免。既然無法徹底解決實體未標(biāo)注問題，那么該問題是否會對NER模型產(chǎn)生影響呢？若產(chǎn)生較大影響，如何將這種消極影響盡量降低？

基于上述問題，論文分析了未標(biāo)注實體問題對NER實驗指標(biāo)的影響及其原因，并提出了一種具有魯棒性的負采樣策略，使得模型能夠保持在未標(biāo)注實體概率極低的狀態(tài)下訓(xùn)練，從而提升實體標(biāo)注效果。

方法

1.合成數(shù)據(jù)集（Synthetic Datasets）

通過在標(biāo)注完善的CoNLL-2003和OntoNotes5.0數(shù)據(jù)集按照一定概率隨機掩蓋標(biāo)注出的實體，獲取人工合成的欠完善標(biāo)注數(shù)據(jù)集。

2.衡量指標(biāo)（Metrics）

文章中設(shè)計了侵蝕率（erosion rate）和誤導(dǎo)率（misguidance rate）2種指標(biāo)來測算NER中未標(biāo)注實體問題的影響。

侵蝕率代表實體標(biāo)注量減少對NER指標(biāo)下降的影響程度。

誤導(dǎo)率代表未標(biāo)注實體對當(dāng)作負樣本時對NER指標(biāo)下降的影響程度。

3.負采樣（Negative Sampling）

文章采用負采樣的方式進行降噪，對所有的非實體進行負采樣，采樣負樣本進行損失函數(shù)的計算。改進后的損失函數(shù)如下所示：

其中前半部分表示標(biāo)注實體集合的損失，后半部分則是負采樣實體集合的損失。文章的整體模型框架如下圖所示，總體就是BERT/LSTM編碼+softmax的思路。

實驗結(jié)果

文章在合成數(shù)據(jù)集上進行NER任務(wù)實驗，分析未標(biāo)注問題的影響和負采樣的訓(xùn)練效果。

首先是分別基于CoNLL-2003和OntoNotes5.0合成數(shù)據(jù)集進行的實驗結(jié)果：

由圖可知：隨著實體掩蓋概率p增大，即未標(biāo)注實體數(shù)量增多，NER指標(biāo)下降明顯；在p很低的時候，誤導(dǎo)率就較高了，而侵蝕率受影響較小，說明把未標(biāo)注實體當(dāng)作負樣本訓(xùn)練、對NER指標(biāo)下降的影響程度很大，實體標(biāo)注量減少對指標(biāo)下降的影響較小

其次將文章提出的負采樣訓(xùn)練模型與其他SOTA模型分別在完全標(biāo)注數(shù)據(jù)集和真實數(shù)據(jù)集上做對比，實驗結(jié)果如下：

結(jié)果表明本模型在完全標(biāo)注數(shù)據(jù)集上的效果和其他模型相差不大，并且真實世界數(shù)據(jù)集上的效果遠優(yōu)于其他的模型，所以本文模型的綜合效果最好。

總結(jié)

此次解讀的三篇論文圍繞知識建模和信息抽取的研究點展開。感覺知識圖譜結(jié)合語言模型的相關(guān)研究的趨勢是嘗試使用同一套編碼系統(tǒng)，同時對語言模型中的上下文信息和知識圖譜中的結(jié)構(gòu)化語義信息進行編碼和訓(xùn)練，從而實現(xiàn)知識融合或知識挖掘。此外，第三篇文章主要想給廣大做知識圖譜方向的研究者分享一個命名實體識別的技巧思路，當(dāng)面對標(biāo)注質(zhì)量不那么高的數(shù)據(jù)集時，或許可以嘗試一下負采樣的方法。

以上就是Fudan DISC本期的論文分享內(nèi)容，歡迎大家的批評和交流。

原文標(biāo)題：【論文解讀】ICLR2021 知識建模與信息抽取

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq