本文主要詳細(xì)解讀關(guān)系抽取SOTA論文Two are Better than One:Joint Entity and Relation Extraction with Table-Sequence Encoders[1]， 順帶簡(jiǎn)要介紹關(guān)系抽取的背景，方便完全不了解童鞋。

信息抽取

我們說(shuō)的信息抽取一般是指從文本數(shù)據(jù)中抽取特定數(shù)據(jù)結(jié)構(gòu)信息的一種手段。對(duì)于不同結(jié)構(gòu)形式的數(shù)據(jù)如結(jié)構(gòu)化文本，半結(jié)構(gòu)化文本，自由文本，有各自對(duì)應(yīng)的方案，其中從自由文本中抽取難度最大?？傊?，我們的目的是希望在海量文本中，快速抽出我們關(guān)注的事實(shí)。

了解信息抽取必須要知道關(guān)系抽取。

關(guān)系抽取

大部分情況下，我們喜歡用三元組的數(shù)據(jù)結(jié)構(gòu)來(lái)描述抽取到的信息

三元組

三元組的表達(dá)能力非常豐富，幾乎所有事情都可以自然或者強(qiáng)行的表達(dá)成三元組，比如隨便一句”今天天氣真冷“ 表達(dá)為天氣-狀態(tài)-冷。

三元組與后續(xù)的知識(shí)圖譜工作非常適配，如Neo4j等圖數(shù)據(jù)庫(kù)就是以三元組為存儲(chǔ)單位，圖譜的查詢推斷等工具使用三元組比普通的關(guān)系型數(shù)據(jù)庫(kù)來(lái)的方便的多。

三元組千千萬(wàn)，我應(yīng)該怎么抽？

Schema

當(dāng)我們拿到一個(gè)信息抽取的任務(wù)，需要明確我們抽取的是什么，”今天天氣真冷“，我們要抽的天氣的狀態(tài)天氣-狀態(tài)-冷，而非今天-氣候-冷(雖然也可以這樣抽)，因此一般會(huì)首先定義好我們要抽取的數(shù)據(jù)結(jié)構(gòu)模式shcema, 會(huì)確定謂詞以及主語(yǔ)并與的類型

一個(gè)三元組schema的例子，其中Subject_type代表主語(yǔ)類型，Predicate是謂詞，Object_type指賓語(yǔ)類型：

Subject_type：人物 Predicate:出生地 Object_type:地點(diǎn)

確定了schema，我們一般如何抽取呢？

常規(guī)RE方案

目前主流關(guān)系抽取一般兩種解決方法

pipline兩步走:將關(guān)系抽取分解為NER任務(wù)和分類任務(wù)，NER任務(wù)標(biāo)注主語(yǔ)或賓語(yǔ)，分類主要針對(duì)定義的schema中的有限個(gè)謂詞進(jìn)行分類。根據(jù)具體任務(wù)不同，有些可能是兩步走或者三步走，pipline任務(wù)的順序先分類還是先標(biāo)注也會(huì)有差異

Pipline優(yōu)勢(shì)：每一步分別針對(duì)各個(gè)任務(wù)進(jìn)行，表征是task-specific， 相對(duì)來(lái)說(shuō)精度較高

Pipline缺陷：- 任務(wù)有順序會(huì)存在誤差傳遞問(wèn)題，即在預(yù)測(cè)時(shí)下一步任務(wù)會(huì)受上一步誤差影響，而在訓(xùn)練階段沒(méi)有這種誤差，因此存在訓(xùn)練和預(yù)測(cè)階段的gap- 分開的任務(wù)在一句話中多個(gè)實(shí)體關(guān)系時(shí)，比較難解決實(shí)體和關(guān)系的對(duì)應(yīng)問(wèn)題，以及重疊關(guān)系

joint learning：joint learing可以理解為采用多任務(wù)的方式，同時(shí)進(jìn)行NER和關(guān)系分類任務(wù), 在眾多joint learning中最出眾的是采用tabel filled 方式，即任務(wù)的輸出是filled一張有text-sequence構(gòu)成的表，在表中的位置表達(dá)除了詞與詞的連接，該位置的標(biāo)注則標(biāo)出了謂語(yǔ)（如下圖）

優(yōu)勢(shì)：1. 兩個(gè)任務(wù)的表征有交互作用可能輔助任務(wù)的學(xué)習(xí)2. 不用訓(xùn)練多個(gè)模型，一個(gè)模型解決問(wèn)題，不存在訓(xùn)練與預(yù)測(cè)時(shí)的gap

缺陷：1. 兩個(gè)任務(wù)的表征可能沖突，影響任務(wù)效果2. 解決了主謂賓之間的對(duì)應(yīng)關(guān)系，無(wú)法解決重疊問(wèn)題3. Fill table本質(zhì)仍然是轉(zhuǎn)成sequence來(lái)fill，未能充分利用table結(jié)構(gòu)信息（下文會(huì)解釋）

下面重點(diǎn)解讀table fill方式的一篇SOTA，解決了joint learning的多任務(wù)表征沖突以及為利用table結(jié)構(gòu)信息

RE with Table Sequence

終于來(lái)到本篇的主題啦，為了解決一般filled table的問(wèn)題， 作者提出table-sequence encoder的方法，分別對(duì)table和sequence做表征，本文的最大貢獻(xiàn)在于

分別對(duì)table和sequence做表征(encoder)，并設(shè)計(jì)了一個(gè)Table-Guided Attention來(lái)對(duì)table和sequence進(jìn)行交互，這樣即不會(huì)完全共享表征導(dǎo)致對(duì)不同的任務(wù)表征沖突，也不會(huì)丟失表征的相互指導(dǎo)作用

在table encoder中采用多維GRU來(lái)捕獲更多的句子結(jié)構(gòu)信息

在架構(gòu)上table encoder和 sequence encoder多層交互

下面仔細(xì)介紹各個(gè)部分，看看它是如何神奇做到SOTA的

Text Embedder

在上圖的結(jié)構(gòu)圖中，Text Embedder采用類似FLAT分別做了基于lstm的char()和word(),以及基于bert的word ()作為預(yù)訓(xùn)練的embedding ，并拼接起來(lái)

圖中

Table Encoder

整個(gè)Table Encoder部分由多個(gè)Table Encoding的單元組成，每個(gè)Encoding單元的輸入分別是起始輸入,對(duì)應(yīng)senquence結(jié)構(gòu)的輸入,以及上一個(gè)Tabel Encoding單元的輸出，Table Encoding 采用MDRNN結(jié)構(gòu)提取輸入的特征信息，作者在這選擇MDGRU（多維度GRU），tabel結(jié)構(gòu)本身有2維，加上前后層實(shí)際有4維，但是層的維度信息單向流動(dòng)，實(shí)際上是只用到了3個(gè)方向()

如圖所示，是來(lái)自sequence的輸入，作者分別測(cè)了使用所有方向和分別使用幾個(gè)方向，發(fā)現(xiàn)上圖中a,c效果類似，這種多維GRU全面的考慮了整個(gè)table的結(jié)構(gòu)信息，即一個(gè)詞的狀態(tài)跟其他所有詞的狀態(tài)相關(guān)，并且受其他詞的不同程度的影響，這種影響程度由GRU門控機(jī)制控制

Sequence Encoder

sequence Encoder 也由多個(gè)sequence encoding夠成，sequence encoding結(jié)構(gòu)直接采用transformer中的encoder

只不過(guò)將其中的self attention替換為table-guide attention,這種attention的改造非常巧妙，能更好捕捉word-word之間的關(guān)系

正常的dot attention如上圖

Table-Guided attention具體來(lái)說(shuō)：

為參數(shù)矩陣

采用加性

是table encoder中的table的隱藏節(jié)點(diǎn)，該節(jié)點(diǎn)由多個(gè)方向的經(jīng)過(guò)GRU編碼得到，不管是哪個(gè)方向它的來(lái)源始終是由構(gòu)造而來(lái)，理論上是可以由擬合而來(lái)，因此這里直接由 來(lái)代替 ,也就是這個(gè)attention，其實(shí)是計(jì)算了table 結(jié)構(gòu)中各個(gè)位置對(duì)該的權(quán)重，是一個(gè)四面八方attention

剩下就是transform中正常的LayerNorm 和殘差結(jié)構(gòu)了

輸出和loss

輸出比較常規(guī),loss采用常規(guī)

輸出：

loss：

實(shí)驗(yàn) and 效果

作者在各個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，對(duì)比各個(gè)目前SOTA分別有一定的提高，且時(shí)效果最佳，模型參數(shù)量不到5M，要什么自行車，附上開源地址[2]，作者的代碼與論文在attention計(jì)算有一丟丟不一致，但是并不影響效果

責(zé)任編輯：xj

原文標(biāo)題：關(guān)系抽取一步到位！

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。