命名實體識別（NER）是信息抽取的一項基本任務，它的目的是識別文本片段中的實體及類型，如人名（PER），地名（LOC）和組織名（ORG）。命名實體識別在許多下游任務都有著廣泛的應用，如實體鏈接和關系抽取。

最近，大多數(shù)關于NER的研究只依靠文本模態(tài)來推斷實體標簽[3,4,5]，然而，當文本中包括多義實體時，只依賴文本模態(tài)的信息來識別命名實體就變得非常困難[6,7]。一種有希望的解決方案是引入其他模態(tài)（比如圖像）作為文本模態(tài)的補充。如圖1所示，Twitter文本中出現(xiàn)的單詞“Alibaba”可以被識別為多種類型的實體，例如人名或組織名，但當我們將單詞“Alibaba”與圖片中的視覺對象person對齊后，組織名就會被過濾掉。

從上面的例子中可以看出，將文本中的單詞與圖片中的視覺對象對齊是多模態(tài)命名實體識別任務（MNER）的核心。為此做了很多努力，大致可以分為以下三個方面：（1）將整張圖片編碼為一個全局特征向量，然后設計有效的注意力機制來提取與文本相關的視覺信息[6]；（2）將整張圖片平均地分為多個視覺區(qū)域，然后顯式地建模文本序列與視覺區(qū)域之間的相關性[7,8,9,10,11,12]；（3）僅保留圖片中的視覺對象區(qū)域，然后將其與文本序列進行交互[13,14,15,16]。

盡管取得了很好的效果，但上述研究獨立地建模了一對圖片和文本中的內部匹配關系，忽略了不同（圖片、文本）對之間的外部匹配關系。在這項工作中，我們認為這種外部關系對于緩解 MNER 任務中的圖片噪聲至關重要。具體來說，我們探索了數(shù)據(jù)集中的兩種外部匹配關系：

模態(tài)間關系（Inter-modal relation）：從文本的角度來看，一段文本可能與數(shù)據(jù)集中的多張圖片存在關聯(lián)，當文本中的命名實體沒有出現(xiàn)在相應的圖片中時，其它相關圖片通常對識別文本中的命名實體是有幫助的。如圖2(b)所示，句子S2中的命名實體"Trump"沒有出現(xiàn)在相應的圖片中，因此僅僅依靠非正式的句子S2很難推斷出命名實體標簽。然而，當考慮到與句子 S2 密切相關的其他圖片時（例如圖2(a)和2(c)），句子S2中的命名實體標簽大概率是“PER”，因為這些相關的圖片中都包含了視覺對象person。因此，一個可行且自然的方法是建立不同（圖片、文本）對中圖片與文本之間的關聯(lián)；

模態(tài)內關系（Intra-modal relation）：從圖片的角度來看，不同的圖片中往往包含著相同類型的視覺對象，清晰的視覺對象區(qū)域比模糊的視覺對象區(qū)域更容易識別命名實體標簽。例如，圖2(d)與2(e)中都包含了視覺對象person，雖然通過圖2(d)中模糊的視覺對象區(qū)域來推斷句子 S4 中的命名實體標簽相對困難，但我們根據(jù)圖2(e)可以推斷出句子S4中的命名實體標簽很可能是“PER”，因為圖2(e)中清晰的視覺對象更容易推斷出命名實體標簽"PER"。因此，一個可行且自然的方法是建立不同（圖片、文本）對中圖片之間的關聯(lián)；

圖：每個藍色框包含數(shù)據(jù)集中的一對圖片和文本。命名實體及其對應的實體類型在文本中突出顯示。黑色箭頭表示圖像-文本對中的內部匹配關系。綠色箭頭表示不同圖文對中圖片和文本之間的模態(tài)間關系，紅色箭頭表示不同圖文對中圖片之間的模態(tài)內關系

為了更好地建模上述兩種外部匹配關系，我們提出了一個用于多模態(tài)NER任務的關系增強圖卷積網(wǎng)絡（R-GCN）。具體來說，R-GCN主要包括兩個模塊：第一個模塊構建了一個模態(tài)內關系圖和一個模態(tài)間關系圖分別來收集數(shù)據(jù)集中與當前圖片和文本最相關的圖片信息。第二個模塊執(zhí)行多模態(tài)交互和融合，最終預測 NER 的標簽序列。廣泛的實驗結果表明，我們的R-GCN網(wǎng)絡在兩個基準數(shù)據(jù)集上始終優(yōu)于當前最先進的工作。

貢獻

1.據(jù)我們所知，我們是第一個提出利用不同（圖片、文本）對之間的外部匹配關系來提升MNER任務性能的工作；

2. 我們設計了一個關系增強的圖卷積神經網(wǎng)絡來同時建模模態(tài)間關系和模態(tài)內關系；

3. 我們在兩個基準數(shù)據(jù)集上的實驗結果都達到了最先進的性能，進一步的實驗分析驗證了我們方法的有效性；

解決方案

圖3：R-GCN模型的整體架構

在本文中，我們提出了關系增強的圖卷積神經網(wǎng)絡R-GCN來建模兩種外部匹配關系，圖3展示了該模型的整體架構。它主要由四個模塊組成：（1) 模態(tài)間關系模塊；（2) 模態(tài)內關系模塊；（3）多模態(tài)交互模塊；（4）CRF解碼模塊。下面，我們主要介紹前兩個核心模塊。

模態(tài)間關系：根據(jù)我們的觀察，一段文本可能與數(shù)據(jù)集中的多張圖片存在關聯(lián)，當文本中的命名實體沒有出現(xiàn)在相應的圖片中時，其它相關圖片通常對識別文本中的命名實體是有幫助的。為此，我們提出了模態(tài)間關系圖從數(shù)據(jù)集中收集與輸入句子具有相似含義的其他圖片。下面，我們將詳細介紹如何構建模態(tài)間關系圖的頂點和邊：

頂點：模態(tài)間關系圖中有兩種類型的頂點，分別是文本節(jié)點和圖片節(jié)點。文本結點作為中心節(jié)點，它通過將句子輸入到預訓練模型BERT中得到，而圖片節(jié)點是從預訓練模型 ResNet [17]中提取的圖片表示，旨在為中心節(jié)點提供輔助信息。

邊：我們的目標是衡量數(shù)據(jù)集中其他圖片是否包含輸入句子中提及的相似場景。然而，由于圖片與文本之間存在天然的語義鴻溝，因此實現(xiàn)這個目標并不容易。為此，我們首先利用image caption模型[18]將圖片轉化為文本描述，然后將輸入句子和文本描述之間的cos相似度視為文本節(jié)點和圖片節(jié)點之間的邊。

模態(tài)內關系：就像前面提到的，當不同的圖片中包含著相同類型的視覺對象時，清晰的視覺對象區(qū)域比模糊的視覺對象區(qū)域更容易識別文本中的命名實體標簽。為此，我們建立了一個模態(tài)內關系圖從數(shù)據(jù)集中收集與輸入圖片包含相同類型視覺對象的其它圖片。下面，我們將詳細介紹如何構建模態(tài)內關系圖的頂點和邊：

頂點：對于數(shù)據(jù)集中的每張圖片，我們將從預訓練ResNet中提取的圖片特征作為圖片節(jié)點，其中當前輸入圖片對應的特征表示作為中心節(jié)點。

邊：我們的目標是衡量數(shù)據(jù)集中的其他圖片是否包含與輸入圖片相同類型的視覺對象。顯然，ResNet沒有能力獲得圖片中的視覺對象區(qū)域。因此，我們首先利用目標檢測模型Faster-RCNN為每張圖片生成一組視覺對象，然后將輸入圖片和數(shù)據(jù)集中其它圖片的視覺對象表示之間的余弦相似度作為圖片節(jié)點之間的邊。

我們使用圖卷積神經網(wǎng)絡來建模這兩種外部匹配關系，為每個模態(tài)生成關系增強的特征向量。此外，和以前的方法一樣，我們通過多模態(tài)交互模塊建模了圖片和文本之間的內部匹配關系，最后，我們使用條件隨機場[4]對文本表示進行解碼，識別出文本序列中包含的命名實體。

實驗

我們在兩個公開的數(shù)據(jù)集Twitter2015和Twitter2017上進行實驗，結果如表 1 所示，我們報告了整體的Precision, Recall和F1 score,以及每種實體類型的F1 score。與之前的工作一樣，我們主要關注整體的F1 score。實驗結果表明，與UMT和UMGF等多模態(tài)NER模型相比，R-GCN在兩個數(shù)據(jù)集上都取得了有競爭力的結果。值得一提的是，我們的R-GCN模型在F1 score上分別超出了目前性能最好的模型UMGF 1.48%和1.97%。此外，從單個實體類型來看，R-GCN在Twitter2015數(shù)據(jù)集上最多超過UMGF 1.86%，在Twitter2017數(shù)據(jù)集上最多超過UMGF 5.08%。這些結果驗證了我們模型的有效性。

表1：主實驗結果

表2:模態(tài)內關系模塊和模態(tài)間關系模塊的消融實驗結果

為了研究單個模塊和多個模塊的組合對模型整體效果的影響，我們對 R-GCN 中的兩個模塊進行了消融研究，即模態(tài)內關系模塊(IntraRG)和模態(tài)間關系模塊(InterRG)，從表2中我們可以得出以下結論：

1. 移除任意一個模塊都會使總體性能變差，這驗證了利用數(shù)據(jù)集中不同（圖片，文本）對中的外部匹配關系來提升MNER任務性能的合理性。同時移除IntraRG和InterRG模塊后性能進一步下降，這說明IntraRG和InterRG這兩個模塊從不同的視角提升了MNER任務的性能；

2. 與Intra-RG相比較，Inter-RG對R-GCN模型的影響更大。這是因為我們主要依靠文本序列來預測NER標簽。因此，將相似的圖片信息聚集到文本序列中對我們模型的貢獻更大，這與我們的期望是一致的。

案例分析

為了更好的理解IntraRG模塊和InterRG模塊的作用，我們定性地比較了我們的方法與當前性能最好的兩個方法UMT和UMGF的結果。在圖4(a)中，句子中的命名實體“KyrieIrving”沒有出現(xiàn)在對應的圖片中，所以UMT和UMGF錯誤地將該實體預測為了“MISC”。然而，在InterRG模塊的幫助下，該句子可以與數(shù)據(jù)集中的其他圖片建立聯(lián)系，考慮到這些相關的圖片中都包含了視覺對象person，因此模型給出了正確的標簽預測“PER”。在圖4(b)中，顯然視覺對象區(qū)域是模糊的，這為命名實體的識別帶來了很大的挑戰(zhàn)，因此UMT和UMGF都認為句子中沒有命名實體。但是在 IntraRG 的幫助下，我們將包含清晰視覺對象區(qū)域的相似圖片聚合到當前圖片中從而做出正確的預測，因為這些清晰的視覺對象區(qū)域降低了識別命名實體的難度。

圖：錯誤類型分析

此外，我們還對模型進行了錯誤分析。具體來說，我們隨機抽取了R-GCN模型預測錯誤的100個樣例，并將其歸納為三種錯誤類型。圖5展示了每種錯誤類型的比例以及一些代表性示例。

1. 第一類為標注帶來的偏差，在圖5(a)中，命名實體“Pebble Beach Residence”被標注為“ORG”，但如果我們將其標注為“LOC”也是合理的，在這種情況下，我們的模型很難區(qū)分它們，因為它們都是正確的。

2.第二類為背景知識缺乏，在圖5(b)中，命名實體“Jonas brother”是一個著名樂隊的名字，在缺乏背景知識的情況下，模型很容易將該實體識別為“PER”

3. 第三類為信息缺失，在圖5(c)中，句子非常的短，圖片中的內容也很簡單，它們不能為模型提供足夠的信息來判斷實體類型。

對于這幾類典型的錯誤，未來應該會有更先進的自然語言處理技術來解決它們。

總結

在本文中，我們?yōu)槎嗄B(tài)NER任務提出了一個新穎的關系增強圖卷積網(wǎng)絡。我們方法的主要思想是利用不同（圖像、文本）對中的兩種外部匹配關系（即模態(tài)間關系和模態(tài)內關系）來提高識別文本中命名實體的能力。大量實驗的結果表明，我們的模型比其他先進的方法具有更好的性能。進一步的分析也驗證了R-GCN模型的有效性。

在未來，我們希望將我們的方法應用到其他多模態(tài)任務中，比如多模態(tài)對話或者多模態(tài)蘊含。