得益于BERT的加持，Encoder搭配CRF的結(jié)構(gòu)在中文NER上通常都有不錯的表現(xiàn)，而且BERT使用方便，可以迅速微調(diào)上線特定服務(wù)；在好的基準條件下，我們也能把精力放在更細節(jié)的問題中，本文并不以指標增長為目標，而是從先驗知識融合與嵌套實體問題兩方面討論，希望可以從這兩個方向的工作中獲得解決其他問題的啟發(fā)

融合詞匯知識

Chinese NER Using Lattice LSTM

融合詞匯知識的方法可能適用于NLP問題的每個子方向，也是近幾年中文NER問題的大方向之一；因為中文分詞的限制，加之有BERT的加成，如今基本默認基于字符比基于分詞效果更好，這種情況下，引入詞匯知識對模型學習實體邊界和提升性能都有幫助，Lattice LSTM是這一方向的先行者

相比于char和word級的RNN，Lattice LSTM加入了針對詞匯的cell，用以融合詞匯信息；計算上比char-cell少一個output gate，此外完全一致，可以理解為在傳統(tǒng)LSTM鏈路中插入了一組LSTMCell，具體可以對照原文公式10-15理解（下圖公式11為LSTMCell，公式13為WordLSTMCell）：

FLAT： Chinese NER Using Flat-Lattice Transformer

Lattice LSTM驗證了融合詞匯信息提升中文NER任務(wù)的可行性，就是有點慢，每句話要加入的詞匯不一樣，無法直接batch并行，此外Lattice LSTM沒法套BERT，現(xiàn)成的BERT不能用太不甘心；于是就有了同時彌補這兩點的FLAT，并且其融合詞匯的實現(xiàn)方式也簡單的多：如圖，F(xiàn)LAT融合詞匯的方式就是拼接，詞匯直接拼在輸入里，此外只需改造Postion Embedding，將原始的位置編碼改為起止位置編碼

不過Postion Embedding的改造還不止于此，為了讓模型學習到詞匯span的交互信息，這里還引入了相對位置編碼：如圖，長度為N的輸入會產(chǎn)生4個N * N的相對位置矩陣，分別由：head-head，head-tail，tail-head，tail-tail產(chǎn)生

綜上，基于Transformer的FLAT可batch并行，速度自然優(yōu)于Lattice LSTM，同時又可以套用BERT，在常用中文NER數(shù)據(jù)集上都有非常出色的表現(xiàn)；FLAT的顯存占用比較高，但用顯存換來的推理時間減少肯定是值得的

Leverage Lexical Knowledge for Chinese Named Entity Recognition via Collaborative Graph Network

通過詞匯增強模型識別邊界的能力很重要，然而Lattice LSTM在這方面還存在信息損失，受限于構(gòu)造方式，詞匯表示只能加給最后一個字，這樣有什么問題呢？以本文CGN中提到的“北京機場”為例，想要成功標出“北京機場”而非“北京”，需要模型將“機”識別為“I-LOC”，而非“O”或“B-LOC”，然而Lattice LSTM中的詞匯并不影響“機”的encoding；此外，Lattice LSTM的融合方式說明詞匯只對實體本身有幫助，然而正確識別實體可能也需要臨近詞匯的幫助，例如下圖的“離開”表明“希爾頓”是人名而非酒店

復雜的字詞關(guān)系無法通過RNN結(jié)構(gòu)表示，選擇Graph更為靈活，本文通過融合三種圖結(jié)構(gòu)學習復雜關(guān)系，利用GAN提取特征，獲得倍數(shù)于Lattice LSTM的速度提升

如圖所示，在LSTM編碼輸入文本并傳入詞匯表示后，模型會經(jīng)過三種策略的構(gòu)圖層：

Word-Character Containing graph（C-graph）：負責學習自匹配特征和詞匯邊界信息

Word-Character Transition graph（T-graph）：負責構(gòu)造字詞相互之間的上下文鄰接關(guān)系

Word-Character Lattice graph（L-graph）：負責捕捉自匹配特征和隱含的詞匯鄰接關(guān)系

圖表示完成后，通過Fusion層的線性結(jié)構(gòu)融合特征，再傳給CRF做標簽decoding即可；雖然流程上比FLAT復雜一些，但一方面其非batch并行版的速度更快（不知道算不算建圖的時間），另外文中提供的各種詞匯融合思路也值得學習借鑒，從詞匯邊界和覆蓋本身考慮，上下文語義貢獻的作用，已經(jīng)圖結(jié)構(gòu)帶來的額外特征或許可以作為特定任務(wù)的預(yù)訓練過程拆解使用

嵌套實體問題

嵌套實體在標注應(yīng)用場景下很少被顧及，一方面?zhèn)鹘y(tǒng)序列標注模型也只能選擇一個，另外標注數(shù)據(jù)時我們就只根據(jù)語義選擇其中一個；但嵌套實體本身是存在的，比如醫(yī)療場景下的疾病詞常由身體部位和其他詞構(gòu)成，即便不作為NER任務(wù)本身看待，讓模型能學習標識嵌套實體，對實際場景中的其他任務(wù)也大有益處

Pyramid： A Layered Model for Nested Named Entity Recognition

通過多層結(jié)構(gòu)抽取嵌套實體是一種容易理解的模型，2007年就有工作通過堆疊傳統(tǒng)NER層處理嵌套問題，不過之前的工作都無法處理嵌套實體重疊的情況，并且往往容易在錯誤的層級生成嵌套實體（即實體本身存在，但不該在當前層識別到，否則會影響后續(xù)層的識別，從而破壞整體模型效果）；本文針對這兩個問題提出的金字塔結(jié)構(gòu)

金字塔結(jié)構(gòu)的思想如圖所示，最底層為最小的文本單元，每一層負責長度為L的實體的識別，通過CNN向上聚合，模型不會遺漏重疊實體span，同時由于L的限制，該結(jié)構(gòu)不會在錯誤的層生成不對應(yīng)的實體；作者還認為高層span的信息對底層也有幫助，所以還設(shè)計了逆向金字塔結(jié)構(gòu)，具體實現(xiàn)如下

在經(jīng)過LSTM編碼后，自底向上的Decoding層為每一層預(yù)測對應(yīng)標簽，因為按長度區(qū)分，所以理論上只需要預(yù)測“B-”，但這樣模型就必須堆疊N層才能覆蓋全部span，不然就無法預(yù)測長度超過l的實體，所以作者設(shè)計了補救措施，在最高層同時預(yù)測“B-”和“I-”

Pyramid表現(xiàn)了處理嵌套問題的重要方向，即構(gòu)造和編碼潛在實體span，下面的工作也都遵循這一點設(shè)計實現(xiàn)各種模型結(jié)構(gòu)

A Unified MRC Framework for Named Entity Recognition

本文徹底放棄了序列標注模型，用閱讀理解的方法處理嵌套實體，即預(yù)測起止位置和實體分類；由起止位置標識的實體當然允許覆蓋，自然就解決了嵌套問題；熟悉MRC的同學很快就會發(fā)現(xiàn)，通常的MRC只有一個答案span，然而一句話中可能存在多個實體span，怎么表示多個實體？因此本文修改了MRC的結(jié)構(gòu)，首先起止位置預(yù)測：

預(yù)測P_end也是同樣的結(jié)構(gòu)，這里類似序列標注，表示每個char為起止位置的概率分布，這樣就產(chǎn)生了a個起始位置和b個終止位置，理論上存在 a * b 個實體span；而后還需要一個模塊計算a * b個匹配中有多少個真的是實體，即：

到此便解決了預(yù)測起止位置識別實體的問題，下面需要對每個實體span分類；通常的做法都是設(shè)計分類器，區(qū)別僅在于傳入分類器的表示，本文的分類則十分新穎，也十分MRC，即：給輸入文本拼接一個指向特定實體的問題，在這個問題下找出的span都屬于這一類

本文思路新穎，實現(xiàn)簡單且可套用BERT等不同Encoder，在傳統(tǒng)NER和Nested-NER數(shù)據(jù)集上都有sota或接近的水準；唯一的遺憾是不適合多實體類別的應(yīng)用服務(wù)，因為針對K個類別都要單獨設(shè)計問題，所以相當于在預(yù)測時把每個問題都問一遍，時間開銷或顯存開銷擴大K倍是無法避免的

TPLinker： Single-stage Joint Extraction of Entities and Relations Through Token Pair Linking

本文是實體關(guān)系聯(lián)合抽取的工作，雖然思路上基本遵循實體識別-》關(guān)系分類的流程，但實現(xiàn)上于尋常工作有巨大差別；雖然并不是中文數(shù)據(jù)集上的工作，但在嵌套實體的處理思路上，本文與尋常工作也有巨大差別，很有借鑒意義；這里首先介紹對普通實體，頭實體，尾實體的標識方法：

如圖所示，既然存在嵌套實體，那么不妨假設(shè)任意兩個char都可能構(gòu)成實體，這樣就形成左圖的N * N矩陣，模型通過二分類即可標識出存在的實體；不過文本是單向的，所以實體的start一定在end前面，這樣就有了右圖，即矩陣包括主對角線的下三角矩陣可以忽略，這樣矩陣flat后的長度就從N * N減少到 （N + 1） * N / 2；因為是實體關(guān)系聯(lián)合抽取，所以分別用三種顏色標識，紫色標記普通實體，紅色標記同一關(guān)系下的頭實體，藍色標記尾實體，代碼實現(xiàn)上對應(yīng)三種分類器；另外由于一對實體可能存在多種關(guān)系，所以需要為每種關(guān)系準備一個分類器，如下圖

筆者認為TPlinker處理嵌套問題的思路與MRC頗有幾分相似，矩陣中每個元素都是一個span，既然存在嵌套，我們就不得不假設(shè)任意兩個char都可能構(gòu)成實體；此外，雖然最終要在 （N + 1） * N / 2長的序列上預(yù)測實體，但顯存占用之類的問題并沒有那么明顯，因為這個平方級的序列是在Encoder輸出后拼成的，我們還可以通過設(shè)置一些約束進一步減少長度；不過要注意，這個長序列的預(yù)測可能非常稀疏（一句話里的實體很少，按長度平方后0占比更大）

Span-based Joint Entity and Relation Extraction with Transformer Pre-training

本文同樣是實體關(guān)系聯(lián)合抽取，處理嵌套問題的思路與TPlinker類似，窮舉出全部的潛在實體，然后用分類器識別；如下圖所示

與TPlinker類似，在輸入文本經(jīng)過BERT后，sequence_output被用來構(gòu)造潛在實體，理論上所有的ngram都是潛在實體，所以這里需要拼出全部ngram再通過span分類器識別實體，過濾非實體；文中提到一個小trick，給span classifier傳入的向量表示除了sequence_output［span］和［CLS］外，還包含一個width embeddings向量，因為某些長度的span不大可能的實體，希望模型可以學到這一點；那么對于TPlinker和spERT，我們也都可以通過長度約束減少span的個數(shù)，手工降低模型的計算開銷；最后關(guān)系分類的做法很直觀，融合各路語義向量表示，通過sigmoid生成對應(yīng)K個關(guān)系的1維向量，每個維度通過閾值判定是否存在該類關(guān)系

總的來說，Pyramid、MRC、TPLinker、spERT處理嵌套問題的出發(fā)點基本一致，從傳統(tǒng)的token級標注轉(zhuǎn)變?yōu)閷撛趯嶓wspan的標注；實現(xiàn)上各有特點，Pyramid設(shè)計了分層結(jié)構(gòu)，TPlinker的矩陣構(gòu)造非常靈性，不過平方級長度的序列太過稀疏；spERT雖然理論上也有平方級數(shù)量的span，但真實訓練可以通過負采樣降低訓練壓力；MRC做分類的想法很是獨特，不過對于多類別場景可能計算壓力過大，或許可以分離entity識別和分類，避免多次BERT計算的開銷

總結(jié)

詞匯知識融合可能是NLP任務(wù)的永恒話題，利用詞匯知識增強NER模型的想法也非常自然，Lattice LSTM及其后續(xù)工作展開了一個很好的方向，引入詞匯關(guān)聯(lián)結(jié)構(gòu)提升模型也許在其他任務(wù)上也有很大收益；嵌套實體問題在當前的實際應(yīng)用場景也許重視度還不夠，但問題本身切實存在，這方面的工作往往在潛在實體span的識別上有獨特的創(chuàng)新點，通過拆解和重組傳統(tǒng)的序列分類和標注模塊，引入MRC機制等思路，為我們解決復雜NLP問題帶來新的思路

原文標題：中文NER碎碎念—聊聊詞匯增強與實體嵌套

文章出處：【微信公眾號：深度學習自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責任編輯：haq