得益于BERT的加持，Encoder搭配CRF的結(jié)構(gòu)在中文NER上通常都有不錯(cuò)的表現(xiàn)，而且BERT使用方便，可以迅速微調(diào)上線特定服務(wù)；在好的基準(zhǔn)條件下，我們也能把精力放在更細(xì)節(jié)的問(wèn)題中，本文并不以指標(biāo)增長(zhǎng)為目標(biāo)，而是從先驗(yàn)知識(shí)融合與嵌套實(shí)體問(wèn)題兩方面討論，希望可以從這兩個(gè)方向的工作中獲得解決其他問(wèn)題的啟發(fā)

融合詞匯知識(shí)

Chinese NER Using Lattice LSTM

融合詞匯知識(shí)的方法可能適用于NLP問(wèn)題的每個(gè)子方向，也是近幾年中文NER問(wèn)題的大方向之一；因?yàn)橹形姆衷~的限制，加之有BERT的加成，如今基本默認(rèn)基于字符比基于分詞效果更好，這種情況下，引入詞匯知識(shí)對(duì)模型學(xué)習(xí)實(shí)體邊界和提升性能都有幫助，Lattice LSTM是這一方向的先行者

相比于char和word級(jí)的RNN，Lattice LSTM加入了針對(duì)詞匯的cell，用以融合詞匯信息；計(jì)算上比char-cell少一個(gè)output gate，此外完全一致，可以理解為在傳統(tǒng)LSTM鏈路中插入了一組LSTMCell，具體可以對(duì)照原文公式10-15理解（下圖公式11為L(zhǎng)STMCell，公式13為WordLSTMCell）：

FLAT： Chinese NER Using Flat-Lattice Transformer

Lattice LSTM驗(yàn)證了融合詞匯信息提升中文NER任務(wù)的可行性，就是有點(diǎn)慢，每句話要加入的詞匯不一樣，無(wú)法直接batch并行，此外Lattice LSTM沒(méi)法套BERT，現(xiàn)成的BERT不能用太不甘心；于是就有了同時(shí)彌補(bǔ)這兩點(diǎn)的FLAT，并且其融合詞匯的實(shí)現(xiàn)方式也簡(jiǎn)單的多：如圖，F(xiàn)LAT融合詞匯的方式就是拼接，詞匯直接拼在輸入里，此外只需改造Postion Embedding，將原始的位置編碼改為起止位置編碼

不過(guò)Postion Embedding的改造還不止于此，為了讓模型學(xué)習(xí)到詞匯span的交互信息，這里還引入了相對(duì)位置編碼：如圖，長(zhǎng)度為N的輸入會(huì)產(chǎn)生4個(gè)N * N的相對(duì)位置矩陣，分別由：head-head，head-tail，tail-head，tail-tail產(chǎn)生

綜上，基于Transformer的FLAT可batch并行，速度自然優(yōu)于Lattice LSTM，同時(shí)又可以套用BERT，在常用中文NER數(shù)據(jù)集上都有非常出色的表現(xiàn)；FLAT的顯存占用比較高，但用顯存換來(lái)的推理時(shí)間減少肯定是值得的

Leverage Lexical Knowledge for Chinese Named Entity Recognition via Collaborative Graph Network

通過(guò)詞匯增強(qiáng)模型識(shí)別邊界的能力很重要，然而Lattice LSTM在這方面還存在信息損失，受限于構(gòu)造方式，詞匯表示只能加給最后一個(gè)字，這樣有什么問(wèn)題呢？以本文CGN中提到的“北京機(jī)場(chǎng)”為例，想要成功標(biāo)出“北京機(jī)場(chǎng)”而非“北京”，需要模型將“機(jī)”識(shí)別為“I-LOC”，而非“O”或“B-LOC”，然而Lattice LSTM中的詞匯并不影響“機(jī)”的encoding；此外，Lattice LSTM的融合方式說(shuō)明詞匯只對(duì)實(shí)體本身有幫助，然而正確識(shí)別實(shí)體可能也需要臨近詞匯的幫助，例如下圖的“離開”表明“希爾頓”是人名而非酒店

復(fù)雜的字詞關(guān)系無(wú)法通過(guò)RNN結(jié)構(gòu)表示，選擇Graph更為靈活，本文通過(guò)融合三種圖結(jié)構(gòu)學(xué)習(xí)復(fù)雜關(guān)系，利用GAN提取特征，獲得倍數(shù)于Lattice LSTM的速度提升

如圖所示，在LSTM編碼輸入文本并傳入詞匯表示后，模型會(huì)經(jīng)過(guò)三種策略的構(gòu)圖層：

Word-Character Containing graph（C-graph）：負(fù)責(zé)學(xué)習(xí)自匹配特征和詞匯邊界信息

Word-Character Transition graph（T-graph）：負(fù)責(zé)構(gòu)造字詞相互之間的上下文鄰接關(guān)系

Word-Character Lattice graph（L-graph）：負(fù)責(zé)捕捉自匹配特征和隱含的詞匯鄰接關(guān)系

圖表示完成后，通過(guò)Fusion層的線性結(jié)構(gòu)融合特征，再傳給CRF做標(biāo)簽decoding即可；雖然流程上比FLAT復(fù)雜一些，但一方面其非batch并行版的速度更快（不知道算不算建圖的時(shí)間），另外文中提供的各種詞匯融合思路也值得學(xué)習(xí)借鑒，從詞匯邊界和覆蓋本身考慮，上下文語(yǔ)義貢獻(xiàn)的作用，已經(jīng)圖結(jié)構(gòu)帶來(lái)的額外特征或許可以作為特定任務(wù)的預(yù)訓(xùn)練過(guò)程拆解使用

嵌套實(shí)體問(wèn)題

嵌套實(shí)體在標(biāo)注應(yīng)用場(chǎng)景下很少被顧及，一方面?zhèn)鹘y(tǒng)序列標(biāo)注模型也只能選擇一個(gè)，另外標(biāo)注數(shù)據(jù)時(shí)我們就只根據(jù)語(yǔ)義選擇其中一個(gè)；但嵌套實(shí)體本身是存在的，比如醫(yī)療場(chǎng)景下的疾病詞常由身體部位和其他詞構(gòu)成，即便不作為NER任務(wù)本身看待，讓模型能學(xué)習(xí)標(biāo)識(shí)嵌套實(shí)體，對(duì)實(shí)際場(chǎng)景中的其他任務(wù)也大有益處

Pyramid： A Layered Model for Nested Named Entity Recognition

通過(guò)多層結(jié)構(gòu)抽取嵌套實(shí)體是一種容易理解的模型，2007年就有工作通過(guò)堆疊傳統(tǒng)NER層處理嵌套問(wèn)題，不過(guò)之前的工作都無(wú)法處理嵌套實(shí)體重疊的情況，并且往往容易在錯(cuò)誤的層級(jí)生成嵌套實(shí)體（即實(shí)體本身存在，但不該在當(dāng)前層識(shí)別到，否則會(huì)影響后續(xù)層的識(shí)別，從而破壞整體模型效果）；本文針對(duì)這兩個(gè)問(wèn)題提出的金字塔結(jié)構(gòu)

金字塔結(jié)構(gòu)的思想如圖所示，最底層為最小的文本單元，每一層負(fù)責(zé)長(zhǎng)度為L(zhǎng)的實(shí)體的識(shí)別，通過(guò)CNN向上聚合，模型不會(huì)遺漏重疊實(shí)體span，同時(shí)由于L的限制，該結(jié)構(gòu)不會(huì)在錯(cuò)誤的層生成不對(duì)應(yīng)的實(shí)體；作者還認(rèn)為高層span的信息對(duì)底層也有幫助，所以還設(shè)計(jì)了逆向金字塔結(jié)構(gòu)，具體實(shí)現(xiàn)如下

在經(jīng)過(guò)LSTM編碼后，自底向上的Decoding層為每一層預(yù)測(cè)對(duì)應(yīng)標(biāo)簽，因?yàn)榘撮L(zhǎng)度區(qū)分，所以理論上只需要預(yù)測(cè)“B-”，但這樣模型就必須堆疊N層才能覆蓋全部span，不然就無(wú)法預(yù)測(cè)長(zhǎng)度超過(guò)l的實(shí)體，所以作者設(shè)計(jì)了補(bǔ)救措施，在最高層同時(shí)預(yù)測(cè)“B-”和“I-”

Pyramid表現(xiàn)了處理嵌套問(wèn)題的重要方向，即構(gòu)造和編碼潛在實(shí)體span，下面的工作也都遵循這一點(diǎn)設(shè)計(jì)實(shí)現(xiàn)各種模型結(jié)構(gòu)

A Unified MRC Framework for Named Entity Recognition

本文徹底放棄了序列標(biāo)注模型，用閱讀理解的方法處理嵌套實(shí)體，即預(yù)測(cè)起止位置和實(shí)體分類；由起止位置標(biāo)識(shí)的實(shí)體當(dāng)然允許覆蓋，自然就解決了嵌套問(wèn)題；熟悉MRC的同學(xué)很快就會(huì)發(fā)現(xiàn)，通常的MRC只有一個(gè)答案span，然而一句話中可能存在多個(gè)實(shí)體span，怎么表示多個(gè)實(shí)體？因此本文修改了MRC的結(jié)構(gòu)，首先起止位置預(yù)測(cè)：

預(yù)測(cè)P_end也是同樣的結(jié)構(gòu)，這里類似序列標(biāo)注，表示每個(gè)char為起止位置的概率分布，這樣就產(chǎn)生了a個(gè)起始位置和b個(gè)終止位置，理論上存在 a * b 個(gè)實(shí)體span；而后還需要一個(gè)模塊計(jì)算a * b個(gè)匹配中有多少個(gè)真的是實(shí)體，即：

到此便解決了預(yù)測(cè)起止位置識(shí)別實(shí)體的問(wèn)題，下面需要對(duì)每個(gè)實(shí)體span分類；通常的做法都是設(shè)計(jì)分類器，區(qū)別僅在于傳入分類器的表示，本文的分類則十分新穎，也十分MRC，即：給輸入文本拼接一個(gè)指向特定實(shí)體的問(wèn)題，在這個(gè)問(wèn)題下找出的span都屬于這一類

本文思路新穎，實(shí)現(xiàn)簡(jiǎn)單且可套用BERT等不同Encoder，在傳統(tǒng)NER和Nested-NER數(shù)據(jù)集上都有sota或接近的水準(zhǔn)；唯一的遺憾是不適合多實(shí)體類別的應(yīng)用服務(wù)，因?yàn)獒槍?duì)K個(gè)類別都要單獨(dú)設(shè)計(jì)問(wèn)題，所以相當(dāng)于在預(yù)測(cè)時(shí)把每個(gè)問(wèn)題都問(wèn)一遍，時(shí)間開銷或顯存開銷擴(kuò)大K倍是無(wú)法避免的

TPLinker： Single-stage Joint Extraction of Entities and Relations Through Token Pair Linking

本文是實(shí)體關(guān)系聯(lián)合抽取的工作，雖然思路上基本遵循實(shí)體識(shí)別-》關(guān)系分類的流程，但實(shí)現(xiàn)上于尋常工作有巨大差別；雖然并不是中文數(shù)據(jù)集上的工作，但在嵌套實(shí)體的處理思路上，本文與尋常工作也有巨大差別，很有借鑒意義；這里首先介紹對(duì)普通實(shí)體，頭實(shí)體，尾實(shí)體的標(biāo)識(shí)方法：

如圖所示，既然存在嵌套實(shí)體，那么不妨假設(shè)任意兩個(gè)char都可能構(gòu)成實(shí)體，這樣就形成左圖的N * N矩陣，模型通過(guò)二分類即可標(biāo)識(shí)出存在的實(shí)體；不過(guò)文本是單向的，所以實(shí)體的start一定在end前面，這樣就有了右圖，即矩陣包括主對(duì)角線的下三角矩陣可以忽略，這樣矩陣flat后的長(zhǎng)度就從N * N減少到 （N + 1） * N / 2；因?yàn)槭菍?shí)體關(guān)系聯(lián)合抽取，所以分別用三種顏色標(biāo)識(shí)，紫色標(biāo)記普通實(shí)體，紅色標(biāo)記同一關(guān)系下的頭實(shí)體，藍(lán)色標(biāo)記尾實(shí)體，代碼實(shí)現(xiàn)上對(duì)應(yīng)三種分類器；另外由于一對(duì)實(shí)體可能存在多種關(guān)系，所以需要為每種關(guān)系準(zhǔn)備一個(gè)分類器，如下圖

筆者認(rèn)為TPlinker處理嵌套問(wèn)題的思路與MRC頗有幾分相似，矩陣中每個(gè)元素都是一個(gè)span，既然存在嵌套，我們就不得不假設(shè)任意兩個(gè)char都可能構(gòu)成實(shí)體；此外，雖然最終要在 （N + 1） * N / 2長(zhǎng)的序列上預(yù)測(cè)實(shí)體，但顯存占用之類的問(wèn)題并沒(méi)有那么明顯，因?yàn)檫@個(gè)平方級(jí)的序列是在Encoder輸出后拼成的，我們還可以通過(guò)設(shè)置一些約束進(jìn)一步減少長(zhǎng)度；不過(guò)要注意，這個(gè)長(zhǎng)序列的預(yù)測(cè)可能非常稀疏（一句話里的實(shí)體很少，按長(zhǎng)度平方后0占比更大）

Span-based Joint Entity and Relation Extraction with Transformer Pre-training

本文同樣是實(shí)體關(guān)系聯(lián)合抽取，處理嵌套問(wèn)題的思路與TPlinker類似，窮舉出全部的潛在實(shí)體，然后用分類器識(shí)別；如下圖所示

與TPlinker類似，在輸入文本經(jīng)過(guò)BERT后，sequence_output被用來(lái)構(gòu)造潛在實(shí)體，理論上所有的ngram都是潛在實(shí)體，所以這里需要拼出全部ngram再通過(guò)span分類器識(shí)別實(shí)體，過(guò)濾非實(shí)體；文中提到一個(gè)小trick，給span classifier傳入的向量表示除了sequence_output［span］和［CLS］外，還包含一個(gè)width embeddings向量，因?yàn)槟承╅L(zhǎng)度的span不大可能的實(shí)體，希望模型可以學(xué)到這一點(diǎn)；那么對(duì)于TPlinker和spERT，我們也都可以通過(guò)長(zhǎng)度約束減少span的個(gè)數(shù)，手工降低模型的計(jì)算開銷；最后關(guān)系分類的做法很直觀，融合各路語(yǔ)義向量表示，通過(guò)sigmoid生成對(duì)應(yīng)K個(gè)關(guān)系的1維向量，每個(gè)維度通過(guò)閾值判定是否存在該類關(guān)系

總的來(lái)說(shuō)，Pyramid、MRC、TPLinker、spERT處理嵌套問(wèn)題的出發(fā)點(diǎn)基本一致，從傳統(tǒng)的token級(jí)標(biāo)注轉(zhuǎn)變?yōu)閷?duì)潛在實(shí)體span的標(biāo)注；實(shí)現(xiàn)上各有特點(diǎn)，Pyramid設(shè)計(jì)了分層結(jié)構(gòu)，TPlinker的矩陣構(gòu)造非常靈性，不過(guò)平方級(jí)長(zhǎng)度的序列太過(guò)稀疏；spERT雖然理論上也有平方級(jí)數(shù)量的span，但真實(shí)訓(xùn)練可以通過(guò)負(fù)采樣降低訓(xùn)練壓力；MRC做分類的想法很是獨(dú)特，不過(guò)對(duì)于多類別場(chǎng)景可能計(jì)算壓力過(guò)大，或許可以分離entity識(shí)別和分類，避免多次BERT計(jì)算的開銷

總結(jié)

詞匯知識(shí)融合可能是NLP任務(wù)的永恒話題，利用詞匯知識(shí)增強(qiáng)NER模型的想法也非常自然，Lattice LSTM及其后續(xù)工作展開了一個(gè)很好的方向，引入詞匯關(guān)聯(lián)結(jié)構(gòu)提升模型也許在其他任務(wù)上也有很大收益；嵌套實(shí)體問(wèn)題在當(dāng)前的實(shí)際應(yīng)用場(chǎng)景也許重視度還不夠，但問(wèn)題本身切實(shí)存在，這方面的工作往往在潛在實(shí)體span的識(shí)別上有獨(dú)特的創(chuàng)新點(diǎn)，通過(guò)拆解和重組傳統(tǒng)的序列分類和標(biāo)注模塊，引入MRC機(jī)制等思路，為我們解決復(fù)雜NLP問(wèn)題帶來(lái)新的思路

原文標(biāo)題：中文NER碎碎念—聊聊詞匯增強(qiáng)與實(shí)體嵌套

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq