這是一篇來自于 ACL 2022 的文章，總體思想就是在 meta-learning 的基礎(chǔ)上，采用雙塔 BERT 模型分別來對(duì)文本字符和對(duì)應(yīng)的label進(jìn)行編碼，并且將二者進(jìn)行 Dot Product（點(diǎn)乘）得到的輸出做一個(gè)分類的事情。文章總體也不復(fù)雜，涉及到的公式也很少，比較容易理解作者的思路。對(duì)于采用序列標(biāo)注的方式做 NER 是個(gè)不錯(cuò)的思路。

1、模型

1.1 架構(gòu)

▲圖1.模型整體構(gòu)架

從上圖中可以清楚的看到，作者采用了雙塔 BERT 來分別對(duì)文本的 Token 和每個(gè) Token 對(duì)應(yīng)的 label 進(jìn)行編碼。這里作者采用這種方法的思路也很簡(jiǎn)單，因?yàn)槭?Few-shot 任務(wù)，沒有足夠的數(shù)據(jù)量，所以作者認(rèn)為每個(gè) Token 的 label 可以為 Token 提供額外的語(yǔ)義信息。 作者的 Meta-Learning 采用的是 metric-based 方法，直觀一點(diǎn)理解就是首先計(jì)算每個(gè)樣本 Token 的向量表征，然后與計(jì)算得到的 label 表征計(jì)算相似度，這里從圖上的 Dot Product 可以直觀的體現(xiàn)出來。然后對(duì)得到的相似度矩陣 （［batch_size，sequence_length，embed_dim］） 進(jìn)行 softmax 歸一化，通過 argmax 函數(shù)取最后一維中值最大的 index，并且對(duì)應(yīng)相應(yīng)的標(biāo)簽列表，得到當(dāng)前 Token 對(duì)應(yīng)的標(biāo)簽。

1.2 Detail

此外，作者在對(duì)標(biāo)簽進(jìn)行表征時(shí)，也對(duì)每個(gè)標(biāo)簽進(jìn)行了相應(yīng)的處理，總體分為以下三步： 1. 將詞語(yǔ)的簡(jiǎn)寫標(biāo)簽轉(zhuǎn)為自然語(yǔ)言形式，例如 PER--》person，ORG--》organization，LOC--》local 等等； 2. 將標(biāo)注標(biāo)簽起始、中間的標(biāo)記轉(zhuǎn)為自然語(yǔ)言形式，例如以 BIO 形式進(jìn)行標(biāo)記的就可以轉(zhuǎn)為 begin、inside、other 等等，其他標(biāo)注形式的類似。 3. 按前兩步的方法轉(zhuǎn)換后進(jìn)行組合，例如 B-PER--》begin person，I-PER--》inside person。 由于進(jìn)行的是 Few-shot NER 任務(wù)，所以作者在多個(gè) source datasets 上面訓(xùn)練模型，然后他們?cè)诙鄠€(gè) unseen few shot target datasets 上面驗(yàn)證經(jīng)過 fine-tuning 和不經(jīng)過 fine-tuning 的模型的效果。 在進(jìn)行 Token 編碼時(shí)，對(duì)應(yīng)每個(gè) 通過 BERT 模型可以得到其對(duì)應(yīng)的向量 ，如下所示：

這里需要注意的是 BERT 模型的輸出取 last_hidden_state 作為對(duì)應(yīng) Token 的向量。 對(duì)標(biāo)簽進(jìn)行編碼時(shí)，對(duì)標(biāo)簽集合中的所有標(biāo)簽進(jìn)行對(duì)應(yīng)編碼，每個(gè)完整的 label 得到的編碼取 部分作為其編碼向量，并且將所有的 label 編碼組成一個(gè)向量集合 ，最后計(jì)算每個(gè) 與 的點(diǎn)積，形式如下：

由于這里使用了 label 編碼表征的方式，相比于其他的 NER 方法，在模型遇到新的數(shù)據(jù)和 label 時(shí)，不需要再初始一個(gè)新的頂層分類器，以此達(dá)到 Few-shot 的目的。

1.3 Label Transfer

在文章中作者還羅列了實(shí)驗(yàn)數(shù)據(jù)集的標(biāo)簽轉(zhuǎn)換表，部分如下所示：

▲圖2. 實(shí)驗(yàn)數(shù)據(jù)集Label Transfer

1.4 Support Set Sampling Algorithm

采樣偽代碼如下所示：

▲圖3. 采樣偽代碼

2、實(shí)驗(yàn)結(jié)果

▲圖4. 部分實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果上看，可以明顯的感受到這種方法在 Few-shot 時(shí)還是有不錯(cuò)的效果的，在 1-50 shot 時(shí)模型的效果都優(yōu)于其他模型，表明了 label 語(yǔ)義的有效性；但在全量數(shù)據(jù)下，這種方法就打了一些折扣了，表明了數(shù)據(jù)量越大，模型對(duì)于 label 語(yǔ)義的依賴越小。這里筆者還有一點(diǎn)想法就是在全量數(shù)據(jù)下，這種方式的標(biāo)簽語(yǔ)義引入可能會(huì)對(duì)原本的文本語(yǔ)義發(fā)生微小偏移，當(dāng)然，這種說法在 Few-shot 下也是成立的，只不過 Few-shot 下的偏移是一個(gè)正向的偏移，能夠增強(qiáng)模型的泛化能力，全量數(shù)據(jù)下的偏移就有點(diǎn)溢出來的感覺。 雙塔 BERT 代碼實(shí)現(xiàn)（沒有采用 metric-based 方法）：

#!/usr/bin/envpython
#-*-coding:utf-8-*-
#@Time:2022/5/2313:49
#@Author:SinGaln

importtorch
importtorch.nnasnn
fromtransformersimportBertModel,BertPreTrainedModel


classSinusoidalPositionEmbedding(nn.Module):
"""定義Sin-Cos位置Embedding
"""

def__init__(
self,output_dim,merge_mode='add'):
super(SinusoidalPositionEmbedding,self).__init__()
self.output_dim=output_dim
self.merge_mode=merge_mode

defforward(self,inputs):
input_shape=inputs.shape
batch_size,seq_len=input_shape[0],input_shape[1]
position_ids=torch.arange(seq_len,dtype=torch.float)[None]
indices=torch.arange(self.output_dim//2,dtype=torch.float)
indices=torch.pow(10000.0,-2*indices/self.output_dim)
embeddings=torch.einsum('bn,d->bnd',position_ids,indices)
embeddings=torch.stack([torch.sin(embeddings),torch.cos(embeddings)],dim=-1)
embeddings=embeddings.repeat((batch_size,*([1]*len(embeddings.shape))))
embeddings=torch.reshape(embeddings,(batch_size,seq_len,self.output_dim))
ifself.merge_mode=='add':
returninputs+embeddings.to(inputs.device)
elifself.merge_mode=='mul':
returninputs*(embeddings+1.0).to(inputs.device)
elifself.merge_mode=='zero':
returnembeddings.to(inputs.device)


classDoubleTownNER(BertPreTrainedModel):
def__init__(self,config,num_labels,position=False):
super(DoubleTownNER,self).__init__(config)
self.position=position
self.num_labels=num_labels
self.bert=BertModel(config=config)
self.fc=nn.Linear(config.hidden_size,self.num_labels)

ifself.position:
self.sinposembed=SinusoidalPositionEmbedding(config.hidden_size,"add")

defforward(self,sequence_input_ids,sequence_attention_mask,sequence_token_type_ids,label_input_ids,
label_attention_mask,label_token_type_ids):
#獲取文本和標(biāo)簽的encode
#[batch_size,sequence_length,embed_dim]
sequence_outputs=self.bert(input_ids=sequence_input_ids,attention_mask=sequence_attention_mask,
token_type_ids=sequence_token_type_ids).last_hidden_state
#[batch_size,embed_dim]
label_outputs=self.bert(input_ids=label_input_ids,attention_mask=label_attention_mask,
token_type_ids=label_token_type_ids).pooler_output
label_outputs=label_outputs.unsqueeze(1)

#位置向量
ifself.position:
sequence_outputs=self.sinposembed(sequence_outputs)
#Dot交互
interactive_output=sequence_outputs*label_outputs
#full-connection
outputs=self.fc(interactive_output)
returnoutputs

if__name__=="__main__":
pretrain_path="../bert_model"
fromtransformersimportBertConfig

token_input_ids=torch.randint(1,100,(32,128))
token_attention_mask=torch.ones_like(token_input_ids)
token_token_type_ids=torch.zeros_like(token_input_ids)

label_input_ids=torch.randint(1,10,(1,10))
label_attention_mask=torch.ones_like(label_input_ids)
label_token_type_ids=torch.zeros_like(label_input_ids)
config=BertConfig.from_pretrained(pretrain_path)
model=DoubleTownNER.from_pretrained(pretrain_path,config=config,num_labels=10,position=True)

outs=model(sequence_input_ids=token_input_ids,sequence_attention_mask=token_attention_mask,sequence_token_type_ids=token_token_type_ids,label_input_ids=label_input_ids,
label_attention_mask=label_attention_mask,label_token_type_ids=label_token_type_ids)
print(outs,outs.size())

審核編輯：郭婷