預(yù)訓(xùn)練

給定包含 N 個(gè)詞的序列,前向語(yǔ)言模型通過(guò)前 k-1個(gè)詞預(yù)測(cè)第 k 個(gè)詞。在第 k 個(gè)位置，每個(gè) LSTM 層輸出上下文依賴的向量表達(dá) , j=1,2,…,L。頂層 LSTM 層的輸出 利用交叉熵?fù)p失預(yù)測(cè)下一個(gè)位置。

后向語(yǔ)言模型對(duì)序列做反序，利用下文的信息去預(yù)測(cè)上文的詞。與前向類似，給定經(jīng)過(guò) L 層的后向深層 LSTM 網(wǎng)絡(luò)預(yù)測(cè)得到第 j 層的隱層輸出。

雙向語(yǔ)言模型拼接前向語(yǔ)言模型和后向語(yǔ)言模型，構(gòu)建前向和后向聯(lián)合最大對(duì)數(shù)似然。

其中，為序列詞向量層參數(shù)，為交叉熵層參數(shù)，在訓(xùn)練過(guò)程中這兩部分參數(shù)共享。

嵌入式語(yǔ)言模型組合利用多層 LSTM 層的內(nèi)部信息，對(duì)中心詞，一個(gè) L 層的雙向語(yǔ)言模型計(jì)算得到 2L+1 個(gè)表達(dá)集合。

Fine-tune

在下游任務(wù)中，ELMo 將多層的輸出整合成一個(gè)向量，將所有 LSTM 層的輸出加上normalized 的 softmax 學(xué)習(xí)到的權(quán)重 s=Softmax(w)，使用方法如下所示：

直觀上來(lái)講，biLMs 的較高層次的 LSTM 向量抓住的是詞匯的語(yǔ)義信息， biLMs 的較低層次的 LSTM 向量抓住的是詞匯的語(yǔ)法信息。這種深度模型所帶來(lái)的分層效果使得將一套詞向量應(yīng)用于不同任務(wù)有了可能性，因?yàn)槊總€(gè)任務(wù)所需要的信息量是不同的。另外 LSTM 的層數(shù)不宜過(guò)多，多層 LSTM 網(wǎng)絡(luò)不是很容易 train 好，存在過(guò)擬合問(wèn)題。如下圖是一個(gè)多層 LSTM 用在文本分類問(wèn)題的實(shí)驗(yàn)結(jié)果，隨著 LSTM 層數(shù)增多，模型效果先增加后下降。

Transformer

曾經(jīng)有人說(shuō)，想要提升 LSTM 效果只要加一個(gè) attention 就可以。但是現(xiàn)在attention is all you need。Transformer 解決了 NLP 領(lǐng)域深層網(wǎng)絡(luò)的訓(xùn)練問(wèn)題。

Attention 此前就被用于眾多 NLP 的任務(wù)，用于定位關(guān)鍵 token 或者特征，比如在文本分類的最后加一層 Attention 來(lái)提高性能。Transformer 起源自注意力機(jī)制（Attention），完全拋棄了傳統(tǒng)的 RNN，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)完全是由 Attention 機(jī)制組成。Transformer 可以通過(guò)堆疊 Transformer Layer 進(jìn)行搭建，作者的實(shí)驗(yàn)是通過(guò)搭建編碼器和解碼器各6層，總共12層的 Encoder-Decoder，并在機(jī)器翻譯中取得了 BLEU 值的新高。

整個(gè)流程的可視化如圖：以N=2示例，實(shí)際Transformer的N=6。

Encoder 階段： 輸入“Thinking Machines”，對(duì)應(yīng)詞向量，疊加位置向量 Positional Encoding，對(duì)每個(gè)位置做 Self-Attention 得到；Add&Norm 分兩步，residual connection即，layer Normalization 得到新的，對(duì)每個(gè)位置分別做 feed forward 全連接和 Add&Norm，得到一個(gè) Encoder Layer 的輸出，重復(fù)堆疊2次，最后將 Encoder Layer 輸出到 Decoder 的 Encoder-Decoder Layer 層。

Decoder 階段：先是對(duì) Decoder 的輸入做 Masked Self-Attention Layer，然后將Encoder 階段的輸出與 Decoder 第一級(jí)的輸出做 Encoder-Decoder Attention，最后接 FFN 全連接，堆疊2個(gè) Decoder，最后接全連接+Softmax 輸出當(dāng)前位置概率最大的的詞。

Transformer 的結(jié)構(gòu)上比較好理解，主要是里邊的細(xì)節(jié)比較多，如 Mult-HeadAttention, Feed Forward, Layer Norm, Positional Encoding等。

Transformer的優(yōu)點(diǎn)：

1. 并行計(jì)算，提高訓(xùn)練速度。 這是相比 LSTM 很大的突破，LSTM 在訓(xùn)練的時(shí)候 ，當(dāng)前步的計(jì)算要依賴于上一步的隱狀態(tài)，這是一個(gè)連續(xù)過(guò)程，每次計(jì)算都需要等之前的計(jì)算完成才能展開(kāi)，限制模型并行能力。而 Transformer 不用LSTM結(jié)構(gòu)，Attention 機(jī)制的每一步計(jì)算只是依賴上一層的輸出，并不依賴上一詞的信息，因而詞與詞之間是可以并行的，從而訓(xùn)練時(shí)可以并行計(jì)算, 提高訓(xùn)練速度。
2. 一步到位的全局聯(lián)系捕捉。 順序計(jì)算的過(guò)程中信息會(huì)丟失，盡管 LSTM 等門機(jī)制的結(jié)構(gòu)一定程度上緩解了長(zhǎng)期依賴的問(wèn)題，但是對(duì)于特別長(zhǎng)期的依賴現(xiàn)象，LSTM 依舊無(wú)能為力。Transformer 使用了 Attention 機(jī)制，從而將序列中的任意兩個(gè)位置之間的距離是縮小為1，這對(duì)解決 NLP 中棘手的長(zhǎng)期依賴問(wèn)題是非常有效的。

總結(jié)對(duì)比CNN、RNN和Self-Attention：

CNN： 只能看到局部領(lǐng)域，適合圖像，因?yàn)樵趫D像上抽象更高層信息僅僅需要下一層特征的局部區(qū)域，文本的話強(qiáng)在抽取局部特征，因而更適合短文本。

RNN： 理論上能看到所有歷史，適合文本，但是存在梯度消失問(wèn)題。

Self-Attention： 相比 RNN 不存在梯度消失問(wèn)題。對(duì)比 CNN 更加適合長(zhǎng)文本，因?yàn)槟軌蚩吹礁h(yuǎn)距離的信息，CNN 疊高多層之后可以看到很遠(yuǎn)的地方，但是 CNN本來(lái)需要很多層才能完成的抽象，Self-Attention 在很底層就可以做到，這無(wú)疑是非常巨大的優(yōu)勢(shì)。

BERT

BERT (Bidirectional Encoder Representations from Transformers) 本質(zhì)來(lái)講是NLP 領(lǐng)域最底層的語(yǔ)言模型，通過(guò)海量語(yǔ)料預(yù)訓(xùn)練，得到序列當(dāng)前最全面的局部和全局特征表示。

BERT 網(wǎng)絡(luò)結(jié)構(gòu)如下所示，BERT 與 Transformer 的 Encoder 網(wǎng)絡(luò)結(jié)構(gòu)完全相同。假設(shè) Embedding 向量的維度是，輸入序列包含 n 個(gè)token，則 BERT 模型一個(gè)layer 的輸入是一個(gè)的矩陣，而它的輸出也同樣是一個(gè)的矩陣，所以這樣 N 層 BERT layer 就可以很方便的首尾串聯(lián)起來(lái)。BERT 的 large model 使用了 N=24 層這樣的Transformer block。