預(yù)訓(xùn)練

給定包含 N 個詞的序列,前向語言模型通過前 k-1個詞預(yù)測第 k 個詞。在第 k 個位置，每個 LSTM 層輸出上下文依賴的向量表達 , j=1,2,…,L。頂層 LSTM 層的輸出 利用交叉熵損失預(yù)測下一個位置。

后向語言模型對序列做反序，利用下文的信息去預(yù)測上文的詞。與前向類似，給定經(jīng)過 L 層的后向深層 LSTM 網(wǎng)絡(luò)預(yù)測得到第 j 層的隱層輸出。

雙向語言模型拼接前向語言模型和后向語言模型，構(gòu)建前向和后向聯(lián)合最大對數(shù)似然。

其中，為序列詞向量層參數(shù)，為交叉熵層參數(shù)，在訓(xùn)練過程中這兩部分參數(shù)共享。

嵌入式語言模型組合利用多層 LSTM 層的內(nèi)部信息，對中心詞，一個 L 層的雙向語言模型計算得到 2L+1 個表達集合。

Fine-tune

在下游任務(wù)中，ELMo 將多層的輸出整合成一個向量，將所有 LSTM 層的輸出加上normalized 的 softmax 學(xué)習(xí)到的權(quán)重 s=Softmax(w)，使用方法如下所示：

直觀上來講，biLMs 的較高層次的 LSTM 向量抓住的是詞匯的語義信息， biLMs 的較低層次的 LSTM 向量抓住的是詞匯的語法信息。這種深度模型所帶來的分層效果使得將一套詞向量應(yīng)用于不同任務(wù)有了可能性，因為每個任務(wù)所需要的信息量是不同的。另外 LSTM 的層數(shù)不宜過多，多層 LSTM 網(wǎng)絡(luò)不是很容易 train 好，存在過擬合問題。如下圖是一個多層 LSTM 用在文本分類問題的實驗結(jié)果，隨著 LSTM 層數(shù)增多，模型效果先增加后下降。

Transformer

曾經(jīng)有人說，想要提升 LSTM 效果只要加一個 attention 就可以。但是現(xiàn)在attention is all you need。Transformer 解決了 NLP 領(lǐng)域深層網(wǎng)絡(luò)的訓(xùn)練問題。

Attention 此前就被用于眾多 NLP 的任務(wù)，用于定位關(guān)鍵 token 或者特征，比如在文本分類的最后加一層 Attention 來提高性能。Transformer 起源自注意力機制（Attention），完全拋棄了傳統(tǒng)的 RNN，整個網(wǎng)絡(luò)結(jié)構(gòu)完全是由 Attention 機制組成。Transformer 可以通過堆疊 Transformer Layer 進行搭建，作者的實驗是通過搭建編碼器和解碼器各6層，總共12層的 Encoder-Decoder，并在機器翻譯中取得了 BLEU 值的新高。

整個流程的可視化如圖：以N=2示例，實際Transformer的N=6。

Encoder 階段： 輸入“Thinking Machines”，對應(yīng)詞向量，疊加位置向量 Positional Encoding，對每個位置做 Self-Attention 得到；Add&Norm 分兩步，residual connection即，layer Normalization 得到新的，對每個位置分別做 feed forward 全連接和 Add&Norm，得到一個 Encoder Layer 的輸出，重復(fù)堆疊2次，最后將 Encoder Layer 輸出到 Decoder 的 Encoder-Decoder Layer 層。

Decoder 階段：先是對 Decoder 的輸入做 Masked Self-Attention Layer，然后將Encoder 階段的輸出與 Decoder 第一級的輸出做 Encoder-Decoder Attention，最后接 FFN 全連接，堆疊2個 Decoder，最后接全連接+Softmax 輸出當(dāng)前位置概率最大的的詞。

Transformer 的結(jié)構(gòu)上比較好理解，主要是里邊的細節(jié)比較多，如 Mult-HeadAttention, Feed Forward, Layer Norm, Positional Encoding等。

Transformer的優(yōu)點：

1. 并行計算，提高訓(xùn)練速度。 這是相比 LSTM 很大的突破，LSTM 在訓(xùn)練的時候 ，當(dāng)前步的計算要依賴于上一步的隱狀態(tài)，這是一個連續(xù)過程，每次計算都需要等之前的計算完成才能展開，限制模型并行能力。而 Transformer 不用LSTM結(jié)構(gòu)，Attention 機制的每一步計算只是依賴上一層的輸出，并不依賴上一詞的信息，因而詞與詞之間是可以并行的，從而訓(xùn)練時可以并行計算, 提高訓(xùn)練速度。
2. 一步到位的全局聯(lián)系捕捉。 順序計算的過程中信息會丟失，盡管 LSTM 等門機制的結(jié)構(gòu)一定程度上緩解了長期依賴的問題，但是對于特別長期的依賴現(xiàn)象，LSTM 依舊無能為力。Transformer 使用了 Attention 機制，從而將序列中的任意兩個位置之間的距離是縮小為1，這對解決 NLP 中棘手的長期依賴問題是非常有效的。

總結(jié)對比CNN、RNN和Self-Attention：

CNN： 只能看到局部領(lǐng)域，適合圖像，因為在圖像上抽象更高層信息僅僅需要下一層特征的局部區(qū)域，文本的話強在抽取局部特征，因而更適合短文本。

RNN： 理論上能看到所有歷史，適合文本，但是存在梯度消失問題。

Self-Attention： 相比 RNN 不存在梯度消失問題。對比 CNN 更加適合長文本，因為能夠看到更遠距離的信息，CNN 疊高多層之后可以看到很遠的地方，但是 CNN本來需要很多層才能完成的抽象，Self-Attention 在很底層就可以做到，這無疑是非常巨大的優(yōu)勢。

BERT

BERT (Bidirectional Encoder Representations from Transformers) 本質(zhì)來講是NLP 領(lǐng)域最底層的語言模型，通過海量語料預(yù)訓(xùn)練，得到序列當(dāng)前最全面的局部和全局特征表示。

BERT 網(wǎng)絡(luò)結(jié)構(gòu)如下所示，BERT 與 Transformer 的 Encoder 網(wǎng)絡(luò)結(jié)構(gòu)完全相同。假設(shè) Embedding 向量的維度是，輸入序列包含 n 個token，則 BERT 模型一個layer 的輸入是一個的矩陣，而它的輸出也同樣是一個的矩陣，所以這樣 N 層 BERT layer 就可以很方便的首尾串聯(lián)起來。BERT 的 large model 使用了 N=24 層這樣的Transformer block。