基于 transformer 的編碼器-解碼器模型是 表征學(xué)習(xí) 和 模型架構(gòu) 這兩個(gè)領(lǐng)域多年研究成果的結(jié)晶。本文簡(jiǎn)要介紹了神經(jīng)編碼器-解碼器模型的歷史，更多背景知識(shí)，建議讀者閱讀由 Sebastion Ruder 撰寫(xiě)的這篇精彩 博文。此外，建議讀者對(duì) 自注意力 (self-attention) 架構(gòu) 有一個(gè)基本了解，可以閱讀 Jay Alammar 的 這篇博文 復(fù)習(xí)一下原始 transformer 模型。

本文分 4 個(gè)部分:

背景 - 簡(jiǎn)要回顧了神經(jīng)編碼器-解碼器模型的歷史，重點(diǎn)關(guān)注基于 RNN 的模型。

編碼器-解碼器 - 闡述基于 transformer 的編碼器-解碼器模型，并闡述如何使用該模型進(jìn)行推理。

編碼器 - 闡述模型的編碼器部分。

解碼器 - 闡述模型的解碼器部分。

每個(gè)部分都建立在前一部分的基礎(chǔ)上，但也可以單獨(dú)閱讀。這篇分享是第二部分 編碼器-解碼器。如果你還沒(méi)有看過(guò) 第一部分 背景，可以先讀一讀。

編碼器-解碼器

2017 年，Vaswani 等人引入了 transformer 架構(gòu)，從而催生了 基于 transformer 的編碼器-解碼器模型。

與基于 RNN 的編碼器-解碼器模型類似，基于 transformer 的編碼器-解碼器模型由一個(gè)編碼器和一個(gè)解碼器組成，且其編碼器和解碼器均由 殘差注意力模塊 (residual attention blocks) 堆疊而成?；?transformer 的編碼器-解碼器模型的關(guān)鍵創(chuàng)新在于: 殘差注意力模塊無(wú)需使用循環(huán)結(jié)構(gòu)即可處理長(zhǎng)度 可變的輸入序列 。不依賴循環(huán)結(jié)構(gòu)使得基于 transformer 的編碼器-解碼器可以高度并行化，這使得模型在現(xiàn)代硬件上的計(jì)算效率比基于 RNN 的編碼器-解碼器模型高出幾個(gè)數(shù)量級(jí)。

回憶一下，要解決 序列到序列 問(wèn)題，我們需要找到輸入序列 到變長(zhǎng)輸出序列 的映射。我們看看如何使用基于 transformer 的編碼器-解碼器模型來(lái)找到這樣的映射。

與基于 RNN 的編碼器-解碼器模型類似，基于 transformer 的編碼器-解碼器模型定義了在給定輸入序列 條件下目標(biāo)序列 的條件分布:

基于 transformer 的編碼器部分將輸入序列 編碼為 隱含狀態(tài)序列 ，即:

然后，基于 transformer 的解碼器負(fù)責(zé)建模在給定隱含狀態(tài)序列 的條件下目標(biāo)向量序列 的概率分布:

根據(jù)貝葉斯法則，該序列分布可被分解為每個(gè)目標(biāo)向量 在給定隱含狀態(tài) 和其所有前驅(qū)目標(biāo)向量 時(shí)的條件概率之積:

因此，在生成 時(shí)，基于 transformer 的解碼器將隱含狀態(tài)序列 及其所有前驅(qū)目標(biāo)向量 映射到 logit 向量 。然后經(jīng)由 softmax 運(yùn)算對(duì) logit 向量 進(jìn)行處理，從而生成條件分布 。這個(gè)流程跟基于 RNN 的解碼器是一樣的。然而，與基于 RNN 的解碼器不同的是，在這里，目標(biāo)向量 的分布是 顯式 (或直接) 地以其所有前驅(qū)目標(biāo)向量 為條件的，稍后我們將詳細(xì)介紹。此處第 0 個(gè)目標(biāo)向量 仍表示為 向量。有了條件分布 ，我們就可以??自回歸?生成輸出了。至此，我們定義了可用于推理的從輸入序列 到輸出序列 的映射。

我們可視化一下使用 基于 transformer 的編碼器-解碼器模型 _自回歸_地生成序列的完整過(guò)程。

上圖中，綠色為基于 transformer 的編碼器，紅色為基于 transformer 的解碼器。與上一節(jié)一樣，我們展示了如何將表示為的英語(yǔ)句子 “I want to buy a car” 翻譯成表示為的德語(yǔ)句子 “Ich will ein Auto kaufen”。

首先，編碼器將完整的輸入序列 = “I want to buy a car” (由淺綠色向量表示) 處理為上下文相關(guān)的編碼序列 。這里上下文相關(guān)的意思是， 舉個(gè)例子 ， 的編碼不僅取決于輸入 = “buy”，還與所有其他詞 “I”、“want”、“to”、“a”、“car” 及 “EOS” 相關(guān)，這些詞即該詞的 上下文 。

接下來(lái)，輸入編碼 與 BOS 向量 ( 即 ) 被一起饋送到解碼器。解碼器將輸入 和 ? 變換為第一個(gè) logit (圖中以深紅色顯示)，從而得到第一個(gè)目標(biāo)向量 的條件分布:

然后，從該分布中采樣出第一個(gè)目標(biāo)向量 = (由灰色箭頭表示)，得到第一個(gè)輸出后，我們會(huì)并將其繼續(xù)饋送到解碼器。現(xiàn)在，解碼器開(kāi)始以 = “BOS” 和 ? = “Ich” 為條件來(lái)定義第二個(gè)目標(biāo)向量的條件分布 :

再采樣一次，生成目標(biāo)向量 = “will”。重復(fù)該自回歸過(guò)程，直到第 6 步從條件分布中采樣到 EOS:

這里有一點(diǎn)比較重要，我們僅在第一次前向傳播時(shí)用編碼器將 映射到 。從第二次前向傳播開(kāi)始，解碼器可以直接使用之前算得的編碼 。為清楚起見(jiàn)，下圖畫(huà)出了上例中第一次和第二次前向傳播所需要做的操作。

可以看出，僅在步驟 時(shí)，我們才需要將 “I want to buy a car EOS” 編碼為 。從 開(kāi)始，解碼器只是簡(jiǎn)單地復(fù)用了已生成的編碼。

在 transformers 庫(kù)中，這一自回歸生成過(guò)程是在調(diào)用 .generate() 方法時(shí)在后臺(tái)完成的。我們用一個(gè)翻譯模型來(lái)實(shí)際體驗(yàn)一下。

from?transformers?import?MarianMTModel,?MarianTokenizer

tokenizer?=?MarianTokenizer.from_pretrained("Helsinki-NLP/opus-mt-en-de")
model?=?MarianMTModel.from_pretrained("Helsinki-NLP/opus-mt-en-de")

#?create?ids?of?encoded?input?vectors
input_ids?=?tokenizer("I?want?to?buy?a?car",?return_tensors="pt").input_ids

#?translate?example
output_ids?=?model.generate(input_ids)[0]

#?decode?and?print
print(tokenizer.decode(output_ids))

輸出:

? ??Ich?will?ein?Auto?kaufen

.generate() 接口做了很多事情。首先，它將 input_ids 傳遞給編碼器。然后，它將一個(gè)預(yù)定義的標(biāo)記連同已編碼的 input_ids 一起傳遞給解碼器 (在使用 MarianMTModel 的情況下，該預(yù)定義標(biāo)記為 )。接著，它使用波束搜索解碼機(jī)制根據(jù)最新的解碼器輸出的概率分布 自回歸地采樣下一個(gè)輸出詞。更多有關(guān)波束搜索解碼工作原理的詳細(xì)信息，建議閱讀 這篇博文。

我們?cè)诟戒浿屑尤肓艘粋€(gè)代碼片段，展示了如何“從頭開(kāi)始”實(shí)現(xiàn)一個(gè)簡(jiǎn)單的生成方法。如果你想要完全了解 自回歸 生成的幕后工作原理，強(qiáng)烈建議閱讀附錄。

總結(jié)一下:

基于 transformer 的編碼器實(shí)現(xiàn)了從輸入序列 到上下文相關(guān)的編碼序列 之間的映射。

基于 transformer 的解碼器定義了條件分布 。

給定適當(dāng)?shù)慕獯a機(jī)制，可以自回歸地從中采樣出輸出序列 。

太好了，現(xiàn)在我們已經(jīng)大致了解了 基于 transformer 的 編碼器-解碼器模型的工作原理。下面的部分，我們將更深入地研究模型的編碼器和解碼器部分。更具體地說(shuō)，我們將確切地看到編碼器如何利用自注意力層來(lái)產(chǎn)生一系列上下文相關(guān)的向量編碼，以及自注意力層如何實(shí)現(xiàn)高效并行化。然后，我們將詳細(xì)解釋自注意力層在解碼器模型中的工作原理，以及解碼器如何通過(guò) 交叉注意力 層以編碼器輸出為條件來(lái)定義分布 。在此過(guò)程中，基于 transformer 的編碼器-解碼器模型如何解決基于 RNN 的編碼器-解碼器模型的長(zhǎng)程依賴問(wèn)題的答案將變得顯而易見(jiàn)。

可以從 此處 獲取 "Helsinki-NLP/opus-mt-en-de" 的解碼參數(shù)。可以看到，其使用了 num_beams=6 的波束搜索。

敬請(qǐng)關(guān)注其余部分的文章。

編輯：黃飛

?