1.Transformer為何使用多頭注意力機(jī)制？（為什么不使用一個(gè)頭）

答：多頭可以使參數(shù)矩陣形成多個(gè)子空間，矩陣整體的size不變，只是改變了每個(gè)head對(duì)應(yīng)的維度大小，這樣做使矩陣對(duì)多方面信息進(jìn)行學(xué)習(xí)，但是計(jì)算量和單個(gè)head差不多。

2.Transformer為什么Q和K使用不同的權(quán)重矩陣生成，為何不能使用同一個(gè)值進(jìn)行自身的點(diǎn)乘？

答：請(qǐng)求和鍵值初始為不同的權(quán)重是為了解決可能輸入句長(zhǎng)與輸出句長(zhǎng)不一致的問(wèn)題。并且假如QK維度一致，如果不用Q，直接拿K和K點(diǎn)乘的話，你會(huì)發(fā)現(xiàn)attention score 矩陣是一個(gè)對(duì)稱矩陣。因?yàn)槭峭瑯右粋€(gè)矩陣，都投影到了同樣一個(gè)空間，所以泛化能力很差。

3.Transformer計(jì)算attention的時(shí)候?yàn)楹芜x擇點(diǎn)乘而不是加法？?jī)烧哂?jì)算復(fù)雜度和效果上有什么區(qū)別？

答：K和Q的點(diǎn)乘是為了得到一個(gè)attention score 矩陣，用來(lái)對(duì)V進(jìn)行提純。K和Q使用了不同的W_k， W_Q來(lái)計(jì)算，可以理解為是在不同空間上的投影。正因?yàn)?有了這種不同空間的投影，增加了表達(dá)能力，這樣計(jì)算得到的attention score矩陣的泛化能力更高。

4.為什么在進(jìn)行softmax之前需要對(duì)attention進(jìn)行scaled（為什么除以dk的平方根），并使用公式推導(dǎo)進(jìn)行講解

答：假設(shè) Q 和 K 的均值為0，方差為1。它們的矩陣乘積將有均值為0，方差為dk，因此使用dk的平方根被用于縮放，因?yàn)椋琎 和 K 的矩陣乘積的均值本應(yīng)該為 0，方差本應(yīng)該為1，這樣可以獲得更平緩的softmax。當(dāng)維度很大時(shí)，點(diǎn)積結(jié)果會(huì)很大，會(huì)導(dǎo)致softmax的梯度很小。為了減輕這個(gè)影響，對(duì)點(diǎn)積進(jìn)行縮放。

5.在計(jì)算attention score的時(shí)候如何對(duì)padding做mask操作？

答：對(duì)需要mask的位置設(shè)為負(fù)無(wú)窮，再對(duì)attention score進(jìn)行相加

6.為什么在進(jìn)行多頭注意力的時(shí)候需要對(duì)每個(gè)head進(jìn)行降維？

答：將原有的高維空間轉(zhuǎn)化為多個(gè)低維空間并再最后進(jìn)行拼接，形成同樣維度的輸出，借此豐富特性信息，降低了計(jì)算量

7.大概講一下Transformer的Encoder模塊？

答：輸入嵌入-加上位置編碼-多個(gè)編碼器層（每個(gè)編碼器層包含全連接層，多頭注意力層和點(diǎn)式前饋網(wǎng)絡(luò)層（包含激活函數(shù)層））

8.為何在獲取輸入詞向量之后需要對(duì)矩陣乘以embedding size的開(kāi)方？

embedding matrix的初始化方式是xavier init，這種方式的方差是1/embedding size，因此乘以embedding size的開(kāi)方使得embedding matrix的方差是1，在這個(gè)scale下可能更有利于embedding matrix的收斂。

9.簡(jiǎn)單介紹一下Transformer的位置編碼？有什么意義和優(yōu)缺點(diǎn)？

答：因?yàn)閟elf-attention是位置無(wú)關(guān)的，無(wú)論句子的順序是什么樣的，通過(guò)self-attention計(jì)算的token的hidden embedding都是一樣的，這顯然不符合人類(lèi)的思維。因此要有一個(gè)辦法能夠在模型中表達(dá)出一個(gè)token的位置信息，transformer使用了固定的positional encoding來(lái)表示token在句子中的絕對(duì)位置信息。

10.你還了解哪些關(guān)于位置編碼的技術(shù)，各自的優(yōu)缺點(diǎn)是什么？

答：相對(duì)位置編碼（RPE）1.在計(jì)算attention score和weighted value時(shí)各加入一個(gè)可訓(xùn)練的表示相對(duì)位置的參數(shù)。2.在生成多頭注意力時(shí)，把對(duì)key來(lái)說(shuō)將絕對(duì)位置轉(zhuǎn)換為相對(duì)query的位置3.復(fù)數(shù)域函數(shù)，已知一個(gè)詞在某個(gè)位置的詞向量表示，可以計(jì)算出它在任何位置的詞向量表示。前兩個(gè)方法是詞向量+位置編碼，屬于亡羊補(bǔ)牢，復(fù)數(shù)域是生成詞向量的時(shí)候即生成對(duì)應(yīng)的位置信息。

11.簡(jiǎn)單講一下Transformer中的殘差結(jié)構(gòu)以及意義。

答：encoder和decoder的self-attention層和ffn層都有殘差連接。反向傳播的時(shí)候不會(huì)造成梯度消失。

12.為什么transformer塊使用LayerNorm而不是BatchNorm？LayerNorm 在Transformer的位置是哪里？

答：多頭注意力層和激活函數(shù)層之間。CV使用BN是認(rèn)為channel維度的信息對(duì)cv方面有重要意義，如果對(duì)channel維度也歸一化會(huì)造成不同通道信息一定的損失。而同理nlp領(lǐng)域認(rèn)為句子長(zhǎng)度不一致，并且各個(gè)batch的信息沒(méi)什么關(guān)系，因此只考慮句子內(nèi)信息的歸一化，也就是LN。

13.簡(jiǎn)答講一下BatchNorm技術(shù)，以及它的優(yōu)缺點(diǎn)。

答：批歸一化是對(duì)每一批的數(shù)據(jù)在進(jìn)入激活函數(shù)前進(jìn)行歸一化，可以提高收斂速度，防止過(guò)擬合，防止梯度消失，增加網(wǎng)絡(luò)對(duì)數(shù)據(jù)的敏感度。

14.簡(jiǎn)單描述一下Transformer中的前饋神經(jīng)網(wǎng)絡(luò)？使用了什么激活函數(shù)？相關(guān)優(yōu)缺點(diǎn)？

答：輸入嵌入-加上位置編碼-多個(gè)編碼器層（每個(gè)編碼器層包含全連接層，多頭注意力層和點(diǎn)式前饋網(wǎng)絡(luò)層（包含激活函數(shù)層））-多個(gè)解碼器層（每個(gè)編碼器層包含全連接層，多頭注意力層和點(diǎn)式前饋網(wǎng)絡(luò)層）-全連接層，使用了relu激活函數(shù)

15.Encoder端和Decoder端是如何進(jìn)行交互的？

答：通過(guò)轉(zhuǎn)置encoder_ouput的seq_len維與depth維，進(jìn)行矩陣兩次乘法，即q*kT*v輸出即可得到target_len維度的輸出

16.Decoder階段的多頭自注意力和encoder的多頭自注意力有什么區(qū)別？

答：Decoder有兩層mha，encoder有一層mha，Decoder的第二層mha是為了轉(zhuǎn)化輸入與輸出句長(zhǎng)，Decoder的請(qǐng)求q與鍵k和數(shù)值v的倒數(shù)第二個(gè)維度可以不一樣，但是encoder的qkv維度一樣。

17.Transformer的并行化提現(xiàn)在哪個(gè)地方？

答：Transformer的并行化主要體現(xiàn)在self-attention模塊，在Encoder端Transformer可以并行處理整個(gè)序列，并得到整個(gè)輸入序列經(jīng)過(guò)Encoder端的輸出，但是rnn只能從前到后的執(zhí)行

18.Decoder端可以做并行化嗎？

訓(xùn)練的時(shí)候可以，但是交互的時(shí)候不可以

19.簡(jiǎn)單描述一下wordpiece model 和 byte pair encoding，有實(shí)際應(yīng)用過(guò)嗎？

答“傳統(tǒng)詞表示方法無(wú)法很好的處理未知或罕見(jiàn)的詞匯（OOV問(wèn)題）

傳統(tǒng)詞tokenization方法不利于模型學(xué)習(xí)詞綴之間的關(guān)系”BPE（字節(jié)對(duì)編碼）或二元編碼是一種簡(jiǎn)單的數(shù)據(jù)壓縮形式，其中最常見(jiàn)的一對(duì)連續(xù)字節(jié)數(shù)據(jù)被替換為該數(shù)據(jù)中不存在的字節(jié)。后期使用時(shí)需要一個(gè)替換表來(lái)重建原始數(shù)據(jù)。優(yōu)點(diǎn)：可以有效地平衡詞匯表大小和步數(shù)（編碼句子所需的token次數(shù)）。

缺點(diǎn)：基于貪婪和確定的符號(hào)替換，不能提供帶概率的多個(gè)分片結(jié)果。

20.Transformer訓(xùn)練的時(shí)候?qū)W習(xí)率是如何設(shè)定的？Dropout是如何設(shè)定的，位置在哪里？Dropout 在測(cè)試的需要有什么需要注意的嗎？

LN是為了解決梯度消失的問(wèn)題，dropout是為了解決過(guò)擬合的問(wèn)題。在embedding后面加LN有利于embedding matrix的收斂。

21.bert的mask為何不學(xué)習(xí)transformer在attention處進(jìn)行屏蔽score的技巧？

答：BERT和transformer的目標(biāo)不一致，bert是語(yǔ)言的預(yù)訓(xùn)練模型，需要充分考慮上下文的關(guān)系，而transformer主要考慮句子中第i個(gè)元素與前i-1個(gè)元素的關(guān)系。

責(zé)任編輯：lq