導(dǎo)讀

從淺入深學(xué)習(xí)Transformer的資料匯總。

Transformers 加速了自然語言處理(NLP)任務(wù)的新技術(shù)和模型的發(fā)展。雖然它主要用于NLP任務(wù)，但現(xiàn)在它被大量應(yīng)用于處理計算機(jī)視覺任務(wù)。這使它成為一個非常重要的技術(shù)。

我知道很多機(jī)器學(xué)習(xí)和NLP的學(xué)生和從業(yè)者都非常熱衷于學(xué)習(xí)Transformers 。因此，我保存了一份資源和學(xué)習(xí)材料的配方，幫助學(xué)生了解Transformers的世界。

首先，在這篇文章中，我準(zhǔn)備了一些材料鏈接，用于更好地從頭開始理解和實現(xiàn)transformer模型。

寫這篇文章的原因是這樣我就可以有一個簡單的方法來繼續(xù)更新學(xué)習(xí)材料。

高層次介紹

首先，關(guān)于Transformers的非常高層次的介紹。一些值得一看的參考資料:

https://theaisummer.com/transformer/

https://hannes-stark.com/assets/transformer_survey.pdf

Transformer 圖解

Jay Alammar)的解釋很特別。一旦你對Transformer有了高層次的理解，你就可以跳到下面這個流行的關(guān)于Transformer的圖解說明：

http://jalammar.github.io/illustrated-transformer/

技術(shù)匯總

此時，你可能正在尋找Transformers的技術(shù)摘要和概述。Lilian Weng的博文是一個寶藏，提供了簡潔的技術(shù)解釋/總結(jié)：

https://lilianweng.github.io/lil-log/2020/04/07/the-transformer-family.html

實現(xiàn)

理論之后，檢驗知識是很重要的。我通常喜歡更詳細(xì)地理解事物，所以我更喜歡從頭開始實現(xiàn)算法。對于實現(xiàn)Transformers，我主要依賴于這個教程:

https://nlp.seas.harvard.edu/2018/04/03/attention.html

Attention Is All You Need

本文由Vaswani等人介紹了Transformer 的結(jié)構(gòu)。在你有一個高層次的理解和想要進(jìn)入細(xì)節(jié)后再讀它。為了深入研究，請注意論文中的其他參考文獻(xiàn)。

https://arxiv.org/pdf/1706.03762v5.pdf

應(yīng)用 Transformers

在學(xué)習(xí)和理解Transformers背后的理論一段時間后，你可能會有興趣將它們應(yīng)用到不同的NLP項目或研究中。現(xiàn)在，你最好的選擇是HuggingFace的Transformers庫。

https://github.com/huggingface/transformers

責(zé)任編輯：lq