如果想在 AI 領域引領一輪新浪潮，就需要使用到 Transformer。

盡管名為 Transformer，但它們不是電視銀幕上的變形金剛，也不是電線桿上垃圾桶大小的變壓器。

在人工智能的快速發(fā)展中，Transformer 模型作為一種神經網絡，以其獨特的自注意力機制，引領了自然語言處理的新浪潮，以革命性的方式推動了整個行業(yè)的進步。本文將帶您深入了解 Transformer 模型的起源，探討其如何通過自注意力機制捕捉數據元素間的微妙聯系，并理解其在 AI 領域中的關鍵作用。

什么是 Transformer 模型？

Transformer 模型是一種神經網絡，通過追蹤連續(xù)數據（例如句子中的單詞）中的關系了解上下文，進而理解其含義。

Transformer 模型使用一套不斷發(fā)展的數學方法（這套方法被稱為注意力或自注意力），檢測一系列數據元素之間的微妙影響和依賴關系，包括距離遙遠的數據元素。

谷歌在 2017 年的一篇論文中首次描述了 Transformer，定義它為一種迄今為止所發(fā)明的最新、最強大的模型。這種模型正在推動機器學習領域的進步，一些人將其稱為 Transformer AI。

斯坦福大學的研究人員在 2021 年 8 月的一篇論文中將 Transformrer 稱為“基礎模型”，他們認為其推動了 AI 的范式轉變。他們在論文中寫道：“在過去幾年中，基礎模型的規(guī)模之大、范圍之廣，超出了我們的想象?！?/p>

Transformer 模型能夠做什么？

Transformer 可以近乎實時地翻譯文本和語音，為不同人群包括聽障人士提供會議和課堂服務。

它們還能幫助研究人員了解 DNA 中的基因鏈和蛋白質中的氨基酸，從而加快藥物設計的速度。

Transformer 有時也被稱為基礎模型，目前已經連同許多數據源用于大量應用中

Transformer 可通過檢測趨勢和異?，F象，為防止欺詐、簡化制造流程、提供在線建議或改善醫(yī)療服務提供助力。

每當人們在谷歌或微軟必應上進行搜索時，就會用到 Transformer。

Transformer AI 的良性循環(huán)

Transformer 模型適用于一切使用連續(xù)文本、圖像或視頻數據的應用。

這使這些模型可以形成一個良性的 Transformer AI 良性循環(huán)：使用大型數據集創(chuàng)建而成的 Transformer 能夠做出準確的預測，從而被越來越廣泛地應用，因此產生的數據也越來越多，這些數據又被用于創(chuàng)建更好的模型。

斯坦福大學的研究人員表示，Transformer 標志著 AI 發(fā)展的下一個階段，有人將這個階段稱為 Transformer AI 時代

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在 GTC 2022 上發(fā)表的主題演講中表示：“Transformer 讓自監(jiān)督學習成為可能，AI 迎來了了飛速發(fā)展的階段?！?/p>

Transformer 取代 CNN 和 RNN

Transformer 正在許多場景中取代卷積神經網絡和遞歸神經網絡（CNN 和 RNN），而這兩種模型在七年前還是最流行的深度學習模型。

事實上，在過去幾年發(fā)表的關于 AI 的 arXiv 論文中，有 70% 都提到了 Transformer。這與 2017 年 IEEE 的研究報告將 RNN 和 CNN 稱為最流行的模式識別模型時相比，變化可以說是翻天覆地。

無標記且性能更強大

在 Transformer 出現之前，用戶不得不使用大量帶標記的數據集訓練神經網絡，而制作這些數據集既費錢又耗時。Transformer 通過數學方法發(fā)現元素之間的模式，因此實現了不需要進行標記，這讓網絡和企業(yè)數據庫中的數萬億張圖像和數 PB 文本數據有了用武之地。

此外，Transformer 使用的數學方法支持并行處理，因此這些模型得以快速運行。

Transformer 目前在流行的性能排行榜上獨占鰲頭，比如 2019 年為語言處理系統(tǒng)開發(fā)的基準測試 SuperGLUE。

Transformer 的注意力機制

與大多數神經網絡一樣，Transformer 模型本質上是處理數據的大型編碼器/解碼器模塊。

其能夠獨占鰲頭的原因是在這些模塊的基礎上，添加了其他微小但具有戰(zhàn)略意義的模塊（如下圖所示）。

Aidan Gomez（2017 年定義 Transformer 的論文的 8 位共同作者之一）展示內容的概覽圖

Transformer 使用位置編碼器標記進出網絡的數據元素。注意力單元跟蹤這些標簽，計算每個元素與其他元素間關系的代數圖。

注意力查詢通常通過計算被稱為多頭注意力中的方程矩陣并行執(zhí)行。

通過這些工具，計算機也能看到人類所看到的模式。

自注意力機制能夠明確意義

例如在下面的句子中：

她把壺里的水倒到杯子里，直到它被倒?jié)M。

我們知道這里的“它”指的是杯子，而在下面的句子中：

她壺里的水倒到杯子里，直到它被倒空。

我們知道這里的“它”指的是壺。

領導 2017 年這篇開創(chuàng)性論文研究工作的前 Google Brain 高級研究科學家 Ashish Vaswani 表示：“意義是事物之間的關系所產生的結果，而自注意力是一種學習關系的通用方法?！?/p>

Vaswani 表示：“由于需要單詞之間的短距離和長距離關系，因此機器翻譯能夠很好地驗證自注意力。”

“現在我們已經看到，自注意力是一種強大、靈活的學習工具。”

Transformer 名稱的由來

注意力對于 Transformer 非常關鍵，谷歌的研究人員差點把這個詞作為他們 2017 年模型的名稱。

在 2011 年就開始研究神經網絡的 Vaswani 表示：“注意力網絡這個名稱不夠響亮?！?/p>

該團隊的高級軟件工程師 Jakob Uszkoreit 想出了“Transformer”這個名稱。

Vaswani 表示：“我當時覺得我們是在轉換表征，但其實轉換的只是語義?！?/p>

Transformer 的誕生

在 2017 年 NeurIPS 大會上發(fā)表的論文中，谷歌團隊介紹了他們的 Transformer 及其為機器翻譯創(chuàng)造的準確率記錄。

憑借一系列技術，他們僅用 3.5 天就在 8 顆 NVIDIA GPU 上訓練出了自己的模型，所用時間和成本遠低于訓練之前的模型。這次訓練使用的數據集包含多達十億對單詞。

2017 年參與這項工作并做出貢獻的谷歌實習生 Aidan Gomez 回憶道：“距離論文提交日期只有短短三個月的時間。提交論文的那天晚上，Ashish 和我在谷歌熬了一個通宵。我在一間小會議室里睡了幾個小時，醒來時正好趕上提交時間。一個來得早的人開門撞到了我的頭。”

這讓 Aidan 一下子清醒了。

“那天晚上，Ashish 告訴我，他相信這將是一件足以改變游戲規(guī)則的大事。但我不相信，我認為這只是讓基準測試進步了一點。事實證明他說得非常對。”Gomez 現在是初創(chuàng)公司 Cohere 的首席執(zhí)行官，該公司提供基于 Transformer 的語言處理服務。

機器學習的重要時刻

Vaswani 回憶道，當看到結果超過了 Facebook 團隊使用 CNN 所得到的結果時，他感到非常興奮。

Vaswani 表示：“我覺得這可能成為機器學習的一個重要時刻?！?/p>

一年后，谷歌的另一個團隊嘗試用 Transformer 處理正向和反向文本序列。這有助于捕捉單詞之間的更多關系，提高模型理解句子意義的能力。

他們基于 Transformer 的雙向編碼器表征（BERT）模型創(chuàng)造了 11 項新記錄，并被加入到谷歌搜索的后臺算法中。

“由于文本是公司最常見的數據類型之一”，在短短幾周內，全球的研究人員就將 BERT 應用于多個語言和行業(yè)的用例中。Anders Arpteg，這位擁有 20 年機器學習研究經驗的專家表示，因為文本是公司最常見的數據類型之一，所以這種調整變得尤為重要。

小結

Transformer 模型的誕生標志著自然語言處理技術的一次重大飛躍。本文上篇為您揭示了這一模型的基本原理和發(fā)展歷程。隨著對 Transformer 模型的深入理解，我們可以看到其在機器翻譯、文本理解、基因序列分析等多個領域的廣泛應用，預示著 AI 技術革新與發(fā)展的無限可能。