繼GPT-3問世僅僅不到一年的時間，Google重磅推出Switch Transformer，直接將參數(shù)量從GPT-3的1750億拉高到1.6萬億，并比之前最大的、由google開發(fā)的語言模型T5-XXL足足快了4倍。

對于機器學習來說，參數(shù)可以算得上算法的關(guān)鍵：他們是歷史的輸入數(shù)據(jù)，經(jīng)過模型訓練得來的結(jié)果，是模型的一部分。

一般來說，在NLP領(lǐng)域，參數(shù)數(shù)量和復雜程度之間具有正相關(guān)性。

迄今為止，OpenAI 的 GPT-3是有史以來最大的語言模型之一，有1750億個參數(shù)。

現(xiàn)在，距離GPT-3問世不到一年的時間，更大更復雜的語言模型又來了——

在對這種相關(guān)性進行最全面測試的基礎(chǔ)上，谷歌的研究人員開發(fā)了一種能夠訓練包含超過一萬億參數(shù)的語言模型：Switch Transformer，并進行了基準測試。

他們表示，1.6萬億參數(shù)模型是迄今為止最大的，并比之前最大的、由google開發(fā)的語言模型T5-XXL足足快了4倍。

圖：Switch 模型設(shè)計和預訓練表現(xiàn)

研究人員在論文中表示，對于強大模型來說，進行大規(guī)模訓練是一個非常有效的途徑。

盡管在大數(shù)據(jù)集和參數(shù)支撐下的簡單的架構(gòu)可以超越一些復雜的算法，然而，高效且大規(guī)模的訓練卻屬于極度的計算密集型。

而這，也正是Google的研究者發(fā)明Switch Transformer的原因。

圖：Switch Transformer編碼塊

Switch Transformer使用了一種叫做稀疏激活（sparsely activated）的技術(shù)，這個技術(shù)只使用了模型權(quán)重的子集，或者是轉(zhuǎn)換模型內(nèi)輸入數(shù)據(jù)的參數(shù)，即可達成相同的效果。

此外，Switch Transformer還主要建立在混合專家（Mix of Expert）的基礎(chǔ)上。

圖：Token動態(tài)路由示例

什么是“混合專家”呢？

混合專家（Mix of Expert，MoE）是90年代初首次提出的人工智能模型范式。

在MoE中，對于不同的輸入，會選擇不同的參數(shù)。多個專家（或者專門從事不同任務(wù)的模型）被保留在一個更大的模型中，針對任何給定的數(shù)據(jù)，由一個“門控網(wǎng)絡(luò)”來選擇咨詢哪些專家。

其結(jié)果是一個稀疏激活的模型——具有數(shù)量驚人的參數(shù)，但計算成本不變。然而，盡管MoE取得了一些顯著的成功，但其廣泛采用仍然受到復雜性、通信成本和訓練不穩(wěn)定性的阻礙。而Switch Transformer則解決了這些問題。

Switch Transformer的新穎之處，在于它有效地利用了為密集矩陣乘法(廣泛應(yīng)用于語言模型的數(shù)學運算)設(shè)計的硬件，如GPU和谷歌的TPU。

圖：數(shù)據(jù)和權(quán)重劃分策略

在研究人員的分布式訓練設(shè)置中，他們的模型將不同的權(quán)重分配到不同的設(shè)備上，因此，雖然權(quán)重會隨著設(shè)備數(shù)量的增加而增加，但是每個設(shè)備卻可以保持可管理的內(nèi)存和計算足跡。

在一項實驗中，研究人員使用了32個TPU核，在“Colossal Clean Crawled Corpus”，也就是 C4 數(shù)據(jù)集上，預先訓練了幾種不同的Switch Transformer模型。

C4是一個750gb大小的數(shù)據(jù)集，包含從Reddit、Wikipedia和其他web資源上獲取的文本。

研究人員讓這些Switch Transformer模型去預測有15%的單詞被掩蓋的段落中遺漏的單詞，除此之外，還為模型布置了許多其他挑戰(zhàn)，如檢索文本來回答一系列越來越難的問題等等。

研究人員聲稱，和包含3950億個參數(shù)和64名專家的更小的模型(Switch-XXL)相比，他們發(fā)明的擁有2,048名專家的1.6萬億參數(shù)模型(Switch-C)則“完全沒有訓練不穩(wěn)定性”。

然而，在SQuAD的基準測試上，Switch-C的得分卻更低(87.7)，而Switch-XXL的得分為89.6。

對此，研究人員將此歸因于微調(diào)質(zhì)量、計算要求和參數(shù)數(shù)量之間的不明確關(guān)系。

在這種情況下，Switch Transformer還是在許多下游任務(wù)上的效果有了提升。例如，根據(jù)研究人員的說法，在使用相同數(shù)量的計算資源的情況下，它可以使預訓練的速度提高了7倍以上。

圖：所有模型均在32個TPU上進行訓練

同時研究人員證明，大型稀疏模型可以用來創(chuàng)建更小、更稠密的模型，這些模型可以對任務(wù)進行微調(diào)，其質(zhì)量增益只有大型模型的30% 。

在一個測試中，一個 Switch Transformer 模型被訓練在100多種不同的語言之間進行翻譯，研究人員觀察到其中101種語言都得到了“普遍的改善”，91% 的語言受益于超過baseline模型4倍以上的速度。

圖：101種語言的多語言預訓練

研究人員在論文中寫道: “雖然這項工作主要集中在超大型模型上，但我們也發(fā)現(xiàn)，只有兩個專家的模型能夠提高性能，同時很容易適應(yīng)常用 GPU 或 TPU 的內(nèi)存約束。”

“我們不能完全保證模型的質(zhì)量，但是通過將稀疏模型蒸餾成稠密模型，同時達到專家模型質(zhì)量增益的30%的情況下 ，是可以達到10到100倍壓縮率的。”

在未來的工作中，研究人員計劃將Switch Transformer應(yīng)用到新的和跨越不同的模態(tài)中去，包括圖像和文本。他們認為，模型稀疏性可以賦予各種不同媒介以及多模態(tài)模型一些優(yōu)勢。

在論文的最后，Google的研究人員還表示：

總的來說，Switch Transformers是一個可擴展的，高效的自然語言學習模型。

通過簡化MoE，得到了一個易于理解、易于訓練的體系結(jié)構(gòu)，該結(jié)構(gòu)還比同等大小的密集模型具有更大的采樣效率。

這些模型在一系列不同的自然語言任務(wù)和不同的訓練機制中，包括預訓練、微調(diào)和多任務(wù)訓練，都表現(xiàn)出色。

這些進步使得使用數(shù)千億到萬億參數(shù)訓練模型成為可能，相對于密集的T5基準，這些模型可以實現(xiàn)顯著的加速。

谷歌的研究人員表示，希望他們的工作能夠激勵稀疏模型成為一種有效的架構(gòu)，并鼓勵研究人員和實踐者在自然語言任務(wù)中考慮這些靈活的模型。

原文標題：1.6萬億參數(shù)，秒殺GPT-3！谷歌推出超級語言模型Switch Transformer，比T5快4倍

文章出處：【微信公眾號：人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責任編輯：haq