我們已經(jīng)進入大模型時代，據(jù)不完全統(tǒng)計，僅是國內(nèi)正式發(fā)布的大模型就超過了 200 個，而且這些模型在不斷的升級中，新的模型還不斷發(fā)布出來，過去的一周多，中國農(nóng)業(yè)大學(xué)發(fā)布了“神農(nóng)大模型”，網(wǎng)易發(fā)布了“子曰”大模型 2.0 版本。

模型的智能涌現(xiàn)水平同參數(shù)量有著直接關(guān)系，“大”仍是大模型升級的主流選擇。以 GPT 為例，GPT-2 參數(shù)量為 15 億，GPT-3 參數(shù)量為 1750 億，提高了 100 倍，最新的 GPT-4 有消息稱參數(shù)量為 1.8 萬億，提高了 10 倍。

模型參數(shù)量越大，需要的訓(xùn)練量也就越大，消耗的算力也就越多。任何一個大模型的開發(fā)和升級都需要考慮算力約束。那么模型的規(guī)模同所需算力之間到底是什么關(guān)系，我們需要解決這個問題，以便在模型升級過程中做好算力預(yù)算。

模型所需算力正比于參數(shù)量的平方

Transformer 是當(dāng)前應(yīng)用最廣的 AI 架構(gòu)。我們以 Transformer 為核心的大模型為例來估算計算量。

大模型的參數(shù)量主要取決于隱藏層的維度和構(gòu)成模型的Block的數(shù)量，我們假定隱藏層的維度為 h，Block 的數(shù)量為 i，那么，大模型的參數(shù)量為 。我們以 b 代指訓(xùn)練輸入數(shù)據(jù)的 batch size 和每個輸入序列（sequence）的長度，那么整個模型訓(xùn)練一次的計算量為 ，上述關(guān)系已經(jīng)得到嚴格的數(shù)學(xué)證明，在此不展開。 我們用 C 來指代模型所需算力當(dāng)量，用 N 來指代模型參數(shù)量，來看兩者的關(guān)系，得到如下結(jié)果： ?

? 由于在百億、千億參數(shù)的大模型中，隱含層的維度 h 遠大于輸入序列的長度 s，可以將 S 忽略不計。所以，上述等式的結(jié)果可以近似為 6b*s。b*s 是一次訓(xùn)練輸入的總 token 數(shù)，我們用 D 來指代。

由此可以得出訓(xùn)練大模型的所需的算力當(dāng)量評估公式：

D 同 N 相關(guān)性非常大，也就是模型越大訓(xùn)練的總 token 數(shù)也越大，我們把這個關(guān)系總結(jié)為一個線性函數(shù) N=kD，k 是一個固定的常數(shù)。

這樣上述公式就變?yōu)椋??

也就是說，大模型規(guī)模增大一倍，所需要的算力會增大 4 倍，如果增大 10 倍，所需算力就會增大 100 倍。大模型的算力需求增長速度超越了當(dāng)前的計算技術(shù)極限，讓大模型競賽成為算力競賽。 ? 在實際的大模型前沿探索中，算力已經(jīng)成為最大的制約因素。單從資金的角度看，訓(xùn)練千億、萬億大模型的算力成本已經(jīng)超出了大多數(shù)企業(yè)的承受能力，即使有錢如?OpenAI 也負擔(dān)不起，據(jù)透露，GPT-4?每次訓(xùn)練成本高達?6300?萬美元。

算力分配的變化——氪算力可直接提高智能涌現(xiàn)

增大參數(shù)量，降低訓(xùn)練量，或者保持參數(shù)量不變，直接加大訓(xùn)練量，兩個方法都可以提高模型的智能涌現(xiàn)水平。好鋼要用在刀刃上，在有限的算力約束下，該如何分配？此前的研究結(jié)論一直傾向于前者。2020 年 OpenAI 提出一個結(jié)論，給定 10 倍的計算預(yù)算，他們建議模型的大小應(yīng)該增加 5.5 倍，而訓(xùn)練 token 數(shù)量只增加 1.8 倍。

但是 2023 年 DeepMind 提出了新的觀點，模型大小和訓(xùn)練 token 數(shù)量應(yīng)該等比例縮放，模型增大 1 倍，token 數(shù)量也應(yīng)該增加 1 倍。而且 DeepMind 還認為目前的大模型普遍存在訓(xùn)練不足的情況，一個大模型訓(xùn)練充分需要把每個參數(shù)訓(xùn)練 20 個 token，但是業(yè)界主要的大模型普遍的訓(xùn)練水平不高于每個參數(shù) 10 個 token。

這個結(jié)論來源于嚴格的技術(shù)實驗，DeepMind 用 1.4 萬億 token 訓(xùn)練了參數(shù)量為 700 億的大模型 Chinchilla，該模型的表現(xiàn)超過了參數(shù)量 2800 億的 Gopher、1750 億 的 GPT-3 和 5300 億的 Megatron-Turing。

因此，我們可以把前文提到的公式進一步量化為 ，也就是一個大模型要訓(xùn)練的較為徹底，所需要的算力當(dāng)量是模型規(guī)模平方的 120 倍。

在 DeepMind 的研究結(jié)果發(fā)布以后，大模型“大”競爭開始放緩。2022 年人類大模型普遍達到千億級別之后，2023 年除了 GPT-4，其他新發(fā)布的大模型并沒有突破萬億級別，甚至出現(xiàn)了很多百億級別的模型?？刂颇Ｐ鸵?guī)模，進行更充分的訓(xùn)練，會實現(xiàn)更為理想的智能涌現(xiàn)。

以浪潮信息的“源”大模型為例，1.0 版本參數(shù)量 2450 億，零樣本和小樣本學(xué)習(xí)表現(xiàn)優(yōu)異，能夠進行人機對話、與人玩劇本殺、寫公文，相當(dāng)于一個文科生的水平，但是 2.0 版本最大的參數(shù)量為 1026 億，卻可以進行高水平的邏輯推理、做數(shù)學(xué)題、寫代碼，相當(dāng)于一個 985 大學(xué)的理科生，水平不可同日而語。

投入更大算力對百億、千億的模型進行訓(xùn)練挖潛，具有非常重大的現(xiàn)實意義。中小模型，以及由這些基礎(chǔ)模型生成的技能模型，對硬件的要求、能源的消耗相對較小。如果基礎(chǔ)大模型的參數(shù)規(guī)模降低 1%，那么對應(yīng)技能模型的每次推理計算的算力消耗也會降低 1%，會產(chǎn)生巨大的社會意義和經(jīng)濟意義。

發(fā)展AI，應(yīng)該優(yōu)先發(fā)展計算力

應(yīng)該說，今天的 AI 仍處于發(fā)展的初級階段，AI 也剛開始走入社會經(jīng)濟和個人生活。未來可能不僅每個場景會有一個大模型，每個人也會有一個大模型，這并不是假想，而是很快就能看到的現(xiàn)實。

所以，在相當(dāng)長的一個時期內(nèi)，大模型的訓(xùn)練需求將保持旺盛的增長，算力瓶頸是大模型訓(xùn)練和應(yīng)用面臨的長期問題。發(fā)展 AI 需要優(yōu)先發(fā)展算力，無論國家還是企業(yè)，應(yīng)該將更多的資源投入到算力產(chǎn)業(yè)中。

審核編輯：黃飛

?