一，前言

在AI領(lǐng)域，訓(xùn)練一個大型語言模型（LLM）是一個耗時且復(fù)雜的過程。幾乎每個做大型語言模型（LLM）訓(xùn)練的人都會被問到：“從零開始，訓(xùn)練大語言模型需要多久和花多少錢？”雖然網(wǎng)上有很多關(guān)于訓(xùn)練技巧和模型評估的文章，但很少有直接告訴你如何估算訓(xùn)練時間和成本的。前面分享了一些關(guān)于大模型/本地知識庫的安裝部署方法，無需編寫代碼，即可使用Ollama+AnythingLLM搭建企業(yè)私有知識庫，或者，三步完成Llama3.2在算力魔方的INT4量化和部署...本篇文章就教你一個簡單的方法，幫你快速估算基于大語言模型權(quán)重大小、數(shù)據(jù)量以及可用GPU算力訓(xùn)練大語言模型所需的時間和成本。

二，估算方法

訓(xùn)練模型時，處理數(shù)據(jù)和更新模型參數(shù)需要大量的計算，我們用浮點運算次數(shù)（FLOPs）來表示。首先，我們要估算處理一個token所需的FLOPs，包括前向傳遞和反向傳遞兩個部分。

• 前向傳遞：

每個token的前向傳遞涉及的加乘操作數(shù)大約為：

FLOPsforward= 2 x N2+2 x N x Dmodel

這里N表示模型的參數(shù)量，Dmodel是模型的維度。系數(shù)2來源于矩陣乘法中的累加操作。

• 反向傳遞：

大約需要前向傳遞的兩倍計算量，因為要計算權(quán)重和激活值的梯度。

FLOPsbackward=（2 x N2+2 x N x Dmodel）x 2

• 所以，一個token總的計算量大概是前向傳遞的三倍。因此，每個訓(xùn)練token的浮點運算可以估算為：

FLOPstotal=（2 x N2+2 x N x Dmodel）x 3

三，GPU性能

現(xiàn)在大多數(shù)模型都是用GPU來訓(xùn)練的。不同的GPU有不同的性能，比如NVIDIA的H100、A100或V100。每個GPU的性能可以用每秒浮點運算次數(shù)（FLOPS）來衡量。不過，實際訓(xùn)練時，由于多GPU之間的通信等因素，實際性能可能達(dá)不到理論上的最高值。

一個重要的概念是模型FLOPS利用率（MFU），它反映了實際計算效率與理論最大值的比例。通常情況下，隨著GPU數(shù)量的增加，MFU會下降。LLaMA 3的研究者們用16,000個GPU訓(xùn)練模型時，每個GPU的實際效率為380 teraflops，MFU為38%。

四,實際案例

1，l Llama 3 405B 參數(shù)模型

LLaMA 3.1（405B參數(shù)）是在15.6萬億token的數(shù)據(jù)集上訓(xùn)練的。訓(xùn)練這樣一個規(guī)模的模型所需的總FLOPs可以通過以下方式計算：

• 模型大小N = 405B
• 數(shù)據(jù)集大小P = 15.6T

模型使用了16,000個H100 GPU進(jìn)行訓(xùn)練。據(jù)了解，平均吞吐量為每個GPU 400 teraflops。這意味著訓(xùn)練基礎(chǔ)設(shè)施可以提供的總吞吐量為：

TotalThroughput

=400TFLOPs/GPU×16,000GPUs

=6.4ExaFLOPs

最后，通過將所需的總FLOPs除以可用吞吐量，并將結(jié)果轉(zhuǎn)換為天數(shù)（因為我們真正關(guān)心的是訓(xùn)練天數(shù)），我們可以得到訓(xùn)練時間。

3.8 x 1025FLOPs ÷ 6.4 x1018FLOPs/秒 =61天

2，成本估算

訓(xùn)練模型不僅耗時，還非常昂貴。以LLaMA 3.1為例，如果一個H100 GPU每小時的費用是2美元，那么用16,000個H100訓(xùn)練這個模型的總成本大約為2 x 24 x 61 x 16,000 = 46,848,000美元。

五，總結(jié)

訓(xùn)練大型語言模型是一項技術(shù)復(fù)雜且資金密集的任務(wù)。從零開始，把一個LLaMA 3.1（405B參數(shù)）的模型在15.6萬億token數(shù)據(jù)集上訓(xùn)練出來，大約需要花費61天(假設(shè)沒有訓(xùn)練中斷)和46,848,000美元(僅估算GPU租金、數(shù)據(jù)集制作費用和研發(fā)人力成本未計入)，你算對了嗎？

更多精彩內(nèi)容請點擊下方名片，關(guān)注“算力魔方?”公眾號！


審核編輯 黃宇