欧美特黄一级,听风吟视频

開源并行訓練系統(tǒng) ColossalAI 表示，已低成本復現(xiàn)了一個 ChatGPT 訓練的基本流程，包括 stage 1 預訓練、stage 2 的獎勵模型的訓練，以及最為復雜的 stage 3 強化學習訓練。具體亮點包括：

一個開源完整的基于 PyTorch 的 ChatGPT 等效實現(xiàn)流程，涵蓋所有 3 個階段，可以幫助你構建基于預訓練模型的 ChatGPT 式服務。
提供了一個迷你演示訓練過程供用戶試玩，它只需要 1.62GB 的 GPU 顯存，并且可能在單個消費級 GPU 上實現(xiàn)，單GPU模型容量最多提升10.3 倍。
與原始 PyTorch 相比，單機訓練過程最高可提升7.73 倍，單 GPU 推理速度提升 1.42 倍，僅需一行代碼即可調(diào)用。
在微調(diào)任務上，同樣僅需一行代碼，就可以在保持足夠高的運行速度的情況下，最多提升單GPU的微調(diào)模型容量3.7 倍。
提供多個版本的單 GPU 規(guī)模、單節(jié)點多 GPU 規(guī)模和原始 1750 億參數(shù)規(guī)模。還支持從 Hugging Face 導入 OPT、GPT-3、BLOOM 和許多其他預訓練的大型模型到你的訓練過程中。

ColossalAI 是一個具有高效并行化技術的綜合大規(guī)模模型訓練系統(tǒng)；旨在無縫整合不同的并行化技術范式，包括數(shù)據(jù)并行、管道并行、多張量并行和序列并行。其聲稱已通過 ZeRO、Gemini、Chunk-based 內(nèi)存管理等技術，極大地降低 ChatGPT 訓練的顯存開銷；僅需一半硬件資源即可啟動 1750 億參數(shù)模型訓練（從 64 卡到 32 卡），顯著降低應用成本。若使用上述相同硬件資源，Colossal-AI 則能以更短時間進行訓練，節(jié)省訓練成本，加速產(chǎn)品迭代。為了讓更多開發(fā)者體驗復現(xiàn) ChatGPT 模型，除 1750 億參數(shù)版本外，Colossal-AI 還提供高效的單 GPU、單機 4/8 GPU 的類 ChatGPT 版本，以降低硬件限制。

博客內(nèi)容還指出，在單機多 GPU 服務器上，即便使用最高端的 A100 80GB 顯卡，由于 ChatGPT 的復雜性和內(nèi)存碎片，PyTorch 最大僅能啟動基于 GPT-L（774M）這樣的小模型的 ChatGPT。用 PyTorch 原生的 DistributedDataParallel (DDP) 進行多卡并行擴展至 4 卡或 8 卡，性能提升有限。Colossal-AI 不僅在單GPU速度上訓練和推理優(yōu)勢明顯，隨著并行規(guī)模擴大還可進一步提升，最高可提升單機訓練速度 7.73 倍，單 GPU 推理速度 1.42 倍；并且能夠繼續(xù)擴展至大規(guī)模并行，顯著降低 ChatGPT 復現(xiàn)成本。

為了最大限度地降低培訓成本和易用性，Colossal-AI 提供了可以在單個 GPU 上試用的 ChatGPT 培訓流程。與在 14999 美元的 A100 80GB 上最多只能啟動 7.8 億個參數(shù)模型的 PyTorch 相比，Colossal-AI 將單個 GPU 的容量提升了 10.3 倍，達到 80 億個參數(shù)。對于基于 1.2 億參數(shù)的小模型的 ChatGPT 訓練，至少需要 1.62GB 的 GPU 內(nèi)存，任意單個消費級 GPU 都可以滿足。

此外，Colossal-AI 還在致力于降低基于預訓練大型模型的微調(diào)任務的成本。以 ChatGPT 可選的開源基礎模型 OPT 為例，Colossal-AI 能夠在單 GPU 上將微調(diào)模型的容量提高到 PyTorch 的 3.7 倍，同時保持高速運行。Colossal-AI 為 Hugging Face 社區(qū)的 GPT、OPT 和 BLOOM 等主流預訓練模型，提供了開箱即用的 ChatGPT 復現(xiàn)代碼。以 GPT 為例，僅需一行代碼，指定使用 Colossal-AI 作為系統(tǒng)策略即可快速使用。

from chatgpt.nn import GPTActor, GPTCritic, RewardModel
from chatgpt.trainer import PPOTrainer
from chatgpt.trainer.strategies import ColossalAIStrategy

strategy = ColossalAIStrategy(stage=3, placement_policy='cuda')

with strategy.model_init_context():
    actor = GPTActor().cuda()
    critic = GPTCritic().cuda()
    initial_model = deepcopy(actor).cuda()
    reward_model = RewardModel(deepcopy(critic.model)).cuda()

trainer = PPOTrainer(strategy, actor, critic, reward_model, initial_model,...)
trainer.fit(prompts)

審核編輯：李倩