【核芯觀察】是電子發(fā)燒友編輯部出品的深度系列專欄，目的是用最直觀的方式令讀者盡快理解電子產(chǎn)業(yè)架構(gòu)，理清上、中、下游的各個環(huán)節(jié)，同時迅速了解各大細分環(huán)節(jié)中的行業(yè)現(xiàn)狀。以ChatGPT為首的AI大模型在今年以來可以說是最熱的賽道，而AI大模型對算力的需求爆發(fā)，也帶動了AI服務器中各種類型的芯片需求，所以本期核芯觀察將關(guān)注ChatGPT背后所用到的算力芯片產(chǎn)業(yè)鏈，梳理目前主流類型的AI算力芯片產(chǎn)業(yè)上下游企業(yè)以及運作模式。

ChatGPT帶火AI大模型行業(yè)

ChatGPT是OpenAI公司在2022年11月底發(fā)布的一款聊天機器人，屬于AICG（生成式人工智能技術(shù)）之一，ChatGPT能夠通過理解和學習人類語言來進行對話，還能根據(jù)聊天上下文的信息進行理解互動，完成包括撰寫郵件、文案、翻譯、生成代碼等多種任務。

與以往的決策式AI相比，生成式AI不僅僅局限于通過簡單分析現(xiàn)有數(shù)據(jù)來進行決策，而是對現(xiàn)有數(shù)據(jù)進行學習后，根據(jù)已有知識進行模仿來生成全新的內(nèi)容。

ChatGPT可以理解成是利用GPT模型并結(jié)合多種技術(shù)，包括多輪對話建模、對話行為分類、情感分析、GPT全稱是Generative Pre-trained Transformer，顧名思義這是一種生成式預訓練語言模型，ChatGPT目前是基于GPT-3.5和GPT-4這兩個大語言模型構(gòu)建的。GPT的核心結(jié)構(gòu)是Transformer模型架構(gòu)，可以說ChatGPT是基于Transformer的文本生成能力，在大規(guī)模的對話語料上進行了無監(jiān)督預訓練，然后在特定的對話任務上進行有監(jiān)督微調(diào)，使得其可以自然地生成文本或者回答問題，適用于自然語言生成的任務，因此在聊天互動上會有較好的表現(xiàn)。

在實際用戶體驗中，ChatGPT展現(xiàn)出極高的對話質(zhì)量和實用性，盡管仍會出現(xiàn)一些事實性錯誤，但超強的對話能力讓它迅速出圈，僅僅在上線兩個月后活躍用戶數(shù)就突破一億，成為史上增速最快的消費級應用。

與此同時，ChatGPT的爆火，也引爆了AI大模型創(chuàng)業(yè)的新一輪熱潮，除了各大互聯(lián)網(wǎng)巨頭、高校團隊之外，王小川、李開復、賈揚清等業(yè)界明星創(chuàng)業(yè)者也紛紛加入AI大模型創(chuàng)業(yè)的賽道，開發(fā)類ChatGPT的產(chǎn)品。

但這種AI大模型背后的技術(shù)底層并不簡單，它需要海量的數(shù)據(jù)、復雜的算法和強大的算力來支撐。其中，算力是人工智能發(fā)展最大的瓶頸，也是當前AI大模型核心競爭力的關(guān)鍵因素。目前，AI大模型主要依賴于GPU或CPU+FPGA、ASIC等算力芯片來實現(xiàn)其高效運行。這些算力芯片是針對人工智能算法做了特殊加速設計的芯片，也被稱為AI加速器或計算卡，是AI的算力基礎。

所以，在當前AI大模型行業(yè)的熱潮下，算力需求暴增帶來的是相關(guān)芯片需求的大幅上漲。有機構(gòu)預計，AI訓練對于算力的需求未來將會以每3.5個月翻一番的速度增長。因此我們在這期核芯觀察中，會著重關(guān)注ChatGPT火熱背后的算力芯片產(chǎn)業(yè)鏈。

大模型時代需要更多芯片算力

目前市面上主要的AICG預訓練大模型主要有OpenAI的GPT系列、谷歌的PaLM、Meta的LLaMA、百度的文心系列、騰訊的混元系列、阿里巴巴的通義千問、華為的盤古大模型等等

根據(jù)OpenAI公布的數(shù)據(jù)，GPT模型從2018年6月首次發(fā)布到2023年5月，已經(jīng)迭代了四格大版本，參數(shù)量從GPT-1的1.17億到GPT-3的1750億到GPT-3的1750億。而最新的GPT-4雖然沒有公布訓練參數(shù)量，不過根據(jù)OpenAI的說法，GPT-4主要的升級是多模態(tài)能力方面，會使用到更多計算資源。

近期谷歌發(fā)布的PaLM2的升級也類似，在參數(shù)量與PaLM2基本同是5400億的情況下大幅提升多模態(tài)能力，也就是可以同時處理文本、圖像、音頻等多種內(nèi)容。

而百度的類ChatGPT模型文心一言，是基于百度文心大模型打造，2021年12月百度推出的文心ERNIE 3.0 Titan參數(shù)量規(guī)模高達2600億。

當然由于大模型類型的不同比如NLP、CV，也有融合了NLP和CV的多模態(tài)，所以參數(shù)量也不直接代表大模型的實際能力。

參數(shù)量越高，意味著消耗的算力資源越多。以ChatGPT為例，由于ChatGPT與13億參數(shù)的InstructGPT是一對姐妹模型，僅在采集數(shù)據(jù)方式上有差異。參數(shù)規(guī)模為13.2億的GPT-3 XL與ChatGPT接近，而OpenAI公開的數(shù)據(jù)中，GPT-3 XL訓練所需算力是27.5PFlop/s-day（1PetaFLOP/s的效率運行27.5天），那么我們可以大致認為ChatGPT訓練一次所需算力同樣是需要1PetaFLOP/s的效率運行27.5天。

如果使用英偉達V100 GPU，按照半精度（FP16）算力125TFLOPS計算，ChatGPT至少需要一塊V100 GPU不間斷滿載運行220天才能完成一次訓練；如使用SXM版本的A100，按照半精度算力624TFLOPS計算，那么ChatGPT進行一次訓練也需要一塊A100運行44天左右。

目前SXM版本最高規(guī)格顯存的V100和A100單卡市場售價大約分別為2.5萬元和9萬元左右。

當然由于技術(shù)形式的不同，實際訓練中的效率不會這么高，而這樣的訓練成本僅是13億參數(shù)量的模型。如今AI大模型動輒千億，甚至萬億的參數(shù)量規(guī)模，比如有機構(gòu)報告推算GPT-4模型參數(shù)量達到1萬億，那么在暴增的數(shù)據(jù)量下，為了縮短訓練時間，對于AI服務器等算力硬件的需求量毫無疑問會隨著模型訓練數(shù)據(jù)量增加而提高。

另一方面，在ChatGPT這類聊天應用中，巨大的用戶訪問量也給算力帶來巨大的性能和成本壓力。根據(jù)Similarweb數(shù)據(jù)，今年2月OpenAI訪問量已經(jīng)達到11億次，而根據(jù)Fortune的數(shù)據(jù)，用戶每次與ChatGPT互動產(chǎn)生的云算力成本約0.01美元，如果往低了算，每次訪問網(wǎng)站僅進行一次互動，那么單月僅算力成本也要1100萬美元。

未來在包括類ChatGPT在內(nèi)的AI大模型進入到更多行業(yè)應用之后，市場需求持續(xù)開拓，AI服務器市場規(guī)模將有很大的市場空間，相關(guān)下游應用對于算力硬件的需求將會迎來新一輪爆發(fā)。

IDC的數(shù)據(jù)顯示，2021年，全球AI服務器市場規(guī)模為156億美元，同比增長39.1%；預計到2025年全球AI服務器市場規(guī)模將會達到317.9億美元，復合年均增長率為19%。根據(jù)集邦咨詢數(shù)據(jù)，截至2022年，預估搭載GPGPU的AI服務器年出貨量占整體服務器比重近1%，而2023年，在ChatGPT相關(guān)應用加持下，預估出貨量年同比增長8%，2022～2026年CAGR將達10.8%。

AI大模型背后用到哪些芯片？

在AI大模型領域，主要包括訓練（training）和推理（inference）兩個步驟，訓練即前面提到的通過大量經(jīng)過標記的數(shù)據(jù)來訓練能夠完成特定功能的模型，而推斷即利用經(jīng)過訓練后的模型，根據(jù)新導入的數(shù)據(jù)來推斷出結(jié)論。

用于人工智能的服務器目前主要用到CPU搭配GPU、FPGA、AI ASIC這幾種加速芯片，根據(jù)不同的計算任務選擇不同的芯片搭配。對于大模型訓練而言，傳統(tǒng)的CPU受限于單行運算，主要在邏輯控制、串行運算等方面有優(yōu)勢，不擅長復雜算法運算和處理并行重復的操作。所以CPU在深度學習中會被用于推理或預測等領域，而在服務器中，CPU可以負責整個系統(tǒng)的管理和控制，是服務器的基礎硬件，而GPU、FPGA、ASIC等加速芯片則負責AI計算任務的加速，兩者相互協(xié)作，共同提升整個系統(tǒng)的性能。按照IDC的數(shù)據(jù)CPU在基礎型、高性能型、推理型、訓練型服務器中成本占比分別為32%、23.3%、25%、9.8%。

GPU則是目前AI服務器最常見的芯片，它提供多核并行計算的基礎結(jié)構(gòu)，可以支撐大算力需求，并且擁有高浮點運算能力，在處理圖形數(shù)據(jù)和復雜算法方面與CPU相比有明顯優(yōu)勢，滿足深度學習領域的大量數(shù)據(jù)運算需求。不過GPU管理控制能力弱，需要配合CPU使用，功耗也較高。

FPGA也就是現(xiàn)場可編程門陣列，特點是可以無限次編程、靈活性較高，延時低，實時性強，可以同時進行數(shù)據(jù)并行和任務并行計算，在處理特定應用時會有明顯的效率優(yōu)勢。同時可重復編程為算法功能實現(xiàn)和優(yōu)化提供較大的修改空間。但與此同時FPGA開發(fā)難度大，價格較高，所以應用場景會受到一定限制。

AI用ASIC顧名思義是全定制化的芯片，專為特定應用或?qū)崿F(xiàn)某種特定功能而專門設計的AI芯片，在處理相應任務時的能耗、效率表現(xiàn)都最好。但ASIC前期研發(fā)成本高、時間周期長，并且由于定制化設計，應用場景極為局限。在深度學習算法穩(wěn)定后，可以通過根據(jù)算法需求設計ASIC，提供最高效率的算力硬件，大規(guī)模應用下能夠大幅降低整體系統(tǒng)成本。

總結(jié)一下這四種芯片在AI計算中起到的不同作用：CPU主要用于邏輯判斷、任務調(diào)度和控制方面；模型訓練則往往會使用GPU；FPGA多數(shù)在研發(fā)階段、數(shù)據(jù)中心、AI推理方面；AI用ASIC主要面向使用特定AI算法的應用場景，需要較為成熟的應用支撐其量產(chǎn)。

根據(jù)IDC的數(shù)據(jù)，中國AI芯片市場上目前GPU占比最高為89%，其次是NPU占到9.6%，ASIC和FPGA僅分別占1%和0.4%。其中NPU主要是用在邊緣側(cè)。而對于AI服務器的使用領域，按照當前趨勢，在市場增長的情況下，服務器用于推理的負載占比會緩慢增加。2021用于推理和訓練的占比分別為40.9%和59.1%，IDC預測2025年推理和訓練的占比調(diào)整為 60.8%和39.2%。

不過隨著AI大模型的成熟、算法持續(xù)優(yōu)化、芯片性能的提升等因素變化，未來模型消耗的算力需求、服務器數(shù)量需求可能會比預測的數(shù)據(jù)要低。

下一期內(nèi)容，我們將會對AI大模型中使用到的CPU、GPU、FPGA、ASIC這些細分領域產(chǎn)業(yè)鏈中做進一步的分析梳理，記得關(guān)注我們～