在大模型產(chǎn)業(yè)發(fā)展的早期階段，行業(yè)焦點(diǎn)主要集中在大模型訓(xùn)練所需的算力投入。一個(gè)萬(wàn)億參數(shù)大模型的訓(xùn)練可能需要數(shù)千張GPU芯片連續(xù)運(yùn)行數(shù)月，成本高達(dá)數(shù)千萬(wàn)甚至上億元。但隨著大模型技術(shù)的成熟和應(yīng)用落地，推理算力正在成為市場(chǎng)關(guān)注的新焦點(diǎn)。

一、訓(xùn)練算力的"一次性投入"困境

大模型訓(xùn)練是典型的"一次性高成本投入"模式。根據(jù)OpenAI的公開(kāi)數(shù)據(jù)，GPT-3.5的訓(xùn)練大約使用了1024張A100芯片，耗時(shí)約3個(gè)月，成本超過(guò)1000萬(wàn)美元。而GPT-4的訓(xùn)練成本更是達(dá)到了上億美元級(jí)別。這種高成本的訓(xùn)練模式使得大模型技術(shù)長(zhǎng)期被少數(shù)巨頭企業(yè)掌握。

但訓(xùn)練只是大模型應(yīng)用的第一步，真正考驗(yàn)算力能力的是大規(guī)模商業(yè)應(yīng)用后的推理階段。一個(gè)活躍用戶每天與大模型的互動(dòng)可能需要消耗數(shù)美元的推理算力成本，而當(dāng)用戶規(guī)模達(dá)到百萬(wàn)級(jí)甚至千萬(wàn)級(jí)時(shí)，推理算力的需求將呈指數(shù)級(jí)增長(zhǎng)。

二、推理算力需求的新拐點(diǎn)根據(jù)IDC中國(guó)的預(yù)測(cè)，中國(guó)智能算力規(guī)模仍將保持高速增長(zhǎng)，2025年將較2024年增長(zhǎng)43%，2026年中國(guó)智能算力規(guī)模將達(dá)到2024年的兩倍。其中，推理算力的增長(zhǎng)速度將遠(yuǎn)超訓(xùn)練算力。

中國(guó)IDC圈創(chuàng)始人、CEO黃超表示，2026年產(chǎn)業(yè)智能體將進(jìn)入百花齊放的發(fā)展階段，算力應(yīng)用正從"訓(xùn)練主導(dǎo)"悄然轉(zhuǎn)向"推理驅(qū)動(dòng)"，推理算力需求的爆發(fā)周期即將全面到來(lái)?？浦亲稍儼l(fā)布的《算力基礎(chǔ)設(shè)施產(chǎn)業(yè)發(fā)展現(xiàn)狀與未來(lái)趨勢(shì)》報(bào)告顯示，到2026年，中國(guó)智算需求將占新增需求的71%，而其中推理算力的占比將超過(guò)50%。

從用戶數(shù)據(jù)來(lái)看，推理算力的需求增長(zhǎng)已經(jīng)顯現(xiàn)。QuestMobile發(fā)布的AI應(yīng)用周活排行榜顯示，豆包、DeepSeek、元寶、螞蟻阿福位列周活前四，新上線的螞蟻阿福和靈光增長(zhǎng)迅猛，通用AI在用戶規(guī)模上保持優(yōu)勢(shì)。這些活躍用戶每天產(chǎn)生的海量推理請(qǐng)求，對(duì)算力服務(wù)商的推理能力提出了極高要求。

三、推理算力的技術(shù)新挑戰(zhàn)與訓(xùn)練算力相比，推理算力面臨著完全不同的技術(shù)挑戰(zhàn)：

• 低時(shí)延要求：用戶與大模型的交互需要即時(shí)響應(yīng)，推理時(shí)延需要控制在數(shù)百毫秒以內(nèi)，否則會(huì)嚴(yán)重影響用戶體驗(yàn)。
• 高并發(fā)支持：商業(yè)應(yīng)用場(chǎng)景下，大模型可能需要同時(shí)處理數(shù)十萬(wàn)甚至數(shù)百萬(wàn)用戶的請(qǐng)求，需要算力系統(tǒng)具備強(qiáng)大的并發(fā)處理能力。
• 能效比優(yōu)化：推理算力是持續(xù)消耗型需求，能效比直接決定了企業(yè)的運(yùn)營(yíng)成本。根據(jù)國(guó)際能源署的預(yù)測(cè)，到2030年，AI設(shè)施的用電量將增長(zhǎng)五倍，對(duì)推理算力的能效比提出了更高要求。
• 異構(gòu)算力協(xié)同：不同的大模型推理場(chǎng)景對(duì)算力的需求各不相同，需要算力系統(tǒng)支持CPU、GPU、NPU等多種異構(gòu)芯片的協(xié)同工作。

為了應(yīng)對(duì)這些挑戰(zhàn)，算力服務(wù)商正在探索新的技術(shù)路徑。比如，中科曙光推出的"scaleX"萬(wàn)卡超集群系統(tǒng)采用浸沒(méi)相變液冷技術(shù)，將PUE值降至1.04，顯著提升了推理算力的能效比。華為則推出了昇騰AI芯片及全棧解決方案，針對(duì)推理場(chǎng)景進(jìn)行了深度優(yōu)化，支持高并發(fā)、低時(shí)延的推理服務(wù)。

四、算力服務(wù)商的新機(jī)遇推理算力需求的爆發(fā)，為算力服務(wù)商帶來(lái)了新的發(fā)展機(jī)遇：

• 長(zhǎng)期穩(wěn)定的營(yíng)收來(lái)源：推理算力需求具有持續(xù)性和穩(wěn)定性，相比一次性的訓(xùn)練算力需求，更適合作為算力服務(wù)商的核心營(yíng)收來(lái)源。
• 垂直行業(yè)定制化服務(wù)：不同行業(yè)的大模型應(yīng)用場(chǎng)景對(duì)推理算力的需求各不相同，算力服務(wù)商可以針對(duì)金融、醫(yī)療、教育等垂直行業(yè)提供定制化的推理算力解決方案。
• 綠色算力應(yīng)用場(chǎng)景：推理算力對(duì)能效比的高要求，推動(dòng)了綠色算力技術(shù)的發(fā)展。廊坊的智算集群通過(guò)AI算法對(duì)系統(tǒng)進(jìn)行數(shù)據(jù)分析，動(dòng)態(tài)調(diào)整負(fù)載分配，將PUE值降至1.25以下，為綠色推理算力應(yīng)用提供了范例。
• 邊緣推理算力布局：隨著大模型應(yīng)用向終端設(shè)備延伸，邊緣推理算力需求正在快速增長(zhǎng)。算力服務(wù)商可以通過(guò)部署邊緣推理節(jié)點(diǎn)，為終端設(shè)備提供低時(shí)延的推理服務(wù)。
  

五、未來(lái)趨勢(shì)展望從訓(xùn)練到推理的算力需求拐點(diǎn)已經(jīng)到來(lái)，未來(lái)大模型產(chǎn)業(yè)的競(jìng)爭(zhēng)將更多地圍繞推理算力展開(kāi)：

• 推理芯片將成為市場(chǎng)新寵：專門(mén)針對(duì)大模型推理優(yōu)化的芯片將成為市場(chǎng)關(guān)注的焦點(diǎn)，國(guó)產(chǎn)推理芯片廠商有望迎來(lái)發(fā)展黃金期。
• 推理算力服務(wù)將標(biāo)準(zhǔn)化：隨著推理算力需求的增長(zhǎng)，行業(yè)將逐漸形成標(biāo)準(zhǔn)化的推理算力服務(wù)模式，為企業(yè)提供便捷的算力獲取途徑。
• 大模型推理將走向開(kāi)源：開(kāi)源大模型的推理部署將變得更加便捷，降低企業(yè)的推理算力使用門(mén)檻，推動(dòng)大模型應(yīng)用的廣泛落地。
• 綠色推理算力將成為標(biāo)配：隨著雙碳目標(biāo)的推進(jìn)，綠色推理算力將成為算力服務(wù)商的核心競(jìng)爭(zhēng)力之一。

對(duì)于算力服務(wù)商而言，抓住推理算力需求的新拐點(diǎn)，提前布局推理算力基礎(chǔ)設(shè)施和技術(shù)方案，將在未來(lái)的市場(chǎng)競(jìng)爭(zhēng)中占據(jù)主動(dòng)地位。

本文轉(zhuǎn)自：并濟(jì)科技

內(nèi)容來(lái)源于科智咨詢、QuestMobile、中國(guó)IDC圈等公開(kāi)信息，

引用時(shí)請(qǐng)以最新官方版本為準(zhǔn)；