來源|融中財(cái)經(jīng)

（ID：thecapital）

---

從 2022 年下半年開始，隨著深度學(xué)習(xí)的發(fā)展，以 Diffusion、ChatGPT 為代表的顛覆性 AI 應(yīng)用破圈，標(biāo)志著人工智能領(lǐng)域的重大突破，引發(fā)全球共振。不少人將 ChatGPT 的問世比喻為“蒸汽機(jī)”，人工智能就此走向“工業(yè)時(shí)代”。

上海人工智能產(chǎn)業(yè)投資基金作為上海市級(jí)產(chǎn)業(yè)投資基金，根據(jù)建設(shè)人工智能“上海高地”的戰(zhàn)略部署，始終密切跟蹤技術(shù)帶來的 AI 產(chǎn)業(yè)鏈技術(shù)及商業(yè)模式變遷。下面是近期我們對(duì) AI 技術(shù)及產(chǎn)業(yè)發(fā)展趨勢(shì)的思考：核心觀點(diǎn)： ■ ChatGPT 展現(xiàn)了極強(qiáng)的語義理解、多輪溝通對(duì)話、推理演繹能力，代表了人工智能研究范式的改變。以 Transformer 為基礎(chǔ)的軟硬件標(biāo)準(zhǔn)化趨勢(shì)的確立讓我們有理由相信且為之振奮：我們正站在在 AI 工業(yè)化革命爆發(fā)的拐點(diǎn)——與其說 ChatGPT 證明了某一條 AI 研究路線的成功，倒不如說它更大的意義是證明了 AI 這些年不斷收斂但依然存在多種選擇的各類路線里，最終真的是會(huì)走出一條路：AI 工業(yè)技術(shù)革命終將到來。 ■大語言模型使用自然語言交互，顛覆了原有的人機(jī)交互方式。從鍵盤鼠標(biāo)、觸摸屏、語音，人機(jī)交互方式的改變重塑了信息產(chǎn)業(yè)的形態(tài)。人工智能驅(qū)動(dòng)的自然語言交換不僅加速虛擬世界的建立，帶來了生產(chǎn)力的革命，也會(huì)重塑生產(chǎn)關(guān)系，現(xiàn)實(shí)世界的下游應(yīng)用都有望被重構(gòu)。 ■伴隨參數(shù)規(guī)模增速的不斷提升，算力和訓(xùn)練成本仍存在瓶頸，大模型的性能天花板遠(yuǎn)未到來，甚至算法需要根據(jù)硬件優(yōu)化，包括芯片級(jí)優(yōu)化、數(shù)據(jù)中心架構(gòu)優(yōu)化、機(jī)器學(xué)習(xí)分布式框架在內(nèi)的軟硬件聯(lián)合調(diào)優(yōu)等算力創(chuàng)新將成為破局關(guān)鍵，轉(zhuǎn)動(dòng)起 AI 算力 -AI 應(yīng)用的產(chǎn)業(yè)飛輪。

■大模型參數(shù)是社會(huì)底層知識(shí)、學(xué)習(xí)資料的承載，具有極高的社會(huì)、經(jīng)濟(jì)和文化價(jià)值?？紤]到全球政策環(huán)境、企業(yè)私有化部署的需求、數(shù)據(jù)跨境的合規(guī)風(fēng)險(xiǎn)等因素，中國獨(dú)立自主大模型構(gòu)建的迫切性呼之欲出。道阻且長，行之將至。如何利用好AI工程化這一構(gòu)建大模型的核心能力，以及利用中國的規(guī)模效應(yīng)使大模型迅速普及并改進(jìn)閉環(huán)，是破局的機(jī)會(huì)。

01 拐點(diǎn)將至：大模型研發(fā)范式的改變標(biāo)志著 AI 真正走向了工業(yè)化生產(chǎn)道路ChatGPT如何能力出眾？

相比于之前的 Chatbot，我們可以看到一個(gè)驚人的 ChatGPT：極好的理解和把握用戶意圖，具有出良好的多輪溝通對(duì)話、記憶、歸納和演繹能力，會(huì)甄別高水準(zhǔn)答案，知道如何一步一步解決用戶問題，有邏輯和條理的輸出回答結(jié)果。

ChatGPT背后的技術(shù)突圍和能力養(yǎng)成？

任何 AI 技術(shù)都不是空中樓閣。在驚嘆以 ChatGPT、Diffusion 為代表的 AIGC 所展現(xiàn)的驚人能力的同時(shí)，我們看到的是一次深度學(xué)習(xí)算法、算力提升、數(shù)據(jù)積累三浪疊加后的“大力 出奇跡”，以及背后長達(dá)幾十年的醞釀。

大語言模型 (LLM) 標(biāo)志著 AI 研究范式的改變：拉長 NLP 技術(shù)發(fā)展時(shí)間周期，早期階段 (2013年左右) 的 NLP 任務(wù)采用傳統(tǒng)的“特征提取+機(jī)器學(xué)習(xí)”進(jìn)行研究，第二階段轉(zhuǎn)變?yōu)椤邦A(yù)訓(xùn)練模型+fine tune”范式，均致力于“大練模型”，即根據(jù)下游任務(wù)調(diào)整預(yù)訓(xùn)練模型，幫助機(jī)器理解人的意圖。而在以 ChatGPT 為代表的 GPT3.0 “預(yù)訓(xùn)練模型+Prompt”范式中，通過“練大模型”大幅減小預(yù)訓(xùn)練的任務(wù)和下游任務(wù)之間的統(tǒng)計(jì)分布差距，讓計(jì)算機(jī)適配人的習(xí)慣命令表達(dá)方式，提高整體任務(wù)的通用性和用戶體驗(yàn)，從而使通用底座模型成為可能。模型規(guī)模激發(fā)能力突變：研究表明，大模型許多能力上的驚人突破，并非一個(gè)線性的過程，而是在模型尺寸達(dá)到一個(gè)量級(jí)時(shí)發(fā)生突然的“進(jìn)化”(Scaling Law 即規(guī)模定律)。當(dāng) LLM 的參數(shù)量達(dá)到一定量時(shí)(比如 100 億)，模型的能力將發(fā)生突變。GPT 3.0 模型下 1750 億參數(shù)量“涌現(xiàn)”出的強(qiáng)大智能表現(xiàn)，驗(yàn)證 ScalingLaw 生效，由此獲得了存在于大模型而非小模型的涌現(xiàn)能力。更深度的人類活動(dòng)信息變成可用數(shù)據(jù)，進(jìn)一步激發(fā)模型-數(shù)據(jù)的飛輪效應(yīng)。從神經(jīng)網(wǎng)絡(luò)角度看，人腦有約 100 萬億神經(jīng)元。GPT-3 有 1750 億參數(shù)，預(yù)計(jì) OpenAI的 GPT-4 模型參數(shù)量將變得更大，但距離人腦的 100 萬億神經(jīng)元尚遠(yuǎn)。隨著算力的進(jìn)步，參數(shù)規(guī)模提升能否帶來新的特性值得期待，我們相信大語言 模型的新能力會(huì)隨著參數(shù)和模型規(guī)模的激增而進(jìn)一步解鎖。

標(biāo)準(zhǔn)化趨勢(shì)正在加速：

在算法層面。大模型的核心 Transformer 有統(tǒng)一算法的趨勢(shì)，圖像、自然語言理解、多模態(tài)的主要技術(shù)路線基本都基于 Transformer 實(shí)現(xiàn)。算法的收斂某種程度上使得硬件收斂成為可能，而 Transformer 加速引擎成為算力必選項(xiàng)。雖然目前算法、軟件、硬件尚未實(shí)現(xiàn)完全標(biāo)準(zhǔn)化，但我們可以清楚的看到 LLM 標(biāo)準(zhǔn)化進(jìn)程正在加速，逐漸顯現(xiàn)出“通用目的技術(shù)”的三個(gè)特性即普遍適用性、動(dòng)態(tài)演進(jìn)性和創(chuàng)新互補(bǔ)性，有望成為驅(qū)動(dòng)工業(yè)革命的增長的引擎。 02

革故立新：人機(jī)交互方式的改變引發(fā)生產(chǎn)力的工業(yè)化變革，產(chǎn)業(yè)鏈將被重構(gòu)

回顧科技進(jìn)步和產(chǎn)業(yè)變革的歷史可以發(fā)現(xiàn)，歷次科技革命和工業(yè)革命都帶來了改變?nèi)祟惿a(chǎn)生活的技術(shù)、產(chǎn)品和服務(wù)?？萍几锩鼧?biāo)志性的科學(xué)成就以及工業(yè)革命的主導(dǎo)技術(shù)往往具有顛覆性特征，無一不對(duì)解放生產(chǎn)力、推動(dòng)人類文明演進(jìn)產(chǎn)生了深遠(yuǎn)影響。

大語言模型所推動(dòng)的本質(zhì)變革在于改變了人機(jī)交互方式。自然語言成為了人機(jī)交互媒介，計(jì)算機(jī)可以理解人類自然語言，而不再依賴固定代碼、特定模型等中間層。以手機(jī)、平板等為載體的人機(jī)交互方式可能在元宇宙場景下以更自然的方式展現(xiàn)，移動(dòng)互聯(lián)網(wǎng)時(shí)代的人工智能應(yīng)用可能被重塑。

交互方式的改變將引發(fā)各行各業(yè)的生產(chǎn)力革命：用以嫁接計(jì)算機(jī)與人類的軟件“中間層”將不復(fù)存在，產(chǎn)品形態(tài)發(fā)生變化，軟件可以迅速支持自然語言接口，而不必開發(fā)和調(diào)用 API 接口。勞動(dòng)對(duì)象、生產(chǎn)關(guān)系隨之變化，AI 軟件開發(fā)的門檻降低，用戶群擴(kuò)大，企業(yè)內(nèi)部研發(fā)和產(chǎn)品的界限將日益模糊；產(chǎn)品根據(jù)用戶反饋進(jìn)行直接調(diào)整，產(chǎn)業(yè)鏈進(jìn)一步縮短，生產(chǎn)效率提高。新的需求、職業(yè)、市場空間、商業(yè)模式呼之欲出，數(shù)據(jù)-模型疊加的產(chǎn)業(yè)飛輪將徹底改變很多傳統(tǒng)行業(yè)和產(chǎn)業(yè)格局。規(guī)模工業(yè)化生產(chǎn)的格局有望體現(xiàn)：生產(chǎn)方式從“農(nóng)耕時(shí)代”走向“工業(yè)時(shí)代”，AI 產(chǎn)業(yè)生態(tài)將從過去每個(gè)垂直應(yīng)用領(lǐng)域做各自模型，變成通過大模型做應(yīng)用，通用性更強(qiáng)。AI 產(chǎn)業(yè)鏈將呈現(xiàn)底層基礎(chǔ)設(shè)施(芯片/云服務(wù)商) - 大模型 - Prompt Engineering Platform - 終端應(yīng)用的水平化分工。我們大膽推測，由于預(yù)訓(xùn)練模型需要耗費(fèi)大量的成本和技術(shù)投入，因此類似臺(tái)積電之于英偉達(dá)，大模型/AI 平臺(tái)的入門門檻高，一般參與的對(duì)象還是以大規(guī)模的互聯(lián)網(wǎng)公司和行業(yè)巨頭為主，未來可能只有 1-2 家公司是做 大模型底層基礎(chǔ)設(shè)施。原本期望通過做垂直化、場景化、個(gè)性化模型和應(yīng)用工具擴(kuò)張成平臺(tái)型企業(yè)的中間層企業(yè)們的競爭可能日益激烈；理解行業(yè)痛點(diǎn)并在大模型基礎(chǔ)上快速抽取生成場景化、定制化、個(gè)性化的小模型，從而實(shí)現(xiàn)不同行業(yè)和領(lǐng)域的工業(yè)流水線式 部署的公司才能生存?？拷虡I(yè)的應(yīng)用型公司，依托 AI 將落地場景中的真實(shí)數(shù)據(jù)發(fā)揮更大價(jià)值。這某種程度上體現(xiàn)了規(guī)模工業(yè)化生產(chǎn)的特質(zhì)，即產(chǎn)業(yè)分工，標(biāo)準(zhǔn)化和規(guī)?；?。所有的下游應(yīng)用都有望被重構(gòu)：隨著基礎(chǔ)模型與工具層的崛起，構(gòu)建應(yīng)用的成本和難度將大幅降低。對(duì)于應(yīng)用開發(fā)者來說，所有的下游應(yīng)用值得被重構(gòu)。傳統(tǒng)企業(yè)(+AI)將享受低成本構(gòu)建應(yīng)用模型的便利，利用場景和行業(yè) know-how 優(yōu)勢(shì)更快地?fù)肀?shù)字化轉(zhuǎn)型，大幅提升效率和體驗(yàn)；創(chuàng)業(yè)公司(AI+)聚焦高價(jià)值場景，顛覆現(xiàn)有業(yè)務(wù)，在自己擅長的方向上去做突圍，比大廠先一步做出數(shù)據(jù)飛輪，形成壁壘。 03

超越摩爾定律：算力瓶頸下的軟硬件聯(lián)合調(diào)優(yōu)成為破局關(guān)鍵

新工業(yè)革命的主導(dǎo)技術(shù)和產(chǎn)業(yè)不再呈現(xiàn)單一性特征，很有可能演變?yōu)橛啥鄠€(gè)交叉技術(shù)組成的技術(shù)簇群，不斷同步、掣肘、疊加和“糾纏”。回看人工智能產(chǎn)業(yè)的發(fā)展歷史，每一波大發(fā)展都是與算力提升和數(shù)據(jù)爆發(fā)相結(jié)合。軟件與算力供需的失衡、能力的追趕不斷催生創(chuàng)新技術(shù)需求，一旦關(guān)鍵技術(shù)迎來突破，將會(huì)帶動(dòng)整個(gè)產(chǎn)業(yè)群的發(fā)展。

受制于摩爾定律，AI 訓(xùn)練成本高企，當(dāng)前硬件算力的成本和供給遠(yuǎn)無法滿足日益增長的內(nèi)存和計(jì)算需求。

不僅僅是語言大模型參數(shù)規(guī)模呈指數(shù)增長。LLM 將更大范圍更深度的人類活動(dòng)信息直接轉(zhuǎn)化為可用數(shù)據(jù)，引發(fā)全球數(shù)據(jù)量激增。根據(jù) Google 統(tǒng)計(jì)，DNN 的內(nèi)存和計(jì)算需求每年約增長 1.5 倍(2016-2020 內(nèi)存增長 0.97-2.16，算力增長 1.26- 2.16)；而算力供給卻達(dá)不到。從 2016 至 2023 年，英偉達(dá) GPU 單位美元的算力增長 7.5 倍(P100 4 GFLOPS/$ 到 H100 30 GFLOPS/$)，GPU 算力提升約 69 倍(P100 22T FLOPS 到 H100 1513T FLOPS)，GPU 效率提升約 59 倍(P100 73.3 TFLOPS/kw 到 H100 4322 TFLOPS/kw)。

雖然 GPU 在各種效率有明顯提升，長期來看，算力需求每年約增長 1.5 倍存在一定的不可持續(xù)性，我們預(yù)計(jì)在最好情況下英偉達(dá) GPU的算力供給每年增長 1 倍，按一般技術(shù)滲透規(guī)律，算力層面還需要一定程度的優(yōu)化，否則很難和應(yīng)用形成較好的正反饋效應(yīng)，從而提升行業(yè)的滲透率。如何在 AI 算力上實(shí)現(xiàn)技術(shù)突破、降低成本、擴(kuò)大規(guī)模，提升 AI 訓(xùn)練的邊際效益，將成為技術(shù)創(chuàng)新的焦點(diǎn)。

催生的算力創(chuàng)新需求包括：

芯片級(jí)優(yōu)化。

過去十年里芯片性能的提升，超過 60% 直接或間接受益于半導(dǎo)體工藝的提升，而只有17%來自于芯片架構(gòu)的升級(jí)；而摩爾定律放緩，每 100m 柵極的成本將持續(xù)增加(比如從 28nm 的 1.3 美元提升到 7nm 的 1.52 美元)，主要由制造這些芯片的復(fù)雜性增加所驅(qū)動(dòng)——即制造步驟的增加，遠(yuǎn)遠(yuǎn)達(dá)不到經(jīng)濟(jì)效益。同時(shí)，制造難度增加，也將增加良率帶來的損失，需要通過將大芯片分成更小的 Chiplet 提高產(chǎn)量/良率，降低制造成本。

數(shù)據(jù)中心架構(gòu)優(yōu)化。

據(jù)英偉達(dá)估計(jì)，到 2030 年數(shù)據(jù)中心能耗占全社會(huì)能耗 3-13%，而數(shù)據(jù)中心架構(gòu)也在演進(jìn)中，從原先的 CPU 作為單一算力來源，引入軟件架構(gòu)定義，再到增加 GPU、DPU，GPU、DPU 的引入使得數(shù)據(jù)中心三種計(jì)算芯片分工明確，從而提升整個(gè)數(shù)據(jù)中心的效率。

機(jī)器學(xué)習(xí)分布式框架。

大模型大算力一定需要多機(jī)多卡訓(xùn)練，以 ChatGPT 為例，訓(xùn)練一次需要 3.14×E23 FLOPS 算力。但從訓(xùn)練到推理的過程，模型參數(shù)數(shù)量不變，分布式框架加速優(yōu)化的幫助顯著。以英偉達(dá) A100為例，A100早期訓(xùn)練效率只有 20%，經(jīng)過分布式框架的優(yōu)化，效率可以提升 30%~40%，整體效率提升至 50%~100%。

04

時(shí)不我待：中國自主大模型的必然、機(jī)會(huì)和挑戰(zhàn)

以 OpenAI 、微軟等為代表的發(fā)達(dá)國家巨頭對(duì)科技創(chuàng)新和產(chǎn)業(yè)升級(jí)新一輪密集投入的效果逐步顯現(xiàn)，科技革命和工業(yè)革命下新一輪“技術(shù)—經(jīng)濟(jì)范式”變遷也隨之逐漸明朗。科技工業(yè)革命必然伴隨理念、知識(shí)、制度，甚至社會(huì)價(jià)值觀和國際話語權(quán)的深刻變革，引發(fā)新一輪的國際和經(jīng)濟(jì)競爭。ChatGPT 的出現(xiàn)意味著 AI 產(chǎn)業(yè)水平化分工的條件基本成熟，世界上并不需要很多個(gè)大模型，但大模型參數(shù)作為社會(huì)底層知識(shí)、學(xué)習(xí)資料的承載，具有極高的社會(huì)、經(jīng)濟(jì)和文化價(jià)值。基于全球政治環(huán)境、代表中國中大型企業(yè)私有化部署的需求、數(shù)據(jù)跨境的合規(guī)風(fēng)險(xiǎn)和安全考慮，我們認(rèn)為，中國一定會(huì)有自己的 LLM (大模型)。

將構(gòu)建中國自主的大模型視為在 AI 領(lǐng)域全方位軍備競賽并不為過。這需要超大規(guī)模智算平臺(tái)對(duì)芯片、系統(tǒng)、網(wǎng)絡(luò)、存儲(chǔ)到數(shù)據(jù)進(jìn)行全盤系統(tǒng)優(yōu)化，需要一個(gè)能自主掌控更多環(huán)節(jié)從而實(shí)現(xiàn)全局調(diào)優(yōu)的方案。雖然目前我們?cè)谒懔?、高質(zhì)量數(shù)據(jù)集、頂尖人才資源、應(yīng)用生態(tài)方面與海外存在較大差距，但以百度、騰訊、阿里為代表的中國科技公司們?cè)谶@個(gè)技術(shù)周期里所生長出來云、數(shù)據(jù)、芯片和復(fù)雜系統(tǒng)，已初步擁有了參與這場 ChatGPT 競爭的“入場券”。即使目前各環(huán)節(jié)依然存在不小的代際差，但我們深信基于多年積累的建模、訓(xùn)練和調(diào)參，加大長期的資本和人才投入，深度融合的數(shù)據(jù)和場景，底層訓(xùn)練數(shù)據(jù)，我們自主獨(dú)立的大模型依然存在商業(yè)閉環(huán)的機(jī)會(huì)。

如何追趕？核心能力在于工程化能力和應(yīng)用規(guī)模。作為系統(tǒng)工程，AI 需要依靠龐大的團(tuán)隊(duì)支撐。類比搜索引擎公司，搜索引擎壁壘不在于算法本身，而在于工程化的需求，例如谷歌搜索引擎、頭條推薦，都需要強(qiáng)大的工程能力。OpenAI 的 GPT-1 到 GPT-3 再到現(xiàn)在的 ChatGPT ，模型結(jié)構(gòu)沒有發(fā)生任何變化(transformer decoder)，單一產(chǎn)品仍需要幾百名正式員工、上千名標(biāo)注員打磨三年——AI 工程化恰是中國的機(jī)會(huì)。同時(shí)，中國基本上所有的互聯(lián)網(wǎng)公司都是 AI 公司，中國的規(guī)模效應(yīng)，有望讓大模型迅速普及化的改進(jìn)閉環(huán)，成為中國企業(yè)迎頭追趕的機(jī)會(huì)。

人工智能有助于經(jīng)濟(jì)的自動(dòng)化、智能化，AI 大模型的最終目標(biāo)是 AGI(通用人工智能)。AI 大模型對(duì)人類傳達(dá)信息的載體有了更好的學(xué)習(xí)，在此基礎(chǔ)上各個(gè)媒介之間的互通成為可能。當(dāng)這一目標(biāo)實(shí)現(xiàn)的時(shí)候，人類各種經(jīng)濟(jì)活動(dòng)產(chǎn)生的信息的生產(chǎn)、傳輸、分發(fā)、消費(fèi)可實(shí)現(xiàn)編程化，萬物智能成本無限降低，人類的生產(chǎn)力與創(chuàng)造力得到進(jìn)一步的解放。

相信長期的力量。上海人工智能基金秉持長期主義，助力人工智能從業(yè)者們這場系統(tǒng)戰(zhàn)、持久戰(zhàn)中保持定力。上海人工智能產(chǎn)業(yè)基金是經(jīng)上海市政府批準(zhǔn)同意，由國盛集團(tuán)、臨港集團(tuán)聯(lián)合市區(qū)兩級(jí)財(cái)政及市屬大型產(chǎn)業(yè)集團(tuán)共同發(fā)起，由上海臨港科創(chuàng)投資管理有限公司擔(dān)任基金管理人，旨在貫徹落實(shí)世界人工智能大會(huì)成果，加快推進(jìn)上海人工智能高質(zhì)量發(fā)展。基金聚焦人工智能核心技術(shù)和關(guān)鍵應(yīng)用，同時(shí)關(guān)注優(yōu)秀創(chuàng)業(yè)者陪護(hù)和生態(tài)資源的持續(xù)積累，致力于打造人工智能產(chǎn)業(yè)發(fā)展各類要素聯(lián)通的“一站式”平臺(tái)，助力建設(shè)人工智能“上海高地”，同時(shí)為產(chǎn)業(yè)升級(jí)變革創(chuàng)造長期價(jià)值。

ChatGPT 的能力展現(xiàn)為人工智能產(chǎn)業(yè)鏈注入了新活力，即使尚處于萌芽期，其展現(xiàn)的創(chuàng)造能力充滿想象空間，有望帶動(dòng) AIGC 類應(yīng)用快速爆發(fā)。人工智能技術(shù)作為驅(qū)動(dòng)數(shù)據(jù)經(jīng)濟(jì)的技術(shù)底層，有望迎來新的發(fā)展機(jī)遇，在數(shù)字時(shí)代賦能人類生產(chǎn)力與創(chuàng)造力進(jìn)一步解放和革新。上海人工智能基金將持續(xù)通過技術(shù)引領(lǐng)與場景賦能雙輪驅(qū)動(dòng)，推動(dòng)人工智能成為驅(qū)動(dòng)新一輪科技革命和產(chǎn)業(yè)變革的重要力量。

END

歡迎加入Imagination GPU與人工智能交流2群 入群請(qǐng)加小編微信：eetrend89

（添加請(qǐng)備注公司名和職稱）

推薦閱讀 對(duì)話Imagination中國區(qū)董事長：以GPU為支點(diǎn)加強(qiáng)軟硬件協(xié)同，助力數(shù)字化轉(zhuǎn)型

直播預(yù)告|TVM新增算子賽題講解及在Imagination NNA上完成飛槳3D模型部署

Imagination Technologies是一家總部位于英國的公司，致力于研發(fā)芯片和軟件知識(shí)產(chǎn)權(quán)（IP），基于Imagination IP的產(chǎn)品已在全球數(shù)十億人的電話、汽車、家庭和工作 場所中使用。獲取更多物聯(lián)網(wǎng)、智能穿戴、通信、汽車電子、圖形圖像開發(fā)等前沿技術(shù)信息，歡迎關(guān)注 Imagination Tech！