電子發(fā)燒友網(wǎng)報道（文/李彎彎）近期，云天勵飛在高交會上重磅發(fā)布新一代AI芯片DeepEdge10。據(jù)介紹，DeepEdge10是國內(nèi)首創(chuàng)國產(chǎn)14nm Chiplet大模型推理芯片，采用自主可控的國產(chǎn)工藝，內(nèi)含國產(chǎn)RISC-V核，支持大模型推理部署。

云天勵飛新一代自研AI SoC DeepEdge10

大模型在邊緣運行對AI芯片提出新的要求

人工智能正在帶來史無前例的新一輪科技革命浪潮，以 ChatGPT 為代表的領(lǐng)域大模型在過去的一年多的時間內(nèi)取得了很大進(jìn)展，在對話生成、圖像生成、圖像分割、音樂生成等領(lǐng)域都展現(xiàn)了讓人驚嘆的效果，并迅速的在一些場景快速應(yīng)用落地，例如網(wǎng)絡(luò)搜索、會議摘要、自動化編程、 自動化辦公軟件等等。

在另一方面，大模型的能力也迅速的從自然語言處理快速的向語音、圖像、 視頻等領(lǐng)域橫向擴(kuò)展，多模態(tài)大模型的出現(xiàn)昭示著通用人工智能的時代即將來臨。

邊緣計算的場景呈現(xiàn)出算力碎片化、算法長尾化、產(chǎn)品非標(biāo)化、規(guī)模碎片化等特征，傳統(tǒng)的算法開發(fā)和芯片都難以適應(yīng)新一代人工智能邊緣計算場景的產(chǎn)品化需求。大模型的出現(xiàn)，為行業(yè)提供了算法層面的解決之道。但大模型在邊緣計算場景要面向?qū)崙?zhàn)發(fā)揮作用，則需要AI大模型推理芯片的支持。

根據(jù)任務(wù)的不同，AI芯片可分為訓(xùn)練芯片和推理芯片。訓(xùn)練，即通過輸入大量數(shù)據(jù)來構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，使之可以適應(yīng)特定的功能。訓(xùn)練芯片對算力、精度、通用性有較為苛刻的需求，需要能夠處理海量數(shù)據(jù)以及適應(yīng)各種不同的學(xué)習(xí)任務(wù)；推理，即借助現(xiàn)有神經(jīng)網(wǎng)絡(luò)進(jìn)行運算，通過新輸入的數(shù)據(jù)來獲得推理結(jié)論。推理芯片對性能和精度的要求相對較低，更注重對成本、功耗、時延等指標(biāo)的綜合考量。

云天勵飛董事長兼CEO陳寧對媒體表示，訓(xùn)練不是目的，生產(chǎn)大模型不是目的，千行百業(yè)的落地和應(yīng)用才是最終目的。不論是機(jī)器人、無人駕駛汽車智能傳感，還是各類智能硬件，甚至腦機(jī)接口芯片，都需要大模型的推理芯片。與訓(xùn)練芯片相比，目前推理芯片市場還處于百家爭鳴的狀態(tài)。尤其在中國，已經(jīng)開始考慮怎么基于國產(chǎn)工藝落地推理芯片，構(gòu)建國產(chǎn)工藝推理芯片的生態(tài)。

對于AI芯片來說，當(dāng)前備受關(guān)注的大模型，帶來了全新的計算范式和計算要求。云天勵飛副總裁李愛軍談到，芯片需要具備更大的算力、更大的內(nèi)存帶寬、更大的內(nèi)存容量，才能支持巨量參數(shù)的大模型在邊緣端運行。

云天勵飛新一代AI芯片可承載百億大模型運算

自2014年成立之初，云天勵飛就一直堅持自主研發(fā)芯片，沉淀“算法芯片化”的核心能力。陳寧指出，“算法芯片化”并不是簡單的“算法+芯片”，而是云天勵飛基于對場景的理解，以及對算法關(guān)鍵計算任務(wù)在應(yīng)用場景中的量化分析，將芯片設(shè)計者的理念、思想與算法相融合的AI芯片設(shè)計流程，能夠讓AI芯片在實際應(yīng)用中發(fā)揮更優(yōu)的效果。

在算法芯片化核心能力的支持下，云天勵飛目前已完成3代指令集架構(gòu)、4代神經(jīng)網(wǎng)絡(luò)處理器架構(gòu)的研發(fā)，且陸續(xù)商用。4年前，云天勵飛第一代AI芯片DeepEye1000實現(xiàn)獨立商用。

如今，大語言模型逐步向邊緣和終端滲透，云天勵飛聚焦構(gòu)建邊緣推理芯片的自主可控生態(tài)，推出新一代邊緣AI推理芯片DeepEdge10。該芯片采用國內(nèi)先進(jìn)工藝、支持多芯粒擴(kuò)展的 Chiplet技術(shù)，可提供12TOPS（INT8）整型計算和 2TFLOPS（FP16）浮點計算的深度學(xué)習(xí)推理計算算力，滿足市場對處理芯片在算法的多樣性、準(zhǔn)確性、算力密度及效能方面的要求。

并且，配合DeepEdge10系列邊緣智能芯片的處理器架構(gòu)和硬件架構(gòu)升級，工具鏈和軟件棧也進(jìn)行了相應(yīng)的升級，滿足多種深度學(xué)習(xí)算法模型在復(fù)雜的應(yīng)用場景下的部署需求。

云天勵飛EDGE10系列芯片

針對各類應(yīng)用場景，云天勵飛已開發(fā)出Edge10C、Edge10 標(biāo)準(zhǔn)版和 Edge10Max三款芯片。 Edge10C采用 8 核 CPU、算力 8Tops，Edge10 標(biāo)準(zhǔn)版采用 10 核 CPU、算力 12Tops，兩者均應(yīng)用于智慧安防、智慧城市和智能制造等邊緣計算推理領(lǐng)域。

Edge10Max 擁有 32 核 64 位通用處理器內(nèi)核，單芯片可提供 50Tops 算力，32GB DDR 容量和 120BG/S 的內(nèi)存帶寬，能高效支持 Transformer 模型中的矩陣乘法運算，主要應(yīng)用于邊緣大模型推理領(lǐng)域。

目前 DeepEdge10 芯片主要的適配的合作伙伴包括攝像頭、邊緣計算設(shè)備、機(jī)器人、汽車智能座艙等行業(yè)的客戶。此外，依托DeeEdge10創(chuàng)新的D2Dchiplet架構(gòu)打造的X5000推理卡，已適配并可承載SAMCV大模型、Llama2等百億級大模型運算。云天勵飛高管對媒體表示，下一代AI芯片將全面兼容多模態(tài)大模型，適配云天天書大模型的升級。



千億級、百億級大模型需要達(dá)到極強(qiáng)計算能力的同時，還能保持超低的功耗及成本，對芯片工藝要求高。

Chiplet是一種芯片模塊化設(shè)計方案，通過集成封裝等技術(shù)，能夠?qū)⒉煌に嚬?jié)點、不同功能、不同材質(zhì)的芯片，如同搭積木一樣集成一個更大的系統(tǒng)級芯片。陳寧介紹說：“結(jié)合當(dāng)前國內(nèi)的生產(chǎn)工藝現(xiàn)狀，我們和合作伙伴一起在三年前聯(lián)合技術(shù)攻關(guān)，采用D2D Chiplet技術(shù)，定制了一系列的IP，以在14nm的工藝節(jié)點上，支持大模型的推理部署?！?br />
小結(jié)

總的來說，目前大模型正在向邊緣端滲透，而這對邊緣AI芯片提出新的要求，需要更高的算力、更大的內(nèi)存帶寬及內(nèi)存容量。云天勵飛率先通過Chiplet工藝實現(xiàn)在14nm下推出可以運行百億大模型的邊緣推理芯片，值得關(guān)注。