無論是市場動力、技術(shù)創(chuàng)新還是熱點(diǎn)趨勢，2024年的半導(dǎo)體產(chǎn)業(yè)都繞不開“AI”這個關(guān)鍵詞。從算力芯片，到芯片互聯(lián)、異構(gòu)聚合等AI基礎(chǔ)設(shè)施，再到軟件平臺、開發(fā)者社區(qū)與生態(tài)合作組織等平臺生態(tài)建設(shè)，以及算力集群等大規(guī)模應(yīng)用——半導(dǎo)體產(chǎn)業(yè)鏈的每一個節(jié)點(diǎn)，都在跟隨AI的腳步創(chuàng)新發(fā)展。

1月22日，“中國電子報(bào)編輯選擇——2024年AI芯片創(chuàng)新產(chǎn)品及生態(tài)應(yīng)用”正式出爐。本次編輯選擇結(jié)合行業(yè)關(guān)注、市場熱點(diǎn)和企業(yè)動態(tài)，通過考察技術(shù)領(lǐng)先性、市場競爭力、產(chǎn)品應(yīng)用性、生態(tài)構(gòu)建能力等指標(biāo)，推選出10個創(chuàng)新產(chǎn)品及生態(tài)應(yīng)用，涵蓋優(yōu)秀產(chǎn)品、創(chuàng)新技術(shù)、生態(tài)貢獻(xiàn)和卓越應(yīng)用等，以期為行業(yè)發(fā)展樹立典范，為業(yè)界人士提供參考，為產(chǎn)業(yè)合作提供契機(jī)。

第6代TPU Trillium

谷歌公司

優(yōu)秀產(chǎn)品

Trillium（TPU v6e）是谷歌第 6 代 TPU。相比上一代產(chǎn)品TPU v5e，Trillium訓(xùn)練性能提升超 4 倍，推理吞吐量提升3 倍；單顆芯片峰值計(jì)算能力(Int8)提升4.7倍，達(dá)到1836TOPs；HBM容量及帶寬各提升1倍，分別達(dá)到32GB和1640GBps；芯片間互聯(lián)帶寬提高一倍，達(dá)到3584Gbps；能源效率提升67%。Trillium支持最多256個v6e芯片訓(xùn)練，以及最多8個芯片的單主機(jī)推理。在擴(kuò)展能力方面，使用由3072個v6e芯片組成的12個計(jì)算模塊進(jìn)行部署時，Trillium實(shí)現(xiàn)了99%的擴(kuò)展效率。即便在跨數(shù)據(jù)中心網(wǎng)絡(luò)環(huán)境下，使用由6144個芯片組成的24個計(jì)算模塊對gpt3-175b進(jìn)行預(yù)訓(xùn)練，Trillium也展現(xiàn)出94%的擴(kuò)展效率。

擁有45TOPS NPU的PC平臺驍龍X Elite

高通公司

優(yōu)秀產(chǎn)品

驍龍X Elite是高通專為Windows 11 AI+ PC打造的PC平臺，擁有45TOPS NPU算力。該平臺采用定制的集成高通Oryon CPU，擁有12個高性能內(nèi)核，主頻達(dá)3.8GHz，雙核增強(qiáng)技術(shù)可將兩個高性能內(nèi)核提升到4.3GHz，是首個主頻達(dá)到4GHz以上的ARM架構(gòu)CPU核心；集成Adreno GPU能夠?qū)崿F(xiàn)每秒4.6萬億次浮點(diǎn)運(yùn)算的圖形性能。驍龍X Elite采用了全新異構(gòu)高通AI引擎，擁有45TOPS算力NPU。此外，該平臺支持10Gbps 5G下載速度，以及高通FastConnect7800支持的Wi-Fi 7等通信技術(shù)。除驍龍X Elite外，驍龍X系列還包括驍龍X Plus、驍龍X Plus（8核）以及驍龍X平臺。目前，來自眾多領(lǐng)先OEM廠商的超過60款PC設(shè)計(jì)已經(jīng)量產(chǎn)或正在開發(fā)中，包括華碩、宏基、戴爾、HP和聯(lián)想等。

多模態(tài)智慧感知決策AI芯片PIMCHIP-S300

北京蘋芯科技有限公司

優(yōu)秀產(chǎn)品

PIMCHIP-S300是一款基于存算一體技術(shù)的多模態(tài)智慧感知決策AI芯片。該芯片搭載的SRAM存算一體技術(shù)能夠使計(jì)算直接在存儲器內(nèi)部發(fā)生，有效減少了傳統(tǒng)架構(gòu)中數(shù)據(jù)搬運(yùn)帶來的能耗和延遲問題，核心能效比達(dá)27TOPS/W，同時能夠?qū)崿F(xiàn)低功耗運(yùn)行。該芯片支持音頻、視頻多模態(tài)融合感知，具備超低功耗喚醒、VAD（聲音活動檢測）、語音識別、運(yùn)動監(jiān)測和視覺識別功能，可適用于智能穿戴、智慧家居、無人機(jī)等多個新興行業(yè)，為合作伙伴帶來高能效、低成本的解決方案，推動其產(chǎn)品的智能化轉(zhuǎn)型。

異構(gòu)GPU協(xié)同訓(xùn)練方案HGCT

上海壁仞科技股份有限公司

創(chuàng)新技術(shù)

壁仞科技自主原創(chuàng)的異構(gòu)GPU協(xié)同訓(xùn)練方案HGCT，是業(yè)界首次實(shí)現(xiàn)統(tǒng)一異構(gòu)通信庫支持多種不同廠商、不同型號的GPU進(jìn)行GDR高速通信，也是業(yè)界首次實(shí)現(xiàn)四種異構(gòu)GPU混合訓(xùn)練同一個大模型，將異構(gòu)算力有效聚合，端到端混訓(xùn)效率達(dá)到95-98%，突破了大模型異構(gòu)算力孤島難題，有望實(shí)現(xiàn)萬卡、十萬卡異構(gòu)集群混訓(xùn)。該方案具備普適性、易用性、兼容性，使多種國產(chǎn)GPU和英偉達(dá)GPU算力的異構(gòu)聚合成為可能，從而有助于加快國產(chǎn)GPU的落地遷移，有助于應(yīng)用方最大化異構(gòu)GPU集群利用效率，助力國產(chǎn)大模型落地。壁仞科技已聯(lián)合中國移動發(fā)布“芯合”異構(gòu)混合并行訓(xùn)練系統(tǒng)，聯(lián)合中國電信、中興通訊等發(fā)布“智算異構(gòu)四芯混訓(xùn)解決方案”。

實(shí)現(xiàn)光學(xué)I/O芯粒的完全集成

英特爾公司

創(chuàng)新技術(shù)

面向大模型和生成式AI的部署需求，數(shù)據(jù)中心需要指數(shù)級提升的I/O帶寬和更長的傳輸距離，以支持更大規(guī)模的處理器集群和更加高效的架構(gòu)。在2024年光纖通信大會上，英特爾展示了完全集成的OCI（光學(xué)計(jì)算互連）芯粒?；谝褜?shí)際驗(yàn)證的硅光子技術(shù)，英特爾在OCI芯粒中集成了包含片上激光器的硅光子集成電路（PIC）、光放大器和電子集成電路。英特爾現(xiàn)場展示的OCI芯粒與自家CPU封裝在一起，但它也能與下一代CPU、GPU、IPU等SOC集成。該OCI芯?？稍谧铋L100米的光纖上，單向支持64個32Gbps通道，以滿足AI基礎(chǔ)設(shè)施日益增長的對更高帶寬、更低功耗和更長傳輸距離的需求。同時有助于實(shí)現(xiàn)可擴(kuò)展的CPU和GPU集群連接，和包括一致性內(nèi)存擴(kuò)展及資源解聚的新型計(jì)算架構(gòu)。

用于AI XPU的3.5D面對面（F2F）封裝技術(shù)

博通公司

創(chuàng)新技術(shù)

2024年12月，博通公司推出3.5D系統(tǒng)級封裝平臺技術(shù)XDSiP，助力消費(fèi)級人工智能領(lǐng)域企業(yè)開發(fā)下一代定制加速器（XPU）。該3.5D技術(shù)結(jié)合了3D硅片堆疊與2.5D封裝，能在單個封裝器件中集成超6000平方毫米的硅片以及多達(dá)12個HBM堆棧?；趧?chuàng)新的面對面（F2F）堆疊方式，3.5D XDSiP直接連接上下層芯片的頂部金屬層，從而提供了密集且可靠的連接，同時將電氣干擾降至最低，并具備出色的機(jī)械強(qiáng)度。相比傳統(tǒng)的面對背（F2B）封裝，3.5D XDSiP技術(shù)將堆疊芯片之間的信號密度提升7倍，芯片間接口的功耗降低10倍，降低了3D堆疊內(nèi)計(jì)算、內(nèi)存和輸入/輸出組件之間的延遲，且能夠?qū)崿F(xiàn)更小的中介層和封裝尺寸。

開源軟件平臺ROCm

超威半導(dǎo)體產(chǎn)品（中國）有限公司

生態(tài)貢獻(xiàn)

ROCm（Radeon Open Compute Platform）是一個開源的軟件平臺，通過支持異構(gòu)硬件、優(yōu)化平臺工具、提升開發(fā)者友好程度以及拓展合作伙伴等方式，助力AI產(chǎn)業(yè)生態(tài)建設(shè)。ROCm既支持AMD的多種GPU架構(gòu)，還推出了適用于中國本土需求的定制化解決方案；提供了諸多優(yōu)化的庫和工具鏈，如MIOpen（深度學(xué)習(xí)庫）、rocBLAS（線性代數(shù)庫）和rocFFT（快速傅里葉變換庫）等，為開發(fā)者提供了強(qiáng)大的開發(fā)基礎(chǔ)，加速了算法的實(shí)現(xiàn)和優(yōu)化。該平臺同時提供了編譯器工具鏈、性能分析工具、調(diào)試工具等多種類型的平臺工具，通過提供詳盡文檔和教程等方式給予開發(fā)者支持。

海光產(chǎn)業(yè)生態(tài)合作組織

海光信息技術(shù)股份有限公司

生態(tài)貢獻(xiàn)

海光產(chǎn)業(yè)生態(tài)合作組織（簡稱：光合組織）是海光信息打造的貫通“芯片設(shè)計(jì)與制造—整機(jī)系統(tǒng)—軟件生態(tài)—應(yīng)用服務(wù)”各個環(huán)節(jié)的開放創(chuàng)新鏈和產(chǎn)業(yè)鏈，凝聚了超過4000家上下游合作伙伴。該組織通過共同開展技術(shù)攻關(guān)、方案優(yōu)化、應(yīng)用創(chuàng)新及市場開拓，為千行百業(yè)提供了高質(zhì)量的產(chǎn)品及解決方案。海光信息C86-3G、C86-4G等CPU系列產(chǎn)品，深算一號、深算二號等DCU系列產(chǎn)品，完全兼容x86指令集以及國際主流操作系統(tǒng)和應(yīng)用軟件,為該組織的應(yīng)用拓展提供了產(chǎn)品基礎(chǔ)。

慶陽“東數(shù)西算”智能算力樞紐示范工程

上海燧原科技股份有限公司

卓越應(yīng)用

2024年6月19日，由燧原科技支持建設(shè)的全國算力樞紐（甘肅·慶陽）首批萬P算力上線，首個國產(chǎn)萬卡算力集群啟動。該算力集群搭建燧原科技新一代人工智能推理加速卡“燧原S60”。在項(xiàng)目建設(shè)過程中，燧原科技致力于打造智算中心的新范式，解決誰來建設(shè)、如何運(yùn)營、用戶在哪三大核心問題，整合貫通智算產(chǎn)業(yè)生態(tài)鏈條，實(shí)現(xiàn)了智算中心“建”、“運(yùn)”、“用”的商業(yè)閉環(huán)與可持續(xù)發(fā)展，助力慶陽充分發(fā)揮大模型算力資源優(yōu)勢，發(fā)展人工智能技術(shù)應(yīng)用，實(shí)現(xiàn)當(dāng)?shù)禺a(chǎn)業(yè)集聚和人才匯聚。

NVIDIA以太網(wǎng)加速xAI構(gòu)建全球最大AI超級計(jì)算機(jī)

英偉達(dá)公司

卓越應(yīng)用

2024年10月，英偉達(dá)宣布人工智能初創(chuàng)企業(yè)xAI的 Colossus 超級計(jì)算機(jī)集群達(dá)到了10萬顆 NVIDIA Hopper GPU規(guī)模。該集群使用了英偉達(dá)第一款專為 AI打造的以太網(wǎng)網(wǎng)絡(luò)平臺 NVIDIA Spectrum-X，是專為多租戶、超大規(guī)模的 AI 工廠設(shè)計(jì)的 RDMA（遠(yuǎn)程直接內(nèi)存訪問）網(wǎng)絡(luò)。Colossus 是世界上最大的 AI 超級計(jì)算機(jī)之一，被用于訓(xùn)練 xAI 的Grok系列大語言模型，以及為訂閱用戶提供的聊天機(jī)器人功能。xAI和英偉達(dá)用了122天就建成了所有配套設(shè)施和Colossus超級計(jì)算機(jī)，從第一個機(jī)架落地到開始訓(xùn)練任務(wù)，只用了19天。而建造這種規(guī)模的系統(tǒng)通常需要數(shù)月乃至數(shù)年的時間。