大模型訓(xùn)練集群的有效算力

DeepSeek的創(chuàng)新引領(lǐng)大模型基座模型向MoE專家模型進(jìn)一步演進(jìn)，未來大模型的參數(shù)將從千億級(jí)別向萬億參數(shù)邁進(jìn)，開啟人工智能的新紀(jì)元。在這一過程中，端側(cè)推理模型的誕生離不開原研基座模型的精心訓(xùn)練。隨著模型參數(shù)的不斷擴(kuò)大以及AI模型的百舸爭(zhēng)流，訓(xùn)練側(cè)所需的算力也將進(jìn)一步激增。由此所依托的AI基礎(chǔ)設(shè)施的有效算力已成為下一代AI應(yīng)用的堅(jiān)實(shí)基石。

智算集群的有效算力由包括單個(gè)加速卡的基礎(chǔ)算力、集群規(guī)模、Scale Out與Scale Up所共同構(gòu)筑的集群線性加速比以及集群有效運(yùn)營的時(shí)間等多個(gè)維度因素構(gòu)建。在不設(shè)資源限制的情況下，我們希望擁有最強(qiáng)大的單個(gè)計(jì)算卡系統(tǒng)來運(yùn)行整個(gè)AI任務(wù)，因?yàn)?，AI任務(wù)作為一個(gè)單一實(shí)體運(yùn)行。因此，直接獲取最大能力的GPU/xPU是符合邏輯的選擇。

3D IC : 下一代AI芯片的加速引擎

后摩爾時(shí)代，算力的增長和芯片的性能提升之間面臨著內(nèi)存墻、功耗墻、面積墻等幾大瓶頸， 采用基于先進(jìn)封裝的3D Chiplet堆疊芯片帶來的重大升級(jí)將有效解決這些瓶頸。

3D-IC 的優(yōu)勢(shì)可概括為以下幾點(diǎn)：

1可以降低成本，Chiplet的解耦特性讓先進(jìn)制程節(jié)點(diǎn)更靈活，讓非所有功能(包括模擬和存儲(chǔ)器)都需要遷移到先進(jìn)制程節(jié)點(diǎn);

2更容易滿足高速互連和帶寬要求，幫助先進(jìn)存儲(chǔ)器技術(shù)達(dá)到 100Gbps的速度;

33D-IC 支持更小的尺寸，可以節(jié)省電路板和終端產(chǎn)品的空間;

43D-IC 可以降低功耗，因?yàn)椴辉傩枰笮?a target="_blank">驅(qū)動(dòng)器。3D 堆疊可以使用小型 I/O 驅(qū)動(dòng)器，功耗更低。此外，減少電阻-電感-電容 (RLC)寄生參數(shù)也有助于進(jìn)一步降低功耗;

5減少了跨封裝之間的互連，可以實(shí)現(xiàn)更快的性能和更好的功耗表現(xiàn)。

3.5D技術(shù)的引入將顯著提升AI集群的計(jì)算密度和功耗效率，使得數(shù)據(jù)中心能夠以更低的能耗處理更大的工作負(fù)載。這對(duì)于應(yīng)對(duì)生成式AI模型的指數(shù)級(jí)增長需求至關(guān)重要。本期主要介紹幾個(gè)3.5D Chiplet典型案例，分享3D IC設(shè)計(jì)架構(gòu)趨勢(shì)。

典型案例1

AMD MI300 系列開創(chuàng)3.5D IC先河

(來源：AMD)

AMD是首批采用3.5D IC設(shè)計(jì)及工藝的芯片公司，2024年發(fā)布的MI300 X GPU加速器，基于新一代CDNA計(jì)算架構(gòu)。其采用臺(tái)積電5nm/6nm FinETH技術(shù)，總共1530億個(gè)晶體管。

(來源：AMD Whitepaper)

XCD計(jì)算模塊：共計(jì)8個(gè)XCD加速計(jì)算模塊，每一個(gè)XCD擁有38個(gè)CU計(jì)算單位，所以總共304個(gè)計(jì)算單元。

IOD互聯(lián)模塊：每兩個(gè)XCD為一組，在它們底部放置一個(gè)IOD模塊，負(fù)責(zé)輸入輸出與通信連接，總共4個(gè)IOD提供了第四代Infinity Fabric連接通道，總帶寬最高896GB/s，還有多達(dá)256MB Infinity Cache無限緩存。該模塊實(shí)際上屬于一種3D Base Die，通過TSV硅通孔技術(shù)與XCD計(jì)算Die模塊形成高密度互聯(lián)。

HBM 部分：IOD與XCD外圍一共有8個(gè)HBM3共192GB內(nèi)存(每個(gè)HBM3內(nèi)存大小為24GB)。IOD部分又一次采用的是6nm工藝，XCD部分則使用5nm工藝實(shí)現(xiàn)計(jì)算與IO芯粒解耦，這也是AMD公司常用的一種IO Die芯粒技術(shù)。

(來源：知乎@sazc)

封裝工藝：上圖顯示的是MI300A APU的封裝工藝，兩者區(qū)別主要在計(jì)算Die部分，APU系列是異構(gòu)芯粒技術(shù)同時(shí)包含GPU與CPU功能。但在封裝工藝上與MI300X雷同。

8個(gè)HBM與其他芯粒使用2.5D先進(jìn)封裝工藝進(jìn)行互聯(lián)，而IOD模塊(Base Die)與XCD (MI300A還包括CCD)之間直接通過3D TSV堆疊封裝工藝互聯(lián)。

因此，MI300系列無論是A系列還是X系列制造工藝同時(shí)覆蓋2.5D和3D先進(jìn)工藝，總稱3.5D混合封裝。

(來源：AMD)

Scale Up互聯(lián)簡(jiǎn)介：AMD Instinct MI300X 加速器提供了采用 UBB 業(yè)界標(biāo)準(zhǔn) OCP 平臺(tái)設(shè)計(jì)的普適性解決方案，支持將 8 個(gè) GPU 整合為一個(gè)性能主導(dǎo)型節(jié)點(diǎn)，并且具有全互聯(lián)式點(diǎn)對(duì)點(diǎn)環(huán)形設(shè)計(jì)，單一平臺(tái)內(nèi)的 HBM3 顯存總計(jì)可達(dá)到 1.5 TB提供足以應(yīng)對(duì)各類 AI 或 HPC 工作負(fù)載部署的性能密集型解決方案。

典型案例2

CPO帶動(dòng)Scale Out 互聯(lián)進(jìn)軍百萬卡集群時(shí)代

規(guī)模生成式 AI 模型(如 DeepSeek，Grok3 系列等)的興起，對(duì)計(jì)算能力的需求呈現(xiàn)出了爆炸式增長。訓(xùn)練這些復(fù)雜的模型往往需要龐大的計(jì)算資源，動(dòng)輒依賴于 100,000 個(gè)甚至 100 萬個(gè) XPU 的大規(guī)模集群。近期才發(fā)布的Grok 3模型，馬斯克預(yù)計(jì)下一代將搭建百萬卡AI數(shù)據(jù)中心，隨著大模型軍備賽在DeepSeek背景下展開地更加劇烈，新的互聯(lián)技術(shù)必須為未來百萬卡集群的互聯(lián)構(gòu)筑可靠的基礎(chǔ)。

(圖：各國AI大模型軍備賽進(jìn)行時(shí))

Scale Out互聯(lián)甚至是更大規(guī)模的GPU HBD高帶寬域光進(jìn)銅退的趨勢(shì)越發(fā)明顯，一種在2018年前后就被提及的光互聯(lián)技術(shù)CPO隨著AI對(duì)訓(xùn)練的極高要求演進(jìn)速度加快。

如果要在長程范圍集成更強(qiáng)大的算力/存力(Scale Out互聯(lián))，就需要借助更高帶寬的光互連技術(shù)。這也是為何目前光模塊在計(jì)算集群中廣泛使用的重要原因。集群要上升到百萬卡互聯(lián)規(guī)模，光互聯(lián)技術(shù)將發(fā)揮重要作用，傳統(tǒng)光模塊芯片和交換機(jī)芯片在PCB上的電信號(hào)傳輸以及GPU卡間互聯(lián)的信號(hào)損耗、功耗都遠(yuǎn)大于單個(gè)Die to Die 互聯(lián)。目前，光模塊成為整個(gè)大型集群訓(xùn)推時(shí)出現(xiàn)故障延遲的主要硬件之一。

(來源：公眾號(hào)光通信女人)

CPO技術(shù)可以以解決射頻損耗的方式，將CPO光模塊與交換機(jī)主芯片ASIC專有集成電路芯片封裝在一起，降低電信號(hào)的互聯(lián)距離，從而降低射頻損耗。

(來源：公眾號(hào)光通信女人)

目前產(chǎn)業(yè)界都在研究晶圓級(jí)封裝工藝，2024、2025年基于晶圓級(jí)扇出式結(jié)構(gòu)，在逐步克服工藝難點(diǎn)，接近商用。上圖我們可以看到基于晶圓級(jí)別的3D TSV工藝實(shí)現(xiàn)相比其他工藝實(shí)現(xiàn)了更高的互聯(lián)密度。

PIC(硅光芯片)通過與EIC(電芯片)進(jìn)行3D堆疊，從而實(shí)現(xiàn)電連接更短、尺寸小、功耗低且高帶寬密度的性能。在此配置中，PIC 位于 EIC 頂部。然而，在 EIC 中創(chuàng)建 TSV 可能具有挑戰(zhàn)性，因?yàn)樗ǔＰ枰谙冗M(jìn)的晶圓節(jié)點(diǎn)上制造。為了克服這個(gè)問題，往往采用晶圓級(jí)扇出工藝，形成高銅柱以實(shí)現(xiàn)與頂部 PIC 的垂直互連。由此產(chǎn)生的光子 FOPOP 在光耦合方面表現(xiàn)出色，因?yàn)?PIC 的懸垂部分允許光邊緣耦合。

實(shí)際上，ASIC與CPO的共同封裝同樣屬于一種3.5D IC技術(shù)，從光芯片內(nèi)部通過3D堆疊實(shí)現(xiàn)高互聯(lián)的密度，更佳的傳輸性能。在交換機(jī)芯片側(cè)，CPO OE Chiplet封裝在ASIC芯片周圍形成一個(gè)系統(tǒng)級(jí)的IC。以博通的典型CPO方案為例，整體封裝結(jié)構(gòu)為CoWoS，計(jì)算Die(ASIC)通過Interposer/Package Substrate與CPO互連，互聯(lián)接口為高速IO(例如Serdes/D2D)。

(來源：Broadcom CPO )

目前，Nvidia也在研究基于硅光集成的CPO光學(xué)，并預(yù)計(jì)2025 Q3針對(duì)一款I(lǐng)B交換機(jī)啟動(dòng)CPO方案的驗(yàn)證。產(chǎn)業(yè)界更多廠家也在不斷研究并推出CPO光模塊樣機(jī)如Cisco、博通、Marvell都推出了基于CPO的交換機(jī)方案。

典型案例3

博通下一代3.5D IC大規(guī)模提升單卡算力

去年底Broadcom 推出了其 3.5D eXtreme Dimension 系統(tǒng)級(jí)封裝 (3.5D XDSiP) 平臺(tái)，該平臺(tái)適用于適用于 AI 和 HPC 工作負(fù)載的超高性能處理器。新平臺(tái)依賴于 TSMC 的 CoWoS 和其他先進(jìn)封裝技術(shù)。它使芯片設(shè)計(jì)人員能夠構(gòu)建 3D 堆棧邏輯、網(wǎng)絡(luò)和 I/O 小芯片以及 HBM 內(nèi)存堆棧的系統(tǒng)級(jí)封裝 (SiP)。該平臺(tái)允許使用多達(dá) 12 個(gè) HBM 模塊實(shí)現(xiàn)高達(dá) 6000mm2 的 3D 堆疊硅的 SiP。首批 3.5D XDSiP 產(chǎn)品將于 2026 年推出。

博通首次使用F2F(面對(duì)面)將一個(gè)邏輯Die堆疊到另外一個(gè)邏輯Die上;這種使用無凸塊混合銅鍵合直接連接頂部和底部硅芯片的上層金屬層的面對(duì)面 (F2F) 堆疊方法，是博通的 3D XDSiP 平臺(tái)的主要優(yōu)勢(shì)。據(jù) Broadcom 稱，F(xiàn)2F 方法可實(shí)現(xiàn)高達(dá) 7 倍的信號(hào)連接和更短的信號(hào)路由，將晶粒間接口的功耗降低 90%，最大限度地減少 3D 堆棧內(nèi)的延遲，并為設(shè)計(jì)團(tuán)隊(duì)提供額外的靈活性，成就更低功耗更低延遲的ASIC芯片性能。

(來源：Broadcom)

此外，它巧妙地融合了 3D 硅片堆疊與 2.5D 封裝技術(shù)的精髓。該3.5D xPU計(jì)算Die與邏輯Die Face to Face進(jìn)行鍵合，每個(gè)邏輯Die與多組HBM互聯(lián)，又與IOD通過D2D互聯(lián)。(更多閱讀：Chiplet&互聯(lián)專題：AI時(shí)代變革下 3D IC 芯粒技術(shù)的最新應(yīng)用趨勢(shì)解讀)

(來源：Broadcom)

總的來說，3.5D 集成技術(shù)通過將 3D 與 2.5D封裝相結(jié)合，能夠在不單純依賴制程工藝提升的情況下，實(shí)現(xiàn)芯片性能的顯著提升、功耗的有效降低以及成本的合理控制，從而成為了下一代 XPU 發(fā)展的必然趨勢(shì)。預(yù)計(jì)博通將繼續(xù)加大市場(chǎng)推廣力度，針對(duì)不同客戶的需求，提供定制化的 3.5D XPU 解決方案。

3.5D IC技術(shù)是Chiplet小芯片發(fā)展旅程中的又一重要里程碑，通過獨(dú)特的技術(shù)架構(gòu)和卓越的性能表現(xiàn)，為 AI 芯片的發(fā)展開辟了新的道路。在技術(shù)原理層面，其高密度互連、低功耗設(shè)計(jì)、多功能集成以及緊湊尺寸與穩(wěn)定性等核心要素相互協(xié)同，構(gòu)成了強(qiáng)大的技術(shù)競(jìng)爭(zhēng)力。

奇異摩爾自2021年成立以來先從片內(nèi)互聯(lián)產(chǎn)品系列研發(fā)出發(fā)，目前可以提供包括2.5D Central IO Die及3D Base Die等AI單個(gè)計(jì)算卡算力擴(kuò)展芯粒方案，未來通過持續(xù)性的行業(yè)標(biāo)準(zhǔn)共建、產(chǎn)業(yè)鏈生態(tài)的互聯(lián)互通，相信在不久的將來，隨著國產(chǎn)Chiplet技術(shù)的突破，我們將與產(chǎn)業(yè)鏈伙伴為國產(chǎn)AI算力的釋放潛能鋪就一條寬廣的道路，共同書寫AI智能時(shí)代的輝煌篇章。

關(guān)于我們

AI網(wǎng)絡(luò)全棧式互聯(lián)架構(gòu)產(chǎn)品及解決方案提供商

奇異摩爾，成立于2021年初，是一家行業(yè)領(lǐng)先的AI網(wǎng)絡(luò)全棧式互聯(lián)產(chǎn)品及解決方案提供商。公司依托于先進(jìn)的高性能RDMA 和Chiplet技術(shù)，創(chuàng)新性地構(gòu)建了統(tǒng)一互聯(lián)架構(gòu)——Kiwi Fabric，專為超大規(guī)模AI計(jì)算平臺(tái)量身打造，以滿足其對(duì)高性能互聯(lián)的嚴(yán)苛需求。

我們的產(chǎn)品線豐富而全面，涵蓋了面向不同層次互聯(lián)需求的關(guān)鍵產(chǎn)品，如面向北向Scale out網(wǎng)絡(luò)的AI原生智能網(wǎng)卡、面向南向Scale up網(wǎng)絡(luò)的GPU片間互聯(lián)芯粒、以及面向芯片內(nèi)算力擴(kuò)展的2.5D/3D IO Die和UCIe Die2Die IP等。這些產(chǎn)品共同構(gòu)成了全鏈路互聯(lián)解決方案，為AI計(jì)算提供了堅(jiān)實(shí)的支撐。

奇異摩爾的核心團(tuán)隊(duì)匯聚了來自全球半導(dǎo)體行業(yè)巨頭如NXP、Intel、Broadcom等公司的精英，他們憑借豐富的AI互聯(lián)產(chǎn)品研發(fā)和管理經(jīng)驗(yàn)，致力于推動(dòng)技術(shù)創(chuàng)新和業(yè)務(wù)發(fā)展。團(tuán)隊(duì)擁有超過50個(gè)高性能網(wǎng)絡(luò)及Chiplet量產(chǎn)項(xiàng)目的經(jīng)驗(yàn)，為公司的產(chǎn)品和服務(wù)提供了強(qiáng)有力的技術(shù)保障。我們的使命是支持一個(gè)更具創(chuàng)造力的芯世界，愿景是讓計(jì)算變得簡(jiǎn)單。奇異摩爾以創(chuàng)新為驅(qū)動(dòng)力，技術(shù)探索新場(chǎng)景，生態(tài)構(gòu)建新的半導(dǎo)體格局，為高性能AI計(jì)算奠定穩(wěn)固的基石。