人工智能（AI）與機(jī)器學(xué)習(xí)（ML）工作負(fù)載（尤其是大語(yǔ)言模型）的指數(shù)級(jí)增長(zhǎng)，正推動(dòng)高性能計(jì)算和AI數(shù)據(jù)中心架構(gòu)發(fā)生范式轉(zhuǎn)變。對(duì)大規(guī)模實(shí)時(shí)推理與訓(xùn)練的需求，不斷推動(dòng)計(jì)算和互連技術(shù)突破極限。隨著模型規(guī)模和參數(shù)量每四到六個(gè)月翻一番，底層基礎(chǔ)設(shè)施既要提供海量計(jì)算吞吐量，還需在數(shù)千個(gè)加速器之間實(shí)現(xiàn)超大的帶寬和低延遲的數(shù)據(jù)傳輸。

本文從技術(shù)層面探討了在下一代SoC中實(shí)現(xiàn)1.6 Tbps端口級(jí)無(wú)縫互操作性所面臨的系統(tǒng)級(jí)挑戰(zhàn)及應(yīng)對(duì)之策，重點(diǎn)分析了224G串并轉(zhuǎn)換器（SerDes）的作用、新興的互連協(xié)議，并解釋了在密集、高速環(huán)境中信號(hào)完整性和電源完整性的關(guān)鍵作用。

互連挑戰(zhàn)：縱向擴(kuò)展與橫向擴(kuò)展

工作負(fù)載需求

諸如Llama 3之類的最新大語(yǔ)言模型（LLM），在預(yù)訓(xùn)練階段需占用高達(dá)700 TB的內(nèi)存，動(dòng)用16,000個(gè)加速器。單塊GPU或單個(gè)加速器顯然力不從心，必須依賴數(shù)萬(wàn)臺(tái)設(shè)備組成緊密耦合的集群方能滿足需求。這種體量和規(guī)模對(duì)網(wǎng)絡(luò)架構(gòu)提出了嚴(yán)峻考驗(yàn)，既要支持縱向擴(kuò)展（機(jī)架內(nèi)部，低延遲）的拓?fù)浣Y(jié)構(gòu)，又要兼顧橫向擴(kuò)展（機(jī)架之間，高帶寬）的布局需求。

協(xié)議的演進(jìn)

為滿足這些需求，一些新的協(xié)議應(yīng)運(yùn)而生：

超以太網(wǎng)聯(lián)盟（UEC）：專為橫向擴(kuò)展設(shè)計(jì)，支持多達(dá)100萬(wàn)個(gè)節(jié)點(diǎn)，提供高帶寬、低延遲且不綁定供應(yīng)商的鏈路。

超加速器鏈路（UAL）：以縱向擴(kuò)展為目標(biāo)，可實(shí)現(xiàn)多達(dá)1024個(gè)加速器的高速、低延遲連接，并支持內(nèi)存共享和設(shè)備直連（D2D）通信。

這兩種協(xié)議均基于新一代物理層技術(shù)：224G SerDes。

▲圖1 采用1.6T超以太網(wǎng)和UALink的AI擴(kuò)展架構(gòu)

224G SerDes：1.6 Tbps/800Gbps端口的基石

標(biāo)準(zhǔn)和規(guī)范

為確保224G SerDes解決方案在全行業(yè)范圍內(nèi)實(shí)現(xiàn)互聯(lián)互通且穩(wěn)定可靠，IEEE、OIF等標(biāo)準(zhǔn)組織正積極制定全面的電氣規(guī)范和長(zhǎng)距離（LR）規(guī)范，預(yù)計(jì)將于2025年完成審定。此外，超以太網(wǎng)1.0版本規(guī)范已于近期發(fā)布，UALink 200G規(guī)范也在今年早些時(shí)候正式亮相。這些標(biāo)準(zhǔn)意義重大，提供了一套通用框架，能讓不同廠商的組件得以無(wú)縫協(xié)同，從而進(jìn)一步推動(dòng)當(dāng)今數(shù)據(jù)中心基礎(chǔ)設(shè)施的快速部署和擴(kuò)展。

信道與信號(hào)完整性

在224G速率下，奈奎斯特頻率相比112G的時(shí)候提高了一倍，使得信道損耗與串?dāng)_的影響顯著增加。在這樣的高頻環(huán)境下，信號(hào)路徑中的每一個(gè)元素，包括PCB走線、連接器和封裝等，都會(huì)造成更大的損耗。例如，32 AWG雙軸電纜在56 GHz時(shí)的插入損耗可達(dá)約14 dB/m，而典型系統(tǒng)中的總信道損耗更是動(dòng)輒達(dá)到40-50 dB。這種衰減幅度讓基于PCB的傳統(tǒng)布線方式捉襟見肘，難以滿足眾多高速鏈路的需求，因此推動(dòng)行業(yè)采用更加先進(jìn)的材料和改良的連接器設(shè)計(jì)，并引入飛線電纜等替代方案，以力保信號(hào)完整性。

SerDes接收器需要均衡和DSP

在224G速率下維持穩(wěn)定的數(shù)據(jù)傳輸，需要借助先進(jìn)的數(shù)字信號(hào)處理（DSP）和均衡技術(shù)來(lái)補(bǔ)償嚴(yán)重的信道損耗。當(dāng)前的SerDes架構(gòu)包含以下組件：

高帶寬模擬前端（AFE）

低噪聲模數(shù)轉(zhuǎn)換器（ADC）

高性能前饋與決策反饋均衡（FFE/DFE）

最大似然序列檢測(cè)（MLSD）

這些接收器模塊協(xié)同發(fā)力，即便在復(fù)雜環(huán)境中也能確保眼圖張開且誤碼率（BER）處于較低水平，前向糾錯(cuò)（FEC）前的誤碼率目標(biāo)比1E-4還要低幾個(gè)數(shù)量級(jí)。DSP必須具備靈活的適應(yīng)性，以支持短距離（芯片到模塊）和長(zhǎng)距離（背板、飛線或光鏈路）信道。

224Gbps速率下的架構(gòu)需求和DSP升級(jí)

在更高的速率水平下，SerDes架構(gòu)中的每個(gè)模塊都需提質(zhì)增效。模擬前端（AFE）需要更高的帶寬，模數(shù)轉(zhuǎn)換器（ADC）則必須實(shí)現(xiàn)更低的噪聲性能。由于單位間隔（UI）縮短，鎖相環(huán)（PLL）的抖動(dòng)容限變得愈發(fā)嚴(yán)苛；而DSP必須提供強(qiáng)大的均衡能力來(lái)補(bǔ)償45 dB的信道損耗，通常需借助最大似然序列檢測(cè)（MLSD）等先進(jìn)技術(shù)來(lái)實(shí)現(xiàn)。重要的是，即便交換機(jī)和加速器集成了200多條SerDes信道，性能上的改進(jìn)也不能以功耗的同步增加為代價(jià)。

▲圖2 在ISSCC 2024大會(huì)上探討了新思科技224G架構(gòu)的進(jìn)展。

系統(tǒng)級(jí)仿真在提升互操作性方面的作用

在硬件就緒前，系統(tǒng)開發(fā)者需依靠全面的仿真環(huán)境來(lái)預(yù)測(cè)和優(yōu)化性能。這些仿真需要對(duì)整個(gè)信號(hào)路徑進(jìn)行建模，包括：

發(fā)射器IBIS-AMI模型

完整的封裝提取，涵蓋數(shù)百條信道的近端與遠(yuǎn)端串?dāng)_

互連建模，涉及PCB走線、連接器、飛線電纜乃至光鏈路

接收器IBIS-AMI模型

仿真環(huán)境使開發(fā)者能夠評(píng)估信號(hào)完整性、串?dāng)_以及多信道同時(shí)切換所帶來(lái)的影響。通過(guò)構(gòu)建一個(gè)從發(fā)射器到接收器（包含所有中間互連環(huán)節(jié)）的虛擬系統(tǒng)，開發(fā)者能夠預(yù)測(cè)接收器能否獲得張開的眼圖及可接受的誤碼率（BER）

▲圖3 為確保224Gbps信號(hào)通過(guò)互連鏈路（如封裝、PCB、連接器、背板等）從發(fā)射端（TX）到接收端（RX）實(shí)現(xiàn)無(wú)差錯(cuò)傳輸，必須進(jìn)行信號(hào)完整性（SI）分析。

從仿真到芯片互操作的關(guān)鍵指標(biāo)與裕量分析

一項(xiàng)核心指標(biāo)是前向糾錯(cuò)（FEC）前的誤碼率（BER），其規(guī)范要求通常要高于1E-4。然而，穩(wěn)健的系統(tǒng)設(shè)計(jì)需要在工藝、電壓和溫度（PVT）變化范圍內(nèi)保留裕量。仿真還需評(píng)估前向糾錯(cuò)（FEC）的實(shí)際效能，通過(guò)對(duì)比所有PVT極端條件下的FEC前與FEC后誤碼率，確保系統(tǒng)在最壞情況下仍能可靠運(yùn)行。

硬件驗(yàn)證與信道特征分析

當(dāng)芯片就緒后，需結(jié)合實(shí)際硬件對(duì)模型進(jìn)行驗(yàn)證。例如，對(duì)于224G SerDes，需使用實(shí)際芯片、互連鏈路和電纜，對(duì)損耗達(dá)40–45 dB的系統(tǒng)信道進(jìn)行特征分析。同時(shí)測(cè)量近端與遠(yuǎn)端串?dāng)_，并將結(jié)果與仿真預(yù)測(cè)值對(duì)比，以閉環(huán)驗(yàn)證模型的準(zhǔn)確性。

▲圖4 在SI分析中，應(yīng)使用PHY SI模型（包括TX/RX IBIS-AMI、芯片S參數(shù)）和互連模型（優(yōu)選S參數(shù)格式）。

SerDes的性能無(wú)法孤立評(píng)估。必須通盤考量整個(gè)系統(tǒng)，包括互連鏈路、電纜、連接器、封裝和PCB。

要在高性能計(jì)算（HPC）環(huán)境中正常運(yùn)行，僅按照IEEE或OIF規(guī)范設(shè)計(jì)SerDes，并依據(jù)電氣規(guī)范來(lái)測(cè)試發(fā)送端（TX）的合規(guī)性或接收端（RX）抖動(dòng)容限（JTOL）顯然遠(yuǎn)遠(yuǎn)不夠。SerDes需要與生態(tài)系統(tǒng)供應(yīng)商通力協(xié)作，為系統(tǒng)集成商提供經(jīng)過(guò)預(yù)先測(cè)試和驗(yàn)證的解決方案，確保組件部署到機(jī)架并形成連接后能夠?qū)崿F(xiàn)無(wú)縫集成。例如，與高密度電纜組件、OSFP可插拔模塊、1-2米直連銅纜（DAC）、來(lái)自不同廠商的近芯片NPC、CPC組件（損耗達(dá)45-50 dB）進(jìn)行互操作性測(cè)試，可為機(jī)架內(nèi)部及機(jī)架間連接路徑的真實(shí)場(chǎng)景系統(tǒng)驗(yàn)證奠定堅(jiān)實(shí)基礎(chǔ)。這些互操作性測(cè)試可確認(rèn)SerDes與互連鏈路、封裝、PCB形成的端到端信道能夠協(xié)同運(yùn)轉(zhuǎn)，從而在HPC系統(tǒng)中達(dá)到所需性能。

▲圖5 采用224G SerDes的C2M VSR與LR機(jī)架到機(jī)架連接

展望未來(lái)：448G及以上速率

隨著行業(yè)將目光投向224G之外，向448G SerDes的過(guò)渡已悄然啟動(dòng)。這一跨越式升級(jí)不僅需要將數(shù)據(jù)速率提升一倍，更需重新構(gòu)思調(diào)制方案與信道定義，以應(yīng)對(duì)新頻率下特有的挑戰(zhàn)。

調(diào)制方式和信道演進(jìn)

銅互連：對(duì)于448G銅介質(zhì)傳輸，行業(yè)正逐步采用PAM-6調(diào)制方式，奈奎斯特頻率約為86.7 GHz。OIF和IEEE等標(biāo)準(zhǔn)組織正積極為短距離、中距離和長(zhǎng)距離應(yīng)用制定新的信道規(guī)范，以確保在各類部署場(chǎng)景下實(shí)現(xiàn)穩(wěn)定性能。

光鏈路：在光信道中，PAM-4調(diào)制憑借經(jīng)實(shí)踐檢驗(yàn)的高頻性能和信號(hào)完整性（奈奎斯特頻率約為112 GHz），預(yù)計(jì)仍將作為標(biāo)準(zhǔn)方案，能夠在滿足更高數(shù)據(jù)速率需求的同時(shí)，兼顧光組件設(shè)計(jì)與部署的實(shí)際可行性。

光信道特性將決定PHY調(diào)制方式與復(fù)雜度，反之亦然。

▲圖6 具有互操作性互連拓?fù)涞?48G系統(tǒng)

向448G的演進(jìn)，將全方位加碼對(duì)系統(tǒng)各環(huán)節(jié)的要求，從先進(jìn)材料、連接器技術(shù)，到更為復(fù)雜的DSP與均衡技術(shù)，都要更進(jìn)一步。電力傳輸、散熱管理與系統(tǒng)集成領(lǐng)域也都需要推陳出新，才能在更高的速率下維系信號(hào)完整性與能效水平。

結(jié)語(yǔ)

在下一代HPC和AI/ML SoC中實(shí)現(xiàn)1.6 Tbps的無(wú)縫互操作，是一項(xiàng)復(fù)雜的跨學(xué)科挑戰(zhàn)，遠(yuǎn)超SerDes設(shè)計(jì)的范疇。要取得成功，需依賴以下幾個(gè)方面：

創(chuàng)新的SerDes架構(gòu)：集成先進(jìn)的均衡技術(shù)、自適應(yīng)DSP和高能效設(shè)計(jì)，以攻克信道損耗嚴(yán)重的難題。

高性能互連：綜合運(yùn)用銅介質(zhì)和光技術(shù)，同時(shí)密切關(guān)注整個(gè)系統(tǒng)的信號(hào)完整性與電源完整性。

全面的系統(tǒng)建模與驗(yàn)證：采用嚴(yán)謹(jǐn)?shù)姆抡婧陀布?yàn)證手段，確保系統(tǒng)在各種條件下都能穩(wěn)定運(yùn)行。

生態(tài)系統(tǒng)協(xié)作：在芯片、封裝、互連和系統(tǒng)集成等領(lǐng)域建立緊密合作關(guān)系，以加速推進(jìn)創(chuàng)新與部署進(jìn)程。

隨著224G SerDes解決方案投入量產(chǎn)，448G技術(shù)也已嶄露頭角，行業(yè)已具備充分條件，能夠?yàn)橄乱淮鶤I和HPC的發(fā)展提供所需的帶寬、可擴(kuò)展性與可靠性。為在今后取得持續(xù)的進(jìn)步，不僅要依靠整體的系統(tǒng)工程設(shè)計(jì)、健全的標(biāo)準(zhǔn)制定，還有秉持對(duì)互操作性的不懈追求。唯有如此，才能確保未來(lái)的數(shù)據(jù)中心能夠跟上人工智能和高性能計(jì)算不斷增長(zhǎng)的需求。

新思科技224G PHY IP可滿足高性能數(shù)據(jù)中心應(yīng)用日益增長(zhǎng)的高帶寬和低延遲需求，憑借先進(jìn)的設(shè)計(jì)、分析、仿真和測(cè)量技術(shù)，具備優(yōu)越的信號(hào)完整性和抖動(dòng)性能，不僅超出IEEE 802.3和OIF標(biāo)準(zhǔn)的電氣規(guī)范要求，而且支持UALink 200G協(xié)議。