作者：Mike Thompson

AI 無處不在、隨時在線和以數(shù)據(jù)為中心的時代，正催升對更高帶寬的需求，而這已經(jīng)超出了當(dāng)今技術(shù)和產(chǎn)品尺寸的能力范疇，世界需要一種當(dāng)前 CPU 和 GPU 技術(shù)所無法企及的更高效、更普及、普適的計算，自適應(yīng)計算應(yīng)運而生。

01AI無處不在，隨時在線和以數(shù)據(jù)為中心

金錢算什么，數(shù)據(jù)才是推動當(dāng)今世界的運轉(zhuǎn)的王者。從遠(yuǎn)程物聯(lián)網(wǎng)終端為城市規(guī)劃、健康跟蹤、環(huán)境保護(hù)、業(yè)務(wù)改進(jìn)等多樣化用途采集數(shù)據(jù)，到我們熱衷的視頻流內(nèi)容和在線分享生活，數(shù)據(jù)的遷移、管理和分析，正處于所有功能的核心，也促使消費者更廣泛地使用隨時在線的個人物聯(lián)網(wǎng)設(shè)備，并讓企業(yè)和科研越來越依賴以 AI 為中心的應(yīng)用。

數(shù)字化的生活方式和新興的物聯(lián)網(wǎng)與云端計算及數(shù)據(jù)服務(wù)的快速增長密不可分。云是全新的生活與工作方式的中心。它存儲著海量的個人內(nèi)容，供人們隨時隨地進(jìn)行訪問；它托管點播音樂和視頻流服務(wù)；它采集和分析工業(yè)數(shù)據(jù)或企業(yè)數(shù)據(jù)；它將功能強(qiáng)大的軟件應(yīng)用以按次計費的方式低成本地提供給金融分析、數(shù)據(jù)庫搜索或基因組測序等工作使用。

此外，5G New Radio（ NR ）引入了對海量機(jī)器通信（ MMTC ）和超低時延通信（ ULLC ）的支持，能實現(xiàn)全新的實時蜂窩通信服務(wù)。而這將給回傳網(wǎng)、城域網(wǎng)以及核心網(wǎng)的容量和性能帶來巨大壓力。

02核心基礎(chǔ)設(shè)施面臨越來越大的壓力

如今，提高數(shù)據(jù)帶寬和計算吞吐量是所有的云數(shù)據(jù)中心、電信網(wǎng)絡(luò)和蜂窩通信回程網(wǎng)共同面臨的強(qiáng)勁需求。涉及的主要基礎(chǔ)設(shè)施組成部分包括進(jìn)出數(shù)據(jù)中心的鏈路、連接地域分散型數(shù)據(jù)中心站點的數(shù)據(jù)中心互聯(lián)（ DCI ）、基礎(chǔ)設(shè)施接口卡和加速器卡。事實上，核心基礎(chǔ)設(shè)施對數(shù)據(jù)帶寬的需求名義上是以 51% 的年均復(fù)合增長率（ GAGR ）增長，然而，單是 5G 的推出便可推動區(qū)域流量容量需求增長 100 倍。

利用協(xié)議處理芯片和接口芯片等分立組件打造新的、更高性能的設(shè)備來滿足這些需求，不僅復(fù)雜費時，而且越來越難以按照性能需求進(jìn)行擴(kuò)展。此外，采用這種方式設(shè)計出的系統(tǒng)體積龐大、功耗驚人，無法滿足數(shù)據(jù)中心和基礎(chǔ)設(shè)施設(shè)備對空間占用、功耗和熱管理的限制性要求。新一代設(shè)備必須在現(xiàn)有的物理、電氣和熱約束條件范圍內(nèi)大幅提升性能。

除此之外，設(shè)計工作需要在最終規(guī)格商定之前采用最先進(jìn)的協(xié)議和標(biāo)準(zhǔn)，才能率先投放市場，盡早抓住機(jī)遇。對于想要率先將產(chǎn)品投放市場的設(shè)備提供商而言，等待標(biāo)準(zhǔn)成熟之后再部署肯定是無法實現(xiàn)領(lǐng)先的預(yù)期， 只有擁有能夠隨著項目的進(jìn)展在硬件層面靈活地適應(yīng)變化的能力，才能與時俱進(jìn)領(lǐng)先同行。

03具有突破性意義的可編程加速器

對于一些使用傳統(tǒng) CPU 或 GPU 架構(gòu)無法快速執(zhí)行或功耗約束得不到滿足的工作負(fù)載，高密度 FPGA 和異構(gòu)的可編程片上系統(tǒng) IC（ MPSoC ）等可編程邏輯器件已成為理所當(dāng)然的加速器選擇。這些器件不僅可以通過高度并行的處理模式以極為高效的方式解決特定計算難題（例如信號處理和近期的神經(jīng)網(wǎng)絡(luò)），而且還提供了可編程器件固有的靈活應(yīng)變能力。

現(xiàn)在，為了滿足近來日益嚴(yán)苛的性能、帶寬、功耗和集成目標(biāo)，被稱為自適應(yīng)計算加速平臺 （ ACAP ）的新型可編程器件已經(jīng)問世。賽靈思 Versal ACAP 內(nèi)置一系列智能 AI 和 DSP 計算引擎、等效于 FPGA 邏輯架構(gòu)的自適應(yīng)引擎，以及應(yīng)用處理和實時標(biāo)量引擎，并通過片上可編程網(wǎng)絡(luò)（ NoC ）互聯(lián)緊密耦合。它還集成了軟件控制平臺管理功能和眾多先進(jìn)的接口，包括 DDR4、100G 以太網(wǎng)、PCIe Gen 5 和數(shù)千兆位光通信接口。

Versal DSP 引擎采用經(jīng)過改進(jìn)的 DSP 塊，為 INT8、32 位浮點等操作數(shù)提供本機(jī)支持，從而提升了多種應(yīng)用的速度和效率，不僅包括數(shù)字信號處理，而且也包括寬動態(tài)總線移位器、存儲器地址生成器、寬總線多路復(fù)用器以及存儲器映射 I/O 寄存器。標(biāo)量引擎由一個雙核 Arm Cortex-A72 應(yīng)用處理器和一個雙核 Arm Cortex-R5F 實時處理單元構(gòu)成。ACAP 的異構(gòu)引擎能夠?qū)崿F(xiàn)重新編程，以適應(yīng)隨時間推移而變化的工作負(fù)載，或是隨著算法實現(xiàn)或神經(jīng)網(wǎng)絡(luò)模型演進(jìn)而變化的工作負(fù)載。

04優(yōu)化 ACAP 連接性

依托于這種新型可編程器件助力實現(xiàn)的創(chuàng)新，Versal Premium 系列現(xiàn)已能夠應(yīng)對當(dāng)今核心基礎(chǔ)設(shè)施面臨的壓力。這些高帶寬器件將高計算密度與附加的專用高速加密（ HSC ）引擎以及先進(jìn)的網(wǎng)絡(luò)接口融為一體。

高密度網(wǎng)絡(luò)連接功能包括：提供總雙向帶寬高達(dá) 9Tb/s 的可擴(kuò)展光纖收發(fā)器（支持最新的以太網(wǎng)和 Interlaken 速率與協(xié)議）、112Gb/s PAM4 收發(fā)器、加密處理能力高達(dá) 400Gb/s 的高速加密引擎，以及靈活應(yīng)變的硬件（圖 1）。

圖 1：配備有 112Gb/s PAM4、600G 以太網(wǎng)、600G Interlaken 和 400G HSC 的 Versal Premium ACAP

與現(xiàn)有的 58Gb/s PAM4 技術(shù)相比，在核心網(wǎng)、城域網(wǎng)和 DCI 基礎(chǔ)設(shè)施中采用 112G PAM4 收發(fā)器能夠使每端口帶寬密度翻倍，從而緩解前面板機(jī)柜空間的壓力，并為電信和數(shù)據(jù)中心應(yīng)用加倍提供單位體積帶寬。與此同時，給定的數(shù)據(jù)有效載荷的傳輸時延降低 50%，提高了應(yīng)用的響應(yīng)能力，有助于降低時延對地域分散型數(shù)據(jù)中心互聯(lián)的影響。

較之賽靈思 16nm Virtex UltraScale+ FPGA ，片上集成資源提供了高達(dá)三倍的帶寬和兩倍的計算密度。另一方面，與專用的特定應(yīng)用光傳輸網(wǎng)絡(luò)（ OTN ）處理器相比，應(yīng)用吞吐量提高了三到五倍。

05提升計算密度

為了滿足超大規(guī)模云服務(wù)提供商的當(dāng)前及未來需求，Versal ACAP 架構(gòu)將極高的片上存儲器帶寬與高性能異構(gòu)計算引擎緊密耦合，并通過動態(tài)功能交換（ DFX ）實現(xiàn)靈活的工作負(fù)載配置。與之前的 16nm FPGA 相比，DFX 交換內(nèi)核的速度加快了八倍，支持加速器的動態(tài)配置，從而最高效地將器件資源用于隨時間推移而變化的計算工作負(fù)載，如數(shù)據(jù)分析、機(jī)器學(xué)習(xí)視覺處理、基因組學(xué)、視頻轉(zhuǎn)碼、加密處理等。

憑借多種類型的分布式片上 RAM，高達(dá) 1Gb 的緊密耦合存儲器可供使用，進(jìn)而提供了最高 123TByte/s 的等效片上存儲器帶寬。該帶寬能實現(xiàn)各種處理引擎與存儲器之間的高速交互，其速度比如今最優(yōu)秀的 GPU 快九倍。此外，可編程 NoC 互聯(lián)支持與片外 DDR4 存儲器進(jìn)行高速交互。

Versal Premium ACAP 能夠滿足 DCI 設(shè)備的需求，兼容服務(wù)器側(cè)和傳輸側(cè)的多種光通信接口與協(xié)議，同時以安全、低成本的平臺靈活適應(yīng)新興的且不斷演進(jìn)的標(biāo)準(zhǔn)。1RU 系統(tǒng)或單卡就能提供 3.2Tb/s 的容量，支持多種多樣的標(biāo)準(zhǔn)化和新興協(xié)議以及光通信接口（圖 2）。憑借其先進(jìn)的連接和加密核心，單個 Versal Premium ACAP 器件就能為服務(wù)器側(cè)的光通信接口提供 4x25G NRZ 連接的多條 100G FlexE 以太網(wǎng)通道、為線路側(cè)提供 4x112G PAM4 連接的 400G 以太網(wǎng)通道、線路速率為 1.6Tb/s 的 AES256 加密、控制和端口管理功能。

圖 2：采用 Versal Premium ACAP 的 3.2Tb/s DCI

這些器件也非常適合用于高速客戶端接口卡（圖 3），具體方式是利用 Versal Premium ACAP 將數(shù)據(jù)流量與服務(wù)橋接并封裝到行業(yè)標(biāo)準(zhǔn)的 OTN 封裝程序中。Versal Premium ACAP 內(nèi)部集成通道化以太網(wǎng)、Interlaken、112G 和 58G PAM4 GTM 收發(fā)器與 32.75G GTYP 收發(fā)器，提供每秒多太位容量。這些資源以專用硬 IP 的形式集成，既能獲得 ASIC 級的功率效率，又能釋放 ACAP 邏輯架構(gòu)用于映射、開銷和 SAR 功能。

圖 3：2.4Tb/s 客戶端接口卡

06面向未來的 AI 加速

通過將異構(gòu)計算引擎與高存儲器帶寬相結(jié)合，Versal Premium ACAP 在處理高難度工作負(fù)載（如使用神經(jīng)網(wǎng)絡(luò)開展圖像分類或?qū)ο髾z測）時，性能顯著優(yōu)于 GPU。圖 4 對比了Versal Premium 與領(lǐng)先 GPU 的性能，可以看到運行在 680x680 YOLOv2 模型上的對象檢測速度在 ACAP Premium 器件上能提速高達(dá) 7.7 倍。

圖 4：與 GPU 進(jìn)行對比的對象檢測性能

與 FPGA 和 MPSoC 架構(gòu)相比，ACAP 另一個有助于簡化加速器開發(fā)的引人矚目的特性是預(yù)先構(gòu)建的外殼程序，通過它能硬連接到片外接口，如以太網(wǎng)、PCIe Gen 5、DDR4 和光通信接口（圖 5）。這種高效的云連接基礎(chǔ)設(shè)施提供了多重優(yōu)勢，包括允許在設(shè)備啟動時進(jìn)行 CPU 主機(jī)和系統(tǒng)存儲器通信、簡化內(nèi)核布局與時序收斂、簡化加速器虛擬化。外殼程序便于設(shè)計人員將器件的內(nèi)部邏輯架構(gòu)更多地用于定制功能，否則就需要實現(xiàn)必要的基礎(chǔ)設(shè)施，如存儲器和 DMA 控制器。

圖 5：預(yù)先構(gòu)建的外殼程序基礎(chǔ)設(shè)施簡化了云連接，同時實現(xiàn)了速度與效率的雙重提升

外殼程序和角色架構(gòu)可以幫助設(shè)計人員快速高效地在 Versal Premium ACAP 中實現(xiàn)先進(jìn)的智能零售技術(shù)。ACAP 器件支持?jǐn)?shù)據(jù)驅(qū)動的視頻內(nèi)容分析，有助于降低損失以及提供自動、實時、可執(zhí)行的庫存洞察，并提供可促進(jìn)銷售最大化的客戶體驗定制能力。借助 Versal Premium ACAP 能夠在單個平臺上托管視頻分析解決方案，用于視頻元數(shù)據(jù)的識別、提取和分類（圖 6）。

圖 6：智能零售視頻分析加速器

外殼程序提供了現(xiàn)成的連接與加密功能，而器件的 DSP 引擎和軟件可編程計算內(nèi)核則可處理對象檢測、圖像分類以及視頻編碼、解碼和縮放。而且能夠在緊鄰計算內(nèi)核的地方提供最大 1Gb 的片上 SRAM，面向 AI 加速提供高達(dá) 123TB/s 的存儲器帶寬。通過消除 GPU 架構(gòu)和基于 GPU 的架構(gòu)所特有的存儲器瓶頸與批次大小限制，分析加速器能夠為 Resnet50 提供高達(dá)每秒 13,000 幅圖像/秒的處理速度。

07結(jié)論

盡管消費者和企業(yè)界越來越重視數(shù)據(jù)的價值，客戶也越來越依賴于即時服務(wù)交付，但復(fù)雜性、計算強(qiáng)度和帶寬耗用正成為瓶頸。ACAP 將高效的分布式異構(gòu)計算引擎與高速互聯(lián)融為一體，以滿足飛速增長的性能需求。通過綜合運用硬 IP、預(yù)先構(gòu)建的創(chuàng)新型連接外殼程序、可編程邏輯架構(gòu)和軟件可配置資源，ACAP 器件不僅能夠助力提升性能，還能簡化設(shè)計，同時提供面向未來的靈活性。

原文標(biāo)題：CPU、GPU 觸頂，ACAP 如何突破 5G 基礎(chǔ)設(shè)施性能瓶頸？

文章出處：【微信公眾號：FPGA開發(fā)圈】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。