作者：Mike Thompson，賽靈思 Virtex UltraScale+ FPGA 與 Versal Premium ACAP 高級(jí)產(chǎn)品線經(jīng)理

AI 無(wú)處不在、隨時(shí)在線和以數(shù)據(jù)為中心的時(shí)代，正催升對(duì)更高帶寬的需求，而這已經(jīng)超出了當(dāng)今技術(shù)和產(chǎn)品尺寸的能力范疇，世界需要一種當(dāng)前 CPU 和 GPU 技術(shù)所無(wú)法企及的更高效、更普及、普適的計(jì)算，自適應(yīng)計(jì)算應(yīng)運(yùn)而生。

0 1

AI無(wú)處不在，隨時(shí)在線和以數(shù)據(jù)為中心

金錢算什么，數(shù)據(jù)才是推動(dòng)當(dāng)今世界的運(yùn)轉(zhuǎn)的王者。從遠(yuǎn)程物聯(lián)網(wǎng)終端為城市規(guī)劃、健康跟蹤、環(huán)境保護(hù)、業(yè)務(wù)改進(jìn)等多樣化用途采集數(shù)據(jù)，到我們熱衷的視頻流內(nèi)容和在線分享生活，數(shù)據(jù)的遷移、管理和分析，正處于所有功能的核心，也促使消費(fèi)者更廣泛地使用隨時(shí)在線的個(gè)人物聯(lián)網(wǎng)設(shè)備，并讓企業(yè)和科研越來(lái)越依賴以 AI 為中心的應(yīng)用。

數(shù)字化的生活方式和新興的物聯(lián)網(wǎng)與云端計(jì)算及數(shù)據(jù)服務(wù)的快速增長(zhǎng)密不可分。云是全新的生活與工作方式的中心。它存儲(chǔ)著海量的個(gè)人內(nèi)容，供人們隨時(shí)隨地進(jìn)行訪問(wèn)；它托管點(diǎn)播音樂(lè)和視頻流服務(wù)；它采集和分析工業(yè)數(shù)據(jù)或企業(yè)數(shù)據(jù)；它將功能強(qiáng)大的軟件應(yīng)用以按次計(jì)費(fèi)的方式低成本地提供給金融分析、數(shù)據(jù)庫(kù)搜索或基因組測(cè)序等工作使用。

此外，5G New Radio（ NR ）引入了對(duì)海量機(jī)器通信（ MMTC ）和超低時(shí)延通信（ ULLC ）的支持，能實(shí)現(xiàn)全新的實(shí)時(shí)蜂窩通信服務(wù)。而這將給回傳網(wǎng)、城域網(wǎng)以及核心網(wǎng)的容量和性能帶來(lái)巨大壓力。

0 2

核心基礎(chǔ)設(shè)施面臨越來(lái)越大的壓力

如今，提高數(shù)據(jù)帶寬和計(jì)算吞吐量是所有的云數(shù)據(jù)中心、電信網(wǎng)絡(luò)和蜂窩通信回程網(wǎng)共同面臨的強(qiáng)勁需求。涉及的主要基礎(chǔ)設(shè)施組成部分包括進(jìn)出數(shù)據(jù)中心的鏈路、連接地域分散型數(shù)據(jù)中心站點(diǎn)的數(shù)據(jù)中心互聯(lián)（ DCI ）、基礎(chǔ)設(shè)施接口卡和加速器卡。事實(shí)上，核心基礎(chǔ)設(shè)施對(duì)數(shù)據(jù)帶寬的需求名義上是以 51% 的年均復(fù)合增長(zhǎng)率（ GAGR ）增長(zhǎng)，然而，單是 5G 的推出便可推動(dòng)區(qū)域流量容量需求增長(zhǎng) 100 倍。

利用協(xié)議處理芯片和接口芯片等分立組件打造新的、更高性能的設(shè)備來(lái)滿足這些需求，不僅復(fù)雜費(fèi)時(shí)，而且越來(lái)越難以按照性能需求進(jìn)行擴(kuò)展。此外，采用這種方式設(shè)計(jì)出的系統(tǒng)體積龐大、功耗驚人，無(wú)法滿足數(shù)據(jù)中心和基礎(chǔ)設(shè)施設(shè)備對(duì)空間占用、功耗和熱管理的限制性要求。新一代設(shè)備必須在現(xiàn)有的物理、電氣和熱約束條件范圍內(nèi)大幅提升性能。

除此之外，設(shè)計(jì)工作需要在最終規(guī)格商定之前采用最先進(jìn)的協(xié)議和標(biāo)準(zhǔn)，才能率先投放市場(chǎng)，盡早抓住機(jī)遇。對(duì)于想要率先將產(chǎn)品投放市場(chǎng)的設(shè)備提供商而言，等待標(biāo)準(zhǔn)成熟之后再部署肯定是無(wú)法實(shí)現(xiàn)領(lǐng)先的預(yù)期， 只有擁有能夠隨著項(xiàng)目的進(jìn)展在硬件層面靈活地適應(yīng)變化的能力，才能與時(shí)俱進(jìn)領(lǐng)先同行。

0 3

具有突破性意義的可編程加速器

對(duì)于一些使用傳統(tǒng) CPU 或 GPU 架構(gòu)無(wú)法快速執(zhí)行或功耗約束得不到滿足的工作負(fù)載，高密度 FPGA 和異構(gòu)的可編程片上系統(tǒng) IC（ MPSoC ）等可編程邏輯器件已成為理所當(dāng)然的加速器選擇。這些器件不僅可以通過(guò)高度并行的處理模式以極為高效的方式解決特定計(jì)算難題（例如信號(hào)處理和近期的神經(jīng)網(wǎng)絡(luò)），而且還提供了可編程器件固有的靈活應(yīng)變能力。

現(xiàn)在，為了滿足近來(lái)日益嚴(yán)苛的性能、帶寬、功耗和集成目標(biāo)，被稱為自適應(yīng)計(jì)算加速平臺(tái) （ ACAP ）的新型可編程器件已經(jīng)問(wèn)世。賽靈思 Versal? ACAP 內(nèi)置一系列智能 AI 和 DSP 計(jì)算引擎、等效于 FPGA 邏輯架構(gòu)的自適應(yīng)引擎，以及應(yīng)用處理和實(shí)時(shí)標(biāo)量引擎，并通過(guò)片上可編程網(wǎng)絡(luò)（ NoC ）互聯(lián)緊密耦合。它還集成了軟件控制平臺(tái)管理功能和眾多先進(jìn)的接口，包括 DDR4、100G 以太網(wǎng)、PCIe? Gen 5 和數(shù)千兆位光通信接口。

Versal DSP 引擎采用經(jīng)過(guò)改進(jìn)的 DSP 塊，為 INT8、32 位浮點(diǎn)等操作數(shù)提供本機(jī)支持，從而提升了多種應(yīng)用的速度和效率，不僅包括數(shù)字信號(hào)處理，而且也包括寬動(dòng)態(tài)總線移位器、存儲(chǔ)器地址生成器、寬總線多路復(fù)用器以及存儲(chǔ)器映射 I/O 寄存器。標(biāo)量引擎由一個(gè)雙核 Arm? Cortex?-A72 應(yīng)用處理器和一個(gè)雙核 Arm? Cortex?-R5F 實(shí)時(shí)處理單元構(gòu)成。ACAP 的異構(gòu)引擎能夠?qū)崿F(xiàn)重新編程，以適應(yīng)隨時(shí)間推移而變化的工作負(fù)載，或是隨著算法實(shí)現(xiàn)或神經(jīng)網(wǎng)絡(luò)模型演進(jìn)而變化的工作負(fù)載。

0 4

優(yōu)化 ACAP 連接性

依托于這種新型可編程器件助力實(shí)現(xiàn)的創(chuàng)新，Versal Premium 系列現(xiàn)已能夠應(yīng)對(duì)當(dāng)今核心基礎(chǔ)設(shè)施面臨的壓力。這些高帶寬器件將高計(jì)算密度與附加的專用高速加密（ HSC ）引擎以及先進(jìn)的網(wǎng)絡(luò)接口融為一體。

高密度網(wǎng)絡(luò)連接功能包括：提供總雙向帶寬高達(dá) 9Tb/s 的可擴(kuò)展光纖收發(fā)器（支持最新的以太網(wǎng)和 Interlaken 速率與協(xié)議）、112Gb/s PAM4 收發(fā)器、加密處理能力高達(dá) 400Gb/s 的高速加密引擎，以及靈活應(yīng)變的硬件。

與現(xiàn)有的 58Gb/s PAM4 技術(shù)相比，在核心網(wǎng)、城域網(wǎng)和 DCI 基礎(chǔ)設(shè)施中采用 112G PAM4 收發(fā)器能夠使每端口帶寬密度翻倍，從而緩解前面板機(jī)柜空間的壓力，并為電信和數(shù)據(jù)中心應(yīng)用加倍提供單位體積帶寬。與此同時(shí)，給定的數(shù)據(jù)有效載荷的傳輸時(shí)延降低 50%，提高了應(yīng)用的響應(yīng)能力，有助于降低時(shí)延對(duì)地域分散型數(shù)據(jù)中心互聯(lián)的影響。

較之賽靈思 16nm Virtex? UltraScale+? FPGA ，片上集成資源提供了高達(dá)三倍的帶寬和兩倍的計(jì)算密度。另一方面，與專用的特定應(yīng)用光傳輸網(wǎng)絡(luò)（ OTN ）處理器相比，應(yīng)用吞吐量提高了三到五倍。

0 5

提升計(jì)算密度

為了滿足超大規(guī)模云服務(wù)提供商的當(dāng)前及未來(lái)需求，Versal ACAP 架構(gòu)將極高的片上存儲(chǔ)器帶寬與高性能異構(gòu)計(jì)算引擎緊密耦合，并通過(guò)動(dòng)態(tài)功能交換（ DFX ）實(shí)現(xiàn)靈活的工作負(fù)載配置。與之前的 16nm FPGA 相比，DFX 交換內(nèi)核的速度加快了八倍，支持加速器的動(dòng)態(tài)配置，從而最高效地將器件資源用于隨時(shí)間推移而變化的計(jì)算工作負(fù)載，如數(shù)據(jù)分析、機(jī)器學(xué)習(xí)視覺(jué)處理、基因組學(xué)、視頻轉(zhuǎn)碼、加密處理等。

憑借多種類型的分布式片上 RAM，高達(dá) 1Gb 的緊密耦合存儲(chǔ)器可供使用，進(jìn)而提供了最高 123TByte/s 的等效片上存儲(chǔ)器帶寬。該帶寬能實(shí)現(xiàn)各種處理引擎與存儲(chǔ)器之間的高速交互，其速度比如今最優(yōu)秀的 GPU 快九倍。此外，可編程 NoC 互聯(lián)支持與片外 DDR4 存儲(chǔ)器進(jìn)行高速交互。

Versal Premium ACAP 能夠滿足 DCI 設(shè)備的需求，兼容服務(wù)器側(cè)和傳輸側(cè)的多種光通信接口與協(xié)議，同時(shí)以安全、低成本的平臺(tái)靈活適應(yīng)新興的且不斷演進(jìn)的標(biāo)準(zhǔn)。1RU 系統(tǒng)或單卡就能提供 3.2Tb/s 的容量，支持多種多樣的標(biāo)準(zhǔn)化和新興協(xié)議以及光通信接口（圖 2）。憑借其先進(jìn)的連接和加密核心，單個(gè) Versal Premium ACAP 器件就能為服務(wù)器側(cè)的光通信接口提供 4x25G NRZ 連接的多條 100G FlexE 以太網(wǎng)通道、為線路側(cè)提供 4x112G PAM4 連接的 400G 以太網(wǎng)通道、線路速率為 1.6Tb/s 的 AES256 加密、控制和端口管理功能。

圖 2：采用 Versal Premium ACAP 的 3.2Tb/s DCI

這些器件也非常適合用于高速客戶端接口卡（圖 3），具體方式是利用 Versal Premium ACAP 將數(shù)據(jù)流量與服務(wù)橋接并封裝到行業(yè)標(biāo)準(zhǔn)的 OTN 封裝程序中。Versal Premium ACAP 內(nèi)部集成通道化以太網(wǎng)、Interlaken、112G 和 58G PAM4 GTM 收發(fā)器與 32.75G GTYP 收發(fā)器，提供每秒多太位容量。這些資源以專用硬 IP 的形式集成，既能獲得 ASIC 級(jí)的功率效率，又能釋放 ACAP 邏輯架構(gòu)用于映射、開(kāi)銷和 SAR 功能。

圖 3：2.4Tb/s 客戶端接口卡

0 6

面向未來(lái)的 AI 加速

通過(guò)將異構(gòu)計(jì)算引擎與高存儲(chǔ)器帶寬相結(jié)合，Versal Premium ACAP 在處理高難度工作負(fù)載（如使用神經(jīng)網(wǎng)絡(luò)開(kāi)展圖像分類或?qū)ο髾z測(cè)）時(shí)，性能顯著優(yōu)于 GPU。圖 4 對(duì)比了Versal Premium 與領(lǐng)先 GPU 的性能，可以看到運(yùn)行在 680x680 YOLOv2 模型上的對(duì)象檢測(cè)速度在 ACAP Premium 器件上能提速高達(dá) 7.7 倍。

圖 4：與 GPU 進(jìn)行對(duì)比的對(duì)象檢測(cè)性能

與 FPGA 和 MPSoC 架構(gòu)相比，ACAP 另一個(gè)有助于簡(jiǎn)化加速器開(kāi)發(fā)的引人矚目的特性是預(yù)先構(gòu)建的外殼程序，通過(guò)它能硬連接到片外接口，如以太網(wǎng)、PCIe Gen 5、DDR4 和光通信接口（圖 5）。這種高效的云連接基礎(chǔ)設(shè)施提供了多重優(yōu)勢(shì)，包括允許在設(shè)備啟動(dòng)時(shí)進(jìn)行 CPU 主機(jī)和系統(tǒng)存儲(chǔ)器通信、簡(jiǎn)化內(nèi)核布局與時(shí)序收斂、簡(jiǎn)化加速器虛擬化。外殼程序便于設(shè)計(jì)人員將器件的內(nèi)部邏輯架構(gòu)更多地用于定制功能，否則就需要實(shí)現(xiàn)必要的基礎(chǔ)設(shè)施，如存儲(chǔ)器和 DMA 控制器。

圖 5：預(yù)先構(gòu)建的外殼程序基礎(chǔ)設(shè)施簡(jiǎn)化了云連接，同時(shí)實(shí)現(xiàn)了速度與效率的雙重提升

外殼程序和角色架構(gòu)可以幫助設(shè)計(jì)人員快速高效地在 Versal Premium ACAP 中實(shí)現(xiàn)先進(jìn)的智能零售技術(shù)。ACAP 器件支持?jǐn)?shù)據(jù)驅(qū)動(dòng)的視頻內(nèi)容分析，有助于降低損失以及提供自動(dòng)、實(shí)時(shí)、可執(zhí)行的庫(kù)存洞察，并提供可促進(jìn)銷售最大化的客戶體驗(yàn)定制能力。借助 Versal Premium ACAP 能夠在單個(gè)平臺(tái)上托管視頻分析解決方案，用于視頻元數(shù)據(jù)的識(shí)別、提取和分類（圖 6）。

圖 6：智能零售視頻分析加速器

外殼程序提供了現(xiàn)成的連接與加密功能，而器件的 DSP 引擎和軟件可編程計(jì)算內(nèi)核則可處理對(duì)象檢測(cè)、圖像分類以及視頻編碼、解碼和縮放。而且能夠在緊鄰計(jì)算內(nèi)核的地方提供最大 1Gb 的片上 SRAM，面向 AI 加速提供高達(dá) 123TB/s 的存儲(chǔ)器帶寬。通過(guò)消除 GPU 架構(gòu)和基于 GPU 的架構(gòu)所特有的存儲(chǔ)器瓶頸與批次大小限制，分析加速器能夠?yàn)?Resnet50 提供高達(dá)每秒 13，000 幅圖像/秒的處理速度。

0 7

結(jié)論

盡管消費(fèi)者和企業(yè)界越來(lái)越重視數(shù)據(jù)的價(jià)值，客戶也越來(lái)越依賴于即時(shí)服務(wù)交付，但復(fù)雜性、計(jì)算強(qiáng)度和帶寬耗用正成為瓶頸。ACAP 將高效的分布式異構(gòu)計(jì)算引擎與高速互聯(lián)融為一體，以滿足飛速增長(zhǎng)的性能需求。通過(guò)綜合運(yùn)用硬 IP、預(yù)先構(gòu)建的創(chuàng)新型連接外殼程序、可編程邏輯架構(gòu)和軟件可配置資源，ACAP 器件不僅能夠助力提升性能，還能簡(jiǎn)化設(shè)計(jì)，同時(shí)提供面向未來(lái)的靈活性。