性能浮點(diǎn)處理一直與高性能CPU相關(guān)聯(lián)。在過去幾年中，GPU也成為功能強(qiáng)大的浮點(diǎn)處理平臺，超越了圖形，稱為GP-GPU（通用圖形處理單元）。新創(chuàng)新是在苛刻的應(yīng)用中實(shí)現(xiàn)基于FPGA的浮點(diǎn)處理。本文的重點(diǎn)是FPGA及其浮點(diǎn)性能和設(shè)計(jì)流程，以及OpenCL的使用，這是高性能浮點(diǎn)計(jì)算前沿的編程語言。

　　各種處理平臺的GFLOP指標(biāo)在不斷提高，現(xiàn)在，TFLOP/s這一術(shù)語已經(jīng)使用的非常廣泛了。但是，在某些平臺上，峰值GFLOP/s，即，TFLOP/s表示的器件性能信息有限。它只表示了每秒能夠完成的理論浮點(diǎn)加法或者乘法總數(shù)。分析表明，F(xiàn)PGA單精度浮點(diǎn)處理能夠超過1 TFLOP/s。

　　一種不太復(fù)雜的常用算法是FFT。使用單精度浮點(diǎn)實(shí)現(xiàn)了4096點(diǎn)FFT。它能夠在每個時(shí)鐘周期輸入輸出四個復(fù)數(shù)采樣。每一個FFT內(nèi)核運(yùn)行速度超過80 GFLOP/s，大容量FPGA的資源支持實(shí)現(xiàn)7個這類的內(nèi)核。

　　但是，如圖1所示，這一FPGA的FFT算法GFLOP/s接近400 GFLOP/s。這是“按鍵式”O(jiān)penCL編譯結(jié)果，不需要FPGA專業(yè)知識。使用邏輯鎖定和DSE進(jìn)行優(yōu)化，7內(nèi)核設(shè)計(jì)接近單內(nèi)核設(shè)計(jì)的Fmax，將其GFLOP/s提升至500，超過了10 GFLOP/s每瓦。

　　這一每瓦GFLOP/s要比CPU或者GPU功效高很多。對比一下GPU，GPU在這些FFT長度上效率并不高，因此，沒有進(jìn)行基準(zhǔn)測試。當(dāng)FFT長度達(dá)到幾十萬個點(diǎn)時(shí)，GPU效率才比較高，能夠?yàn)镃PU提供有效的加速功能。

　　圖1：Altera Stratix V 5SGSD8 FPGA浮點(diǎn)FFT性能。

　　總之，實(shí)際的GFLOP/s一般只達(dá)到峰值或者理論GFLOP/s的一小部分。出于這一原因，更好的方法是采用算法來對比性能，這種算法能夠合理的表示典型應(yīng)用的特性。算法越復(fù)雜，典型實(shí)際應(yīng)用的基準(zhǔn)測試就越具有代表性。

　　并不是依靠供應(yīng)商的峰值GFLOP/s指標(biāo)來確定處理技術(shù)，而是使用比較復(fù)雜具有代表性的第三方評估。高性能計(jì)算理想的算法是Cholesky分解。

　　這一算法經(jīng)常用于線性代數(shù)，高效的解出多個方程，可以實(shí)現(xiàn)矩陣求逆功能。這一算法非常復(fù)雜，要獲得合理的結(jié)果總是要求浮點(diǎn)數(shù)值表示。計(jì)算需求與N3成正比，N是矩陣維度，因此，一般對處理要求很高。實(shí)際GFLOP/s取決于矩陣大小以及所要求的矩陣處理吞吐量。

　　表1顯示了基于Nvidia GPU指標(biāo)1.35TFLOP/s的基準(zhǔn)測試結(jié)果，使用了各種庫，以及Xilinx Virtex6 XC6VSX475T，其密度達(dá)到475K LC，這種FPGA針對DSP處理進(jìn)行了優(yōu)化。用于Cholesky基準(zhǔn)測試時(shí)，這些器件在密度上與Altera FPGA相似。

　　表1：田納西州大學(xué)的GPU和Xilinx FPGA Cholesky基準(zhǔn)測試。

　　LAPACK和MAGMA是商用庫，而GPU GFLOP/s是指采用田納西州大學(xué)開發(fā)的OpenCL實(shí)現(xiàn)的。對于小規(guī)模矩陣，后者更優(yōu)化一些。

　　中等規(guī)模的Altera Stratix V FPGA （460kLE）也進(jìn)行了基準(zhǔn)測試，使用了單精度浮點(diǎn)Cholesky算法。如表2所示，在Stratix V FPGA上進(jìn)行Cholesky算法的性能要比Xilinx結(jié)果高很多。

　　表2：BDTI的Altera FPGA Cholesky和QR基準(zhǔn)測試。

　　應(yīng)指出，矩陣大小并不相同。田納西州大學(xué)結(jié)果是從［512×512］矩陣大小開始的。BDTI基準(zhǔn)測試達(dá)到了［360×360］矩陣大小。原因是，矩陣規(guī)模較小時(shí)，GPU效率非常低，因此，在這些應(yīng)用中，不應(yīng)該使用它們來加速CPU。在規(guī)模較小的矩陣時(shí)，F(xiàn)PGA的工作效率非常高。

　　其次，BDTI基準(zhǔn)測試是基于每個Cholesky內(nèi)核的。每個可參數(shù)賦值的Cholesky內(nèi)核支持選擇矩陣大小，矢量大小和通道數(shù)量。矢量大小大致決定了FPGA資源。較大的［360×360］矩陣使用了較長的矢量，支持這一FPGA中實(shí)現(xiàn)一個內(nèi)核，達(dá)到91GFLOP/s。較小的 ［60×60］ 矩陣使用的資源更少，因此，可以實(shí)現(xiàn)兩個內(nèi)核，總共是2×39=78GFLOP/s。最小的［30×30］矩陣支持實(shí)現(xiàn)三個內(nèi)核，總共是 3×26=78GFLOP/s。

　　FPGA看起來更適合解決數(shù)據(jù)規(guī)模較小的問題。原因之一是因?yàn)橛?jì)算負(fù)載隨N3而增大，數(shù)據(jù)I/O隨N2增大，最終，隨著數(shù)據(jù)的增加，GPU的I/O 瓶頸不再是問題。另一項(xiàng)考慮是吞吐量。隨著矩陣規(guī)模的增大，由于每個矩陣的處理量增大，矩陣每秒吞吐量會大幅度下降。在某些點(diǎn)，吞吐量變得非常低，以至于無法滿足很多應(yīng)用的要求。在很多情況下，會分解大規(guī)模矩陣，處理每個小的子矩陣，以解決由于龐大的處理負(fù)載造成的吞吐量限制問題。

　　對于FFT，計(jì)算負(fù)載增加N log2 N，而數(shù)據(jù)I/O隨N增大而增大。對于規(guī)模較大的數(shù)據(jù)，GPU是高效的計(jì)算引擎。作為對比，數(shù)據(jù)長度很短時(shí)，F(xiàn)PGA是高效的計(jì)算引擎，更適合FFT長度達(dá)到數(shù)千的很多應(yīng)用，對于GPU，F(xiàn)FT長度是數(shù)十萬。

　　GPU和FPGA設(shè)計(jì)方法

　　使用Nvidia的專用CUDA語言或者開放標(biāo)準(zhǔn)OpenCL語言對GPU進(jìn)行編程。這些語言在能力上非常相似，而最大的不同在于CUDA只能用在Nvidia GPU上。

　　FPGA通常使用HDL語言Verilog或者VHDL進(jìn)行編程。這些語言的最新版雖然采用了浮點(diǎn)數(shù)定義，不用進(jìn)行綜合，但都不太適合支持浮點(diǎn)設(shè)計(jì)。例如，在System Verilog中，短實(shí)數(shù)變量與IEEE單精度（浮點(diǎn)）對應(yīng)，實(shí)數(shù)變量與IEEE雙精度對應(yīng)。

　　使用傳統(tǒng)的方法，將浮點(diǎn)數(shù)據(jù)通路綜合到FPGA的效率非常低。Xilinx FPGA在Cholesky算法上的性能很低，它使用了Xilinx浮點(diǎn)內(nèi)核生成功能，這證實(shí)了這一點(diǎn)。而Altera采用了兩種不同的方法。第一種使用基于Mathworks的設(shè)計(jì)輸入，稱之為DSP Builder高級模塊庫。這一工具包含了對定點(diǎn)和浮點(diǎn)數(shù)的支持。它支持7種不同精度的浮點(diǎn)，包括IEEE半精度、單精度和雙精度。它還支持矢量化，這是高效實(shí)現(xiàn)線性代數(shù)所需要的。而最重要的是，它能夠?qū)⒏↑c(diǎn)電路高效的映射到目前的定點(diǎn)FPGA體系結(jié)構(gòu)中，如基準(zhǔn)測試所示，規(guī)模中等的28 nm FPGA，Cholesky算法接近了100GFLOP/s。作為對比，在不具有綜合能力的規(guī)模相似的Xilinx FPGA上，實(shí)現(xiàn)同樣的算法，使用密度相似的FPGA，性能只有20GFLOP/s。

　　GPU編程人員比較熟悉OpenCL。面向FPGA的OpenCL編譯意味著，面向AMD或者Nvidia GPU編寫的OpenCL代碼可以編譯到FPGA中。Altera的OpenCL編譯器支持GPU程序使用FPGA，不需要熟練的開發(fā)典型的FPGA設(shè)計(jì)。

　　使用支持FPGA的OpenCL，相對于GPU有幾個關(guān)鍵優(yōu)勢。首先，GPU的I/O是有限制的。所有輸入和輸出數(shù)據(jù)必須由主CPU通過PCI接口進(jìn)行傳輸。結(jié)果延時(shí)會讓GPU處理引擎暫停，因此，降低了性能。

　　FPGA以各種寬帶I/O功能而知名。這些功能支持?jǐn)?shù)據(jù)通過千兆以太網(wǎng)和SRIO，或者直接從ADC和DAC輸入輸出FPGA。Altera定義了OpenCL標(biāo)準(zhǔn)的供應(yīng)商專用擴(kuò)展，以支持流操作。

　　即使與I/O瓶頸無關(guān)，F(xiàn)PGA的處理延時(shí)也要比GPU低很多。眾所周知，GPU必須有數(shù)千個線程才能高效的工作。這是由于存儲器讀取很長的延時(shí)，以及GPU大量的處理內(nèi)核之間的延時(shí)。實(shí)際上，GPU必須有很多任務(wù)才能使得處理內(nèi)核不會暫停等待數(shù)據(jù)，否則會導(dǎo)致任務(wù)很長的延時(shí)。

　　而FPGA使用了“粗粒度并行”體系結(jié)構(gòu)。它建立了多個經(jīng)過優(yōu)化的并行數(shù)據(jù)通路，每一通路一般在每個時(shí)鐘周期輸出一個結(jié)果。數(shù)據(jù)通路的例化數(shù)取決于 FPGA資源，但一般要比GPU內(nèi)核數(shù)少很多。但是，每一數(shù)據(jù)通路例化的吞吐量要比GPU內(nèi)核高得多。這一方法的主要優(yōu)勢是低延時(shí)。降低延時(shí)在很多應(yīng)用中都是關(guān)鍵的性能優(yōu)勢。

　　FPGA的另一優(yōu)勢是很低的功耗，極大的降低了每瓦GFLOP/s。正如BDTI所測量的，Cholesky等復(fù)數(shù)浮點(diǎn)算法的每瓦GFLOP/s是每瓦5~6GFLOP/s。一般很難進(jìn)行GPU能效測量，但是，Cholesky的GPU性能達(dá)到50GFLOP/s，典型功耗是200W，得到的結(jié)果是 0.25每瓦GFLOP/s，單位FLOP/s的功率高20倍。

　　OpenCL和DSP Builder都依靠“融合數(shù)據(jù)通路”這種技術(shù)（圖2），以這種技術(shù)實(shí)現(xiàn)浮點(diǎn)處理，能夠大幅度減少桶形移位電路，從而支持使用FPGA來開發(fā)大規(guī)模高性能浮點(diǎn)設(shè)計(jì)。

　　圖2：浮點(diǎn)的融合數(shù)據(jù)通路實(shí)現(xiàn)。

　　為降低桶形移位頻率，綜合過程盡可能使用較大的尾數(shù)寬度，從而不需要頻率歸一化和去歸一化。27×27和36×36硬核乘法器支持比單精度實(shí)現(xiàn)所要求的23位更大的乘法計(jì)算，54×54和72×72結(jié)構(gòu)的乘法器支持比52位更大的計(jì)算，這通常是雙精度實(shí)現(xiàn)所要求的。FPGA邏輯已經(jīng)針對大規(guī)模定點(diǎn)加法器電路進(jìn)行了優(yōu)化，包括了內(nèi)置進(jìn)位超前電路。

　　當(dāng)需要進(jìn)行歸一化和去歸一化時(shí)，另一種可以避免低性能和過度布線的方法是使用乘法器。對于一個24位單精度尾數(shù)（包括符號位），24×24乘法器通過乘以2n對輸入移位。27×27和36×36硬核乘法器支持單精度擴(kuò)展尾數(shù)，可以用于構(gòu)建雙精度乘法器。

　　在很多線性代數(shù)算法中，矢量點(diǎn)乘（圖3）是占用大量FLOP/s的底層運(yùn)算。單精度實(shí)現(xiàn)長度是64的長矢量點(diǎn)乘需要64個浮點(diǎn)乘法器，以及隨后由63個浮點(diǎn)加法器構(gòu)成的加法樹。這類實(shí)現(xiàn)需要很多桶形移位電路。

　　圖3：矢量點(diǎn)乘優(yōu)化。

　　相反，可以對64個乘法器的輸出進(jìn)行去歸一化，成為公共指數(shù)，最大是64位指數(shù)?？梢允褂枚c(diǎn)加法器電路對這些64路輸出求和，在加法樹的最后進(jìn)行最終的歸一化。如圖3所示，這一本地模塊浮點(diǎn)處理過程省掉了每一加法器所需要的臨時(shí)歸一化和去歸一化。即使是IEEE754浮點(diǎn)，最大指數(shù)基本決定了最終的指數(shù)，因此，這種改變只是在計(jì)算早期進(jìn)行指數(shù)調(diào)整。

　　但是，進(jìn)行信號處理時(shí)，在計(jì)算最后盡可能以高精度來截?cái)嘟Y(jié)果才能獲得最佳結(jié)果。這種方法進(jìn)位額外的尾數(shù)，補(bǔ)償了單精度浮點(diǎn)處理所需要的早期去歸一化次優(yōu)方法，一般從27位到36位。采用浮點(diǎn)乘法器進(jìn)行尾數(shù)擴(kuò)展，因此，在每一步不需要對乘積進(jìn)行歸一化。

　　注意，這一方法每個時(shí)鐘周期也會產(chǎn)生一個結(jié)果。GPU體系結(jié)構(gòu)可以并行產(chǎn)生所有浮點(diǎn)乘法，但是不能高效的并行進(jìn)行加法。之所以這樣是因?yàn)椴煌膬?nèi)核必須通過本地存儲器傳輸數(shù)據(jù)，彼此實(shí)現(xiàn)通信，因此，不能靈活的連接FPGA體系結(jié)構(gòu)。

　　這一方法產(chǎn)生的結(jié)果要比傳統(tǒng)IEEE754浮點(diǎn)結(jié)果精確得多，如表3的測量結(jié)果所示。BDTI的基準(zhǔn)測試獲得了相似的結(jié)果。

　　表3：FPGA相對于IEEE754浮點(diǎn)更精確的結(jié)果。

　　使用Cholesky分解算法，實(shí)現(xiàn)大規(guī)模矩陣求逆，獲得了表3的結(jié)果。以三種不同的方法實(shí)現(xiàn)了相同的算法——在Matlab/Simulink 中，使用了IEEE754單精度浮點(diǎn)，在RTL單精度浮點(diǎn)處理中，使用融合數(shù)據(jù)通路方法，在Matlab中也使用了雙精度浮點(diǎn)。雙精度實(shí)現(xiàn)要比單精度實(shí)現(xiàn)精度高十億倍（109）。

　　表3對比了Matlab單精度;RTL單精度和Matlab雙精度存在誤差，確認(rèn)了融合數(shù)據(jù)通路方法的完整性。采用了這一方法來獲得輸出矩陣中所有復(fù)數(shù)元素的歸一化誤差以及矩陣元素的最大誤差。使用Frobenius范數(shù)計(jì)算了總誤差和范數(shù)：

　　請注意，由于范數(shù)包括了所有元素的誤差，因此，它要比每一誤差大很多。

　　而且，DSP Builder高級模塊庫和OpenCL工具流程都針對下一代FPGA體系結(jié)構(gòu)，支持并優(yōu)化目前的設(shè)計(jì)。由于體系結(jié)構(gòu)創(chuàng)新和工藝技術(shù)創(chuàng)新，性能可以達(dá)到100峰值GFLOPs/W。

　　總結(jié)

　　高性能計(jì)算應(yīng)用現(xiàn)在有新的處理平臺選擇。對于特殊類型的浮點(diǎn)算法，F(xiàn)PGA能夠提供低延時(shí)和較高的GFLOP/s。在幾乎所有應(yīng)用中，F(xiàn)PGA都能夠?qū)崿F(xiàn)優(yōu)異的每瓦GFLOP/s。隨著下一代高性能計(jì)算優(yōu)化FPGA的推出，這種優(yōu)勢會更明顯。

　　Altera的OpenCL編譯器為GPU編程人員提供了幾乎無縫的方法來評估這一新處理體系結(jié)構(gòu)的指標(biāo)。Altera OpenCL符合1.2規(guī)范，提供全面的數(shù)據(jù)庫支持。它解決了傳統(tǒng)FPGA遇到的時(shí)序收斂、DDR存儲器管理以及PCIe主處理器接口等難題。

　　對于非GPU開發(fā)人員，Altera提供DSP Builder高級模塊庫工具流程，支持開發(fā)人員開發(fā)高Fmax定點(diǎn)或者浮點(diǎn)DSP設(shè)計(jì)，同時(shí)保持了基于Mathworks的仿真和開發(fā)環(huán)境的優(yōu)點(diǎn)。要求高效能工作流程的FPGA開發(fā)人員多年以來一直使用這一產(chǎn)品，與經(jīng)驗(yàn)豐富的FPGA開發(fā)人員相比，所實(shí)現(xiàn)的Fmax性能相同。

?

?