隨著人工智能和物聯(lián)網(wǎng)技術(shù)的融合，AIoT（人工智能物聯(lián)網(wǎng)）的概念應(yīng)運(yùn)而生，即AI（人工智能）+IoT（物聯(lián)網(wǎng)）。目前，邊緣AI正廣泛應(yīng)用于工業(yè)領(lǐng)域，這種技術(shù)可以為工業(yè)物聯(lián)網(wǎng)邊緣的多傳感器分析和機(jī)器學(xué)習(xí)應(yīng)用提供最低的時(shí)延、功耗和成本。在工業(yè)領(lǐng)域，當(dāng)前熱門的邊緣AI應(yīng)用包括工業(yè)機(jī)器人、智慧路燈、智能監(jiān)控等。

目前，在AI計(jì)算平臺(tái)使用最廣泛的兩種加速部件是GPU和FPGA。GPU已經(jīng)在深度學(xué)習(xí)訓(xùn)練模型領(lǐng)域開創(chuàng)性地創(chuàng)建了包含CNN、DNN、RNN、LSTM以及強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)等算法在內(nèi)的應(yīng)用加速平臺(tái)和完整的生態(tài)系統(tǒng)。深度學(xué)習(xí)包含兩個(gè)計(jì)算環(huán)節(jié)，即線下訓(xùn)練和線上推理環(huán)節(jié)。GPU在深度學(xué)習(xí)算法模型訓(xùn)練上非常高效，但在推理時(shí)，一次性只能對(duì)于一個(gè)輸入項(xiàng)進(jìn)行處理，并行計(jì)算的優(yōu)勢(shì)不能發(fā)揮出來(lái).

相比較而言，運(yùn)行深度學(xué)習(xí)算法實(shí)現(xiàn)同樣的性能，GPU所需功耗遠(yuǎn)大于FPGA，通常情況下，GPU只能達(dá)到FPGA能效比的一半或更低。目前來(lái)看，深度學(xué)習(xí)算法還未完全成熟，算法還在迭代衍化過(guò)程中，若深度學(xué)習(xí)算法發(fā)生大的變化，GPU無(wú)法像FPGA一樣可以靈活的配置硬件結(jié)構(gòu)，快速切入市場(chǎng)。

01、FPGA有啥優(yōu)勢(shì)?什么樣的場(chǎng)景更適合FPGA?

CPU是一種非常通用的架構(gòu)，它的工作方式基于一系列的計(jì)算機(jī)指令，也稱為“指令集”。簡(jiǎn)單來(lái)說(shuō)，CPU從內(nèi)存中提取一小部分?jǐn)?shù)據(jù)，放在寄存器或者緩存中，然后使用一系列指令對(duì)這些數(shù)據(jù)進(jìn)行操作。操作完畢后，將數(shù)據(jù)寫回內(nèi)存，提取另一小部分?jǐn)?shù)據(jù)，再用指令進(jìn)行操作，并周而復(fù)始。我把這種計(jì)算方式稱為“時(shí)域計(jì)算”。

不過(guò)，如果這些需要用指令進(jìn)行處理的數(shù)據(jù)集太大，或者這些數(shù)據(jù)值太大，那么CPU就不能很高效的應(yīng)對(duì)這種情況。這就是為什么在處理高速網(wǎng)絡(luò)流量的時(shí)候，我們往往需要使用定制芯片，比如網(wǎng)卡芯片等，而不是CPU。這是因?yàn)樵贑PU中，即使處理一個(gè)字節(jié)的數(shù)據(jù)也必須使用一堆指令才能完成，而當(dāng)數(shù)據(jù)流以每秒125億字節(jié)進(jìn)入系統(tǒng)時(shí)，這種處理方式哪怕使用再多的線程也忙不過(guò)來(lái)。

對(duì)于GPU來(lái)說(shuō)，它所擅長(zhǎng)的是被稱作“單指令多數(shù)據(jù)流（SIMD）”的并行處理。這種處理方式的本質(zhì)是，在GPU中有著一堆相同的計(jì)算核心，可以處理類似但并不是完全相同的數(shù)據(jù)集。因此，可以使用一條指令，就讓這些計(jì)算核心執(zhí)行相同的操作，并且平行的處理所有數(shù)據(jù)。

首先，深度學(xué)習(xí)包含兩個(gè)計(jì)算環(huán)節(jié)，即訓(xùn)練和推理環(huán)節(jié)。GPU強(qiáng)在訓(xùn)練，而FPGA強(qiáng)在推斷，F(xiàn)PGA 同時(shí)擁有流水線并行和數(shù)據(jù)并行，因此處理任務(wù)時(shí)候延遲更低。例如處理一個(gè)數(shù)據(jù)包有10 個(gè)步驟，F(xiàn)PGA 可以搭建一個(gè)10 級(jí)流水線，流水線的不同級(jí)在處理不同的數(shù)據(jù)包，每個(gè)數(shù)據(jù)包流經(jīng)10 級(jí)之后處理完成。每處理完成一個(gè)數(shù)據(jù)包，就能馬上輸出。通常來(lái)說(shuō)，F(xiàn)PGA 加速只需要微秒級(jí)的PCIe 延遲。當(dāng)Intel 推出通過(guò)QPI快速通道互聯(lián)的Xeon + FPGA 之后，CPU 和FPGA 之間的延遲甚至可以降到100 納秒以下。

其次，F(xiàn)PGA是可編程芯片，算法燒錄更加靈活。目前來(lái)看，深度學(xué)習(xí)算法還未完全成熟，算法還在迭代衍化過(guò)程中，若深度學(xué)習(xí)算法發(fā)生大的變化，F(xiàn)PGA是軟件定義硬件，可以靈活切換算法，快速切入市場(chǎng)。

02、FPGA的計(jì)算性能在其他領(lǐng)域的應(yīng)用

除了在AI的線上推理方向，F(xiàn)PGA在其他很多方面也能發(fā)揮價(jià)值。在面向計(jì)算密集型任務(wù)，比如矩陣運(yùn)算、圖像處理、機(jī)器學(xué)習(xí)、壓縮、非對(duì)稱加密、搜索的排序等的時(shí)候，擁有流水線并行和數(shù)據(jù)并行的FPGA效率會(huì)高很多

03、FPGA的獨(dú)特優(yōu)勢(shì)有哪些?

傳統(tǒng)的FPGA的開發(fā)類似于芯片的開發(fā)，采用硬件描述語(yǔ)言（HDL）開發(fā)，HDL開發(fā)帶來(lái)的問題就會(huì)像芯片設(shè)計(jì)一樣周期會(huì)比較長(zhǎng)，從架構(gòu)設(shè)計(jì)、到仿真驗(yàn)證、再到最終完成，需要一年左右的開發(fā)時(shí)間。

但是互聯(lián)網(wǎng)的業(yè)務(wù)迭代速度極快，在幾個(gè)月時(shí)間內(nèi)就可能完成龐大用戶群的積累，因此業(yè)務(wù)對(duì)于數(shù)據(jù)中心的要求是“快”—計(jì)算力平臺(tái)的升級(jí)要盡量快地滿足業(yè)務(wù)的發(fā)展，因此FPGA的傳統(tǒng)開發(fā)模式動(dòng)輒以半年或年為單位的開發(fā)周期難以滿足需求。

為此嘗試通過(guò)OpenCL高級(jí)語(yǔ)言開發(fā)方式，它把底層的硬件如總線、IO接口、訪存控制器等和底層軟件如驅(qū)動(dòng)、函數(shù)調(diào)用等全部封裝，變成標(biāo)準(zhǔn)單元提供上層支持，用戶只需要關(guān)注算法本身，OpenCL開發(fā)的邏輯通過(guò)編譯工具直接映射到FPGA中，開發(fā)周期從至少1年縮短至4個(gè)月以內(nèi)。

04、FPGA可以應(yīng)用在哪些領(lǐng)域?

在機(jī)器學(xué)習(xí)領(lǐng)域、金融領(lǐng)域、大數(shù)據(jù)領(lǐng)域、基因檢測(cè)領(lǐng)域都存在比較大的數(shù)據(jù)量需要分析計(jì)算，這些是FPGA可以發(fā)揮高吞吐優(yōu)勢(shì)的領(lǐng)域。

網(wǎng)絡(luò)安全領(lǐng)域有更安全、更低延時(shí)的需求，這些場(chǎng)景也可以發(fā)揮FPGA低延時(shí)的優(yōu)勢(shì)。

超大規(guī)模圖像處理，這些圖片的處理都使用FPGA來(lái)進(jìn)行處理加速，都可以得到滿意的效果。

現(xiàn)在比較熱門的自然語(yǔ)言處理和語(yǔ)音識(shí)別這些也都是FPGA可以發(fā)揮優(yōu)勢(shì)的場(chǎng)景。

當(dāng)FPGA成為一種計(jì)算力服務(wù)，有著高效的硬件、成熟的IP和云化管理，你還在顧慮什么?

未來(lái)，CPU+FPGA或許將作為新的異構(gòu)加速模式，被越來(lái)越多的應(yīng)用領(lǐng)域采用。

編輯：hfy