基于Enclustra瑞蘇盈科XCZU15EG核心板及PE1底板（視頻）

? ? ? ?人工智能（AI）正在占據(jù)越來越多的應(yīng)用和生活場(chǎng)景，例如圖像檢測(cè)和分類，翻譯和推薦系統(tǒng)等等?；?a href="http://www.brongaenegriffin.com/v/tag/557/" target="_blank">機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用數(shù)量龐大且還在不斷增長(zhǎng)。采用Enclustra（瑞蘇盈科）結(jié)合FPGA和ARM處理器的核心板模塊，在離線和邊緣使用AI前所未有的容易。

為了展示“基于FPGA的AI，機(jī)器視覺，運(yùn)動(dòng)控制”，Enclustra打造了機(jī)械手和人互動(dòng)玩石頭剪刀布的demo。

FPGA低延時(shí)、低功耗的特性在這個(gè)demo中體現(xiàn)出了優(yōu)勢(shì)。搭載Synthara IP核的神經(jīng)網(wǎng)絡(luò)運(yùn)行在基于Xilinx Zynq UltraScale+的Enclustra水星Mercury+ XU7-15EG 核心板模塊（SoM based on XCZU15EG）和水星Mercury+ PE1底板，分析攝像頭采集的流媒體數(shù)據(jù)。手勢(shì)是被實(shí)時(shí)檢測(cè)的，每張圖片的推理只需要8~9 ms，靈敏度超過100 fps。常見的攝像頭為30或者60 fps，所以瓶頸在于攝像頭的幀率。機(jī)械手伺服電機(jī)根據(jù)游戲規(guī)則做出反應(yīng)。

值得一提的是這個(gè)demo實(shí)現(xiàn)了在單個(gè)設(shè)備中處理各種傳感器和信號(hào)：圖像處理、神經(jīng)網(wǎng)絡(luò)推理、機(jī)械手都在一個(gè)FPGA中被控制。

玩家手勢(shì)的圖片被分為5類：石頭，剪刀，布，非法手勢(shì)，無手勢(shì)。為了讓神經(jīng)網(wǎng)絡(luò)能對(duì)圖片進(jìn)行精準(zhǔn)的分類，Enclustra從幾位玩家錄制的視頻中采集了多樣化的圖片：不同的玩家，男/女玩家，不同飾品（手表，腕帶，長(zhǎng)袖…），不同亮度，左/右手玩家，不同的移動(dòng)速度，不同的距離，等等。在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)了近一萬張圖片后，具備了快速打敗新玩家的能力。