第一部分 設(shè)計(jì)概述 /Design Introduction

目前主流的目標(biāo)檢測(cè)算法都是用CNN來(lái)提取數(shù)據(jù)特征，而CNN的計(jì)算復(fù)雜度比傳統(tǒng)算 法高出很多。同時(shí)隨著CNN不斷提高的精度，其網(wǎng)絡(luò)深度與參數(shù)的數(shù)量也在飛快地增長(zhǎng)， 其所需要的計(jì)算資源和內(nèi)存資源也在不斷增加。目前通用CPU已經(jīng)無(wú)法滿足CNN的計(jì)算需 求，如今主要研究大多通過(guò)專用集成電路(ASIC)，圖形處理器(GPU)或者現(xiàn)場(chǎng)可編程門 陣列(FPGA)來(lái)構(gòu)建硬件加速電路，來(lái)提升計(jì)算CNN的性能。

其中 ASIC 具備高性能、低功耗等特點(diǎn)，但 ASIC 的設(shè)計(jì)周期長(zhǎng)，制造成本高，而 GPU 的并行度高，計(jì)算速度快，具有深度流水線結(jié)構(gòu)，非常適合加速卷積神經(jīng)網(wǎng)絡(luò)，但與之對(duì) 應(yīng)的是 GPU 有著功耗高，空間占用大等缺點(diǎn)，很多場(chǎng)合對(duì)功耗有嚴(yán)格的限制，而 GPU 難 以應(yīng)用于這類需求。近些年來(lái) FPGA 性能的不斷提升，同時(shí) FPGA 具有流水線結(jié)構(gòu)和很強(qiáng) 的并行處理能力，還擁有低功耗、配置方便靈活的特性，可以根據(jù)應(yīng)用需要來(lái)編程定制硬 件，已成為研究實(shí)現(xiàn) CNN 硬件加速的熱門平臺(tái)。

綜上所述，使用功耗低、并行度高的 FPGA 平臺(tái)加速 CNN 更容易滿足實(shí)際應(yīng)用場(chǎng)景中 的低功耗、實(shí)時(shí)性要求。而且目標(biāo)檢測(cè)算法發(fā)展迅速，針對(duì) CNN 的硬件加速研究也大有可 為。所以本項(xiàng)目計(jì)劃使用 PYNQ-Z2 開(kāi)發(fā)板設(shè)計(jì)一個(gè)硬件電路來(lái)加速目標(biāo)檢測(cè)算法。

本項(xiàng)目設(shè)計(jì)的目標(biāo)檢測(cè)算法硬件加速電路可以應(yīng)用在智能導(dǎo)航、視頻監(jiān)測(cè)、手機(jī)拍照、 門禁識(shí)別等諸多方面，比如無(wú)人汽車駕駛技術(shù)，高鐵站為方便乘客進(jìn)站而普遍采用的人臉 識(shí)別系統(tǒng)，以及警察抓捕潛逃罪犯而使用的天網(wǎng)系統(tǒng)等都可以應(yīng)用本項(xiàng)目的設(shè)計(jì)，加速目 標(biāo)檢測(cè)算法的運(yùn)算速度以及降低系統(tǒng)的功耗。

?

?

在本次項(xiàng)目的設(shè)計(jì)開(kāi)發(fā)過(guò)程中，我們參考 DAC 2019 低功耗目標(biāo)檢測(cè)系統(tǒng)設(shè)計(jì)挑戰(zhàn)賽

GPU、FPGA 組雙冠軍方案，學(xué)習(xí)到了基于 SkyNet 和 iSmart2 設(shè)計(jì)一個(gè)輕量級(jí)神經(jīng)網(wǎng)絡(luò)的 技巧，尤其是他們采用的自底向上的硬件電路設(shè)計(jì)思路給我們帶來(lái)了巨大的啟發(fā)。我們?cè)趯⒂?xùn)練好的神經(jīng)網(wǎng)絡(luò)部署在硬件平臺(tái)的過(guò)程中，加深了對(duì) HLS 的理解，開(kāi)始初步掌握使用 HLS 進(jìn)行并行性編程的方法。我們學(xué)習(xí)了 PYNQ 框架，在 PYNQ-Z2 上實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)加速 電路，有了軟硬件協(xié)同開(kāi)發(fā)的經(jīng)歷。除此之外，我們還學(xué)習(xí)了 Vitis AI，雖然在項(xiàng)目中并沒(méi) 有使用到 Vitis Ai，但是對(duì)它的學(xué)習(xí)擴(kuò)寬的我們的視野。

第二部分 系統(tǒng)組成及功能說(shuō)明 /System Construction & Function Description

本項(xiàng)目針對(duì)DAC2019 System Design Contest測(cè)試集，計(jì)劃采用PYNQ-Z2開(kāi)發(fā)板加速目標(biāo) 檢測(cè)網(wǎng)絡(luò)，綜合考慮數(shù)據(jù)訪問(wèn)、存儲(chǔ)、并行計(jì)算等問(wèn)題進(jìn)行優(yōu)化處理，設(shè)計(jì)出高速高精度 且低功耗的加速方案，并完成相關(guān)仿真和FPGA平臺(tái)的驗(yàn)證，實(shí)現(xiàn)一個(gè)可以框選出圖像中行 人或其他物體位置的硬件電路。

本項(xiàng)目的系統(tǒng)框圖如圖2-1所示，首先PS端從SD卡讀取圖片并壓縮，之后將圖片和參 數(shù)權(quán)重一起傳輸?shù)?DRAM中，PL端再?gòu)腄RAM中讀取數(shù)據(jù)并歸一化，經(jīng)過(guò)卷積和池化將輸 出特征圖傳回到DRAM中，再進(jìn)行下一層卷積運(yùn)算;直到網(wǎng)絡(luò)最后一層輸出送入到邊界框 輸出模塊中選擇置信度最高的邊界框傳輸?shù)紻RAM中，供PS端讀取。

2.1 神經(jīng)網(wǎng)絡(luò)模型的設(shè)計(jì)方案

針對(duì) DAC-SDC 數(shù)據(jù)集并結(jié)合 SkyNet 和 iSmart2 網(wǎng)絡(luò)設(shè)計(jì)原理，挑選出的基本單元Bundle 由 3×3 逐通道卷積(Depthwise Convolution)，1×1 逐點(diǎn)卷積(Pointwise Convolution)和 激活函數(shù) ReLU6 組成。

其中 3×3 逐通道卷積和 1×1 逐點(diǎn)卷積的參數(shù)量和計(jì)算量遠(yuǎn)遠(yuǎn)少于傳統(tǒng)的卷積。如圖 2-2 和 2-3 所示，首先每個(gè) 3×3 逐通道卷積核與各自對(duì)應(yīng)的輸入通道數(shù)據(jù)進(jìn)行卷積運(yùn)算，所以 輸出通道數(shù)等于輸入通道數(shù);然后上一步運(yùn)算得到的特征圖繼續(xù)進(jìn)行 1×1 逐點(diǎn)卷積，每個(gè) 1×1 逐點(diǎn)卷積核對(duì)輸入的所有通道進(jìn)行卷積運(yùn)算，并將結(jié)果相加得到一個(gè)輸出特征圖，所以輸出通道數(shù)等于逐點(diǎn)卷積核的數(shù)量。

ReLU6 激活函數(shù)與傳統(tǒng)的 Relu 激活函數(shù)相比，當(dāng) ReLU6 函數(shù)的輸入值大于等于 6 時(shí) 輸出值恒為 6，可以使模型更快地收斂。同時(shí)網(wǎng)絡(luò)采用大小為 2×2，步長(zhǎng)也為 2 的最大池化 層(Max pooling)來(lái)降低運(yùn)算量并防止過(guò)擬合，特征圖每經(jīng)過(guò)一次最大池化層其寬和高都減小一半。

綜上所述本項(xiàng)目構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型如圖 2-4 所示:

本項(xiàng)目構(gòu)建的網(wǎng)絡(luò)模型主要由四個(gè) Bundle 基本單元和三個(gè) Max pooling 層組成，其中每個(gè) Bundle 由 3×3 逐通道卷積，ReLU6 激活函數(shù)，1×1 逐點(diǎn)卷積，ReLU6 激活函數(shù)依次排 列組成。通過(guò)每個(gè) Bundle 中的 1×1 逐點(diǎn)卷積實(shí)現(xiàn)輸出特征圖通道數(shù)翻倍，通過(guò) Bundle 其 后緊接著的 Max pooling 層實(shí)現(xiàn)輸出特征圖的尺寸減半。因?yàn)閿?shù)據(jù)集內(nèi)的樣本圖片分辨率均 為 3×360×640，為了降低計(jì)算量就選擇將圖片壓縮到 3×160×320，這個(gè)尺寸既可以盡量保 留圖片的信息以防止目標(biāo)檢測(cè)準(zhǔn)確率下降，又可以在神經(jīng)網(wǎng)絡(luò)運(yùn)算過(guò)程中很方便地通過(guò) Max pooling 進(jìn)行降采樣。經(jīng)過(guò)三層 Max pooling 后特征圖的大小為 20×40，再經(jīng)過(guò)最后一 層 1×1 逐點(diǎn)卷積后輸出為 10×20×40，是將輸入圖片分為 20×40 個(gè)分塊，又因?yàn)檩敵鐾ǖ罃?shù) 為 10，即每個(gè)分塊將會(huì)得到兩個(gè)邊界框和對(duì)應(yīng)的置信度，本項(xiàng)目設(shè)計(jì)的算法會(huì)遍歷所有分 塊的邊界框，選擇置信度最大的邊界框輸出。

2.2 FPGA加速電路設(shè)計(jì)方案

本項(xiàng)目設(shè)計(jì)的硬件電路主要有兩個(gè)模塊模塊:數(shù)據(jù)讀取與傳輸模塊。首先需要讀取圖片和模型參數(shù)的數(shù)據(jù)，并對(duì)輸入的圖片數(shù)據(jù)進(jìn)行歸一化處理，然后送入到卷積運(yùn)算模塊中 進(jìn)行計(jì)算，接著將計(jì)算結(jié)果送入到邊界框輸出模塊，最后將得到的邊界框結(jié)果傳輸?shù)?a target="_blank">DDR3內(nèi)存中。

2.2.1 數(shù)據(jù)讀取與傳輸模塊

優(yōu)化設(shè)計(jì)一個(gè)高效的數(shù)據(jù)讀取與傳輸模塊是完成目標(biāo)檢測(cè)任務(wù)的前提。首先考慮到FPGA 自身 BRAM 資源有限，所以在數(shù)據(jù)讀取模塊中會(huì)將每一層的特征圖切分成多個(gè)數(shù)據(jù) 塊逐次送入到運(yùn)算模塊中進(jìn)行運(yùn)算。每個(gè)數(shù)據(jù)塊的大小為 20×40，例如將大小為 3×160×320 的輸入圖片分成 64 個(gè) 3×20×40 的數(shù)據(jù)塊。

數(shù)據(jù)讀取時(shí)每次讀取 3×3 逐通道卷積核參數(shù)的大小為 16×3×3，讀取 1×1 逐點(diǎn)卷積核參 數(shù)的大小則為 16×16，兩者均為 16 通道，是因?yàn)榫矸e運(yùn)算模塊為提升運(yùn)算速度采用了 16 通道并行計(jì)算的結(jié)構(gòu)。數(shù)據(jù)傳輸過(guò)程中將特征圖，網(wǎng)絡(luò)參數(shù)通過(guò)指針連續(xù)地存儲(chǔ)在 DDR3 內(nèi)存中，方便數(shù)據(jù)存取，提高傳輸效率。

PYNQ-Z2 的 PS 端通過(guò) AXI4 總線與 PL 端進(jìn)行通信，AXI4 總線協(xié)議具有高性能，高 頻率等優(yōu)勢(shì)。在 Vivado HLS 中編寫硬件代碼時(shí)需要將輸入圖片，模型參數(shù)和邊界框等 PS 端與 PL 端傳遞數(shù)據(jù)的接口定義為主或從接口，之后在 Vivado 中自動(dòng)連線時(shí)軟件會(huì)添加 AXI Interconnect 用于管理總線，并自動(dòng)為接口分配地址。

在硬件代碼編寫完成后，需要進(jìn)行 C 仿真和 C 綜合等步驟，最后導(dǎo)出 RTL，可以在導(dǎo) 出的 IP 核驅(qū)動(dòng)的頭文件中找到接口的地址，然后在 PS 端開(kāi)發(fā)時(shí)將圖片和網(wǎng)絡(luò)參數(shù)數(shù)據(jù)寫 入對(duì)應(yīng)地址即可，并從相應(yīng)的接口地址讀取輸出數(shù)據(jù)。

2.2.2 卷積運(yùn)算模塊

設(shè)計(jì)卷積運(yùn)算模塊來(lái)加速卷積運(yùn)算是 FPGA 加速電路的關(guān)鍵，卷積運(yùn)算模塊由 3×3 逐 通道卷積運(yùn)算模塊和 1×1 逐點(diǎn)卷積運(yùn)算模塊組成。

首先為了讓設(shè)計(jì)的 3×3 逐通道卷積運(yùn)算模塊能夠在不同的卷積層間復(fù)用，需要保持 3×3 逐通道卷積前后數(shù)據(jù)塊大小不變，這需要對(duì)輸入和輸出數(shù)據(jù)塊進(jìn)行填充(padding)。輸入數(shù) 據(jù)塊原始大小為 20×40，本項(xiàng)目選擇 padding=1，則輸入數(shù)據(jù)塊大小變?yōu)?22×42，經(jīng)過(guò) 3×3 逐通道卷積后高和寬分別為 20 和 40，即輸出數(shù)據(jù)塊大小依舊為 20×40。如果接下來(lái)還需要 進(jìn)行 3×3 逐通道卷積，則再對(duì)輸出進(jìn)行填充使輸出數(shù)據(jù)塊大小也為 22×42，以保持運(yùn)算過(guò) 程中數(shù)據(jù)塊大小不變，這樣就能很方便地復(fù)用 3×3 逐通道卷積運(yùn)算模塊來(lái)節(jié)約硬件資源。

因?yàn)榫矸e運(yùn)算過(guò)程中特征圖的通道數(shù)逐步變?yōu)?48，96，192，384，均為 16 的倍數(shù)， 所以綜合考慮 FPGA 的并行性優(yōu)點(diǎn)和 PYNQ-Z2 自身資源情況，設(shè)計(jì)卷積運(yùn)算模塊為 16 個(gè) 通道并行計(jì)算來(lái)提升運(yùn)算速度。16 通道 3×3 逐通道卷積的輸入數(shù)據(jù)塊為 16×22×42，卷積核 為 16×3×3，輸出數(shù)據(jù)塊經(jīng)填充后也為 16×22×42。

因?yàn)?3×3 逐通道卷積由乘法和加法運(yùn)算構(gòu)成，所以其運(yùn)算模塊需要乘法器，加法器和 寄存器。針對(duì) 3×3 逐通道卷積運(yùn)算模塊，以第一個(gè)通道為例，首先把偏置