從工業(yè)檢測(cè)系統(tǒng)到自動(dòng)駕駛系統(tǒng)，計(jì)算機(jī)視覺(jué)是一個(gè)包括許多有趣應(yīng)用的廣泛領(lǐng)域。許多這樣的系統(tǒng)在原型和實(shí)現(xiàn)階段都要用到開(kāi)源計(jì)算機(jī)視覺(jué) (Open Source Computer Vision Library，OpenCV)。OpenCV優(yōu)化了許多功能函數(shù)，并在實(shí)時(shí)的計(jì)算機(jī)視覺(jué)程序中得到應(yīng)用。但是，由于嵌入式優(yōu)化策略得天獨(dú)厚的優(yōu)勢(shì)，仍然值得大家嘗試?yán)眠壿?a target="_blank">硬件來(lái)加速OpenCV的性能。

目前，OpenCV被廣泛用于開(kāi)發(fā)計(jì)算機(jī)視覺(jué)應(yīng)用中。OpenCV包含2500多個(gè)優(yōu)化的視頻函數(shù)的函數(shù)庫(kù)，并且專門針對(duì)臺(tái)式機(jī)處理器和圖形處理器（Graphic Processing Unit，GPU）進(jìn)行優(yōu)化。

Xilinx提供的Vivado HLS高層次綜合工具能夠通過(guò)C/C++ 編寫(xiě)的代碼直接創(chuàng)建RTL硬件，顯著提高設(shè)計(jì)效率；同時(shí)，Xilinx Zynq全可編程SOC系列器件嵌入雙核ARM Cortex-A9處理器將軟件可編程能力與FPGA的硬件可編程能力實(shí)現(xiàn)完美結(jié)合，以低功耗和低成本等系統(tǒng)優(yōu)勢(shì)實(shí)現(xiàn)單芯片無(wú)以倫比的系統(tǒng)性能、靈活性、可擴(kuò)展性，加速圖形處理產(chǎn)品設(shè)計(jì)上市時(shí)間。OpenCV擁有成千上萬(wàn)的用戶，而且OpenCV的設(shè)計(jì)無(wú)需修改即可在 Zynq器件的ARM處理器上運(yùn)行。但是，利用OpenCV實(shí)現(xiàn)的高清處理經(jīng)常受外部存儲(chǔ)器的限制，尤其是存儲(chǔ)帶寬會(huì)成為性能瓶頸，存儲(chǔ)訪問(wèn)也限制了功耗效率。通過(guò)Xilinx公司提供的Vivado HLS高級(jí)語(yǔ)言綜合工具，設(shè)計(jì)者可以輕松實(shí)現(xiàn)OpenCV C++視頻處理設(shè)計(jì)到RTL代碼的轉(zhuǎn)換，將其轉(zhuǎn)換為可以在Zynq實(shí)現(xiàn)的硬件加速器或者在FPGA上實(shí)現(xiàn)的實(shí)時(shí)硬件視頻處理單元。

1、 OpenCV和HLS視頻庫(kù)

如圖15.83所示，OpenCV在視頻處理系統(tǒng)中可以有不同的應(yīng)用方式。在圖15.83(a)中，算法的設(shè)計(jì)和實(shí)現(xiàn)完全依賴于OpenCV的函數(shù)調(diào)用，利用文件的訪問(wèn)功能進(jìn)行圖片的輸入、輸出和處理；在圖15.83(b)中，算法可以在嵌入式系統(tǒng)（例如Zynq Base TRD）中實(shí)現(xiàn)，利用特定平臺(tái)的函數(shù)調(diào)用訪問(wèn)輸入輸出圖像，但是，視頻處理的實(shí)現(xiàn)依賴于嵌入式系統(tǒng)中處理器（例如Cortex?-A9）對(duì)OpenCV功能函數(shù)的調(diào)用；在圖15.83(c）中，處理算法的OpenCV功能函數(shù)被Xilinx Vivado HLS視頻庫(kù)函數(shù)替換，而OpenCV函數(shù)則用于訪問(wèn)輸入和輸出圖像，提供視頻處理算法實(shí)現(xiàn)的設(shè)計(jì)原型。Vivado HLS提供的視頻庫(kù)函數(shù)可以被綜合，在對(duì)這些函數(shù)綜合后，可以將處理程序模塊整合到諸如Zynq的可編程邏輯中。這樣，這些程序邏輯塊就可以處理由處理器生產(chǎn)的視頻流、從文件中讀取的數(shù)據(jù)、外部輸入的實(shí)時(shí)視頻流。

圖15.83 OpenCV應(yīng)用的不同方式

Vivado HLS包含大量的視頻庫(kù)函數(shù)，方便于構(gòu)建各種各樣的視頻處理程序。通過(guò)可綜合的C++代碼，實(shí)現(xiàn)這些視頻庫(kù)函數(shù)。在視頻處理功能和數(shù)據(jù)結(jié)構(gòu)方面，這些綜合后的代碼與OpenCV基本對(duì)應(yīng)。許多視頻概念與抽象和OpenCV非常相似，很多圖像處理模塊函數(shù)和OpenCV庫(kù)函數(shù)一致。

例如，OpenCV中用于代表圖片的很重要的一個(gè)類便是cv::Mat類，cv::Mat對(duì)象定義如下：
cv::Mat image(1080, 1920, CV_8UC3);

該行代碼聲明了一個(gè)1080×1920像素，每一個(gè)像素都是由3個(gè)8位無(wú)符號(hào)數(shù)表示的變量image。對(duì)應(yīng)的HLS視頻庫(kù)模板類hls::Mat<>聲明如下：
hls::Mat<2047, 2047, HLS_8UC3> image(1080, 1920);

這兩行代碼的參數(shù)形式、圖像尺寸最大值、語(yǔ)法規(guī)則不同，生成的對(duì)象是相似的。如果圖像規(guī)定的最大尺寸和圖像的實(shí)際尺寸相同的話，也可以用下面的代碼替代：
hls::Mat<1080, 1920, HLS_8UC3> image( );

表15.14給出了一個(gè)簡(jiǎn)單的圖像轉(zhuǎn)換函數(shù)應(yīng)用對(duì)比（功能實(shí)現(xiàn)dst=src*2.0+0.0）。

表15.15和表15.16給出了OpenCV和HLS視頻庫(kù)的核心結(jié)構(gòu)和HLS視頻庫(kù)。

2、AXI4流和視頻接口

通過(guò)AXI4流協(xié)議，Xilinx提供的視頻處理模塊實(shí)現(xiàn)像素?cái)?shù)據(jù)通信。盡管底層AXI4流媒體協(xié)議不需要限制圖片尺寸，但是，若圖片尺寸相同，則將會(huì)大大簡(jiǎn)化大部分的復(fù)雜視頻處理計(jì)算。對(duì)于遵循AXI4流協(xié)議的輸入接口，可以保證每一幀都包含ROWS * COLS的像素。在保證前面視頻幀保持完整性和矩形性的情況下，后續(xù)模塊實(shí)現(xiàn)對(duì)視頻幀有效地處理。

如表15.17所示，Vivado HLS包含2個(gè)可綜合的視頻接口轉(zhuǎn)換函數(shù)。

視頻庫(kù)還提供了其他不可綜合的視頻接口函數(shù)，這些函數(shù)用于在基于OpenCV測(cè)試平臺(tái)與綜合后的函數(shù)結(jié)合。表15.18給出了不可綜合的接口函數(shù)。

VivadoHLS視頻處理函數(shù)庫(kù)使用hls::Mat<>數(shù)據(jù)類型，這種類型用于模型化視頻像素流處理，實(shí)質(zhì)等同于hls::steam<>流的類型，而不是OpenCV中在外部memory中存儲(chǔ)的matrix矩陣類型。因此，在用Vivado HLS實(shí)現(xiàn)OpenCV的設(shè)計(jì)中，需要將輸入和輸出HLS可綜合的視頻設(shè)計(jì)接口，修改為Video stream接口，也就是采用HLS提供的video接口可綜合函數(shù)，實(shí)現(xiàn)AXI4 video stream到VivadoHLS中hls::Mat<>類型的轉(zhuǎn)換。

3、 OpenCV到RTL代碼轉(zhuǎn)換的流程

OpenCV圖像處理是基于存儲(chǔ)器幀緩存而構(gòu)建的，它總是假設(shè)視頻幀數(shù)據(jù)存放在外部DDR存儲(chǔ)器中。由于處理器的小容量高速緩存性能的限制，因此，OpenCV訪問(wèn)局部圖像性能較差。并且，從性能的角度來(lái)說(shuō)，基于OpenCV設(shè)計(jì)的架構(gòu)比較復(fù)雜，功耗更高。在對(duì)分辨率或幀速率要求低，或者在更大的圖像中對(duì)需要的特征或區(qū)域進(jìn)行處理時(shí)，OpenCV似乎足以滿足很多應(yīng)用的要求；但是，對(duì)于高分辨率和高幀率實(shí)時(shí)處理的應(yīng)用中，OpenCV很難滿足高性能和低功耗的需求。

基于視頻流的架構(gòu)能提供高性能和低功耗，鏈條化的圖像處理函數(shù)減少了外部存儲(chǔ)器訪問(wèn)。針對(duì)視頻優(yōu)化的行緩存和窗口緩存比處理器高速緩存更簡(jiǎn)單高效，更易于使用Xilinx提供的Vivado HLS 在FPGA器件中采用數(shù)據(jù)流優(yōu)化來(lái)實(shí)現(xiàn)。

Vivado HLS對(duì)OpenCV的支持，不是指可以將OpenCV的函數(shù)庫(kù)直接綜合成RTL代碼，而是需要將代碼轉(zhuǎn)換為可綜合的代碼。這些可綜合的視頻庫(kù)稱為Vivado HLS視頻庫(kù)，它們由Vivado HLS工具提供。

由于OpenCV函數(shù)一般都包含動(dòng)態(tài)的內(nèi)存分配、浮點(diǎn)以及假設(shè)圖像在外部存儲(chǔ)器中存放或者修改，所以不能直接通過(guò)Vivado HLS對(duì)OpenCV函數(shù)進(jìn)行綜合。

Vivado HLS視頻庫(kù)用于替換很多基本的 OpenCV函數(shù)，它與OpenCV具有相似的接口和算法，它主要針對(duì)在FPGA架構(gòu)中實(shí)現(xiàn)的圖像處理函數(shù)，其中包含了專門面向FPGA的優(yōu)化，比如定點(diǎn)運(yùn)算而非浮點(diǎn)運(yùn)算（不必精確到比特位），片上的行緩存（line buffer）和窗口緩存（window buffer）。

下面列出了在FPGA/Zynq開(kāi)發(fā)中使用VivadoHLS實(shí)現(xiàn)OpenCV的設(shè)計(jì)流程：

（1） 如圖15.84所示，給出了開(kāi)發(fā)OpenCV的應(yīng)用流程。在計(jì)算機(jī)上開(kāi)發(fā)OpenCV的應(yīng)用時(shí)，由于是開(kāi)源的設(shè)計(jì)，采用C++的編譯器對(duì)其進(jìn)行編譯，仿真和調(diào)試，最后產(chǎn)生可執(zhí)行文件。無(wú)需修改這些設(shè)計(jì)，就可以在ARM內(nèi)核上運(yùn)行OpenCV應(yīng)用。

圖15.84 開(kāi)發(fā)OpenCV應(yīng)用

（2）如圖15.85所示，使用I/O函數(shù)抽取FPGA實(shí)現(xiàn)的部分，并且使用可綜合的Vivado HLS 視頻庫(kù)函數(shù)代碼來(lái)代替OpenCV函數(shù)的調(diào)用。

（3）運(yùn)行Vivado HLS生成RTL代碼。并且，在Vivado HLS工程中啟動(dòng)co-sim，HLS工具自動(dòng)重用OpenCV的測(cè)試激勵(lì)，來(lái)驗(yàn)證所生成的RTL代碼。在Xilinx的ISE/Vivado開(kāi)發(fā)環(huán)境中，對(duì)RTL進(jìn)行集成，并且在SoC/FPGA中實(shí)現(xiàn)它們。

圖15.85 OpenCV應(yīng)用的軟硬劃分