人腦是我們所知道的最先進(jìn)的緊湊型處理單元;但是，由于采用了新的處理器，工具，架構(gòu)和軟件，圖像處理方面的改進(jìn)可能會很快超過我們。新技術(shù)及其快速采用率為工業(yè)制造和檢驗，以及醫(yī)藥，消費電子/游戲，當(dāng)然還有機(jī)器人技術(shù)提供了巨大潛力。

目前，我們正在開展先進(jìn)的功能，如當(dāng)執(zhí)行諸如填充水的簡單任務(wù)時，比例，積分和微分（PID）功能。事實上，我們進(jìn)行了如此復(fù)雜的運(yùn)動控制和平衡，機(jī)器人可能很快就會羨慕我們。然而，我們出色的能力之一就是我們能夠在視野中挑選模式，執(zhí)行物體識別，深度感知，軌道運(yùn)動和測量相對速度甚至加速度，使我們與大多數(shù)機(jī)器區(qū)別開來。

早期的圖像處理主要集中在澄清靜止圖像上，許多邊緣增強(qiáng)算法和細(xì)微的細(xì)節(jié)都沒有在快速幀率和高度剛性圖像上進(jìn)行。處理器更簡單，更慢，并且執(zhí)行DSP功能的能力更低，因此結(jié)果粗略，獲取速度慢，并且遠(yuǎn)不如辨別人眼和大腦那么可靠。

然而，隨著我們改進(jìn)機(jī)器，我們開始為它們提供我們無法比擬的卓越功能，圖像和實時視頻處理是我們未來的機(jī)器（霸主？）將擁有的這些功能之一。這要歸功于處理器，工具，算法和我們現(xiàn)在正在制定的啟發(fā)式方法，我們能夠為機(jī)器提供這些功能，這些功能可能很快就會超出我們自己的能力。

內(nèi)存和架構(gòu)問題

視頻信息在數(shù)字域，因此無論圖像來自NTSC，PAL，RGB，YUB，分量還是隔行掃描或非隔行掃描的HD源都無關(guān)緊要。前端同步和解碼器芯片和硬件階段可以很好地捕獲圖像像素并將它們填充到內(nèi)存陣列中，通常作為光柵化掃描線。

內(nèi)存架構(gòu)和拓?fù)浣Y(jié)構(gòu)很重要，但是，因為它們會影響處理器訪問和操作數(shù)據(jù)的方式。例如，您可以以線性方式將圖像數(shù)據(jù)壓縮到存儲器中，但這可能意味著相鄰幀不會在位可尋址存儲器邊界處排列。例如，使幀的掃描線的第一行在二進(jìn)制計數(shù)器的零點處對齊更快更容易。比較連續(xù)幀數(shù)據(jù)變得更容易訪問和獲得，如果不需要復(fù)雜的尋址方案來索引和逐幀地觀察視野的相同部分。

另一個與記憶相關(guān)的因素可以簡化視頻處理和信息提取與位平面分離有關(guān)，特別是隨著像素分辨率和調(diào)色板深度的增加。當(dāng)發(fā)生這種情況時，以最高有效位（MSB）到最低有效位（LSB）方式查看單色圖像的能力允許邊界和邊緣突出（圖1）。僅查看MSB渲染圖像時會出現(xiàn)最大的對比?？梢蕴崛∫恍┥疃群突叶刃畔?，查看連續(xù)不太重要的位渲染圖像。

圖1：位平面分離允許邊緣更清晰地突出，因為最高有效位（MSB）顯示出比最低有效位更多的對比度（最低有效位）。這意味著需要對并行視頻數(shù)據(jù)進(jìn)行抽取，并將位大小分成單獨的單色存儲器平面。 （來源：Digi-Key）

這意味著必須將圖像數(shù)據(jù)實時分離為面向比特的高效內(nèi)存塊，處理器可以將其編入索引并快速檢查。這是硬件架構(gòu)發(fā)揮作用的地方。

并行與流水線

可以使用兩種主要的架構(gòu)方法來完成實時視頻處理任務(wù)。第一種是使用多個處理器并為每個處理器分配問題的一部分，可以是并行，串行或兩者。例如，每個檢查位平面分離的存儲器塊的24個處理器的陣列可以比必須一次檢查每個塊的單個處理器快24倍地辨別邊緣和邊界。任務(wù)執(zhí)行處理器將任務(wù)委派給每個單獨的處理器，并以部分“消化”的形式檢查壓縮結(jié)果。這使得下一階段決策處理器能夠以更加靈敏的方式對數(shù)據(jù)采取行動。

當(dāng)涉及立體視覺處理時，這一點尤為重要，因為深度感知更容易實現(xiàn)。位平面分離的圖像可以顯示邊緣，但是，每個相機(jī)的存儲塊的不同部分中的相同邊緣的位置將是用于從數(shù)字三角測量算法確定深度的位置。由于這些邊緣在兩個相機(jī)的存儲塊之間逐幀移動，處理器可以比使用逐幀彩色像素嘗試更快地提取距離，速度和方向數(shù)據(jù)（圖2）。 p>

監(jiān)視各個位平面的各個處理器可以容納著色，光源，甚至可以識別被跟蹤對象的部分模糊邊緣，因為它在視野中的其他移動或靜止物體的前方和后方移動。

圖2：立體成像可以通過檢查檢測到的存儲器陣列中的位置來利用位平面分離帶來的對比度作為每個相對圖像的失真。當(dāng)物體在連續(xù)幀中移動時，這些可用于確定深度以及相對運(yùn)動。 （來源：Digi-Key）

同樣重要的是要注意可以使用抽取的像素和調(diào)色板分辨率。并非每一位24或36位A/D轉(zhuǎn)換的彩色像素都需要提取所需的信息。環(huán)境光級別和著色可用作算法的一部分，以確定分辨率的最佳抽取。

簡單與復(fù)雜架構(gòu)

術(shù)語處理器可在此處有所不同。它可以是相當(dāng)高功率，快速時鐘的CISC DSP類型的功能，或基于硬件的功能RISC模塊，或介于兩者之間的任何位置。這是設(shè)計工程師可以做出的另一種架構(gòu)選擇。

我們是使用具有復(fù)雜架構(gòu)和信號處理功能的多處理器還是多核處理器，還是使用在分立硬件中實現(xiàn)的專用邏輯塊像FPGA結(jié)構(gòu)？兩者都是有效的方法，并且都帶有它們的特征和好處。此外，它們不是相互排斥的：它們可以一起用于為手頭的任務(wù)創(chuàng)建最佳解決方案。

例如，用于質(zhì)量控制檢查應(yīng)用程序等應(yīng)用程序的視覺系統(tǒng)可以使用類似快照的檢查算法，查看焊接連續(xù)性，焊盤完整性，電路板走線一致性和結(jié)構(gòu)缺陷等特定事項。當(dāng)電路板移動通過靜止視野時，或者當(dāng)攝像機(jī)使用機(jī)器人機(jī)制移動時，就會發(fā)生這種情況。

像NXP i.MX 6DualPlus和i.MX 6QuadPlus這樣的多核處理器系列應(yīng)用處理器專為圖形密集型應(yīng)用而設(shè)計。該系列具有1.2 GHz ARM Cortex-A9處理器，具有高級內(nèi)存管理和64位DDR3接口或與內(nèi)部L2高速緩存RAM集成的雙通道32位LPDDR2內(nèi)存。

此背景是使用四維720-MHz著色器的3D圖形加速，可以使用專用硬件提供高性能圖形。特殊部件，如四核32位MCIMX6QP5EYM1AA支持 - 硬件 - 高達(dá)1920 x 1200（HD）分辨率的雙顯示器，這意味著幀存儲器和刷新本質(zhì)上支持圖像采集和顯示（對于調(diào)試和測試非常有用） out算法），以及圖像處理。

硬件大小調(diào)整和反交錯簡化了視頻數(shù)據(jù)格式化和索引，以允許更多編碼資源用于圖像數(shù)據(jù)處理和覆蓋到顯示數(shù)據(jù)上。這種重疊的示例包括調(diào)整大小的圖像，其可以查看數(shù)據(jù)幀的特定部分以減少處理時間。另一個例子是使用著色器，不僅可以使圖像更加突出人眼，還可以在要處理的圖像中顯示細(xì)節(jié)。

示例代碼和硬件設(shè)計也是此外，還使用恩智浦MCIMX6QP-SDB開發(fā)平臺，該平臺包括完整的硬件設(shè)計文件，并直接支持Android，Linux和FreeRTOS操作環(huán)境。為了簡化接口，HDMI連接以及LVDS連接和支持兩個1 GHz MIPI DSI數(shù)據(jù)通道，以及相機(jī)MIPI CSI端口（圖3）。

圖3.恩智浦MCIMX6QP-SDB開發(fā)平臺的多核處理器可以實時渲染和處理圖像數(shù)據(jù)，如開發(fā)環(huán)境工具包和演示軟件所示。 （來源：恩智浦）

這些處理器本身可以編碼，以便在單個高分辨率立體快照幀中查看許多焊點的圓錐形狀，例如，根據(jù)需要應(yīng)用于印制電路板質(zhì)量檢測視頻處理。

此外，可以級聯(lián)多個處理器以擴(kuò)展功能。但是，當(dāng)軟件仍然太慢時，專用硬件本身或與這些高端類型的處理器結(jié)合使用可以將性能提升到最高水平。

基于硬件的算法

流水線硬件邏輯序列發(fā)生器總是比基于軟件的處理器執(zhí)行得更快。管道填充可能需要幾個周期，但是一旦填滿，每個時鐘周期都會提供處理和消化的信息，而不是編碼方法可能需要的多個時鐘周期才能達(dá)到相同的交付水平。

雖然檢測機(jī)可能不需要基于硬件加速的超快速度，但許多應(yīng)用都會。與敵方野戰(zhàn)炮兵機(jī)器人作戰(zhàn)的野戰(zhàn)炮兵機(jī)器人只有在其目標(biāo)獲取，動作控制和準(zhǔn)確性優(yōu)越的情況下才能獲勝。最快，最簡化的硬件將繼續(xù)存在。

現(xiàn)代邏輯陣列具有密度，速度和深度，以及內(nèi)存和外設(shè)接口，可以適應(yīng)非常復(fù)雜的任務(wù)，包括實時視頻。大規(guī)模邏輯陣列的多門級架構(gòu)在很大程度上已被查找表（LUT）邏輯元件所取代，這些邏輯元件能夠在單個同步時鐘周期內(nèi)輸出每個邏輯塊的結(jié)果。請記住，現(xiàn)代邏輯陣列的時鐘頻率可以達(dá)到GHz。

要使用FPGA開發(fā)視頻處理算法，您需要使用實現(xiàn)目標(biāo)部件的平臺，處理邏輯代碼模式的上傳，提供對I/O的訪問，具有干凈的時鐘源，并包括針對特定需求的良好混合片上硬宏，例如鎖相環(huán)（PLL）和高速存儲器接口。一旦您確定了制造商和零件系列，開發(fā)平臺就會落實到位。

例如，采用National Instruments的Digilent Nexys視頻FPGA板，采用Xilinx高密度，高性能的Artix FPGA系列（圖4）。它們的范圍從1300到16,825個邏輯單元和45到740個DSP切片功能塊。一個關(guān)鍵特性是雙端口RAM速度高達(dá)509 MHz，允許通過獨立的邏輯階段進(jìn)行并發(fā)訪問和修改。

圖4.使用開發(fā)平臺（例如National Instruments的Digilent Nexys視頻FPGA板）大大簡化了使用FPGA開發(fā)流水線視頻算法，其中包括視頻處理輸入和輸出提供性能最高的高密度FPGA（在本例中來自Xilinx。）（來源：Nexys，一家美國國家儀器公司）

National Instruments主板采用低功耗1 V內(nèi)核，具有四通道功能SPI Flash和DDR3存儲器接口分別用于直接訪問非易失性和易失性存儲器的外部池。 HDMI和DVI接口也包括使用最小化轉(zhuǎn)換差分信令（TMDS）標(biāo)準(zhǔn)。

雖然開發(fā)平臺是在相對較快的時間范圍內(nèi)評估和設(shè)計風(fēng)險相對較低的好方法，但最終，您我們想要開發(fā)自己的主板并使用自己的測試和開發(fā)平臺。幸運(yùn)的是，Xilinx Vivado工具套件受免費的Webpack許可證支持，該許可證包括能夠創(chuàng)建Microblaze軟核處理器，可以在FPGA內(nèi)部用作流程引擎來指導(dǎo)和管理基于邏輯的流水線架構(gòu)的可編程性?？梢栽贜exys站點下載設(shè)計資源，示例項目，數(shù)據(jù)表和教程。

結(jié)論

采用低功耗，高性能半導(dǎo)體和正確的工具，架構(gòu)和算法，機(jī)器將在我們曾經(jīng)認(rèn)為我們遠(yuǎn)遠(yuǎn)優(yōu)越的領(lǐng)域迅速超越人類，例如模式識別，物體識別，深度感知，運(yùn)動跟蹤以及測量相對速度甚至加速度的能力。

不只有這樣才能實現(xiàn)工業(yè)控制和醫(yī)療領(lǐng)域的新應(yīng)用，還能實現(xiàn)消費電子，游戲，當(dāng)然還有機(jī)器人技術(shù)。