01

數(shù)字圖像基本概念

數(shù)字圖像(Digital Image)，是計算機視覺與圖像處理的基礎，區(qū)別于模擬圖像。通常直接觀測到的圖像可以理解成連續(xù)的模擬量，模擬量在處理時涉及運算相對復雜，內部相關性較高，難以形成統(tǒng)一定量的標準。隨著計算機的發(fā)展，為便于計算機的運算與定量處理，同大多數(shù)模擬量一樣，模擬圖像需要通過采樣量化轉化為離散的數(shù)字量，即數(shù)字圖像。

1.1 數(shù)字圖像提取

數(shù)字圖像通過對模擬圖像采樣和量化得到，該過程通常由圖像傳感器(例如CMOS圖像傳感器)實現(xiàn)，圖像傳感器通常為感光元件陣列。圖像傳感器的性能決定了采集到的數(shù)字圖像的質量。

1.1.1 采樣處理

采樣(Sampling)處理即對圖像所在空間坐標進行數(shù)字化，將空間上連續(xù)的圖像轉變?yōu)殡x散的采樣點。采樣處理的評估指標為圖像的空間分辨率。

1.1.2 量化處理

量化(Quantifying)處理即對采樣信號按一定規(guī)則賦值，對采樣點幅度進行離散化。量化處理的評估指標為圖像的幅度分辨率，也稱為灰度級分辨率。量化通常以圖像的明暗信息為標準，考慮人眼識別能力，采用8bit 0~255來描述黑~白。

量化通?？煞譃榫鶆蛄炕头蔷鶆蛄炕?/p>

均勻量化對連續(xù)灰度值等間隔分層，層數(shù)越多，產生的量化誤差越??；

非均勻量化通?；诓煌奶匦栽O置不同的采樣間距，例如，基于視覺特征的非均勻量化通?？s小細節(jié)豐富地方的采樣間距，基于統(tǒng)計特征的非均勻量化通?？s小灰度值出現(xiàn)頻繁的采樣間距。

通過采樣與量化處理后提取的數(shù)字圖像可以由一個矩陣進行表示，矩陣的大小為圖像的空間分辨率，矩陣每個元素的值為對應像素的幅度分辨率。

1.2 數(shù)字圖像概念

數(shù)字圖像處理過程中常見概念：

1.2.1 數(shù)字圖像基本單位——像素

像素(Pixel)，也稱為像元，是數(shù)字圖像的基本元素。像素在模擬圖像離散化過程中生成，即采樣過程提取到的每一個采樣點就是一個像素。每個像素都具有位置坐標與灰度值(或顏色值)。在其他條件相同的情況下，包含像素越多的圖像，清晰度越高。

1.2.2 數(shù)字圖像的灰度與深度

數(shù)字圖像的灰度與深度通常用來衡量量化程度。灰度指每個像素取值大小，灰度范圍即每個像素取值的范圍，通常在其他條件相同的情況下，灰度值范圍越大的圖像越清晰；深度指每個像素存儲所需要的容量，通常也稱為灰度級，灰度范圍越大，所需要的深度越大。通常用8bit表示256個灰度級，灰度為0~255中某個整數(shù)，深度為8。

1.2.3 數(shù)字圖像的分辨率

數(shù)字圖像的分辨率包括空間分辨率和幅度(灰度)分辨率。空間分辨率指數(shù)字圖像所包含的像素個數(shù)，用于衡量圖像大小(通常利用分辨率描述圖像大小不能離開空間單位，例如印刷行業(yè)采用dpi表示每英寸像素數(shù))；幅度(灰度)分辨率指數(shù)字圖像量化灰度的位數(shù)，與深度的含義相同。

1.2.4 數(shù)字圖像的常見種類

二值圖像：圖像像素亮度值僅由0和1構成；

灰度圖像：圖像像素亮度值由0~255表示黑~白；

彩色圖像：由RGB三幅不同顏色的灰度圖像組成；

立體圖像：某物體從不同角度拍攝的一對圖像，可以計算出圖像深度信息；

三維圖像：由一組堆棧的二維圖像組成，每幅圖像表示物體的一個橫截面；

1.2.5 數(shù)字圖像的常見格式

JPG格式：全稱為JPEG，以24為顏色存儲單個光柵圖像，支持最高級別的有損壓縮，壓縮比率可達100:1，但會犧牲大量圖像質量，通常在10:1到20:1的壓縮比下保證圖像質量。JPEG壓縮可以很好得處理類似色調，但不能很好得處理亮度差異大和純色區(qū)域。JPEG支持隔行漸進顯示，但不支持透明性和動畫，對JPEG圖像進行除旋轉裁剪外得編輯操作通常會導致圖像質量損失，因此在編輯過程通常以PNG作為過渡格式；

PNG格式：流式網(wǎng)絡圖形格式(Portable Network Graphic Format，PNG)是20世紀90年代中期開始開發(fā)的圖像文件存儲格式，其目的是企圖替代GIF和TIFF文件格式，同時增加一些GIF文件格式所不具備的特性PNG采用從LZ77派生的無損數(shù)據(jù)壓縮算法，用來存儲灰度圖像時，灰度圖像的深度可多到16位，存儲彩色圖像時，彩色圖像的深度可多到48位，并且還可存儲多到16位的α通道數(shù)據(jù)。PNG格式包括許多類，實踐中大致可分為256色和全色，其中256色PNG可以代替GIF格式，全色PNG可以代替JPEG格式。PNG支持alpha透明，即支持透明、不透明和半透明，圖像顏色較少且主要以純色或平滑漸變色填充和亮度差異大的圖像適合以PNG8格式存儲；

GIF格式：GIF(GraphicsInterchange Format)圖像互換格式是CompuServe公司在1987年開發(fā)的圖像文件格式。GIF文件的數(shù)據(jù)采用了可變長度等壓縮算法，是一種基于LZW算法的連續(xù)色調的無損壓縮格式，壓縮率一般在50％左右。它不屬于任何應用程序，目前幾乎所有相關軟件都支持。GIF的圖像深度從1bit到8bit，最多支持 256 種色彩圖像。在一個 GIF文件中可以存多幅彩色圖像，如果把存于一個文件中的多幅圖像數(shù)據(jù)逐幅讀出并顯示到屏幕上，就可構成一種最簡單的動畫。GIF支持動畫和布爾透明，即不支持半透明(alpha透明)，GIF支持可選擇性的間隔漸進顯示，同時LZW水平掃描壓縮使得同一圖片橫向GIF比豎向GIF占用空間更??；

BMP格式：BMP是一種與硬件設備無關的圖像文件格式，采用位映射存儲格式，除了圖像深度可選可選1bit、4bit、8bit及24bit以外，不采用其他任何壓縮，因此BMP 文件所占用的空間很大。BMP支持索引色和直接色，存儲數(shù)據(jù)時，圖像按從左到右、從下到上的順序進行掃描；

SVG格式：可縮放矢量圖形 (Scalable Vector Graphics)是由萬維網(wǎng)聯(lián)盟制定的一個基于可擴展標記語言(標準通用標記語言的子集)的開放標準，用于描述二維矢量圖形的一種圖形格式，因此在放大時不會失真，線不會變?yōu)橄袼攸c。SVG使用XML格式定義圖形，與DOM和XSL等W3C標準是一個整體；

02

數(shù)字圖像處理算法

數(shù)字圖像處理算法通常包括圖像增強、圖像拼接、圖像分割、圖像壓縮、圖像識別、圖像變換、圖像復原、圖像重建等研究領域。

2.1 圖像增強

圖像增強技術針對光照不足、雨霧影響等噪聲較大的圖像，改善畫質，提高圖像清晰度。常用算法包括直方圖均衡化、Retinex理論、深度學習等。

2.1.1 直方圖均衡化

圖像直方圖和圖像像素之間存在直接映射關系，直方圖均衡化可以將這一映射表達出來。直方圖均衡化的基本思想是對圖像像素統(tǒng)計個數(shù)多的灰度級進行展寬，對像素統(tǒng)計個數(shù)少的灰度級進行縮減，改變圖像通道的直方圖分布以達到視覺上對比度增強的效果。

直方圖均衡化圖像增強通過利用直方圖可以進行層次差分表達的特性，增強圖像的對比度，并將相鄰像素間的灰度差放大，從而提高圖像對比度。

直方圖均衡化僅對圖像像素進行映射，計算像素強度而忽略其空間信息，導致圖像的局部亮度調節(jié)能力不夠好，從而影響到某些場景的整體亮度，同時可能會引入其他噪聲。

2.1.2 Retinex理論

Retinex的基本思想是，將待增強圖像S分解為圖像的反射成分R(x)與光照成分L(x)的積，即對象自身色彩與光照成分無關，取決于對象表面的反射特性，因而從輸入圖像中移除干擾圖像強度的成分可以獲得圖像的增強。

將固有先驗引入到分解模型中來增強對比度，在反射層和光照層分別引入約束條件(反射層通過顏色相似性對相鄰像素進行規(guī)范約束，光照層通過分段平滑進行約束)可以解決增強圖像出現(xiàn)過亮等問題。

2.1.3 深度學習

隨著深度學習的發(fā)展，基于卷積神經網(wǎng)絡(CNN)、對抗生成網(wǎng)絡(GAN)等圖像增強算法也相繼被提出。下圖是在Retinex原理啟發(fā)下提出的CNN網(wǎng)絡方法流程圖，將網(wǎng)絡分成用來調節(jié)光線和用來消除噪聲兩部分。

無監(jiān)督深度網(wǎng)絡模型，零參考深度曲線估計網(wǎng)絡(Zero-DCE)方法利用深度網(wǎng)絡將增強作為圖像特定曲線估計的任務，該方法不要求有成對或不成對的數(shù)據(jù)，而是訓練一種用于估算像素水平和高次曲線的網(wǎng)絡以適應給定的圖像動態(tài)范圍。

2.2 圖像拼接

圖像拼接技術針對單鏡頭拍攝圖像顯示范圍的局限性，將多幅圖像拼接為一幅以克服圖像視野的限制、擴大圖像范圍進而更好地展示細節(jié)。圖像拼接的主要方法有兩種：基于區(qū)域的圖像拼接方法和基于特征的圖像拼接方法。

2.2.1 基于區(qū)域的圖像拼接方法

基于區(qū)域的圖像拼接方法通過對兩張待拼接圖像在同一區(qū)域內的強度差進行計算得到拼接后圖像。基于區(qū)域的拼接方法有：像素點匹配法、基于互信息的方法和基于拉普拉斯金字塔的方法。此類方法的優(yōu)點是最優(yōu)地利用了圖像對齊信息，但是計算量大，配準精度低，對常見幾何變換沒有不變性。

2.2.2 基于特征的圖像拼接方法

基于特征的圖像拼接方法是通過像素得到圖像特征信息進而匹配和拼接圖像，步驟包括：圖像的特征提取與描述、特征匹配、重投影拼接和圖像融合。圖像特征提取與描述是描述一塊與其他區(qū)域高度可區(qū)分的區(qū)域，局部特征應準確、有效、區(qū)分性強。特征匹配要找同一場景的待拼接圖像間的匹配點。重投影拼接和圖像融合是指使用幾何變換將圖像對齊到一個統(tǒng)一的坐標系統(tǒng)中并消除由光照影響產生的拼接縫。此步中首先要描繪輸入圖像的幾何變換關系，一般的變換關系是8個自由度的單應性矩陣，然后進行重投影拼接，最后融合拼接縫處光照突變的像素。

基于特征的圖像拼接技術普適性好、在各領域使用頻率最高、范圍最廣，因此是實現(xiàn)圖像拼接最好的選擇。圖像配準常用算法包括Harris角點檢測、SIFT、PCA-SIFT、FAST、ORB、SURF等算法；圖像重投影拼接與融合常用算法為RANSAC算法。

2.3 圖像分割

圖像分割技術針對圖像中某些特定物體進行研究，將待研究物體分離以更清晰得研究物體變化特點。圖像分割技術主要應用于醫(yī)學和科研領域，醫(yī)學圖像中不同的人體器官、組織和病變區(qū)域所表現(xiàn)的復雜特點，以及醫(yī)學圖像自身的復雜性和多模態(tài)性，對適用于各種類型的醫(yī)學圖像分割任務的圖像分割算法提出了很高的要求。圖像分割技術根據(jù)圖像特征手工提取和自動學習方式可劃分為兩大類：傳統(tǒng)圖像分割方法和基于深度學習的圖像分割方法。

2.3.1 傳統(tǒng)圖像分割方法

傳統(tǒng)醫(yī)學圖像分割方法主要依賴于圖像中強度值的不連續(xù)性和相似性特征。例如基于邊緣檢測的方法根據(jù)圖像中強度級別或圖像灰度級別的瞬時變化，利用其不連續(xù)性實現(xiàn)圖像的分割，其主要關注孤立點的識別。閾值分割或區(qū)域分割等根據(jù)圖像分割的預設標準，基于一定范圍內的像素相似性來分割圖像。傳統(tǒng)的醫(yī)學圖像分割方法可大致分為閾值分割法、基于區(qū)域的分割方法、聚類分割法、基于邊緣檢測的分割方法、基于模型的分割方法。

2.3.2 基于深度學習的圖像分割方法

基于深度學習的分割方法克服了傳統(tǒng)手工特征分割的局限性，在特征自動學習方面凸顯優(yōu)勢。其中，全卷積網(wǎng)絡(Fully Convolutional Network, FCN)在語義分割取得優(yōu)異的效果，為語義分割提供了新的思路和方向，在醫(yī)學圖像語義分割任務中得到了廣泛的應用，并在該領域取得了大量的研究成果。從數(shù)據(jù)驅動技術的角度出發(fā)，深度學習在醫(yī)學圖像分割中的方法可大致劃分為監(jiān)督學習、弱監(jiān)督學習和其他方法。

2.4 圖像壓縮

圖像壓縮技術針對圖像數(shù)據(jù)冗余度較大的問題，將圖像中的冗余度壓縮以減小圖像數(shù)據(jù)量，從而加速圖像的傳輸于處理過程。圖像壓縮技術的研究方向主要包括兩個方面：傳統(tǒng)的圖像壓縮技術研究和基于深度學習的圖像壓縮技術研究。

2.4.1 傳統(tǒng)的圖像壓縮技術研究

傳統(tǒng)的圖像壓縮技術研究從信息恢復的角度主要分為無損壓縮和有損壓縮兩類：

無損壓縮編碼：壓縮過程不損失任何信息，重建后的圖像與原來的圖像完全相同，在數(shù)據(jù)壓縮過程中盡量降低冗余度，常用編碼包括Huffman編碼、算數(shù)編碼、行程編碼等；

有損壓縮編碼：壓縮過程通過損失一定的信息實現(xiàn)更高的壓縮率，重建后的圖像與原圖有差距，常用編碼包括JPEG，H.264等。

2.4.2 基于深度學習的圖像壓縮技術研究

傳統(tǒng)的編碼質量評估通常針對一些客觀的性能指標，對于比較主觀的質量指標和語義質量指標比較難以滿足其要求，也無法獲得圖像深層次的語義信息。因此，傳統(tǒng)的圖像壓縮編碼在這方面已經無法滿足現(xiàn)代的要求，深度學習和計算機視覺的發(fā)展進步帶來一種新的解決圖像壓縮編碼的問題方式：端到端的圖像壓縮能夠將圖像編碼中的各個模塊進行聯(lián)合優(yōu)化，依靠數(shù)據(jù)自身進行評估。

2.5 圖像識別

圖像識別技術針對通過計算機視覺識別物體這一方向深入研究發(fā)展，在神經網(wǎng)絡等技術的發(fā)展下取得優(yōu)異成就。圖像識別技術可劃分為兩類：傳統(tǒng)圖像識別算法和基于深度學習的圖像識別算法。

2.5.1 傳統(tǒng)圖像識別算法

傳統(tǒng)的圖像識別算法包括微分算子邊緣檢測算法、Canny邊緣檢測算法、角點檢測算法等。

Canny邊緣檢測算法: 一般包含4個步驟：濾波、梯度幅值和梯度方向計算、非極大值抑制計算、邊緣檢測與連接。首先通過高斯濾波函數(shù)去除圖像的噪聲，并對圖像進行平滑處理，接著通過一階有限差分法分別對濾波后的圖像水平和垂直方向的像素點進行偏導求解，再使用非極大值抑制算法將局部最大值之外的正負梯度值設置為0，最后通過不相同的2個閾值對候選邊緣圖像中的像素進行處理，保留兩閾值范圍內的像素，最終檢測出物體。傳統(tǒng)的Canny邊緣檢測算法降噪能力較差，同時使用4個具有各向異性的5階差分模板檢測多個方向上的像素點，不僅能夠檢測上下左右4個領域的灰度加權值，同時還能夠檢測對角線方向的值。為了提高Canny算法的自適應能力，采用自適應中值濾波和形態(tài)學閉合運算來防止多方向梯度幅值計算時邊緣信息被弱化，同時利用目標與背景的最佳分離點是最優(yōu)梯度下最大的類間方差與最小的類內方差這一概念，來計算Canny算法中的上下閾值，以此來提高其自適應能力。

角點檢測算法: 是通過一個固定像素窗口在圖像中進行任意方向的滑動，比較滑動前后窗口中的像素灰度值，如果存在較大的變化，則可判斷出該像素內存在角點。角點檢測算法分為3類：基于二值圖像的角點檢測、基于灰度圖像的角點檢測和基于邊緣輪廓的角點檢測。傳統(tǒng)的Harris角點檢測算法精度較低，抗噪性差，將Sobel算法和Harris算法結合可以有效提高算法性能(首先使用Sobel算法進行角點初選，將非極大值抑制算法中的矩形模板用圓周模板替代，以此來提高檢測精度，最后使用臨近點剔除法提高算法的抗噪性)。通過比較階梯邊緣、L型拐角、Y或T型拐角、X型拐角和星型拐角的強度變化特性后，利用多尺度各向異性高斯方向導數(shù)濾波器，從輸入圖像中提取灰度變化的新方法能夠連續(xù)地提取圖像中的邊緣點和角點特征。

2.5.2 基于神經網(wǎng)絡學習的圖像識別算法

基于神經網(wǎng)絡學習的圖像識別算法主要可以分為卷積神經網(wǎng)絡、注意力神經網(wǎng)絡、自編碼神經網(wǎng)絡、生成網(wǎng)絡和時空網(wǎng)絡。卷積神經網(wǎng)絡是所有其他復雜網(wǎng)絡的基礎，基于CNN卷積神經網(wǎng)絡提出了一系列典型的框架: Le Net、Alex Net、Goole Net、VGGNet、Res Net、Inception、DenseNet。

03

FPGA與數(shù)字圖像處理

數(shù)字圖像由大量的像素組成，數(shù)字圖像處理算法通?；谖磯嚎s的原圖，以1920*1080 RGB格式 256灰度圖像為例，單幅圖像的數(shù)據(jù)量為1920*1080*3*8bit=6.22MB。DSP、GPU、CPU通常以幀為單位對圖像的處理，需要將采集圖像從內存讀取后進行處理，處理一幀的圖像都將耗費大量的時間，使得視頻圖像的幀率難以提高。

FPGA數(shù)字圖像處理的優(yōu)勢在于以行為單位實時流水線運算，從而達到最高的實時性。FPGA可以直接與圖像傳感器芯片連接獲得圖像數(shù)據(jù)流，RAW格式還可以進行插值以獲得RGB圖像數(shù)據(jù)。FPGA通過內部Block RAM緩存若干行圖像數(shù)據(jù)實現(xiàn)實時流水線處理，F(xiàn)PGA的Block RAM類似于CPU的Cache，但是Cache不能完全控制，Block RAM完全可控，因此可以用它實現(xiàn)各種靈活的運算處理。

由于Block RAM在FPGA中的有限性，通常也可采用外接DDR將圖像緩存后讀出，但是這種處理模式類似于CPU從內存中讀取處理，無法達到最高的實時性。因此，如何合理利用Block RAM這一稀缺資源是充分發(fā)揮FPGA圖像處理實時性的關鍵。

FPGA對圖像數(shù)據(jù)流處理通常采用順序讀取，可以快速高效實現(xiàn)以3x3到NxN算子進行的濾波、腐蝕、膨脹、邊緣提取等算法，以及卷積神經網(wǎng)絡的卷積層運算，F(xiàn)PGA的并行特性決定了處理這種類型算法相比于其他處理器速度最快，優(yōu)勢最大。盡管這種算法運算較為簡單，但通過不同算子的配合可以實現(xiàn)例如邊緣提取，運動目標識別等不同功能，同時可以滿足實時性的要求。

因此，F(xiàn)PGA的并行特性使之在圖像處理和深度學習領域存在一定的優(yōu)勢，由于FPGA開發(fā)相對于DSP等嵌入式需要一定的門檻，導致該領域的工程師數(shù)量相對較少，對于FPGA擅長的功能有待進一步發(fā)掘。

審核編輯：劉清