作者：萊迪思半導體公司 Kambiz Khalilian

　　視頻監(jiān)控市場及發(fā)展趨勢

　　不斷升級的安全問題迫使各國政府和機構在監(jiān)控和安全設備上投入巨資。此外，在圖像及視頻處理領域的技術創(chuàng)新徹底改變了視頻監(jiān)控行業(yè)，這不限于安防，還包括銀行、交通、教育、零售、醫(yī)療保健，游戲和其他領域。根據(jù)ABI Research的預測，整個視頻監(jiān)控市場的收入將從2008年的16億美元增加到2015年的29億美元，有9％的復合年增長率。

　　視頻監(jiān)控已經從模擬標準清晰度攝像機和VCR轉變到兆像素的高清攝像機，以及DVR到通過以太網(wǎng)的IP網(wǎng)絡攝像機的視頻流，到基于云計算的網(wǎng)絡視頻錄像機（NVR）。取代了現(xiàn)場觀看，連續(xù)記錄和通過記錄材料的可視化搜索，智能攝像機和錄像機目前已能夠實施基于事件的錄像和報警觸發(fā)，并通過記錄材料自動搜索。

　　這些先進的安防和監(jiān)控設備與先進的圖像傳感器技術和半導體的圖像信號處理功能緊密結合。這些包括攝像機的架構，傳感器接口/傳感器橋接、圖像信號處理、高動態(tài)范圍（HDR）處理和視頻分析。

　　攝相機的體系結構

　　一個典型的攝相機由圖像傳感器，圖像信號處理器和一些輸出接口所組成。除了這些功能塊之外，攝相機還可以包括視頻壓縮或視頻分析功能。圖1示展示了LatticeECP3 FPGA器件上實現(xiàn)兆像素網(wǎng)絡攝像機的一個實例。

　　圖1 用FPGA實現(xiàn)的攝相機架構

　　傳感器接口/傳感器橋接

　　通常圖像信號處理器（ISP）有一個或多個圖像傳感器接口。最常見的圖像傳感器是CMOS傳感器。較低的分辨率和較低的幀速率傳感器可以通過并行接口連接到ISP。更高分辨率和更高幀速率的圖像傳感器需要高速的接口，包括MIPI、Aptina HiSPi或sub-LVDS接口。低成本的ISP通常只支持一個并行接口。因此，傳感器橋接功能必須能夠轉換MIPI、HiSPi sub-LVDS信號至并行接口。低成本的FPGA可用于轉換MIPI、HiSPi或sub-LVDS接口至并行接口。在圖2中，萊迪思的MachXO2 FPGA用于轉換來自兩個Aptina圖像傳感器（MT9034）的HiSPi傳感器信號到一個并行格式，然后用TI DSP器件（DM8127）進行處理。

　　圖2 使用FPGA的傳感器接口橋接應用

　　圖像信號處理（ISP）

　　圖像信號處理器（ISP）通常由多個視頻處理算法組成，對輸入的視頻流，以集束流水線的形式執(zhí)行圖像增強和轉換功能。圖像流水線可以實現(xiàn)為軟件在計算機，F(xiàn)PGA或數(shù)字信號處理器（DSP）上運行，或作為一個專用應用標準產品（ASSP）。

　　圖3 用FPGA實現(xiàn)的圖像信號處理器（ISP）流水線

　　圖3中展示了一個典型的圖像處理流水線。從CMOS圖像傳感器接收到原始的傳感器數(shù)據(jù)。線性化之后，根據(jù)與它們相鄰的像素值校正有缺陷的傳感器像素。典型的圖像傳感器提供了灰度圖像，通過使用bayer濾波器（稱為de-bayering）轉換成紅，綠和藍色。彩色校正矩陣（CCM）用來消除紅色，綠色和藍色像素之間的色度亮度干擾。

　　自動曝光（AE）模塊自動調整曝光時間，以彌補不斷變化的光照情況。HDR算法改進了圖像的亮和暗區(qū)域的對比度（HDR將在下一節(jié)中做更詳細的解釋）。自動白平衡（AWB）根據(jù)場景中的一個白色參考點對所有顏色作出調整。噪聲減小器消除噪聲，在不同的平滑顏色的區(qū)域?？梢娪忻黠@錯誤顏色的隨機點。噪聲隨著溫度和曝光時間而增大。伽瑪校正重新分配原本的攝相機色調級到更均勻的和更適合人眼觀看的水準，從而最有效地使用一個給定位的深度。

　　重疊功能使得文本和圖形能夠在視頻的頂部重疊，用于顯示菜單或攝相機的設置。根據(jù)特定的要求，可以添加額外的功能模塊。可以變化壓縮算法H.264或JPEG來達到這些要求，可運用運動檢測、目標檢測，或人臉識別來進行智能視頻分析。

　　HDR處理

　　圖像的質量取決于各種因素，包括照明。根據(jù)照明情況，場景的部分區(qū)域可能太暗，而有些區(qū)域太亮。在這些區(qū)域往往看不到細節(jié)。丟失的細節(jié)可能在應用中是非常重要的，那里需要作出關鍵的決策。

　　圖4 HDR處理實例

　　動態(tài)范圍（也稱為圖像的最大對比度）描述圖像的最亮點到相同圖像最暗點之間的比率。人的眼睛能夠看到這兩個區(qū)域中的細節(jié)，但大多數(shù)圖像傳感器具有有限的動態(tài)范圍，并且不能夠捕捉相同圖像在這兩個區(qū)域中的細節(jié)。為了能夠在高對比度區(qū)域看到細節(jié)，需要捕獲具有不同的曝光時間的同一場景的多個圖像。需要很短的曝光時間以捕獲非常明亮的區(qū)域，需要長曝光時間以捕獲暗的區(qū)域。

　　具有不同曝光時間的圖像可以被組合成一個圖像，提高了圖像的動態(tài)范圍。不同曝光時間的場景捕獲和這些圖像整合為一個圖像被稱為高動態(tài)范圍（HDR）處理，也被稱為寬動態(tài)范圍（WDR）處理。HDR處理、全局和局部的色調映射算法被用來創(chuàng)建單一的圖像，擴展了動態(tài)范圍，在相同圖像的高對比度區(qū)域中顯示出細節(jié)。動態(tài)范圍通常以dB表示。好的HDR圖像的動態(tài)范圍大于或等于90。例如，Aptina720p HDR傳感器（MT9M034）的動態(tài)范圍為120dB。

　　HDR處理算法有很強的處理功能，尤其是當使用更高幀速率的兆像素傳感器時。這些都需要很強的處理能力，現(xiàn)成的圖像信號處理器（ISP）往往無法實現(xiàn)。使用FPGA實現(xiàn)這些復雜和需要大量資源的的算法是最佳的。相同的FPGA器件可用于實現(xiàn)附加的圖像處理算法。

　　圖5 基于FPGA的傳感器接口橋接和HDR處理

　　圖5展示了用松下MN34041圖像傳感器實現(xiàn)HDR。具有不同曝光時間的兩個1080p幀以每秒60幀（fps）的速度捕獲。通過一個行緩沖器傳遞一個幀，同步這兩個捕獲的幀。同步后，兩幀被組合，并加工成每秒30幀的1080p幀。在上述的例子中，傳感器接口、行緩沖器控制器、幀合成器和色調映射算法是用單片萊迪思的MachXO2 FPGA來實現(xiàn)的。處理的幀然后被傳遞的圖像信號處理器，用于進一步的處理。

　　視頻分析

　　視頻分析（VA）具有能夠自動分析視頻的功能， 以檢測并確定事件。視頻分析可用于廣泛的應用領域，包括安防監(jiān)控、汽車、交通控制、以及零售。運動檢測是最流行的視頻分析算法，相對固定的背景場景檢測運動。Intellivision公司針對基于LatticeECP3 HDR-60攝像機開發(fā)套件已經開發(fā)了一套完整的智能視頻分析和移植，可實現(xiàn)智能安全攝像機的設計。該套件包括智能視頻移動檢測、智能入侵檢測，以及攝像機篡改檢測。智能視頻移動探測可以區(qū)分動物和人，必要時會發(fā)送警報。當有人打開一扇門或進入受限制的空間時，智能入侵檢測會發(fā)出警報。有了攝像機篡改檢測功能，如果攝相機被移動，阻擋或破壞聚焦，可以發(fā)出警報并采取相應的行動。

　　圖6 視頻分析演示

　　針對基于HDR-60攝像機開發(fā)套件的視頻分析演示，圖6展示了基于以太網(wǎng)的圖形控制界面。黃線表示計數(shù)器演示，用戶能夠在屏幕的水平，垂直或對角線位置上定位這條黃線。如果一個對象穿過這根線，那么這個對象從一個位置到另個位置就會被計數(shù)。此功能可以用來數(shù)出人們進入或退出某個位置的數(shù)目。紅色方框表示一個受限制的區(qū)域，可以對紅色框的大小和位置進行編程，以滿足特定應用。一旦對象進入現(xiàn)場，就會被檢測到。對象進入紅色框表示的受限制區(qū)域可以設置警報。自動檢測和報警可以取代昂貴的攝像機圖像的實時監(jiān)控。在圖6中未展示的第三個功能是攝像機的篡改檢測。當攝相機被遮蓋或移動時，會發(fā)送警報。

　　總結

　　更高分辨率和更高幀速率圖像傳感器的需求在繼續(xù)增長。這些圖像傳感器和先進的圖像信號處理算法的整合，如HDR和智能視頻分析，開辟了新的、還無法想象的應用領域?，F(xiàn)有的信號處理器跟不上新的復雜應用的性能要求?？删幊蘁PGA器件能夠同時與多個高分辨率圖像傳感器接口，拼接在一起成為全景或平鋪格式，并在同一芯片上運行HDR和智能視頻分析算法，因此FPGA器件是一個的理想選擇。