導(dǎo)讀

圖像預(yù)處理是圖像處理關(guān)鍵中間環(huán)節(jié)，通過(guò)優(yōu)化傳感器到主機(jī)的數(shù)據(jù)傳輸處理為后續(xù)減負(fù)。其算法依托硬件執(zhí)行，搭載 FPGA 的友思特圖像采集卡以高速運(yùn)算和并行特性縮短處理時(shí)間、降低延遲并提升吞吐量，助力高速分揀等系統(tǒng)快速?zèng)Q策。針對(duì)高速接口及實(shí)時(shí) / 大數(shù)據(jù)量場(chǎng)景，該采集卡是必備組件，可在 FPGA 上完成去拜耳化、HDR 等預(yù)處理，為視覺(jué)系統(tǒng)高效運(yùn)行奠基。

前言

圖像預(yù)處理是圖像處理過(guò)程中的一個(gè)中心中間步驟，圖像從傳感器到圖像采集卡中進(jìn)行處理，再到在主機(jī) PC 中輸出結(jié)果。它確保圖像數(shù)據(jù)針對(duì)相應(yīng)的應(yīng)用進(jìn)行優(yōu)化，安全地傳輸。圖像預(yù)處理的目的是準(zhǔn)備數(shù)據(jù)，以簡(jiǎn)化進(jìn)一步的處理步驟并減輕主機(jī)PC處理的負(fù)擔(dān)。

預(yù)處理中使用的圖像處理算法取決于相機(jī)傳感器的現(xiàn)有的圖像質(zhì)量。這些算法可以在圖像采集卡的板載FPGA上執(zhí)行，也可以在其他視覺(jué)硬件（如相機(jī)本身、后端PC等）上執(zhí)行。

而FPGA的高速運(yùn)算和并行特性可縮短圖像處理時(shí)間，從而降低系統(tǒng)延遲和提高吞吐量。此外，F(xiàn)PGA圖像處理可以允許高速分揀機(jī)、表面和幅材檢測(cè)等系統(tǒng)的控制器更快速地基于所采集的圖像作出決策

（友思特FPGA圖像采集卡）

（FPGA vs PC預(yù)處理CPU使用對(duì)比）

對(duì)于高速接口（如 CoaXPress、Camera Link 和 Camera Link HS）而言，圖像采集卡是整個(gè)系統(tǒng)搭建必要組件，并且對(duì)于實(shí)時(shí)要求較高或大數(shù)據(jù)量傳輸來(lái)說(shuō)，圖像采集卡是必不可少的。它可以直接在FPGA上進(jìn)行更廣泛的預(yù)處理。例如高質(zhì)量的去拜耳化、圖像有損/無(wú)損壓縮、高動(dòng)態(tài)范圍（HDR）、Blob分析、白平衡等，具體取決于應(yīng)用。

通過(guò)壓縮減少數(shù)據(jù)量

JPEG壓縮,Lossless壓縮,Quality+壓縮

方案一：Quality+壓縮方案

1:20+ 壓縮比情況下保證更加優(yōu)秀圖像質(zhì)量

友思特合作伙伴Gidel的Quality+（Q+）壓縮算法實(shí)時(shí)壓縮彩色濾鏡陣列（CFA - 例如，拜耳）、Mono、RGB圖像和視頻。

Q+算法徹底改變了傳統(tǒng)圖像壓縮算法，在保持原始圖像質(zhì)量的同時(shí)，為高帶寬圖像流實(shí)現(xiàn)了高達(dá) 1：20+ 甚至更高的壓縮比。

與會(huì)降低圖像保真度的傳統(tǒng)壓縮方法不同，Quality+通過(guò)保持原始信噪比（SNR）來(lái)保持圖像質(zhì)量不降低，同時(shí)智能優(yōu)化壓縮，Quality+通過(guò)將圖像中的無(wú)效噪聲替換為壓縮高效的噪聲，從而在不犧牲關(guān)鍵細(xì)節(jié)的情況下提高壓縮效率。

Quality+算法支持動(dòng)態(tài)訓(xùn)練，允許系統(tǒng)根據(jù)特定視頻流特征自適應(yīng)優(yōu)化壓縮參數(shù)，確保針對(duì)不同應(yīng)用場(chǎng)景（如半導(dǎo)體檢測(cè)、高速運(yùn)動(dòng)捕捉）實(shí)現(xiàn)壓縮效率最大化。Quality+運(yùn)行于HawkEye系列FPGA圖像采集卡，徹底釋放 CPU/GPU負(fù)載算力壓力，支持千兆像素/秒級(jí)吞吐量，實(shí)現(xiàn)無(wú)瓶頸壓縮處理。

(通過(guò)調(diào)整GOP值，實(shí)現(xiàn)圖像質(zhì)量與壓縮間平衡)

Quality+具有最小的延遲和幀延遲下的處理，可確保實(shí)時(shí)響應(yīng)能力，使其成為錄制和流媒體應(yīng)用程序的理想解決方案。

方案二：無(wú)損壓縮方案

兩種壓縮模式，多種素材格式實(shí)時(shí)壓縮

通過(guò)在FPGA上實(shí)現(xiàn)的無(wú)損壓縮IP，可對(duì)彩色濾光片陣列（CFA – 例如拜耳）、Mono和RGB圖像和視頻執(zhí)行實(shí)時(shí)壓縮。在Airra 10 FPGA 資源上，在實(shí)際視頻應(yīng)用中實(shí)現(xiàn)了接近1：3的無(wú)損壓縮比。

并且根據(jù)不同壓縮方式，得到的壓縮效果也有差異，主要有兩種壓縮模式：

√ 壓縮單個(gè)圖像幀

√ 使用I幀和P幀對(duì)整個(gè)視頻實(shí)現(xiàn)更高壓縮比

同時(shí)，壓縮可以通過(guò)基于樣本圖像數(shù)據(jù)的預(yù)訓(xùn)練或基于實(shí)時(shí)數(shù)據(jù)的動(dòng)態(tài)訓(xùn)練優(yōu)化。

壓縮前2400*1600,10.9MB	無(wú)損壓縮后2400*1600,3.66MB

方案三：實(shí)時(shí)JPEG壓縮方案

壓縮程度可選，平衡存儲(chǔ)大小和圖像質(zhì)量

實(shí)時(shí)JPEG圖像壓縮（編碼器）IP可在FPGA上實(shí)現(xiàn)高性能JPEG壓縮。壓縮IP具有快速處理能力、低延遲和緊湊的芯片利用率。由于其緊湊性，該壓縮IP可以在小型FPGA器件上實(shí)現(xiàn)，以實(shí)現(xiàn)高性能的相機(jī)圖像流壓縮，或者，該IP可以在單個(gè)較大的FPGA器件上多次部署。

JPEG壓縮IP的輸入流為YCbCr格式，帶有RGB、Mono等可選的轉(zhuǎn)換器。用戶可以調(diào)整圖像壓縮程度，從而在存儲(chǔ)大小和圖像質(zhì)量之間進(jìn)行選擇性權(quán)衡。

壓縮前2400*1600,10.9MB	JPEG壓縮后2400*1600,2.13MB

（JPEG壓縮IP支持壓縮比例動(dòng)態(tài)調(diào)整，存儲(chǔ)大小和圖像質(zhì)量之間進(jìn)行選擇性權(quán)衡）

HDR擴(kuò)大圖像動(dòng)態(tài)范圍

主要特點(diǎn)

√ 高性能單次****曝光實(shí)現(xiàn)高動(dòng)態(tài)范圍 （HDR）

傳統(tǒng) HDR 依賴于多次曝光，但這種方法對(duì)于涉及運(yùn)動(dòng)或高數(shù)據(jù)速率的應(yīng)用程序來(lái)說(shuō)通常是不切實(shí)際的。友思特HDR IP 通過(guò)創(chuàng)新的單次曝光算法克服了這些限制，使用基于FPGA的處理提供完美的HDR質(zhì)量和性能。

**√ **高圖像質(zhì)量和無(wú)限吞吐量

通過(guò)提供實(shí)時(shí)、高質(zhì)量的 HDR，幾乎零延遲的圖像預(yù)處理IP。HDR IP不僅分析每個(gè)像素的亮度數(shù)據(jù)，還分析周圍像素，動(dòng)態(tài)調(diào)整 HDR 處理以考慮局部亮度變化，從而脫穎而出。這種環(huán)境敏感的方法可以增強(qiáng)細(xì)微的細(xì)節(jié)，即使在具有挑戰(zhàn)性的照明下也是如此，從而提供具有出色保真度的圖像。Gidel專有的HDR 算法與FPGA架構(gòu)相結(jié)合，能夠同時(shí)處理無(wú)限的多個(gè)像素，從而在超寬像場(chǎng)中實(shí)現(xiàn)高速、高效的 HDR 性能。

√ 集成到 ISP 管道

同時(shí)HDR CPU卸載可以輕松集成到HawkEye圖像采集卡和 FPGA 模塊中。它可以與用戶IP和/或其他實(shí)時(shí)、零延遲圖像增強(qiáng)模塊結(jié)合使用，例如Gamma 校正、白平衡、去拜耳化和壓縮等。這種模塊化方法允許完全優(yōu)化的端到端解決方案，以滿足任何成像應(yīng)用的特定需求。

ROI提高傳輸速率，專注感興趣區(qū)域處理

友思特HawkEye采集卡的優(yōu)勢(shì)在于，能夠在板載FPGA上實(shí)時(shí)處理識(shí)別圖像中的感興趣區(qū)域(ROIs)，并能智能、動(dòng)態(tài)地調(diào)整ROI區(qū)域和參數(shù)并優(yōu)化傳輸效率。FPGA通過(guò)硬件并行性（如流水線處理和定制IP核）實(shí)現(xiàn)微秒級(jí)ROI提取。同時(shí)板載圖像處理可實(shí)現(xiàn)僅傳輸ROI數(shù)據(jù)(而非全幀)，降低傳輸負(fù)載，實(shí)現(xiàn)高效數(shù)據(jù)傳輸。

Viewsitec

友思特圖像預(yù)處理解決方案

PCIE圖像采集卡

VST

提供GigE Vison、Cameralink、Coaxpress等多種接口的圖像采集卡，兼容性極強(qiáng)，采用強(qiáng)大的Arria 10 FPGA，具備大容量?jī)?nèi)存、高帶寬數(shù)據(jù)傳輸通道和豐富的I/O接口，保證100%的幀捕獲，廣泛用于實(shí)時(shí)、高帶寬視覺(jué)和圖像處理等應(yīng)用。

FantoVision

嵌入式邊緣計(jì)算機(jī)

VST

基于FPGA和GPU實(shí)現(xiàn)20Gb/s & 40Gb/s高帶寬圖像采集、記錄與處理的嵌入式邊緣計(jì)算機(jī)，F(xiàn)antoVision的架構(gòu)使用NVIDIA Jetson嵌入式計(jì)算機(jī)與高端圖像采集的實(shí)時(shí)圖像處理結(jié)合起來(lái)，具有高性能的FPGA處理能力，開(kāi)放式架構(gòu)，可自定義圖像處理，為各類應(yīng)用場(chǎng)景帶來(lái)更高的處理速度和更高帶寬選擇。

審核編輯 黃宇