點擊上方藍(lán)字關(guān)注我們

圖像傳感器可以說是在數(shù)字視頻或靜止相機(jī)中視頻或靜止圖像處理流水線的最重要部分。如果沒有傳感器，就沒有圖像信號可進(jìn)行處理。眾所周知傳感器是非標(biāo)準(zhǔn)化的。在采用的方案中，它們有以下的不同之處：

轉(zhuǎn)換可見光或紅外光為電信號的方式;尤其是在該信號離開這塊芯片之前，對這個信號采用的編碼和壓縮(有時)的方式。

對傳感器內(nèi)部的寄存器進(jìn)行編程的方式，以調(diào)整增益、曝光時間、傳感器模式(如線性、HDR)，傳感器圖像坐標(biāo)等。

實現(xiàn)特殊功能的方式，如高(或?qū)?動態(tài)范圍(HDR/WDR);例如通過在同一封裝中的多個傳感器，對于同一圖像幀多次曝光等。

這些傳感器廠商采用的接口，以使這些電子圖像信號離開傳感器，并進(jìn)入下游的處理邏輯。

FPGA提供一個具成本效益的，尺寸非常小的可編程邏輯平臺，可以輕松地將信號從不同的圖像傳感器接口轉(zhuǎn)換到數(shù)字信號，以供下游的邏輯進(jìn)行處理。FPGA提供具有成本效益的可編程機(jī)制，以適應(yīng)各種信號編碼方案、寄存器管理方案和傳感器接口，從而為不同類型的傳感器提供可編程支持。

圖像傳感器技術(shù)

根據(jù)用于將可見光轉(zhuǎn)換成電信號的基本技術(shù)，圖像傳感器可分為兩大類。它們是CCD(電荷耦合器件)傳感器和CMOS(互補金屬氧化物半導(dǎo)體)傳感器。到目前為止，出貨量最多的圖像傳感器是CMOS傳感器。本文只關(guān)注CMOS傳感器接口。

在視頻處理鏈中典型的圖像傳感器的應(yīng)用如圖1所示。



如今有幾個著名的圖像傳感器制造商，它們是Aptina、OmniVision Technologies、索尼、三星、松下、東芝和Altasens。

如前所述，傳感器制造商配置了一系列接口，用于將離開其芯片的圖像信號傳至下游邏輯進(jìn)行處理。非常普遍的是，同一傳感器制造商根據(jù)需要從芯片中提取的數(shù)據(jù)量使用不同的接口。例如，具有兆像素分辨率的現(xiàn)代傳感器需要在給定的周期時間傳出比僅具有VGA級分辨率的傳感器多得多的數(shù)據(jù)。像高動態(tài)范圍(HDR)這樣的要求還增加了數(shù)據(jù)量，需要從每個圖像幀的圖像傳感器讀取數(shù)據(jù)，而為支持平滑、低延遲高品質(zhì)的視頻，需要在給定的時間內(nèi)從傳感器芯片提取幀數(shù)，這也影響了傳感器接口的選擇。

圖像傳感器接口的演進(jìn)

到目前為止，所有傳感器都可連接到并行LVCMOS接口，如圖2所示。傳感器分辨率和幀速率已經(jīng)提高到一個水平，此時以前的主流CMOS并行接口已不能處理所要求的帶寬。



由于兆像素傳感器的問世，對更高速度的需求激增，HDR和對支持更高幀速率、新型、更高速度傳感器的需求正使用不同的接口來克服并行LVCMOS的局限性。例如，索尼和松下使用并行的子LVDS接口，OmniVision使用MIPI或串行LVDS。另一個例子是，為支持更高帶寬的需求，Aptina Imaging已經(jīng)推出了稱為HiSPi(高速串行像素接口)的高速串行接口。HiSPi接口可以工作在1-4個串行數(shù)據(jù)通道，加上1個時鐘通道。每個信號是子LVDS差分信號，以 0.9V的共模電壓為中心。每個通道可以運行在高達(dá)700Mbps下。

HiSPi與并行傳感器接口橋接的需求

多個傳感器接口給標(biāo)準(zhǔn)化下游視頻處理邏輯的制造商提出了一個問題，因為用一個ASSP支持許多不同的傳感器接口非常困難。

大多數(shù)ISP(圖像信號處理)器件支持傳統(tǒng)的CMOS并行傳感器接口，但通常缺乏對高速串行接口的支持。很多ISP并行接口的運行速度遠(yuǎn)遠(yuǎn)超過了傳感器的并行接口。但是，由于傳感器已遷移到不同串行接口，ISP器件需要邏輯以轉(zhuǎn)換到并行接口。因此FPGA橋接器件需要將高速串行數(shù)據(jù)轉(zhuǎn)換到并行格式。對于視頻信號處理ASSP的制造商(他們擁有支持更快的并行CMOS傳感器接口的現(xiàn)成產(chǎn)品)，F(xiàn)PGA解決了連接至高速串行傳感器的問題。FPGA提供在高速傳感器和傳統(tǒng)圖像信號處理ASSP之間的簡單、具有成本效益的可編程橋接。這個概念如圖3所示。



基于FPGA的串行傳感器橋接參考設(shè)計示例

一個實際例子是，針對Aptina Imaging的HiSPi串行接口至TI DSP并行接口的橋接，LatticeXP2-5非易失性FPGA提供了高效、具有成本效益的解決方案，如圖4所示。



該參考設(shè)計在輸入端用HiSPi串行接口，在輸出端用TI TMS320DM3X5連接至Aptina傳感器。評估硬件已測試了Aptina的A-1000傳感器MT9M034/MTM024和MT9J003。該參考設(shè)計支持分組(Packetized)和Streaming SP HiSPi格式：1-4通道運行速度高達(dá)每通道700Mbps。它還模擬并行傳感器輸出，輸出總線寬度為8、10、12、14或16位。并行接口可配置為1.8V、2.5V或3.3V LVCMOS電平。參考設(shè)計的模塊圖如圖5所示。



FPGA在傳感器接口橋接上的挑戰(zhàn)

可編程邏輯作為圖像傳感器和ASSP之間的橋接面臨三個方面的挑戰(zhàn)。首先，F(xiàn)PGA必須為接口信號提供電信號支持。第二，F(xiàn)PGA的I/O必須有足夠的gearing邏輯來支持快速串行傳感器接口。第三，F(xiàn)PGA必須提供符合成本效益的非常小的外形尺寸，以適應(yīng)現(xiàn)代攝像機(jī)對于緊湊外形的要求。

具有完備子LVDS文檔支持的LatticeXP2非易失FPGA系列已被證實解決了圖像傳感器橋接的電氣需求。集成PLL、專用時鐘沿和I/O gearing邏輯解決了高速串行傳感器接口。最后，萊迪思半導(dǎo)體(Lattice)的 XP2提供了具有成本效益的8×8mm面積。此外，由于其非易失的特性，LatticeXP2系列器件無需外部引導(dǎo)PROM，從而進(jìn)一步節(jié)省了電路板空間，這使得他們成為傳感器接口的具有吸引力的可編程邏輯平臺。圖像信號處理(ISP)IP的可用性也使更大型的LatticeXP2器件可提供各種功能，如傳感器數(shù)據(jù)線性化、傳感器寄存器編程、去Bayering、有缺陷的像素校正、伽瑪校正和每個色通道高達(dá)24位的簡單HDR。

有你想看的精彩 至芯科技FPGA就業(yè)培訓(xùn)班——助你步入成功之路、9月23號北京中心開課、歡迎咨詢！ C語言算法如何移植到FPGA 基于千兆網(wǎng)的FPGA多通道數(shù)據(jù)采集系統(tǒng)設(shè)計

掃碼加微信邀請您加入FPGA學(xué)習(xí)交流群

歡迎加入至芯科技FPGA微信學(xué)習(xí)交流群，這里有一群優(yōu)秀的FPGA工程師、學(xué)生、老師、這里FPGA技術(shù)交流學(xué)習(xí)氛圍濃厚、相互分享、相互幫助、叫上小伙伴一起加入吧！

點個在看你最好看