點(diǎn)擊上方藍(lán)字關(guān)注我們

圖像傳感器可以說(shuō)是在數(shù)字視頻或靜止相機(jī)中視頻或靜止圖像處理流水線的最重要部分。如果沒(méi)有傳感器，就沒(méi)有圖像信號(hào)可進(jìn)行處理。眾所周知傳感器是非標(biāo)準(zhǔn)化的。在采用的方案中，它們有以下的不同之處：

轉(zhuǎn)換可見(jiàn)光或紅外光為電信號(hào)的方式;尤其是在該信號(hào)離開(kāi)這塊芯片之前，對(duì)這個(gè)信號(hào)采用的編碼和壓縮(有時(shí))的方式。

對(duì)傳感器內(nèi)部的寄存器進(jìn)行編程的方式，以調(diào)整增益、曝光時(shí)間、傳感器模式(如線性、HDR)，傳感器圖像坐標(biāo)等。

實(shí)現(xiàn)特殊功能的方式，如高(或?qū)?動(dòng)態(tài)范圍(HDR/WDR);例如通過(guò)在同一封裝中的多個(gè)傳感器，對(duì)于同一圖像幀多次曝光等。

這些傳感器廠商采用的接口，以使這些電子圖像信號(hào)離開(kāi)傳感器，并進(jìn)入下游的處理邏輯。

FPGA提供一個(gè)具成本效益的，尺寸非常小的可編程邏輯平臺(tái)，可以輕松地將信號(hào)從不同的圖像傳感器接口轉(zhuǎn)換到數(shù)字信號(hào)，以供下游的邏輯進(jìn)行處理。FPGA提供具有成本效益的可編程機(jī)制，以適應(yīng)各種信號(hào)編碼方案、寄存器管理方案和傳感器接口，從而為不同類(lèi)型的傳感器提供可編程支持。

圖像傳感器技術(shù)

根據(jù)用于將可見(jiàn)光轉(zhuǎn)換成電信號(hào)的基本技術(shù)，圖像傳感器可分為兩大類(lèi)。它們是CCD(電荷耦合器件)傳感器和CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)傳感器。到目前為止，出貨量最多的圖像傳感器是CMOS傳感器。本文只關(guān)注CMOS傳感器接口。

在視頻處理鏈中典型的圖像傳感器的應(yīng)用如圖1所示。



如今有幾個(gè)著名的圖像傳感器制造商，它們是Aptina、OmniVision Technologies、索尼、三星、松下、東芝和Altasens。

如前所述，傳感器制造商配置了一系列接口，用于將離開(kāi)其芯片的圖像信號(hào)傳至下游邏輯進(jìn)行處理。非常普遍的是，同一傳感器制造商根據(jù)需要從芯片中提取的數(shù)據(jù)量使用不同的接口。例如，具有兆像素分辨率的現(xiàn)代傳感器需要在給定的周期時(shí)間傳出比僅具有VGA級(jí)分辨率的傳感器多得多的數(shù)據(jù)。像高動(dòng)態(tài)范圍(HDR)這樣的要求還增加了數(shù)據(jù)量，需要從每個(gè)圖像幀的圖像傳感器讀取數(shù)據(jù)，而為支持平滑、低延遲高品質(zhì)的視頻，需要在給定的時(shí)間內(nèi)從傳感器芯片提取幀數(shù)，這也影響了傳感器接口的選擇。

圖像傳感器接口的演進(jìn)

到目前為止，所有傳感器都可連接到并行LVCMOS接口，如圖2所示。傳感器分辨率和幀速率已經(jīng)提高到一個(gè)水平，此時(shí)以前的主流CMOS并行接口已不能處理所要求的帶寬。



由于兆像素傳感器的問(wèn)世，對(duì)更高速度的需求激增，HDR和對(duì)支持更高幀速率、新型、更高速度傳感器的需求正使用不同的接口來(lái)克服并行LVCMOS的局限性。例如，索尼和松下使用并行的子LVDS接口，OmniVision使用MIPI或串行LVDS。另一個(gè)例子是，為支持更高帶寬的需求，Aptina Imaging已經(jīng)推出了稱為HiSPi(高速串行像素接口)的高速串行接口。HiSPi接口可以工作在1-4個(gè)串行數(shù)據(jù)通道，加上1個(gè)時(shí)鐘通道。每個(gè)信號(hào)是子LVDS差分信號(hào)，以 0.9V的共模電壓為中心。每個(gè)通道可以運(yùn)行在高達(dá)700Mbps下。

HiSPi與并行傳感器接口橋接的需求

多個(gè)傳感器接口給標(biāo)準(zhǔn)化下游視頻處理邏輯的制造商提出了一個(gè)問(wèn)題，因?yàn)橛靡粋€(gè)ASSP支持許多不同的傳感器接口非常困難。

大多數(shù)ISP(圖像信號(hào)處理)器件支持傳統(tǒng)的CMOS并行傳感器接口，但通常缺乏對(duì)高速串行接口的支持。很多ISP并行接口的運(yùn)行速度遠(yuǎn)遠(yuǎn)超過(guò)了傳感器的并行接口。但是，由于傳感器已遷移到不同串行接口，ISP器件需要邏輯以轉(zhuǎn)換到并行接口。因此FPGA橋接器件需要將高速串行數(shù)據(jù)轉(zhuǎn)換到并行格式。對(duì)于視頻信號(hào)處理ASSP的制造商(他們擁有支持更快的并行CMOS傳感器接口的現(xiàn)成產(chǎn)品)，F(xiàn)PGA解決了連接至高速串行傳感器的問(wèn)題。FPGA提供在高速傳感器和傳統(tǒng)圖像信號(hào)處理ASSP之間的簡(jiǎn)單、具有成本效益的可編程橋接。這個(gè)概念如圖3所示。



基于FPGA的串行傳感器橋接參考設(shè)計(jì)示例

一個(gè)實(shí)際例子是，針對(duì)Aptina Imaging的HiSPi串行接口至TI DSP并行接口的橋接，LatticeXP2-5非易失性FPGA提供了高效、具有成本效益的解決方案，如圖4所示。



該參考設(shè)計(jì)在輸入端用HiSPi串行接口，在輸出端用TI TMS320DM3X5連接至Aptina傳感器。評(píng)估硬件已測(cè)試了Aptina的A-1000傳感器MT9M034/MTM024和MT9J003。該參考設(shè)計(jì)支持分組(Packetized)和Streaming SP HiSPi格式：1-4通道運(yùn)行速度高達(dá)每通道700Mbps。它還模擬并行傳感器輸出，輸出總線寬度為8、10、12、14或16位。并行接口可配置為1.8V、2.5V或3.3V LVCMOS電平。參考設(shè)計(jì)的模塊圖如圖5所示。



FPGA在傳感器接口橋接上的挑戰(zhàn)

可編程邏輯作為圖像傳感器和ASSP之間的橋接面臨三個(gè)方面的挑戰(zhàn)。首先，F(xiàn)PGA必須為接口信號(hào)提供電信號(hào)支持。第二，F(xiàn)PGA的I/O必須有足夠的gearing邏輯來(lái)支持快速串行傳感器接口。第三，F(xiàn)PGA必須提供符合成本效益的非常小的外形尺寸，以適應(yīng)現(xiàn)代攝像機(jī)對(duì)于緊湊外形的要求。

具有完備子LVDS文檔支持的LatticeXP2非易失FPGA系列已被證實(shí)解決了圖像傳感器橋接的電氣需求。集成PLL、專用時(shí)鐘沿和I/O gearing邏輯解決了高速串行傳感器接口。最后，萊迪思半導(dǎo)體(Lattice)的 XP2提供了具有成本效益的8×8mm面積。此外，由于其非易失的特性，LatticeXP2系列器件無(wú)需外部引導(dǎo)PROM，從而進(jìn)一步節(jié)省了電路板空間，這使得他們成為傳感器接口的具有吸引力的可編程邏輯平臺(tái)。圖像信號(hào)處理(ISP)IP的可用性也使更大型的LatticeXP2器件可提供各種功能，如傳感器數(shù)據(jù)線性化、傳感器寄存器編程、去Bayering、有缺陷的像素校正、伽瑪校正和每個(gè)色通道高達(dá)24位的簡(jiǎn)單HDR。

有你想看的精彩 至芯科技FPGA就業(yè)培訓(xùn)班——助你步入成功之路、9月23號(hào)北京中心開(kāi)課、歡迎咨詢！ C語(yǔ)言算法如何移植到FPGA 基于千兆網(wǎng)的FPGA多通道數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)

掃碼加微信邀請(qǐng)您加入FPGA學(xué)習(xí)交流群

歡迎加入至芯科技FPGA微信學(xué)習(xí)交流群，這里有一群優(yōu)秀的FPGA工程師、學(xué)生、老師、這里FPGA技術(shù)交流學(xué)習(xí)氛圍濃厚、相互分享、相互幫助、叫上小伙伴一起加入吧！

點(diǎn)個(gè)在看你最好看