作者：安森美半導(dǎo)體Bahman Hadji

隨著人們對自動(dòng)駕駛車輛的興趣不斷增加，通往自動(dòng)駕駛的道路顯然是用路標(biāo)鋪就的，例如增加先進(jìn)駕駛輔助系統(tǒng)（ADAS）的部署。圖像傳感器是這些基于攝像機(jī)的系統(tǒng)的基礎(chǔ)，好比車輛的眼睛。隨著后視攝像頭和360度環(huán)視系統(tǒng)的出現(xiàn)，它們令司機(jī)能看到車后和車輛周圍，使駕駛更安全，此外，用前視攝像頭系統(tǒng)感知什么在車輛前面，提供幫助防止碰撞的自動(dòng)功能。政府機(jī)構(gòu)出臺的法規(guī)和新車評估計(jì)劃（NCAP）等安全評級推動(dòng)汽車攝像頭的迅速采用，促使汽車制造商在他們的汽車平臺上引入這些系統(tǒng)，從豪華車型到大眾市場車型。因此，根據(jù)日本市場研究公司Techno Systems Research的數(shù)據(jù)，全球每年生產(chǎn)的汽車攝像頭數(shù)量從2013年（4700萬臺）到2017年（1.1億臺）翻了一番多，將在2024年超過2億臺。

此外，360度環(huán)視系統(tǒng)基于在車輛兩側(cè)安裝四個(gè)攝像頭，為駕駛員提供低速停車和操縱優(yōu)勢，攝像頭還可用以提供車道偏離警告和盲點(diǎn)檢測等功能，在需要換車道之前提醒駕駛員。攝像頭甚至被用來取代車鏡，以攝像頭監(jiān)控系統(tǒng)（CMS）的形式，這種系統(tǒng)令駕駛員在車內(nèi)的顯示器上看到傳統(tǒng)的側(cè)視鏡視野，而無盲點(diǎn)，同時(shí)無需外部車鏡（因?yàn)檩爡^(qū)可以放寬車鏡要求法規(guī)）-這對燃油經(jīng)濟(jì)性和工業(yè)設(shè)計(jì)都有很大的優(yōu)勢。同時(shí)，前視攝像頭系統(tǒng)不僅用于向駕駛員顯示視頻，還檢測在車輛前面發(fā)生了什么，以提供額外的安全和方便特性。這些系統(tǒng)可通過自動(dòng)緊急制動(dòng)來避免碰撞，當(dāng)檢測到車輛路徑上突然的障礙物時(shí)，可以使汽車停下來，并通過自適應(yīng)巡航控制為駕駛員提供幫助，這在公路行車條件下，特別是在交通擁擠的情況下是非常有用的。

傳感器考量

雖然所有這些應(yīng)用都用圖像傳感器作為攝像機(jī)的核心器件，但它們通常對一些參數(shù)有不同的要求，如圖像質(zhì)量、分辨率和傳感器大小，不一而足。例如，用于向駕駛員顯示圖像的攝像機(jī)（例如后視攝像機(jī)）所需的圖像質(zhì)量可能不同于用于感知的前視攝像機(jī)所需的圖像質(zhì)量，后者結(jié)合算法以提供自動(dòng)緊急制動(dòng)ADAS功能。同樣，實(shí)現(xiàn)特定顯示格式的圖像傳感器所需的分辨率將與計(jì)算機(jī)視覺應(yīng)用所需的分辨率不同，后者需要對于一個(gè)對象的精確的最小像素?cái)?shù)用于算法，才能正確檢測和識別它，直接轉(zhuǎn)換為對傳感器分辨率的要求。

在前視攝像頭系統(tǒng)中，計(jì)算機(jī)視覺算法利用圖像傳感器輸出來檢測行人、車輛和物體并作出決策，需要對通過數(shù)千小時(shí)的測試駕駛獲得的一系列圖像進(jìn)行訓(xùn)練，這是一個(gè)成本非常高的做法。需要使用與在生產(chǎn)中推出的系統(tǒng)相同的系統(tǒng)來收集這些圖像，并且需要在收集此數(shù)據(jù)集之前設(shè)置圖像質(zhì)量。這種圖像質(zhì)量的調(diào)整和開發(fā)需要工程人員結(jié)合傳感器工作，并通過適當(dāng)?shù)淖詣?dòng)曝光和自動(dòng)白平衡技術(shù)來控制它，以便隨著場景條件的變化自動(dòng)輸出最優(yōu)圖像。然后使用這些捕獲的圖像進(jìn)行訓(xùn)練的計(jì)算機(jī)視覺算法不能隨后在由具有不同特性或調(diào)諧的圖像傳感器組成的攝像機(jī)上運(yùn)行，因?yàn)樗鼈円堰m應(yīng)于識別給定數(shù)據(jù)集的配置文件?？蓴U(kuò)展的圖像傳感器平臺提供相同的性能和相似的特性，具有不同的分辨率，大大減少了制造商在多個(gè)平臺上工作所需的工作量和成本，因?yàn)樗鼈儗?shí)際上可以重用工程開發(fā)工作和圖像的訓(xùn)練數(shù)據(jù)集。

成像挑戰(zhàn)

在考慮任何汽車成像系統(tǒng)時(shí)，圖像傳感器的性能和捕捉大范圍場景內(nèi)容或動(dòng)態(tài)范圍的能力是一個(gè)關(guān)鍵參數(shù)。動(dòng)態(tài)范圍衡量傳感器能捕獲到的場景對比度，或者簡單地說，它能很好地處理相同的場景中非常明亮的區(qū)域和黑暗區(qū)域或陰影。這是汽車攝像頭一個(gè)常見的問題，當(dāng)您考慮在傍晚太陽落至地平線下時(shí)，汽車將在地下通道下行駛。如果傳感器的動(dòng)態(tài)范圍太低，可能會(huì)忽略場景中的關(guān)鍵細(xì)節(jié)，從而導(dǎo)致駕駛員或計(jì)算機(jī)視覺算法沒有注意到場景中的對象，從而導(dǎo)致不安全的狀況。

制造商現(xiàn)在必須處理的另一方面是在交通標(biāo)志以及汽車前照燈和尾燈中越來越多的使用發(fā)光二極管（LED），這增加了汽車成像的挑戰(zhàn)。LED照明通常采用脈寬調(diào)制（PWM）控制：LED以不同的占空比開關(guān)，以控制光的強(qiáng)度和省電，速度太快，人眼無法感知。但是，雖然我們的眼睛不能感知這些燈光的閃爍，但是圖像感應(yīng)器通常會(huì)捕獲到LED開關(guān)時(shí)的。這意味著圖像傳感器輸出在顯示為視頻時(shí)將顯示此閃爍效果。這是我們不想要的，可能會(huì)帶來安全問題-和使事情更加復(fù)雜，在車輛或交通標(biāo)志中使用脈沖LED的頻率沒有標(biāo)準(zhǔn)。對于帶有計(jì)算機(jī)視覺算法的前視攝像頭，閃爍效應(yīng)意味著交通標(biāo)志可能會(huì)被誤讀或完全漏掉，而對于CMS或后視攝像頭等視覺應(yīng)用，它會(huì)讓駕駛員分心和困惑。

把這個(gè)場景放到背景中，想象一個(gè)含高亮度源的場景，比如地平線下的太陽，還有一些看起來更暗的細(xì)節(jié)，比如路邊的行人在附近一棵樹的樹蔭下。為捕獲這一高動(dòng)態(tài)范圍的場景，常見的圖像傳感器將通過使用較短的曝光時(shí)間來補(bǔ)償場景的明亮部分，以避免場景的飽和和溢出。在同一場景中出現(xiàn)脈沖光源（如汽車LED大燈）的情況下，用于捕獲場景明亮細(xì)節(jié)的短曝光時(shí)間將導(dǎo)致圖像傳感器捕獲大燈實(shí)際關(guān)閉時(shí)的一個(gè)幀。雖然它隨后將合并多個(gè)曝光以輸出高動(dòng)態(tài)范圍圖像，但在明亮的日光場景中，以上述方式部分或全部曝光將忽略LED，并導(dǎo)致前照燈出現(xiàn)閃爍。如果延長曝光時(shí)間，試圖在LED打開時(shí)捕獲到場景，那么被強(qiáng)光照射的場景中的部分會(huì)被過度曝光，大大縮小動(dòng)態(tài)范圍，丟失細(xì)節(jié)，最終導(dǎo)致圖像質(zhì)量無法接受。

高動(dòng)態(tài)范圍和減少LED閃爍

解決這一問題的方案是能夠在單個(gè)幀內(nèi)實(shí)現(xiàn)更大的動(dòng)態(tài)范圍的一種圖像傳感器，以便能夠以足夠長的曝光時(shí)間捕獲明亮區(qū)域，在“開啟”期間捕獲到脈沖光源，而不會(huì)過度曝光場景。安森美半導(dǎo)體的Hayabusa?汽車圖像傳感器平臺以一種使能超級曝光（Super-Exposure）的創(chuàng)新的像素技術(shù)成功地解決了這一問題。這項(xiàng)技術(shù)采用了一種創(chuàng)新的設(shè)計(jì)和工藝，能夠在傳感器內(nèi)存儲(chǔ)更多的電荷，使曝光時(shí)間在達(dá)到飽和前比目前汽車中使用的相同尺寸的傳統(tǒng)圖像傳感器長五倍。通過這種像素技術(shù)，Hayabusa?圖像傳感器實(shí)現(xiàn)了120 dB以上的高動(dòng)態(tài)范圍成像，同時(shí)減少LED閃爍。

該方案的一部分在于構(gòu)造Hayabusa?超級曝光像素。通過一種新的設(shè)計(jì)和制造工藝，每個(gè)背照式3.0微米像素存儲(chǔ)了來自入射光的100，000多個(gè)電荷電子，這大大超過了相同像素大小的傳統(tǒng)CMOS圖像傳感器提供的20，000個(gè)電子。這導(dǎo)致單個(gè)超級曝光捕獲95分貝的動(dòng)態(tài)范圍，涵蓋了大部分場景，而Hayabusa傳感器能添加第二個(gè)非常短的曝光，通過捕獲場景中最亮的部分，將動(dòng)態(tài)范圍擴(kuò)大到超過120 dB。

為了在保持高動(dòng)態(tài)范圍輸出的同時(shí)實(shí)現(xiàn)抑制LED閃爍的效果，超級曝光可被限制為足夠長的時(shí)間來捕獲場景中所期望的最低頻率脈沖LED的整個(gè)周期：如果我們考慮為90 Hz，相當(dāng)于約11毫秒的曝光時(shí)間（在此期間，LED可能只在該時(shí)間的1/10或更短的時(shí)間內(nèi)打開）。傳感器有100，000個(gè)電子電荷的容量，可曝光這么長時(shí)間，而不丟失明亮區(qū)域的細(xì)節(jié)，同時(shí)捕獲LED “打開” 的脈沖信號。其次，較短的曝光時(shí)間結(jié)合一個(gè)專有的片上算法，確保擴(kuò)大動(dòng)態(tài)范圍，同時(shí)保留超級曝光捕獲的含脈沖LED的場景中的區(qū)域，通過二次曝光以防止它們被丟失。因此，傳感器能夠捕獲場景中超過120分貝的動(dòng)態(tài)范圍，同時(shí)保留由脈沖LED組成的區(qū)域，采用一般的傳感器時(shí)這些脈沖LED看來像是在閃爍。這一現(xiàn)實(shí)性能使Hayabusa平臺成為開發(fā)要求高動(dòng)態(tài)范圍的、減少LED閃爍的汽車攝像頭的最佳方案，而且由于該平臺中的所有產(chǎn)品都具有相同的性能，制造商可以在器件之間任意轉(zhuǎn)換，并且能夠重用大部分的工程工作以及用于從其中一個(gè)傳感器訓(xùn)練算法的數(shù)據(jù)。

總結(jié)

Hayabusa平臺的符合車規(guī)的圖像傳感器涵蓋從100萬像素到500萬像素分辨率，可擴(kuò)展，并為制造商提供用于各種不同應(yīng)用的配置選項(xiàng)。該平臺的首款器件AR0233AT，是一款260萬像素的傳感器，同時(shí)具有高動(dòng)態(tài)范圍和抑制LED閃爍能力，以每秒60幀的速度生成1080p視頻。

一個(gè)圖像傳感器平臺成功地解決了汽車成像領(lǐng)域的兩大主要技術(shù)挑戰(zhàn)，同時(shí)也解決了制造商的實(shí)際問題。通過創(chuàng)建一個(gè)平臺，以一系列器件提供一致的性能和表現(xiàn)，開發(fā)人員可充分利用數(shù)千小時(shí)的場景數(shù)據(jù)進(jìn)行算法培訓(xùn)，以在不同的車輛上部署類似的ADAS功能，使用最適合該應(yīng)用的圖像傳感器。這使得他們能夠以最少的工作量將高端的、高分辨率系統(tǒng)和具性價(jià)比的低分辨率系統(tǒng)部署到不同的車輛平臺上。Hayabusa圖像傳感器平臺的功能將顯著地幫助制造商推進(jìn)其ADAS產(chǎn)品，從而為消費(fèi)者帶來更多的選擇，但更重要的是為更多的駕駛員配備將提升駕駛員和行人道路安全的系統(tǒng)。