2021年,索尼半導(dǎo)體解決方案公司(Sony Semiconductor Solutions Corporation,以下簡(jiǎn)稱“索尼”)發(fā)布了兩款堆疊式基于事件(Event-based)的視覺傳感器(EVS)。這兩款專為工業(yè)設(shè)備設(shè)計(jì)的傳感器實(shí)現(xiàn)了業(yè)界最?。ㄏ啾绕渌询B式基于事件的視覺傳感器)的4.86 μm像素尺寸,并且只有在感知到場(chǎng)景變化時(shí)才會(huì)進(jìn)行捕捉記錄。
01
事件相機(jī)概述
傳統(tǒng)基于幀的圖像傳感器輸出和基于事件的視覺傳感器輸出對(duì)比
基于事件的相機(jī)是一種生物啟發(fā)的新型視覺傳感器,可實(shí)時(shí)高效地捕捉場(chǎng)景變化。與基于幀的傳統(tǒng)相機(jī)不同,事件相機(jī)僅報(bào)告觸發(fā)的像素級(jí)亮度變化(成為事件),并以微秒級(jí)分辨率輸出異步事件流。該類視覺傳感器已經(jīng)逐漸成為圖像處理、計(jì)算機(jī)視覺、機(jī)器人感知與狀態(tài)估計(jì)、神經(jīng)形態(tài)學(xué)等領(lǐng)域的研究熱點(diǎn)。
目前被廣泛應(yīng)用的事件相機(jī)可大致分為3類:
①動(dòng)態(tài)視覺傳感器(DVS dynamic vision sensor),是最基本的也是最先發(fā)展的一種事件相機(jī)。
②基于異步時(shí)間的圖像傳感器(ATIS asynchronous time based image sensor),它的像素結(jié)構(gòu)分成兩個(gè)部分(A和B),包含兩個(gè)感光器,能夠在提供事件信息的同時(shí),還能提供一定灰度信息的需求。
③動(dòng)態(tài)主動(dòng)像素視覺傳感器(DAVIS dynamic and active pixel vision sensor),它將DVS相機(jī)和傳統(tǒng)的有源像素傳感器(APS)相機(jī)結(jié)合起來,能夠同時(shí)輸出場(chǎng)景事件和灰度信息。
傳統(tǒng)相機(jī)的缺點(diǎn)
幀率低、運(yùn)動(dòng)模糊、動(dòng)態(tài)范圍低。
1、傳統(tǒng)相機(jī),無論是CMOS傳感器,還是CCD傳感器,亦或是RGBD相機(jī),都有一個(gè)參數(shù):幀率。它們是以恒定的頻率拍攝獲取圖像。這樣,即使幀率能夠達(dá)到1KHz,那也具有1ms的延時(shí)。
2、傳統(tǒng)相機(jī)需要通過一定時(shí)間的曝光,使感光器件積累一定的光子,那么在曝光時(shí)間之內(nèi)如果物體在高速運(yùn)動(dòng),則會(huì)產(chǎn)生模糊。
3、傳統(tǒng)相機(jī)的動(dòng)態(tài)范圍較低,具體表現(xiàn)為在光線極差或者亮度極高時(shí),相機(jī)獲取的信息有限。
以上三點(diǎn),是由于相機(jī)自身硬件的限制,即使高性能相機(jī)能夠一定程度減小這些問題,但由于相機(jī)原理,這些問題無法避免。這些問題極大地限制了一些應(yīng)用場(chǎng)景。
事件相機(jī)的優(yōu)點(diǎn)
低延遲、高動(dòng)態(tài)范圍、數(shù)據(jù)量小、極低功耗。
由于事件相機(jī)的成像原理,我們可以發(fā)現(xiàn)只要亮度一有變化就會(huì)輸出,且僅輸出變化的數(shù)據(jù)占用了很小的帶寬,同時(shí)由于事件相機(jī)更擅長(zhǎng)捕捉亮度變化,所以在較暗和強(qiáng)光場(chǎng)景下也能輸出有效數(shù)據(jù)。事件相機(jī)具有低延遲()、高動(dòng)態(tài)范圍(140dB)、極低功耗(1mW)等特性。
相較于傳統(tǒng)相機(jī),事件相機(jī)是基于神經(jīng)形態(tài)視覺,其基本理念是受生物系統(tǒng)工作方式的啟發(fā),檢測(cè)場(chǎng)景動(dòng)態(tài)的變化,而不是連續(xù)分析整個(gè)場(chǎng)景。這意味著讓單個(gè)像素決定它們是否看到了相關(guān)的東西。與固定頻率的系統(tǒng)采集相比,這種基于事件的方法可以節(jié)省大量的功耗,并減少延遲。
02
神經(jīng)形態(tài)視覺傳感器發(fā)展歷程
1943 年提出一種具有計(jì)算能力的神經(jīng)元模型,1952年對(duì)神經(jīng)元建立動(dòng)力學(xué)微分方程描述神經(jīng)元?jiǎng)幼麟娢坏漠a(chǎn)生與傳遞過程,這個(gè)動(dòng)作電位就叫做脈沖。
1990 年首次在提出神經(jīng)形態(tài)(Neuromorphic)的概念,利用大規(guī)模集成電路來模擬生物神經(jīng)系統(tǒng),1991 年第一款硅視網(wǎng)膜的誕生,其模擬了視網(wǎng)膜上一些細(xì)胞的生物功能,1993 年 提出了一種新型的集成電路通信協(xié)議,名叫地址事件協(xié)議(Address-Event Representation, AER ), 實(shí)現(xiàn)了事件的異步讀出。2003 年有團(tuán)隊(duì)設(shè)計(jì)了一種 AER方式的積分發(fā)放的脈沖模型,將像素光強(qiáng)編碼為頻率或脈沖間隔, 稱為章魚視網(wǎng)膜( Octopus Retina)。
2005 年研制出動(dòng)態(tài)視覺傳感器(Dynamic Vision Sensor, DVS),以時(shí)空異步稀疏的事件(Event)表示像素光強(qiáng)變化,2008年提出了一種基于異步視覺的圖像傳感器(Asynchronous Time-based Image Sensor, ATIS),引入了基于事件觸發(fā)的光強(qiáng)測(cè)量電路來重構(gòu)變化處的像素灰度。
2013年開發(fā)了動(dòng)態(tài)有源像素視覺傳感器 ( Dynamic and Active Pixel Vision Sensor, DAVIS),這是一種雙模的技術(shù)路線,增加額外獨(dú)立的傳統(tǒng)圖像采樣電路彌補(bǔ) DVS 紋理成像的缺陷,隨后在2017年又將其擴(kuò)展為彩色。
2016年采用了增加事件的位寬,讓事件攜帶像素光強(qiáng)信息輸出以恢復(fù)場(chǎng)景紋理。2018年有團(tuán)隊(duì)采用了章魚視網(wǎng)膜的光強(qiáng)積分發(fā)放采樣原理,用脈沖平面?zhèn)鬏斕鎿Q AER 方式以節(jié)約傳輸帶寬,驗(yàn)證了積分型采樣原理可高速重構(gòu)場(chǎng)景紋理細(xì)節(jié),也稱 Vidar。
03
DVS的工作原理
發(fā)明DVS/EVS的靈感來源于對(duì)人眼視網(wǎng)膜細(xì)胞的解讀。
如下圖所示,簡(jiǎn)而言之,人眼視網(wǎng)膜主要由三層細(xì)胞構(gòu)成:感光細(xì)胞層主要負(fù)責(zé)感光/色。而雙極細(xì)胞則負(fù)責(zé)感光細(xì)胞的控制和"選擇性"讀取。輸出的信號(hào)沒什么特別的地方,和我們熟知的CIS系統(tǒng)沒有區(qū)別,但是CIS研發(fā)人員從這個(gè)“選擇性"讀取開始做文章,發(fā)現(xiàn)了有些不一樣的東西。由于視網(wǎng)膜上的細(xì)胞間信號(hào)是以"放電”的方式(具體細(xì)節(jié)請(qǐng)參考神經(jīng)學(xué)等醫(yī)學(xué)書籍對(duì)神經(jīng)元信號(hào)傳遞方式的描述)進(jìn)行傳輸,因此與傳統(tǒng)CIS的4-APS像素不同,人眼視網(wǎng)膜玩的是電流,而非電壓。
受此啟發(fā),CIS研發(fā)人員對(duì)視網(wǎng)膜細(xì)胞間工作原理做了個(gè)等效的電路對(duì)應(yīng)。感光細(xì)胞對(duì)應(yīng)的是以電流作為感應(yīng)輸出的Log像素電路。雙極細(xì)胞則為一個(gè)積分放大器對(duì)像素輸出的信號(hào)“極化"。之后神經(jīng)元細(xì)胞對(duì)應(yīng)的決斷電路對(duì)"極化”后信號(hào)進(jìn)行“二進(jìn)制"化,其決斷電路簡(jiǎn)單來說就是1bit的ADC。
整個(gè)鏈路工作效果如下圖簡(jiǎn)述:當(dāng)光線被PPD感應(yīng)后,偏置的PPD產(chǎn)生電流。電流的大小隨著光的強(qiáng)度變化而變化。值得一說的是,這個(gè)變化可不是線性變化,而是由電路設(shè)計(jì)呈Log函數(shù)曲線變化。光強(qiáng)變化越大,電流的增長(zhǎng)量反而越小。因此鏈路中后面的一堆電路主要干的事情就是對(duì)電流變化跨過特定的閾值來進(jìn)行決斷。在電流上升時(shí),跨過某個(gè)閾值則決斷輸出+1信號(hào)。在電流下降時(shí),則決斷輸出-1信號(hào)。閾值的單位大小可以調(diào)整,且跨過閾值這個(gè)動(dòng)作叫做"事件"(Event)。簡(jiǎn)單來說,就是感應(yīng)電流變化大小。電流值每跨過一個(gè)單位閾值則決斷輸出一個(gè)事件信號(hào),電流變化越大,則輸出的事件信號(hào)就越多。通過等效電路轉(zhuǎn)換等一連串操作,一個(gè)新的對(duì)光強(qiáng)變化進(jìn)行感應(yīng)的仿生CIS系統(tǒng)誕生,起名為DVS/EVS。
既然這種Sensor是對(duì)光強(qiáng)變化進(jìn)行感應(yīng),那如果沒有光強(qiáng)變化或者光強(qiáng)變化很弱的話會(huì)怎么樣呢?答案很簡(jiǎn)單,就是啥也不輸出。沒有光強(qiáng)變化或者變化太弱了,DVS/EVS就成了瞎子。
04
應(yīng)用
事件相機(jī)可應(yīng)用于特征跟蹤、SLAM、捕獵機(jī)器人,包括物聯(lián)網(wǎng)(超低功耗監(jiān)控和智慧城市)、自動(dòng)駕駛(車輛測(cè)距、SLAM和乘員監(jiān)控)、機(jī)器人技術(shù)(場(chǎng)景理解與定位)、工業(yè)視覺(過程監(jiān)控和基礎(chǔ)設(shè)施檢測(cè))等。
事件相機(jī)在自動(dòng)駕駛領(lǐng)域的應(yīng)用
事件相機(jī)具備極快的響應(yīng)速度、減少無效信息、降低算力和功耗、高動(dòng)態(tài)范圍等優(yōu)勢(shì),可以幫助自動(dòng)駕駛車輛降低信息處理的復(fù)雜度、提高車輛的行駛安全,并能夠在極亮或者極暗環(huán)境下正常工作。
適合落地的場(chǎng)景:
第一,城區(qū)場(chǎng)景中的鬼探頭。傳統(tǒng)幀相機(jī)在面對(duì)橫向的鬼探頭場(chǎng)景時(shí),無法快速做出反應(yīng),而事件相機(jī)可以更快的感知到危險(xiǎn)信號(hào)。
第二,高速場(chǎng)景下的避障。比如車輛在高速路上快速行駛時(shí),遇到前方路面有一個(gè)輪胎,幀相機(jī)不能及時(shí)做出反應(yīng),而事件相機(jī)可以依靠它的低時(shí)延性優(yōu)勢(shì),快速識(shí)別出前方的輪胎,并及時(shí)做出避障動(dòng)作。
第三,光線過亮或者過暗的場(chǎng)景。比如在深夜的環(huán)境下,幀相機(jī)由于周圍極暗的光線而無法識(shí)別周圍事物,而事件相機(jī)依然可以有效的識(shí)別周圍事物。
第四,光強(qiáng)突變較為明顯的場(chǎng)景。比如車輛從隧道出來后,面對(duì)高曝光的場(chǎng)景,幀相機(jī)會(huì)受到高爆光的影響,從而產(chǎn)生失效的工況,而事件相機(jī)不會(huì)受到影響。
不適合落地的場(chǎng)景:
主要是在城區(qū)場(chǎng)景的某些工況下,比如車輛前方有無數(shù)行人在穿插過馬路。再或者一些惡劣天氣環(huán)境下,比如大雨、大雪、沙塵等。
以上兩種場(chǎng)景下,前方的目標(biāo)物都存在數(shù)量多且無規(guī)律運(yùn)動(dòng)的特點(diǎn),這會(huì)對(duì)事件相機(jī)產(chǎn)生很多無效的噪點(diǎn)。
05
挑戰(zhàn)
技術(shù)層面
1)無法識(shí)別具體目標(biāo)物:幀相機(jī)輸出的是幀圖像,并且已擁有了成熟的應(yīng)用和標(biāo)定數(shù)據(jù)庫(kù);而事件相機(jī)只能給出比較原始的數(shù)據(jù)信息,比如目標(biāo)物的外部輪廓,并且也沒有一個(gè)自己獨(dú)立的數(shù)據(jù)庫(kù)來匹配這些輪廓信息。若想要得到更深層次的信息,仍需要幀相機(jī)作為輔助,比如先從事件相機(jī)識(shí)別出前方雪糕筒的形狀,而后在經(jīng)過神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練后,發(fā)現(xiàn)該形狀與之前的雪糕筒相似,從而判斷出前方物體具體是什么。
2)缺少合適的芯片和算法:當(dāng)前事件相機(jī)使用的是原來幀相機(jī)的一整套架構(gòu)體系(比如所使用的芯片類型、算法模型等),但基于幀圖像的架構(gòu)并不能完全處理好事件流,而現(xiàn)有的大部分事件相機(jī)產(chǎn)品只是做了簡(jiǎn)單的架構(gòu)平移。但兩者的工作原理完全不同,若只是簡(jiǎn)單的架構(gòu)平移,就如同將一臺(tái)普通的轎車引擎裝在一輛超跑上。
工程層面
1)閾值設(shè)定難度高:閾值是衡量事件輸出的標(biāo)準(zhǔn),當(dāng)目標(biāo)物的光強(qiáng)變化量(亮度由低到高或者由高到低)超過預(yù)設(shè)的閾值就會(huì)產(chǎn)生事件。其基本的原理是:通過調(diào)整閾值可以改變相機(jī)對(duì)噪點(diǎn)的敏感度,當(dāng)閾值越大時(shí),相機(jī)對(duì)噪點(diǎn)越不敏感,能捕捉到的事件也會(huì)越少;當(dāng)閾值越小時(shí),能捕捉到的事件也會(huì)越多。在自動(dòng)駕駛領(lǐng)域,具體如何設(shè)定閾值也是一個(gè)難題:一方面,車在行駛過程中,與周圍的事物始終保持著相對(duì)運(yùn)動(dòng),隨著物體表面光強(qiáng)亮度的變化就會(huì)一直有事件產(chǎn)生,此時(shí)閾值應(yīng)該越大,從而減少噪點(diǎn);另一方面,事件數(shù)據(jù)的特點(diǎn)是具有稀疏性(比如一個(gè)靜止的物體,事件相機(jī)只會(huì)在t0時(shí)刻產(chǎn)生事件,之后就不會(huì)有新的事件產(chǎn)生),從冗余安全的角度來看,為了降低數(shù)據(jù)過少的風(fēng)險(xiǎn),閾值應(yīng)該越小
2)數(shù)據(jù)處理效率低:幀相機(jī)處理數(shù)據(jù)的原理,是在等整張圖像處理完了后才能做出決策;而事件相機(jī)的數(shù)據(jù)處理原理是出現(xiàn)一個(gè)事件就處理掉一個(gè)事件,然后快速地做出決策。但當(dāng)前的商業(yè)應(yīng)用中,市場(chǎng)上還沒有針對(duì)事件數(shù)據(jù)處理的成熟方法,所以已有的事件相機(jī)產(chǎn)品都是采用幀相機(jī)的數(shù)據(jù)處理方式來處理事件數(shù)據(jù)。舉例來說,若一個(gè)事件相機(jī)在60秒內(nèi),只有在第60秒才產(chǎn)生一個(gè)事件。此時(shí),我們按照30幀的幀率去處理事件數(shù)據(jù),就需要將60秒的數(shù)據(jù)切割成每30秒一組數(shù)據(jù),然后在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法模型下進(jìn)行運(yùn)算,可以發(fā)現(xiàn),前一組30秒數(shù)據(jù)并沒有事件產(chǎn)生,但在傳統(tǒng)網(wǎng)絡(luò)模型下前一組數(shù)據(jù)也必須要進(jìn)行運(yùn)算,這就違背了事件相機(jī)的處理數(shù)據(jù)原理,讓其喪失了低時(shí)延的優(yōu)勢(shì)。
3)與其他傳感器融合的挑戰(zhàn):由于事件相機(jī)無法單獨(dú)提供深層次的數(shù)據(jù),比如測(cè)距、測(cè)速、表面具體顏色等,只能獲取到物體的輪廓,所以單純地使用一個(gè)事件相機(jī)是無法給到自動(dòng)駕駛車輛足夠的冗余安全,與其他傳感器的融合才是更好的感知方案。在與其它傳感器融合時(shí),需要把事件流與其它傳感器的信號(hào)進(jìn)行同步匹配。以事件相機(jī)與激光雷達(dá)的融合為例,事件相機(jī)與激光雷達(dá)都有幀的概念,激光雷達(dá)也是以某一恒定幀率發(fā)射點(diǎn)云。若想要把這兩個(gè)傳感器同步起來,就需要做到兩個(gè)方面:一方面,時(shí)間戳的一一對(duì)應(yīng);另一方面,需要在做好標(biāo)定的基礎(chǔ)上,將事件相機(jī)的像素點(diǎn)云映射到激光雷達(dá)的點(diǎn)云上。
商業(yè)層面
1)應(yīng)用場(chǎng)景仍較少:在現(xiàn)有相機(jī)體系越來越成熟的趨勢(shì)下,當(dāng)前事件相機(jī)能給自動(dòng)駕駛能帶來的增量?jī)r(jià)值過小,并且它只能通過與其它傳感器融合使用才能發(fā)揮更大的價(jià)值,但作為新型傳感器在進(jìn)入市場(chǎng)前,事件相機(jī)需要經(jīng)歷漫長(zhǎng)的場(chǎng)景功能開發(fā),從而慢慢挖掘出一些它的潛在價(jià)值。
2)供應(yīng)鏈體系不成熟:供應(yīng)鏈體系不成熟。事件相機(jī)處在早期發(fā)展階段,產(chǎn)品的標(biāo)準(zhǔn)化程度較低,在推廣過程中不得不提供一整套解決方案,導(dǎo)致產(chǎn)品的成本較高。以事件相機(jī)的算法開發(fā)供應(yīng)商為例,某自動(dòng)駕駛公司傳感器專家提到,現(xiàn)有的事件相機(jī)相關(guān)的算法開發(fā)商,主要是以demo為主,沒有針對(duì)特定場(chǎng)景去做配套算法的開發(fā)。
06
展望
因?yàn)檎业囊恍┰敿?xì)講事件相機(jī)的文獻(xiàn)、資料大多數(shù)是兩三年前的了,所以隨著時(shí)間推移,人們對(duì)于它的探索和發(fā)展也有了進(jìn)一步提升。
在時(shí)間域上取值是連續(xù)的,但在值域的取值是離散的,這一點(diǎn)也有別于常見的數(shù)字信號(hào)。這樣的數(shù)據(jù)在處理時(shí)已經(jīng)完全不能用傳統(tǒng)RGB相機(jī)的方法處理了。但是它仍然能夠完成傳統(tǒng)相機(jī)所能完成的任務(wù),如光流估計(jì)、特征提取、三維重建、模式識(shí)別、SLAM等。
未來一定是將兩種相機(jī)各取其長(zhǎng),發(fā)揮最大價(jià)值。
審核編輯:彭菁
-
圖像傳感器
+關(guān)注
關(guān)注
68文章
2008瀏覽量
131649 -
感光器
+關(guān)注
關(guān)注
0文章
6瀏覽量
7763 -
視覺傳感器
+關(guān)注
關(guān)注
3文章
270瀏覽量
23592
原文標(biāo)題:事件相機(jī)綜述
文章出處:【微信號(hào):vision263com,微信公眾號(hào):新機(jī)器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄

賽普拉斯具有13.2Gbps數(shù)據(jù)吞吐能力的CMOS圖像傳感器
賽普拉斯面向機(jī)器視覺市場(chǎng)的高靈敏度高速CMOS圖像傳感器
視覺傳感器的工作原理、應(yīng)用和選型
視覺傳感器的工作原理、應(yīng)用和選型
全幀讀出型面陣CCD光電傳感器在圖像采集中的應(yīng)用
視覺傳感器原理
數(shù)字傳感器輸出信號(hào)_數(shù)字傳感器輸出方式

視覺傳感器在智能網(wǎng)聯(lián)汽車中應(yīng)用 如何選擇視覺傳感器
視覺傳感器的工作原理、應(yīng)用和如何選擇
Interline CCD 圖像傳感器的大信號(hào)輸出優(yōu)化

如何選擇機(jī)器視覺傳感器

評(píng)論