電子發(fā)燒友網(wǎng)報道（文/李彎彎）事件相機最早誕生于1990年，那時候，許多研究人員探討動物感知環(huán)境的方式，發(fā)現(xiàn)對變化更為敏感，所以設(shè)計出了實驗室用的事件相機。2008年，誕生了第一款商用的事件相機。如今國內(nèi)外都有企業(yè)和機構(gòu)進行事件相機的研究。

事件相機的工作原理和優(yōu)勢

傳統(tǒng)相機，無論是CMOS傳感器，還是CCD傳感器，亦或是RGBD相機，都有一個參數(shù)：幀率。它們是以恒定的頻率拍攝獲取圖像。這樣，即使幀率能夠達到1KHz，那也具有1ms的延時。所以傳統(tǒng)相機存在一定的延遲問題。

此外，傳統(tǒng)相機需要通過一定時間的曝光，使感光器件積累一定的光子，那么在曝光時間之內(nèi)如果物體在高速運動，則會產(chǎn)生模糊，這也是傳統(tǒng)相機的一個問題。

另外，傳統(tǒng)相機的攻臺范圍較低，具體表現(xiàn)為在光線極差或者亮度極高時，相機獲取的信息有限。這些問題極大的限制了傳統(tǒng)相機在一些應(yīng)用場景中的應(yīng)用。

而事件相機則可以很好的解決這些問題。事件相機，也稱神經(jīng)形態(tài)像機，或動態(tài)視覺傳感器（DVS，Dynamic Vision Sensor)，是一種能夠響應(yīng)局部亮度變化的成像傳感器。

事件相機不像常規(guī)相機那樣使用快門捕獲圖像。相反，事件相機中的每個像素都獨立且異步地運行，并在發(fā)生亮度變化時輸出這些變化，否則保持沉默。

下圖可以非常形象的展示出事件相機和傳統(tǒng)相機在工作原理上的不同。左側(cè)：假設(shè)拍攝的是一個圓盤轉(zhuǎn)動（圓盤此時逆時針轉(zhuǎn)動一段時間然后停止）。右側(cè)：上面是傳統(tǒng)相機，圓盤停止時，標(biāo)準(zhǔn)相機輸出不間斷，然而這些信息其實不是我們關(guān)注信息。下面是事件相機，其輸出信息為亮度動態(tài)變化的位置，并且當(dāng)圖片無變化時即為no events，無輸出。

此前有業(yè)內(nèi)人士對電子發(fā)燒友表示，基于這樣的工作原理，事件相機有幾個典型的特點：一是它的動態(tài)范圍非常高，可以達到140dB；二是因為它只輸出有效信息，不輸出無效信息，它的數(shù)據(jù)量非常??；三是它的速度非常快，可以達到1/10000s，甚至更高。

因為這些特點，事件相機可適用于傳統(tǒng)相機難以解決的一些場景中。比如城區(qū)場景中的鬼探頭，傳統(tǒng)相機在面對橫向的鬼探頭場景時，無法快速做出反應(yīng)，而事件相機可以更快感知到危險信號；再比如高速場景下的避障，車輛在高速上快速行駛時，遇到前方路面有一個輪胎，傳統(tǒng)相機不能及時做出反應(yīng)，事件相機可以依靠低時延優(yōu)勢，快速識別并做出避障的動作。

事件相機的研究企業(yè)和應(yīng)用

目前，不少公司都在致力于事件相機的發(fā)展，包括iniVation、prophesee（普諾飛思）、索尼（收購Insightness）、芯侖光電（韋爾股份子公司）、銳思智芯（Alpsentek）等。

iniVation起源于瑞士，由基于事件視覺的發(fā)明者創(chuàng)立。該公司已經(jīng)推出多款產(chǎn)品，熱門型號包括：DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini、Stereo Kit等。

iniVation的動態(tài)視覺平臺可為諸多應(yīng)用和行業(yè)提供支持和解決方案，包括物聯(lián)網(wǎng)（超低功耗監(jiān)控和智慧城市）、自動駕駛（車輛測距、SLAM和乘員監(jiān)控）、機器人技術(shù)（場景理解與定位）、工業(yè)視覺（過程監(jiān)控和基礎(chǔ)設(shè)施檢測）等。

Prophesee于2014年成立于法國巴黎，專注于神經(jīng)擬態(tài)視覺傳感技術(shù)，目前基于事件的視覺技術(shù)推出多款傳感器。其研發(fā)的普諾飛思原視覺（Metavision）傳感器可應(yīng)用于手機、自動駕駛、工業(yè)自動化、物聯(lián)網(wǎng)、AR/VR、醫(yī)療設(shè)備等領(lǐng)域。

比如在智能駕駛領(lǐng)域，Xperi旗下子公司DTS基于普諾飛思原視覺（Metavision）傳感技術(shù)提供的事件數(shù)據(jù)，開發(fā)了基于神經(jīng)擬態(tài)視覺系統(tǒng)的駕駛員監(jiān)控解決方案（DMS），提供了更優(yōu)的微光性能，以及新的檢測功能，如眼跳或微表情檢測等。再比如，高級駕駛輔助軟件開發(fā)商Terranet AB與梅賽德斯-奔馳共同開發(fā)的VoxelFlow傳感器，采用了普諾飛思原視覺（Metavision）傳感器，可掃描車輛周圍半徑為40米的區(qū)域，反應(yīng)時間為3毫秒。

銳思智芯成立于2019年，擁有一支兼?zhèn)湫酒?a href="http://www.brongaenegriffin.com/v/tag/2562/" target="_blank">算法、軟件和硬件研發(fā)經(jīng)驗與能力的團隊，核心專家來自全球頂尖機構(gòu)。在高端視覺傳感器領(lǐng)域擁有超過16年的技術(shù)積累，在事件相機領(lǐng)域擁有超過8年的研究經(jīng)驗。

2021年10月，銳思智芯（Alpsentek）發(fā)布了首款融合仿生事件視覺傳感器芯片——ALPIX-Pilatus（簡稱 ALPIX-P）。專為機器感知設(shè)計的傳感器，可廣泛應(yīng)用于機器人、智能手機、無人駕駛、無人機、安防等場景。

ALPIX-P 采用銳思智芯自主研發(fā)的 Hybrid Vision融合式仿生事件視覺傳感技術(shù)，即將仿生事件視覺技術(shù)與傳統(tǒng)圖像傳感技術(shù)在像素級別進行融合。芯片可以在傳統(tǒng)圖像傳感器模式和仿生事件相機模式之間快速切換，實現(xiàn)事件相機與 CIS 相機功能 “二合一”。

在圖像模式下，ALPIX-P 是一款最高幀率為 120 幀的全局曝光傳感器，其圖像質(zhì)量與現(xiàn)有的商化的 CIS 輸出的圖像質(zhì)量一致，兼容現(xiàn)有成熟的視覺系統(tǒng)。在仿生事件相機模式下，ALPIX-P 具有超高幀率，高有效信息占比，大動態(tài)范圍的特點。

小結(jié)

事件相機的核心是神經(jīng)擬態(tài)，神經(jīng)擬態(tài)技術(shù)最早源于瑞士蘇黎世聯(lián)邦理工學(xué)院（ETH Zurich）。目前研究的企業(yè)主要有兩個方向，一是傳感器，即事件相機，就是文章提到的幾家公司；另一個是神經(jīng)擬態(tài)計算，主要是SoC芯片，如九天睿芯、時識科技。目前從兩個方向來看，神經(jīng)擬態(tài)在產(chǎn)品和應(yīng)用上都有不錯的進展。