主要內(nèi)容：

文章主要強(qiáng)調(diào)隱私保護(hù)下的視覺(jué)定位，這是近年來(lái)被很多研究者重視的一個(gè)研究方向，即在不傷害用戶(hù)隱私的情況下進(jìn)行算法的研究。

文章以此提出了一種使用事件攝像機(jī)的魯棒、隱私保護(hù)的視覺(jué)定位算法，事件相機(jī)由于其高動(dòng)態(tài)范圍和小的運(yùn)動(dòng)模糊比傳統(tǒng)相機(jī)有一定的優(yōu)勢(shì)，但是缺點(diǎn)在于事件相機(jī)存在很大的域間隙，難以直接應(yīng)用傳統(tǒng)的基于圖像的定位算法，針對(duì)存在的問(wèn)題，文章提出了一種策略，即在定位之前，把事件相機(jī)捕獲的數(shù)據(jù)轉(zhuǎn)換為傳統(tǒng)圖像形式，從隱私角度來(lái)看與普通攝像機(jī)相比，事件攝像機(jī)只捕捉到一小部分視覺(jué)信息，因此可以自然隱藏敏感的視覺(jué)細(xì)節(jié)，為了進(jìn)一步加強(qiáng)隱私保護(hù)，還在兩個(gè)級(jí)別上引入了隱私保護(hù)，即傳感器和網(wǎng)絡(luò)級(jí)別，傳感器級(jí)保護(hù)旨在通過(guò)輕量級(jí)過(guò)濾來(lái)隱藏面部細(xì)節(jié)，而網(wǎng)絡(luò)級(jí)保護(hù)則使用神經(jīng)網(wǎng)絡(luò)來(lái)隱藏私人場(chǎng)景應(yīng)用中的整個(gè)用戶(hù)視圖，這兩種級(jí)別的保護(hù)都涉及輕量計(jì)算，只會(huì)導(dǎo)致少量性能損失。

什么是事件相機(jī)？

我們大多數(shù)人對(duì)傳統(tǒng)相機(jī)以及其拍攝的RGB圖像很熟悉，但是對(duì)于事件相機(jī)應(yīng)該是很少使用了解的。

早期的圖像處理（其實(shí)現(xiàn)在更多也是）都是基于傳統(tǒng)相機(jī)來(lái)做的，然而傳統(tǒng)相機(jī)在應(yīng)用中有兩個(gè)很明顯的問(wèn)題，如下圖，一個(gè)是運(yùn)動(dòng)模糊（當(dāng)場(chǎng)景中的運(yùn)動(dòng)速度超過(guò)相機(jī)的采樣速率之后就會(huì)產(chǎn)生運(yùn)動(dòng)模糊），雖然可以通過(guò)算法彌補(bǔ)運(yùn)動(dòng)模糊，但是計(jì)算開(kāi)銷(xiāo)很大，不滿(mǎn)足實(shí)時(shí)需求；另一個(gè)問(wèn)題是由于光線的問(wèn)題造成曝光不足或者過(guò)曝的動(dòng)態(tài)范圍問(wèn)題，強(qiáng)烈的陽(yáng)光可能會(huì)使傳統(tǒng)相機(jī)無(wú)法看清視野物體。

Event camera則從傳感器層面解決傳統(tǒng)相機(jī)的缺點(diǎn)，同傳統(tǒng)相機(jī)不同，事件相機(jī)只觀測(cè)場(chǎng)景中的“運(yùn)動(dòng)”，確切地說(shuō)是觀察場(chǎng)景中的“亮度的變化”，它只會(huì)在有亮度變化時(shí)輸出對(duì)應(yīng)pixel的亮度變化（1或0），具有響應(yīng)快、動(dòng)態(tài)范圍寬、無(wú)運(yùn)動(dòng)模糊等優(yōu)勢(shì)。

對(duì)于傳統(tǒng)的相機(jī)，從某種程度上是捕獲一個(gè)靜態(tài)/靜止的空間，而Event Camera的目的是捕捉運(yùn)動(dòng)的物體。對(duì)于單個(gè)像素點(diǎn)，Event Camera只有接收的光強(qiáng)產(chǎn)生變化時(shí)，該像素點(diǎn)才會(huì)輸出。比如亮度增加并超過(guò)的一個(gè)閾值，那么對(duì)應(yīng)像素點(diǎn)將輸出一個(gè)亮度增加的事件。Event Camera沒(méi)有幀的概念，當(dāng)場(chǎng)景變化時(shí)，就產(chǎn)生一系列的像素級(jí)（pixel-level）的輸出。事件相機(jī)的每個(gè)像素點(diǎn)是獨(dú)立異步工作的，所以動(dòng)態(tài)范圍很大?？偨Y(jié)就是，傳統(tǒng)相機(jī)以固定的幀率對(duì)場(chǎng)景進(jìn)行全幀拍攝，所有像素同步工作。事件相機(jī)是每個(gè)像素獨(dú)立異步工作，采樣率高且僅對(duì)亮度變化（event）進(jìn)行輸出，一個(gè)事件（event，亮度變化）包括發(fā)生的時(shí)刻、發(fā)生的像素坐標(biāo)和事件發(fā)生的極性。所謂事件發(fā)生的極性表示的是亮度相比于前一次采樣是增加還是減少。

Contributions：

（1）使用事件攝像機(jī)在具有挑戰(zhàn)性的條件下進(jìn)行魯棒定位

（2）傳感器級(jí)隱私保護(hù)以緩解觀察到的人的擔(dān)憂

（3）網(wǎng)絡(luò)級(jí)隱私保護(hù)以減輕用戶(hù)的擔(dān)憂

為什么要在隱私保護(hù)下進(jìn)行算法研究？

如圖1所示，定位應(yīng)用的使用者可能會(huì)擔(dān)心和提供商共享同樣的視圖，畢竟這在具有有限計(jì)算量的邊緣設(shè)備，比如手機(jī)、AR眼鏡等中是不可避免的，而且被觀察的人也會(huì)出現(xiàn)擔(dān)憂，被別人不知不覺(jué)就拍攝了照片。所以隱私保護(hù)下的視覺(jué)算法研究近年來(lái)被越來(lái)越多的研究者所關(guān)注研究。

Pipeline：

給定事件相機(jī)記錄的事件流，算法輸出在3D地圖中找到的查詢(xún)事件相機(jī)的6自由度姿態(tài)，如圖1所示。

定位過(guò)程中的隱私保護(hù)：

提出了兩個(gè)級(jí)別的隱私保護(hù)以防止信息共享過(guò)程中可能發(fā)生的違規(guī)行為。

（1）傳感器級(jí)隱私保護(hù)，其專(zhuān)注于隱藏面部細(xì)節(jié)。

（2）網(wǎng)絡(luò)級(jí)隱私保護(hù)，目標(biāo)是在私人場(chǎng)景中進(jìn)行定位，其用戶(hù)可能希望完全隱藏他們正在查看的內(nèi)容

傳感器級(jí)隱私保護(hù)：

傳感器級(jí)隱私保護(hù)在一致或彎曲的區(qū)域暫時(shí)移除，并將結(jié)果與原始體素混合，這種低級(jí)操作保留了靜態(tài)結(jié)構(gòu)，同時(shí)模糊了動(dòng)態(tài)或面部信息，通過(guò)沿時(shí)間軸的中值濾波來(lái)過(guò)濾時(shí)間上不一致的區(qū)域，如圖2a所示。

對(duì)于累積量不足的體素網(wǎng)格區(qū)域，由于信噪比較低，濾波過(guò)程可能會(huì)產(chǎn)生偽影。因此使用圖2b所示的二進(jìn)制閾值將過(guò)濾后的體素與原始事件體素混合。

網(wǎng)絡(luò)級(jí)別隱私保護(hù)：

網(wǎng)絡(luò)級(jí)隱私保護(hù)將用戶(hù)的視圖完全隱藏在私有空間中，不讓服務(wù)提供商看到，同時(shí)節(jié)省了用戶(hù)端的計(jì)算。在服務(wù)提供商和用戶(hù)之間分割事件到圖像的轉(zhuǎn)換過(guò)程，其中推斷是使用私人重新訓(xùn)練的重建網(wǎng)絡(luò)完成的

但是考慮到服務(wù)提供商可能會(huì)攻擊，如圖3b所示，有三種可能的攻擊：交換層推斷、通用網(wǎng)絡(luò)重新訓(xùn)練和目標(biāo)網(wǎng)絡(luò)重新訓(xùn)練。首先，在交換層推斷中，采用的中間推斷結(jié)果，并使用原始網(wǎng)絡(luò)參數(shù)Θ運(yùn)行其余的重建。另外兩種攻擊涉及使用服務(wù)提供商可能可用的大量事件數(shù)據(jù)重新訓(xùn)練一組新的網(wǎng)絡(luò)。通用網(wǎng)絡(luò)再訓(xùn)練使用與私人訓(xùn)練相同的訓(xùn)練目標(biāo)訓(xùn)練隨機(jī)初始化的神經(jīng)網(wǎng)絡(luò)。目標(biāo)網(wǎng)絡(luò)重新訓(xùn)練類(lèi)似地使用相同的目標(biāo)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，但使用的共享參數(shù)值初始化網(wǎng)絡(luò)的中間部分。使用重新訓(xùn)練的網(wǎng)絡(luò)，服務(wù)提供商可以嘗試交換層推斷，如圖3b所示。

實(shí)驗(yàn)：

數(shù)據(jù)集，使用三個(gè)數(shù)據(jù)集進(jìn)行評(píng)估，DA VIS240C、EvRooms和EvHumans。

DA VIS240C包括使用DA VIS攝像機(jī)拍攝的場(chǎng)景，該攝像機(jī)同時(shí)輸出事件和幀。

EvRooms是文章提出的一個(gè)新數(shù)據(jù)集，用于評(píng)估基于事件的定位算法在具有挑戰(zhàn)性的外部條件下的魯棒性。數(shù)據(jù)集在20個(gè)場(chǎng)景中被捕獲，并分成包含快速相機(jī)運(yùn)動(dòng)（EvRoomsF）和低光照（EvRoomsL）的記錄。

EvHumans是另一個(gè)提出的新數(shù)據(jù)集，用于評(píng)估移動(dòng)人群中的隱私保護(hù)定位。數(shù)據(jù)集由22名志愿者在12個(gè)場(chǎng)景中移動(dòng)而成。這兩個(gè)數(shù)據(jù)集都是使用DA VIS346相機(jī)拍攝的。

比較的算法：

和直接的定位方法PoseNet，SP-LSTM以及以各種事件表示為輸入的基于結(jié)構(gòu)的方法

在隱私保護(hù)方面的效果：

總結(jié)：

提出了一種魯棒的基于事件的定位算法，可以同時(shí)保護(hù)用戶(hù)隱私。利用事件到圖像的轉(zhuǎn)換來(lái)適應(yīng)事件攝像機(jī)上基于結(jié)構(gòu)的定位。為了在轉(zhuǎn)換過(guò)程中保護(hù)隱私，提出了傳感器和網(wǎng)絡(luò)級(jí)別的保護(hù)。傳感器級(jí)保護(hù)的目標(biāo)是隱藏面部標(biāo)志，而網(wǎng)絡(luò)級(jí)保護(hù)的目的是在私人場(chǎng)景中為用戶(hù)隱藏整個(gè)視圖。

審核編輯 ：李倩