這篇題為《EV-Gait: Event-based Robust Gait Recognition using Dynamic Vision Sensors》的論文發(fā)表于計(jì)算機(jī)視覺(jué)領(lǐng)域的頂級(jí)會(huì)議CVPR 2019。
論文作者來(lái)自哈爾濱工程大學(xué)、Data61 CSIRO、華威大學(xué)和復(fù)旦大學(xué)等多所知名研究機(jī)構(gòu)，展示了學(xué)術(shù)界對(duì)事件相機(jī)應(yīng)用潛力的共同關(guān)注。

論文核心內(nèi)容

這項(xiàng)研究首次系統(tǒng)性地探索了使用動(dòng)態(tài)視覺(jué)傳感器（事件相機(jī)）進(jìn)行步態(tài)識(shí)別的技術(shù)路徑。與傳統(tǒng)RGB方案相比，基于事件相機(jī)的步態(tài)識(shí)別旨在從根本上解決三大瓶頸：難以持續(xù)低功耗工作、存在運(yùn)動(dòng)模糊、以及對(duì)光照條件過(guò)于敏感。

論文提出的EV-Gait系統(tǒng)包含兩項(xiàng)核心技術(shù)突破：

1. 運(yùn)動(dòng)一致性噪聲濾除

針對(duì)事件相機(jī)數(shù)據(jù)噪聲大的問(wèn)題，其核心在于利用真實(shí)運(yùn)動(dòng)事件的時(shí)空連續(xù)性，設(shè)計(jì)了基于光流的濾波算法，能在熒光燈頻閃等復(fù)雜光照下有效分離人體運(yùn)動(dòng)事件與背景噪聲。

2. 事件流四通道編碼

為解決異步事件流與標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)不兼容的問(wèn)題，將事件流轉(zhuǎn)換為四通道"事件圖像"：

• ? 通道1-2：像素點(diǎn)正/負(fù)事件累積數(shù)（空間特征）
• ? 通道3-4：像素點(diǎn)最后事件的相對(duì)時(shí)間戳（時(shí)序特征）

該編碼方法本質(zhì)上是為異步事件流構(gòu)建了一個(gè)兼具空間分布與時(shí)間秩序的靜態(tài)表示，從而橋接了事件數(shù)據(jù)與成熟圖像網(wǎng)絡(luò)架構(gòu)，在實(shí)驗(yàn)中實(shí)現(xiàn)了96%的識(shí)別準(zhǔn)確率。

研究意義與驗(yàn)證成果

這項(xiàng)研究具有三個(gè)層面的重要意義：

• ?技術(shù)驗(yàn)證層面：首次證明了事件相機(jī)在生物特征識(shí)別領(lǐng)域的可行性，為低功耗、高動(dòng)態(tài)視覺(jué)系統(tǒng)開(kāi)辟了新方向。
• ?性能表現(xiàn)層面：在自建的DVS128-Gait數(shù)據(jù)集上達(dá)到96%的識(shí)別準(zhǔn)確率；在轉(zhuǎn)換后的EV-CASIA-B數(shù)據(jù)集上，尤其在側(cè)面視角下，識(shí)別性能甚至超越了同期基于RGB的先進(jìn)方法。這是因?yàn)槭录?shù)據(jù)專(zhuān)注于純粹的運(yùn)動(dòng)模式，不受衣物紋理等無(wú)關(guān)視覺(jué)信息的干擾。
• ?應(yīng)用啟示層面：研究特別驗(yàn)證了算法在不穩(wěn)定熒光燈照明環(huán)境下的魯棒性，這直接解決了安防監(jiān)控場(chǎng)景中的常見(jiàn)痛點(diǎn)。

從學(xué)術(shù)到產(chǎn)業(yè)：技術(shù)演進(jìn)與實(shí)踐價(jià)值

然而，上述突破性研究，是基于iniVation DVS128這類(lèi)僅能輸出事件流的純事件相機(jī)，在受控的實(shí)驗(yàn)環(huán)境下完成的。它驗(yàn)證了原理的可行性，但走向現(xiàn)實(shí)應(yīng)用，仍需克服工程化與場(chǎng)景適配的挑戰(zhàn)。

今天，"靈光一號(hào)"EVS+RGB融合事件相機(jī)的出現(xiàn)，標(biāo)志著這一技術(shù)從實(shí)驗(yàn)室走向產(chǎn)業(yè)的關(guān)鍵躍遷。

其核心在于靈光一號(hào)基于銳思智芯芯片，實(shí)現(xiàn)了"RGB圖像"與"事件流"在硬件與算法層面的深度融合。這并非簡(jiǎn)單的功能疊加，而是將事件流在微秒級(jí)響應(yīng)、超高動(dòng)態(tài)范圍方面的極限動(dòng)態(tài)感知能力，與RGB圖像的豐富語(yǔ)義信息進(jìn)行有機(jī)協(xié)同。

基于此架構(gòu)，靈光一號(hào)能夠構(gòu)建一種自適應(yīng)的智能感知范式：在靜態(tài)或光照理想時(shí)，依賴(lài)高清RGB畫(huà)面進(jìn)行精細(xì)分析；一旦偵測(cè)到高速運(yùn)動(dòng)、逆光或瞬間光照劇變，則瞬間無(wú)縫地賦予事件流更高的分析權(quán)重，從而確保在極端條件下感知的連續(xù)性與可靠性。

這使其得以從一項(xiàng)前沿驗(yàn)證，演進(jìn)為可直接賦能于智能安防、工業(yè)檢測(cè)、高級(jí)輔助駕駛等對(duì)魯棒性有極致要求的場(chǎng)景的成熟方案，完成了從學(xué)術(shù)潛力到產(chǎn)業(yè)價(jià)值的堅(jiān)實(shí)跨越。

申明

本文基于CVPR 2019發(fā)表的研究《EV-Gait: Event-based Robust Gait Recognition using Dynamic Vision Sensors》進(jìn)行技術(shù)解讀與應(yīng)用分析，論文成果歸原作者所有。本文內(nèi)容僅從工程與產(chǎn)業(yè)視角探討事件相機(jī)（EVS）步態(tài)識(shí)別技術(shù)的發(fā)展趨勢(shì)及潛在應(yīng)用價(jià)值，不代表任何官方立場(chǎng)。

原論文下載

鏈接: https://pan.baidu.com/s/14A-qOBzdF49TSoBkY-xIDg
提取碼: fk9q