【導(dǎo)語(yǔ)】繼圖像領(lǐng)域之后，現(xiàn)在的 CV 領(lǐng)域，大家都在研究哪些內(nèi)容？近日，F(xiàn)acebook AI 實(shí)驗(yàn)室的 Christoph Feichtenhofer、何愷明等人發(fā)表一篇論文，在視頻識(shí)別領(lǐng)域提出了一種 SlowFast 網(wǎng)絡(luò)，并且在沒有預(yù)訓(xùn)練模型情況下，此網(wǎng)絡(luò)在 Kinetics 數(shù)據(jù)集上取得79.0% 的準(zhǔn)確率，是當(dāng)前該數(shù)據(jù)集上的最佳表現(xiàn)。在 AVA 動(dòng)作檢測(cè)數(shù)據(jù)集上，同樣實(shí)現(xiàn)了 28.3 mAP 的最佳水準(zhǔn)。

到底 SlowFast 網(wǎng)絡(luò)是怎樣的設(shè)計(jì)、有什么特征、效果如何，下面就一起來(lái)看一下~

對(duì)于圖像識(shí)別任務(wù)，給定一張圖像 I（x, y），對(duì)稱地處理圖像的空間維度 x、y 是一種很常見的做法，而自然圖像的統(tǒng)計(jì)數(shù)據(jù)也證明了這種做法的合理性—自然圖像具有各向同性（即所有方向具有相同的可能性）和平移不變性。

然而，對(duì)于視頻信號(hào) I（x, y, t）而言，我們不能這樣對(duì)稱地處理時(shí)空信號(hào)。因?yàn)閯?dòng)作是方向的時(shí)空產(chǎn)物，但并非所有的時(shí)空方向都擁有相同的可能性。如果這樣，那么我們就不能像基于時(shí)空卷積（spatiotemporal convolutions）的視頻識(shí)別方法那樣，對(duì)稱地處理空間和時(shí)間信息。相反，我們需要分解這種結(jié)構(gòu)，并分開處理空間結(jié)構(gòu)和時(shí)間事件。

受此啟發(fā)，本研究提出了一種用于視頻識(shí)別的 SlowFast 雙路徑模型，一條路徑 slow pathway更關(guān)注空間域的語(yǔ)義信息，以低幀率，緩慢的刷新速度運(yùn)行，用于捕獲圖像或幾個(gè)稀疏幀提供的語(yǔ)義信息；而另一條路徑 fast pathway以高時(shí)間分辨率、快速刷新在所有中間層運(yùn)行，捕獲快速變化的動(dòng)作信息，輕量級(jí)，整體的計(jì)算開銷小。此外，這種快慢結(jié)合的雙路徑二者在結(jié)構(gòu)上通過側(cè)向連接（lateral connection）進(jìn)行融合，以不同的速率處理原始視頻。

圖1 SlowFast 網(wǎng)絡(luò)由低幀率、低時(shí)間分辨率的 Slow 路徑和高幀率、高時(shí)間分辨率 (是 Slow 路徑時(shí)間分辨率的 α 倍) 的 Fast 路徑構(gòu)成。使用減少通道容量輕量化 Fast 路徑，并通過側(cè)向連接的方式連接 Slow 路徑和 Fast 路徑。圖中該樣本來(lái)自 AVA 數(shù)據(jù)集。

SlowFast 模型

如上圖所示，SlowFast 網(wǎng)絡(luò)的整體結(jié)構(gòu)，包含 Slow pathway、Fast pathway 及其側(cè)向連接（lateral connection）部分。其中，Slow pathway 可以是任意的卷積模型，用于處理視頻的空間信息體量。為了與 Slow pathway 對(duì)應(yīng)，F(xiàn)ast pathway 也是卷積結(jié)構(gòu)的模型，但需要具有高幀率，高時(shí)間分辨率、低通道容量等特點(diǎn)。

為了將快慢兩條途徑的信息融合在一起，作者采用側(cè)向連接（lateral connection）的方式來(lái)實(shí)現(xiàn)。側(cè)向連接技術(shù)已被廣泛用于融合基于光流的雙流網(wǎng)絡(luò)，而在圖像目標(biāo)檢測(cè)任務(wù)中，橫向連接作為一種流行的融合的技術(shù)，能夠?qū)⒖臻g分辨率和語(yǔ)義水平特征融合在一起。在這里作者在快慢路徑之間引入一個(gè)橫向連接，即每個(gè)“階段”的兩條路徑（如上圖1所示）。具體而言，對(duì)于 ResNets 網(wǎng)絡(luò)，這些側(cè)向連接分別在 pool1，res2，res3 和 res4 層之后。而對(duì)于 slow-fast 網(wǎng)絡(luò)，由于兩條路徑存在差異，因此側(cè)向連接需要通過轉(zhuǎn)換過程以便匹配各自的路徑，即采用單向連接的方式來(lái)將 Fast 的特征融合到 Slow 路徑上。最后，在每條路徑的輸出后引入一個(gè)全局平均池化操作，并將兩個(gè)池化特征向量連接，作為全連接分類層的輸入。更多具體的信息可以查看論文中的詳細(xì)介紹。

值得一提的是，這種快慢結(jié)合方法是受到靈長(zhǎng)類視覺系統(tǒng)中視網(wǎng)膜神經(jīng)節(jié)細(xì)胞的生物學(xué)研究啟發(fā)的。生物學(xué)研究結(jié)果發(fā)現(xiàn)，在這些細(xì)胞中約 80% 是小細(xì)胞 P-cell，它能夠提供良好的空間細(xì)節(jié)和顏色，但時(shí)間分辨率較低；而另外有大約 15-20% 的細(xì)胞是大細(xì)胞 M-cell，它以較高的時(shí)間頻率工作，對(duì)時(shí)間變化更加敏感，但對(duì)空間細(xì)節(jié)和顏色不敏感。SlowFast 網(wǎng)絡(luò)的提出正是受此啟發(fā)，兩條路徑構(gòu)成，分別以低時(shí)間分辨率和高時(shí)間分辨率工作，對(duì)應(yīng)于 P-cell 和 M-cell 的作用。

SlowFast 是一種通用的網(wǎng)絡(luò)框架，可以進(jìn)行實(shí)例化，適配各種的主干網(wǎng)絡(luò)。在這里，作者所采用的 SlowFast 網(wǎng)絡(luò)參數(shù)如下圖2所示：

圖2 SlowFast 網(wǎng)絡(luò)的實(shí)例化。核維度表示為 {T×S^2 , C}，其中 T 表示時(shí)間分辨率，S 表示空間語(yǔ)義而 C 表示通道數(shù)。步長(zhǎng)表示為 {temporal stride, spatial stride^2}。此外，速度比率是α = 8，通道比率是 β = 1/8。τ = 16。圖中綠色表示 Fast 路徑較高的時(shí)間分辨率，橙色表示 Fast 路徑較少的通道數(shù)，下劃線表示非退化時(shí)間濾波器（non-degenerate temporal filter）。方括號(hào)內(nèi)表示的是殘差塊結(jié)構(gòu)。骨干網(wǎng)絡(luò)采用的是 ResNet-50。

實(shí)驗(yàn)

SlowFast 網(wǎng)絡(luò)在 Kinetics 和 AVA 數(shù)據(jù)集上具體表現(xiàn)如何？我們通過研究中的一些實(shí)驗(yàn)數(shù)據(jù)對(duì)比看一下各數(shù)據(jù)結(jié)果。

▌Kinetics 數(shù)據(jù)集的動(dòng)作分類

對(duì)于視頻動(dòng)作分類，作者采用 Kinetics-400 數(shù)據(jù)集，其中包含約 240k 個(gè)訓(xùn)練視頻數(shù)據(jù)和20k個(gè)驗(yàn)證數(shù)據(jù)，共涵蓋400種動(dòng)作類別。實(shí)驗(yàn)結(jié)果得到 Top1 和 Top5 的分類準(zhǔn)確性，單條 Slow 網(wǎng)絡(luò)與 SlowFast 網(wǎng)絡(luò)的性能對(duì)比，以及 SlowFast 網(wǎng)絡(luò)與 Kibetics-400 數(shù)據(jù)集上當(dāng)前最佳模型之間的性能對(duì)比，詳細(xì)結(jié)果如下圖3，圖4，圖5所示。

圖3 Kinetics-400 數(shù)據(jù)集動(dòng)作分類結(jié)果，包括 top-1 和 top-5 分類準(zhǔn)確度，以及計(jì)算復(fù)雜度 GFLOPs。

圖4 Kinetics-400 數(shù)據(jù)集上 Slow-only 網(wǎng)絡(luò)與 SlowFast 網(wǎng)絡(luò)的性能對(duì)比；top-1 訓(xùn)練誤差 (虛線表示) 和驗(yàn)證誤差 (實(shí)線表示)。

圖5 Kinetics-400 數(shù)據(jù)集上當(dāng)前最佳模型與 SlowFast 網(wǎng)絡(luò)的性能對(duì)比。

▌AVA 數(shù)據(jù)集的動(dòng)作檢測(cè)

對(duì)于視頻動(dòng)作檢測(cè)，作者采用 AVA 數(shù)據(jù)集，其中包含有 211k 個(gè)訓(xùn)練數(shù)據(jù)和 57k 個(gè)驗(yàn)證數(shù)據(jù)，共涵蓋 60 種動(dòng)作類別。實(shí)驗(yàn)結(jié)果得到 60 個(gè)類別的平均精度 mAP 值，SlowFast 網(wǎng)絡(luò)與 AVA 數(shù)據(jù)集上當(dāng)前最佳模型之間的性能對(duì)比，以及 AVA 數(shù)據(jù)集動(dòng)作檢測(cè)結(jié)果的可視化過程，詳細(xì)結(jié)果如下圖 6，圖 7，圖 8 所示。

圖6 AVA 數(shù)據(jù)集上每個(gè)類別的 AP：Slow-only 模型的 19.0 mAP vs. SlowFast 模型的 24.2 mAP。其中，黑色突出顯示的是絕對(duì)增長(zhǎng)最高的5個(gè)類別，而這里實(shí)例化的 SlowFast 網(wǎng)絡(luò)并不是最佳的模型。

圖7 AVA 數(shù)據(jù)集上最佳模型與 SlowFast 網(wǎng)絡(luò)的性能對(duì)比。其中，++ 表示在測(cè)試過程引入了諸如水平翻轉(zhuǎn)的圖像增強(qiáng)操作。

圖8 可視化 AVA 數(shù)據(jù)集的動(dòng)作檢測(cè)結(jié)果。其中真實(shí)的標(biāo)簽用紅色表示，而 SlowFast 模型在驗(yàn)證集上的預(yù)測(cè)結(jié)果用綠色表示。

總結(jié)

本文提出了一種用于視頻識(shí)別的 SlowFast 網(wǎng)絡(luò)。該模型由兩部分組成：以低幀率運(yùn)行以捕捉空間語(yǔ)義信息的 Slow pathway；以高幀率運(yùn)行捕捉較好時(shí)序分辨率的運(yùn)動(dòng)信息的 Fast pathway。通過減少通道容量，所設(shè)計(jì)的 Fast pathway 是個(gè)非常輕量級(jí)的、同時(shí)又能夠?qū)W(xué)習(xí)到有用的時(shí)間信息用于視頻識(shí)別的網(wǎng)絡(luò)。

SlowFast 網(wǎng)絡(luò)在視頻動(dòng)作分類及檢測(cè)任務(wù)上展現(xiàn)了強(qiáng)大的性能，同時(shí)這種快慢結(jié)合思想的提出也為視頻目標(biāo)識(shí)別和檢測(cè)領(lǐng)域做出了重要貢獻(xiàn)。實(shí)驗(yàn)結(jié)果表明，在沒有使用任何預(yù)訓(xùn)練模型的情況下，SlowFast 網(wǎng)絡(luò)在 Kinetics 數(shù)據(jù)集上取得了 79.0% 的準(zhǔn)確率，大大超過了以前同類方法的最佳結(jié)果。而在 AVA 動(dòng)作檢測(cè)數(shù)據(jù)集上，該網(wǎng)絡(luò)同樣實(shí)現(xiàn)了 28.3 mAP 的當(dāng)前最佳水準(zhǔn)。

總的來(lái)說，時(shí)間維度是視頻任務(wù)中一個(gè)特殊的因素，本文的 SlowFast 網(wǎng)絡(luò)框架考慮時(shí)間維度上不同的速度對(duì)時(shí)空信息捕捉的影響，實(shí)例化的 SlowFast 模型在 Kinetics 和 AVA 數(shù)據(jù)集上實(shí)現(xiàn)當(dāng)前最佳的視頻動(dòng)作分類和檢測(cè)結(jié)果，希望這種快慢結(jié)合的設(shè)計(jì)理念能夠促進(jìn)視頻識(shí)別領(lǐng)域未來(lái)的研究。有關(guān)的項(xiàng)目代碼將會(huì)在近期開源。