基于深度學(xué)習(xí)的光流估計(jì)算法解析

光流估計(jì)是計(jì)算機(jī)視覺(jué)研究中的一個(gè)重要方向，其不像其他感知任務(wù)會(huì)顯式的在應(yīng)用中呈現(xiàn)。如今，光流估計(jì)也在基于視頻的任務(wù)中承擔(dān)著越來(lái)越重要的作用。

光流的基本概念

光流（Optical Flow）是一個(gè)有關(guān)物體運(yùn)動(dòng)的概念。最早由Gibson提出，描述的是空間中運(yùn)動(dòng)的物體在成像平面上，造成像素運(yùn)動(dòng)的瞬時(shí)速度。主要由以下三類(lèi)組成：

場(chǎng)景中前景目標(biāo)本身在移動(dòng)

成像平面在移動(dòng)（比如，相機(jī)）

或者兩者共同運(yùn)動(dòng)而所產(chǎn)生的混合動(dòng)作

光流是在一系列連續(xù)變化的圖像中產(chǎn)生類(lèi)似光“流動(dòng)”的效果，故簡(jiǎn)稱(chēng)為光流。光流是一個(gè)有方向、有長(zhǎng)度的矢量，光流估計(jì)的目的就是根據(jù)2個(gè)連續(xù)的幀來(lái)求解對(duì)應(yīng)像素的運(yùn)動(dòng)速度（或偏移量）。根據(jù)是否選取圖像稀疏點(diǎn)進(jìn)行光流估計(jì)，可以將光流估計(jì)分為稀疏光流和稠密光流，demo如下所示： ? ? OpenCV也集成了相應(yīng)的算法接口，稀疏光流cv2.calcOpticalFlowPyrLK()和稠密光流cv2.calcOpticalFlowFarneback()，其中稀疏光流估計(jì)算法是最經(jīng)典的Lucas-Kanade算法，在此不再贅述。

FlowNet

首篇基于深度學(xué)習(xí)的光流估計(jì)算法FlowNet，收錄于ICCV2015。FlowNet構(gòu)建了能夠?qū)⒐饬鞴烙?jì)問(wèn)題作為監(jiān)督學(xué)習(xí)任務(wù)來(lái)解決的CNN。提出并比較了兩種架構(gòu)，一種通用架構(gòu)，另一種包括在不同圖像位置關(guān)聯(lián)特征向量的層。由于缺乏相關(guān)標(biāo)注數(shù)據(jù)集，F(xiàn)lowNet還生成了一個(gè)大型合成 Flying Chairs數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，在合成數(shù)據(jù)集上訓(xùn)練的模型可以很好的推廣到現(xiàn)實(shí)場(chǎng)景，如 Sintel 和 KITTI，在 5 到 10 fps的幀率下實(shí)現(xiàn)具有不錯(cuò)的性能。

FlowNet的輸入為待估計(jì)光流的兩張圖像，輸出即為圖像每個(gè)像素點(diǎn)的光流。光流的評(píng)價(jià)指標(biāo)或損失函數(shù)EPE(End-Point-Error)，定義為預(yù)測(cè)的每個(gè)像素的光流（2維向量）和groundtruth之間的歐式距離。對(duì)于訓(xùn)練數(shù)據(jù)集，人工標(biāo)注光流真值幾乎不可能。因此，作者設(shè)計(jì)了一種生成的方式，得到包括大量樣本的訓(xùn)練數(shù)據(jù)集FlyingChairs。其生成方式為對(duì)圖像做仿射變換生成對(duì)應(yīng)的圖像。為了模擬圖像中存在多種運(yùn)動(dòng)，比如相機(jī)在移動(dòng)，同時(shí)圖像中的人或物體也在移動(dòng)。作者將虛擬的椅子疊加到背景圖像中，并且背景圖和椅子使用不同的仿射變換得到對(duì)應(yīng)的另一張圖，如下圖所示：

FlowNetSimple

FlowNet提出的通用架構(gòu)為FlowNetSimple，即將兩個(gè)輸入圖像堆疊在一起，并通過(guò)一個(gè)通用的網(wǎng)絡(luò)將其輸入，從而使網(wǎng)絡(luò)可以自行決定如何處理圖像對(duì)以提取運(yùn)動(dòng)信息。這種僅包含卷積層的架構(gòu)為“FlowNetSimple”，而refinement部分，與Unet解碼器類(lèi)似，但是又有獨(dú)特的光流模型的特性，如下圖所示。

FlowNetCorr

和simple版本的區(qū)別在于：先對(duì)圖片做了相同的特征處理，類(lèi)似于孿生網(wǎng)絡(luò)，然后對(duì)于提取的兩個(gè)特征圖，做論文中提出的叫做correlation處理，融合成一個(gè)特征圖，然后再做類(lèi)似于simple版本的后續(xù)處理。 FlowNet的實(shí)驗(yàn)結(jié)果在15年還是比較不錯(cuò)的，與傳統(tǒng)方法互有優(yōu)劣。

FlowNet 2.0

FlowNet證明了光流估計(jì)可以作為一個(gè)學(xué)習(xí)問(wèn)題。然而，關(guān)于光流質(zhì)量的現(xiàn)有技術(shù)仍然由傳統(tǒng)方法定義。特別是在小位移和真實(shí)世界數(shù)據(jù)上，F(xiàn)lowNet與傳統(tǒng)算法還有一定差距。FlowNet 2.0進(jìn)一步提升了算法的速度和光流質(zhì)量。首先，F(xiàn)lowNet 2.0增加了訓(xùn)練數(shù)據(jù)，并使用更復(fù)雜的訓(xùn)練策略提升性能。其次，利用堆疊結(jié)構(gòu)對(duì)預(yù)測(cè)結(jié)果進(jìn)行多級(jí)提升，最后針對(duì)小位移的情況引入特定的子網(wǎng)絡(luò)進(jìn)行處理。FlowNet 2.0犧牲了一點(diǎn)運(yùn)行速度，卻降低了50%以上的誤差。在各個(gè)公開(kāi)數(shù)據(jù)集上，精度已經(jīng)追平了目前最好的一些傳統(tǒng)算法。同時(shí)，在速度上依然保持著高效快速的優(yōu)勢(shì)。

此外，F(xiàn)lowNet 2.0提出了更快的網(wǎng)絡(luò)結(jié)構(gòu)，速度高達(dá)140fps，并且精度與原始FlowNet相當(dāng)。

PWC-Net

CVPR2018收錄的PWC-Net。PWC-Net根據(jù)金字塔式處理；基于上一層習(xí)得的光流偏移下一層特征，逐層學(xué)習(xí)下一層細(xì)部光流（warping）和設(shè)計(jì)代價(jià)容量函數(shù)（cost volume)實(shí)現(xiàn)了比FlowNet 2.0小17倍的網(wǎng)絡(luò)，更容易訓(xùn)練，性能也更好。在 Sintel分辨率 (1024×436) 圖像上以約 35 fps 的速度運(yùn)行。

特征金字塔提取器：給定兩個(gè)輸入圖像I1和I2，生成特征表示的l級(jí)金字塔，底部（0）級(jí)是輸入圖像。為了在第l層生成特征表示，使用卷積層對(duì)第1?1金字塔層的特征進(jìn)行降采樣。從第一層到第六級(jí)，特征通道的數(shù)量分別為16、32、64、96、128和196。 warp層：在l層上，是要warp第二張圖到第一張上，l+1層上采樣到l層，本文使用雙線性插值來(lái)實(shí)現(xiàn)warp操作，并計(jì)算相應(yīng)梯度。 Cost volume layer：接下來(lái)，使用這些特征構(gòu)造一個(gè)cost volume，存儲(chǔ)下一幀像素與其相應(yīng)像素關(guān)聯(lián)的匹配cost volume。

LiteFlowNet2

TPAMI2020！港中文湯曉鷗團(tuán)隊(duì)~ FlowNet2需要超過(guò) 160M 的參數(shù)才能實(shí)現(xiàn)準(zhǔn)確的流量估計(jì)。LiteFlowNet2的模型尺寸小30倍，運(yùn)行速度快1.36倍，且性能更好。FlowNet2希望在傳統(tǒng)光流估計(jì)算法和輕量級(jí)光流CNN中已經(jīng)建立的認(rèn)知之間搭建對(duì)應(yīng)的關(guān)系；從早期工作成果LiteFlowNet發(fā)展而來(lái)的輕量級(jí)卷積網(wǎng)絡(luò)LiteFlowNet2，通過(guò)提高流場(chǎng)精度和計(jì)算時(shí)間更好地解決光流估計(jì)問(wèn)題。主要貢獻(xiàn)有如下幾點(diǎn)：

輕量級(jí)級(jí)聯(lián)式流場(chǎng)推理：提高了光流估計(jì)的準(zhǔn)確性，允許網(wǎng)絡(luò)無(wú)縫地結(jié)合描述子匹配；

新穎的流場(chǎng)正則化層：級(jí)聯(lián)流量推理類(lèi)似于傳統(tǒng)最小化方法中數(shù)據(jù)保真度的作用。為了解決流場(chǎng)中模糊的流場(chǎng)邊界和偽像問(wèn)題，文章建議使用由特征驅(qū)動(dòng)的局部卷積f-lconv對(duì)級(jí)聯(lián)式流場(chǎng)推理的光流場(chǎng)進(jìn)行規(guī)范化。

引入f-warp層：從前一級(jí)別的流場(chǎng)估計(jì)將F2向F1變形來(lái)構(gòu)建成本量之前減少F1和F2之間的特征空間距離，即Feature Warping。

在Sintel和KITTI基準(zhǔn)測(cè)試集上性能超過(guò)了SOTA方法FlowNet2，并且模型尺寸縮小25.3倍，推理速度快3.1倍。GTX1080顯卡上的光流估計(jì)幀率達(dá)到25。

IRR

CVPR2019收錄的Iterative Residual Refinement for Joint Optical Flow and Occlusion Estimation 上述算法的共同特征都是從初始光流由粗到細(xì)進(jìn)行Flow推斷。雖然精度高，但是參數(shù)量也隨之增加。IRR從經(jīng)典的能量最小化方法和殘差網(wǎng)絡(luò)中汲取靈感，提出一種基于權(quán)重共享的迭代殘差細(xì)化方法，IRR可以與多個(gè)主干網(wǎng)絡(luò)結(jié)合。減少了參數(shù)量的同時(shí)，提高了準(zhǔn)確性。此外集成了遮擋預(yù)測(cè)和雙向流估計(jì)后。IRR可以進(jìn)一步提升性能。

性能和網(wǎng)絡(luò)參數(shù)量對(duì)比圖如下：

MaskFlownet

特征扭曲是光流估計(jì)的核心技術(shù)，然而扭曲過(guò)程中由遮擋區(qū)域引起的模糊性是一個(gè)尚未解決的主要問(wèn)題。圖像扭曲導(dǎo)致遮擋區(qū)域的模糊，在特征扭曲過(guò)程中也存在同樣的問(wèn)題，這些區(qū)域可以在沒(méi)有任何明確監(jiān)督的情況下被掩蓋。因此，MaskFlownet應(yīng)運(yùn)而生，主要貢獻(xiàn)如下：

MaskFlownet提出了一個(gè)非對(duì)稱(chēng)遮擋感知特征匹配模塊，用于學(xué)習(xí)一個(gè)粗糙的遮擋掩碼，在沒(méi)有任何顯式監(jiān)督的情況下，在特征扭曲后立即過(guò)濾無(wú)用（遮擋）區(qū)域；

模塊可以很容易地集成到端到端網(wǎng)絡(luò)架構(gòu)中，計(jì)算量可忽略同時(shí)提升性能。學(xué)習(xí)到的遮擋掩碼可以進(jìn)一步輸入到具有雙特征金字塔的后續(xù)網(wǎng)絡(luò)級(jí)聯(lián)中，從而達(dá)到SOTA；

RAFT

ECCV 2020 best paper！光流法需要估計(jì)視頻幀中每個(gè)像素的運(yùn)動(dòng)，在計(jì)算機(jī)視覺(jué)中這是一個(gè)還未被攻克的難題，常見(jiàn)的問(wèn)題有快速移動(dòng)的小物體，物體之間的遮擋，運(yùn)動(dòng)模糊和存在無(wú)紋理區(qū)域等問(wèn)題。傳統(tǒng)的光流法常被認(rèn)為是一種手工設(shè)計(jì)的優(yōu)化方法，近年來(lái)一些基于深度學(xué)習(xí)的方法開(kāi)始有了替代傳統(tǒng)方法的趨勢(shì)。下面介紹一種新的基于深度學(xué)習(xí)來(lái)估計(jì)光流的方法——Recurrent All-Pairs Field Transformers(RAFT)。它有以下優(yōu)勢(shì)：

state-of-the-art: 在KITTI上RAFT達(dá)到了目前最高的準(zhǔn)確率。

有很強(qiáng)的泛化性，當(dāng)只在生成的數(shù)據(jù)集上訓(xùn)練時(shí)RAFT也能有很好的效果。

高效，在1080Ti上能夠以10幀每秒運(yùn)行1088×436像素的圖像。

RAFT由以下三部分構(gòu)成： 1）一個(gè)特征編碼器來(lái)用來(lái)從像素中提取特征：特征圖的大小是原始分辨率的1/8； 2）一個(gè)correlation層用來(lái)建模圖像上任意兩個(gè)點(diǎn)之間的相似度； 3）一個(gè)基于門(mén)控循環(huán)網(wǎng)絡(luò)GRU的更新結(jié)構(gòu)用來(lái)迭代的更新最后生成的光流圖。實(shí)驗(yàn)結(jié)果如下：

GMA

ICCV2021 收錄的Learning to Estimate Hidden Motions with Global Motion Aggregation GMA著重解決光流估計(jì)中被遮擋點(diǎn)的光流估計(jì)問(wèn)題。GMA定義的遮擋點(diǎn)是在當(dāng)前幀中可見(jiàn)但在下一幀中不可見(jiàn)的點(diǎn)。以前的工作依賴(lài)CNN來(lái)學(xué)習(xí)遮擋，但收效不大，或者需要多幀并使用時(shí)間平滑度來(lái)推理遮擋。GMA通過(guò)對(duì)圖像自相似性進(jìn)行建模，來(lái)更好地解決遮擋問(wèn)題。GMA引入了全局運(yùn)動(dòng)聚合模塊，這是一種基于transformer的方法，用于查找第一張圖像中像素之間的遠(yuǎn)程依賴(lài)關(guān)系，并對(duì)相應(yīng)的運(yùn)動(dòng)特征進(jìn)行全局聚合。GMA在不損害非遮擋區(qū)域的性能的情況下，可以顯著改善遮擋區(qū)域中的光流估計(jì)。具體的解決方案如下：

兩幀之間的運(yùn)動(dòng)信息，可以通過(guò)計(jì)算cost volume的匹配信息進(jìn)行估計(jì)

當(dāng)沒(méi)有匹配信息時(shí)，基于這樣一個(gè)假設(shè)，單個(gè)物體（在前景或背景中）的運(yùn)動(dòng)通常是均勻的，運(yùn)動(dòng)信息必須從其他像素開(kāi)始傳播

同時(shí)，對(duì)于每個(gè)像素理解他屬于哪個(gè)對(duì)象。也就是說(shuō)，非被遮擋的自相似點(diǎn)的運(yùn)動(dòng)信息可以傳播到被遮擋的點(diǎn)。

CNN不適合做全局運(yùn)動(dòng)估計(jì)，因?yàn)镃NN是局部的，transformer更適合做全局估計(jì)。