這張Gif圖演示了 SiamMask 的效果，只需要鼠標滑動選擇目標的包圍框，即可同時實現(xiàn)目標跟蹤與分割。

這種視頻里目標的像素級標注，很有用，比如給視頻疊加特效可以不覆蓋目標人物，或者視頻編輯中扣掉特定目標。想想前段時間浙江衛(wèi)視和北京衛(wèi)視如果有了這套軟件，讓某吳姓演員從節(jié)目中消失就簡單多了，是不是？

近日，CVPR 2019 的接收論文《Fast Online Object Tracking and Segmentation: A Unifying Approach》作者Qiang Wang開源了這套SiamMask代碼，引起了極大關(guān)注。我們一起來看看吧。

論文作者信息：

論文作者團隊來自中科院自動化所、牛津大學、Five AI公司。

感謝～

研究目的

以往大多數(shù)目標跟蹤得到的結(jié)果是目標的包圍框，而作者希望將跟蹤與分割結(jié)合起來，算法“實時“給出目標的像素級標注。

上圖中，左側(cè)是初始化的操作，在視頻第一幀給出目標的包圍框，右側(cè)的多張圖像為普通的跟蹤算法計算得到估計的包圍框和SiamMask估計的目標的分割mask。

算法原理

作者是在近年出現(xiàn)的 SiamFC 跟蹤算法基礎(chǔ)上做的改進。

下圖展示了其整天算法流程。左側(cè)上面圖像為框出來的目標圖像，左側(cè)下面圖像為要搜索目標位置的視頻中的一幀，經(jīng)過卷積網(wǎng)絡(luò)，生成Row（response of a candidate window，候選窗口響應(yīng)），網(wǎng)絡(luò)后面有三個head，除了在SiamFC法中已經(jīng)存在的預(yù)測box（目標位置）的head和預(yù)測響應(yīng)score（目標出現(xiàn)概率）的head，作者增加了預(yù)測目標mask（目標二值掩碼）的head。

另外也可以直接去掉預(yù)測box的head，提高計算速度，包圍框也可以通過mask計算得到。網(wǎng)絡(luò)結(jié)構(gòu)如下：

下圖展示了使用SiamMask算法計算得到的圖像中不同位置的score值。

實驗結(jié)果

作者在VOT-2016、VOT-2018數(shù)據(jù)集上測試跟蹤精度，在DAVIS-2016、DAVIS-2017數(shù)據(jù)集上測試了目標分割的精度。

下圖是與普通的跟蹤算法的結(jié)果比較：

SiamMask 相比之前的跟蹤算法的 state-of-the-art 精度又改進不少。

下圖是與現(xiàn)有的視頻目標分割算法的精度的比較：

雖然SiamMask精度并不是最高的，但速度卻比其他算法快1到2個數(shù)量級！在真實應(yīng)用中更有價值。

下圖為mIoU-速度的散點圖：

一些視頻目標分割示例（請點擊查看大圖）：

重點來了！代碼地址：

https://github.com/foolwood/SiamMask