實(shí)例分割的任務(wù)是將圖像中的像素分組為單個(gè)事物的實(shí)例，并用類標(biāo)簽（可計(jì)數(shù)的對(duì)象，如人、動(dòng)物、汽車等，并為每個(gè)對(duì)象分配獨(dú)特的標(biāo)識(shí)符，如 car_1 和 car_2）來(lái)標(biāo)識(shí)這些事物。實(shí)例分割作為一項(xiàng)核心的計(jì)算機(jī)視覺(jué)任務(wù)，對(duì)許多下游應(yīng)用至關(guān)重要，如自動(dòng)駕駛汽車、機(jī)器人、醫(yī)學(xué)成像和照片編輯。

近年來(lái)，深度學(xué)習(xí) （Deep learning） 在使用 Mask R-CNN 之類的架構(gòu)解決實(shí)例分割問(wèn)題方面取得了重大進(jìn)展。然而，這些方法依賴于收集大型的標(biāo)簽實(shí)例分割數(shù)據(jù)集。但不同于收集邊界框標(biāo)簽的方法，如 Extreme clicking，可以實(shí)現(xiàn)每個(gè)實(shí)例 7 秒的收集速度，收集實(shí)例分割標(biāo)簽（稱為“掩碼”）時(shí)，每個(gè)實(shí)例用時(shí)可能需要高達(dá) 80 秒，該方式較高的成本，拉高了這項(xiàng)研究的門檻。另一個(gè)相關(guān)任務(wù)——泛型分割，甚至需要更多的標(biāo)簽數(shù)據(jù)。

Mask R-CNN

https://arxiv.org/abs/1703.06870

Extreme clicking

https://arxiv.org/abs/1708.02750

高達(dá) 80 秒

https://arxiv.org/abs/1405.0312

部分監(jiān)督的實(shí)例分割環(huán)境（即只用實(shí)例分割掩碼給一小部分類加標(biāo)簽，其余大部分類只用邊界框來(lái)加標(biāo)簽）這一方法有可能減少對(duì)人工創(chuàng)建的掩碼標(biāo)簽的依賴，從而大大降低開(kāi)發(fā)實(shí)例分割模型的門檻。不過(guò)，這種部分監(jiān)督的方法也需要更強(qiáng)的模型泛化形式來(lái)處理訓(xùn)練時(shí)沒(méi)有遇到過(guò)的新類別，例如，只用動(dòng)物掩碼進(jìn)行訓(xùn)練，然后讓模型針對(duì)建筑物或植物產(chǎn)生準(zhǔn)確的實(shí)例分割。此外，還有簡(jiǎn)單的方法，例如訓(xùn)練一個(gè)與類無(wú)關(guān)的 Mask R-CNN，同時(shí)忽略任何沒(méi)有掩碼標(biāo)簽的實(shí)例的掩碼損失 （Loss function），但這些方法效果并不好。例如，在典型的 “VOC/Non-VOC” 基準(zhǔn)中，Mask R-CNN 針對(duì) COCO 中 20 個(gè)類的子集（稱為“已見(jiàn)類”）進(jìn)行掩碼訓(xùn)練，并在其余 60 個(gè)類（稱為“未見(jiàn)類”）上進(jìn)行測(cè)試，一個(gè)帶有 Resnet-50 主干的典型 Mask R-CNN 在未見(jiàn)類上的 掩碼 mAP（即平均精度，數(shù)值越高越好）只能達(dá)到約 18%，而在全監(jiān)督時(shí)，在同一集合上的掩碼 mAP 則高出很多，超過(guò)了 34%。

部分監(jiān)督的實(shí)例分割環(huán)境

https://arxiv.org/abs/1711.10370

在即將發(fā)布于 ICCV 2021 的“掩碼頭部架構(gòu)對(duì)新類別分割的驚人影響 （The surprising impact of mask-head architecture on novel class segmentation）”一文中，我們確定了 Mask R-CNN 在新類別上表現(xiàn)不佳的主要原因，并提出了兩個(gè)易于實(shí)施的修復(fù)方法（訓(xùn)練協(xié)議修復(fù)；掩碼頭部架構(gòu)修復(fù)），這兩種方法協(xié)同作用，可以縮小與全監(jiān)督性能之間的差距。

掩碼頭部架構(gòu)對(duì)新類別分割的驚人影響

https://arxiv.org/abs/2104.00613

我們證明了這種方法普遍適用于裁剪-分割模型，即 Mask R-CNN 或類似 Mask R-CNN 的架構(gòu)：計(jì)算整個(gè)圖像的特征表征，然后將每個(gè)實(shí)例的裁剪傳遞給第二階段的掩碼預(yù)測(cè)網(wǎng)絡(luò)（也稱為掩碼頭部網(wǎng)絡(luò)）。對(duì)發(fā)現(xiàn)結(jié)果進(jìn)行整合，我們提出了基于 Mask R-CNN 的模型，該模型的掩碼 mAP 遠(yuǎn)高于目前最先進(jìn)的模型，提升了 4.7%，且無(wú)需更復(fù)雜的輔助損失函數(shù)、離線訓(xùn)練的先驗(yàn)因素或先前研究中提出的權(quán)重轉(zhuǎn)移函數(shù)。我們還開(kāi)放了該模型兩個(gè)版本的代碼庫(kù)，分別稱為 Deep-MAC 和 Deep-MARC，并發(fā)布了一個(gè) colab，從而以互動(dòng)方式生成掩碼，如下面的視頻演示所示。

Deep-MAC

https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/deepmac.md

Deep-MARC

https://github.com/tensorflow/models/tree/master/official/vision/beta/projects/deepmac_maskrcnn

colab

https://github.com/tensorflow/models/blob/master/research/object_detection/colab_tutorials/deepmac_colab.ipynb

模型 DeepMAC 的演示版，即使是訓(xùn)練時(shí)未見(jiàn)過(guò)的類，該模型也可以學(xué)習(xí)預(yù)測(cè)準(zhǔn)確的掩碼，以及給定用戶所指定的邊框。親自在 colab 中試試吧。圖片來(lái)源：Chris Briggs、維基百科和 Europeana

部分監(jiān)督環(huán)境中裁剪方法的影響

裁剪是裁剪-分割模型的一個(gè)重要步驟，通過(guò)裁剪特征圖以及對(duì)應(yīng)每個(gè)實(shí)例的邊界框的實(shí)際掩碼來(lái)訓(xùn)練 Mask R-CNN。將這些裁剪過(guò)的特征傳遞給另一個(gè)神經(jīng)網(wǎng)絡(luò)（稱為掩碼頭部網(wǎng)絡(luò)），該網(wǎng)絡(luò)計(jì)算出最終的掩碼預(yù)測(cè)，然后將其與掩碼損失函數(shù)中的實(shí)際裁剪進(jìn)行比較。裁剪有兩種選擇：（1） 直接對(duì)實(shí)例的實(shí)際邊界框進(jìn)行裁剪， （2） 對(duì)模型預(yù)測(cè)的邊界框（稱為建議）進(jìn)行裁剪。在測(cè)試時(shí)始終通過(guò)建議來(lái)執(zhí)行裁剪，因?yàn)橐僭O(shè)實(shí)際邊界框不可用。

“對(duì)實(shí)際邊界框的裁剪”對(duì)比“訓(xùn)練過(guò)程中對(duì)模型預(yù)測(cè)的建議裁剪”。標(biāo)準(zhǔn) Mask R-CNN 實(shí)現(xiàn)使用上述兩種類型的裁剪，但我們已經(jīng)證明，只對(duì)實(shí)際邊界框進(jìn)行裁剪在新類別上表現(xiàn)出顯著的性能優(yōu)勢(shì)

我們考慮了一個(gè)類似于 Mask R-CNN 的一般架構(gòu)系列，與典型的 Mask R-CNN 訓(xùn)練環(huán)境相比，存在一個(gè)微小但關(guān)鍵的區(qū)別：我們?cè)谟?xùn)練時(shí)使用實(shí)際邊界框（而不是建議邊界框）裁剪

典型的 Mask R-CNN 實(shí)現(xiàn)將兩種類型的裁剪都傳遞給掩碼頭部。然而，在傳統(tǒng)的觀點(diǎn)中，這個(gè)選擇是一個(gè)不重要的實(shí)施細(xì)節(jié)，因?yàn)樗谌O(jiān)督環(huán)境中不會(huì)對(duì)性能產(chǎn)生顯著影響。相反，對(duì)于部分監(jiān)督環(huán)境，我們發(fā)現(xiàn)裁剪方法起著重要的作用，雖然在訓(xùn)練過(guò)程中，只對(duì)實(shí)際邊界框進(jìn)行裁剪不會(huì)使全監(jiān)督環(huán)境下的結(jié)果發(fā)生明顯變化，但在部分監(jiān)督環(huán)境中卻有著驚人的顯著積極影響，在未見(jiàn)類上的表現(xiàn)明顯改善。

利用建議和實(shí)際邊界框（默認(rèn)設(shè)置）或只用實(shí)際邊界框進(jìn)行訓(xùn)練時(shí)，Mask R-CNN 在未見(jiàn)類上的性能。只用實(shí)際邊界框訓(xùn)練掩碼頭部時(shí)，在未見(jiàn)類上的性能有明顯的提升，mAP 超過(guò) 9%。我們報(bào)告了 ResNet-101-FPN 主干加持下的性能

ResNet-101-FPN

https://arxiv.org/pdf/1703.06870.pdf

解鎖掩碼頭部的完全泛化潛力

更令人驚訝的是，上述方法引發(fā)了一個(gè)新現(xiàn)象：在訓(xùn)練過(guò)程中啟用實(shí)際裁剪， Mask R-CNN 的掩碼頭部對(duì)模型的泛化能力（泛化至未見(jiàn)類）起著異常重要的作用。舉個(gè)例子，我們?cè)谙聢D中比較了幾個(gè)模型，對(duì)象為停車計(jì)時(shí)器、手機(jī)和披薩（訓(xùn)練期間未見(jiàn)過(guò)的類）。每個(gè)模型都已啟用實(shí)際邊界框裁剪，但使用的開(kāi)箱即用掩碼頭部架構(gòu)不同。

使用四種不同的掩碼頭部架構(gòu)對(duì)未見(jiàn)類進(jìn)行掩碼預(yù)測(cè)（從左到右分別是：ResNet-4、ResNet-12、ResNet-20、Hourglass-20，其中數(shù)字是指神經(jīng)網(wǎng)絡(luò)的層數(shù)）盡管從未見(jiàn)過(guò)“停車計(jì)時(shí)器”、“披薩”或“手機(jī)”類中的掩碼，但最右的掩碼頭部架構(gòu)可以正確分割這些類。我們展示的掩碼頭部架構(gòu)在掩碼預(yù)測(cè)方面的性能從左到右依次遞增。此外，這種差異只有在未見(jiàn)類上進(jìn)行評(píng)估時(shí)才比較明顯，如果在已見(jiàn)類上進(jìn)行評(píng)估，所有四個(gè)架構(gòu)會(huì)表現(xiàn)出類似的性能

ResNet-4

https://arxiv.org/abs/1512.03385

ResNet-12

https://arxiv.org/abs/1512.03385

ResNet-20

https://arxiv.org/abs/1512.03385

Hourglass-20

https://arxiv.org/abs/1603.0693

特別需要注意的是，在全監(jiān)督環(huán)境中，掩碼頭部架構(gòu)之間在這些方面的差異并不明顯。順便說(shuō)一下，這可能解釋了為什么先前的實(shí)例分割研究幾乎只使用淺層（即低層數(shù)）掩碼頭部，因?yàn)樵黾訌?fù)雜性無(wú)法帶來(lái)任何優(yōu)勢(shì)。下面我們比較了三種不同的掩碼頭部架構(gòu)在已見(jiàn)與未見(jiàn)類上的掩碼 mAP。所有這三種模型在已見(jiàn)類的集合上展現(xiàn)了同樣優(yōu)越的性能，但應(yīng)用于未見(jiàn)類時(shí)，深沙漏型掩碼頭部脫穎而出。我們發(fā)現(xiàn)，在所嘗試的架構(gòu)中，沙漏型掩碼頭部效果是最好的，并且在使用 50 層以上的沙漏型掩碼頭部時(shí)獲得了最佳結(jié)果。

ResNet-4、Hourglass-10 和 Hourglass-52 掩碼頭部架構(gòu)在已見(jiàn)類和未見(jiàn)類上的性能。盡管在已見(jiàn)類上的性能幾乎沒(méi)有變化，但在未見(jiàn)類上的性能卻有很大差別

沙漏型

https://arxiv.org/abs/1603.06937

最后，我們證明這一發(fā)現(xiàn)具有普遍性，適用于各種主干（如 ResNet、SpineNet 和 Hourglass）和檢測(cè)器架構(gòu)，包括基于錨和無(wú)錨的檢測(cè)器，甚至在根本沒(méi)有檢測(cè)器的情況下也適用。

基于錨

https://arxiv.org/abs/1506.01497

無(wú)錨的檢測(cè)器

https://arxiv.org/abs/1904.07850

總結(jié)

為了得出最完善的結(jié)果，我們整合了上述發(fā)現(xiàn)：我們?cè)诟叻直媛蕡D像 （1280x1280） 上利用 SpineNet 主干訓(xùn)練了一個(gè)啟用實(shí)際邊界框裁剪且?guī)в猩?Hourglass-52 掩碼頭部的 Mask R-CNN 模型。我們稱此模型為 Deep-MARC （Deep Mask heads Above R-CNN）。在不使用任何離線訓(xùn)練或其他手動(dòng)先驗(yàn)因素的情況下，Deep-MARC 超過(guò)了之前最先進(jìn)的模型，掩碼 mAP 提高了 4.5%（絕對(duì)值）以上。為證明這種方法的普遍性，我們還訓(xùn)練了基于 CenterNet（而非基于 Mask R-CNN）的模型（稱為 Deep-MAC），該模型同樣展現(xiàn)出強(qiáng)大的性能，也超越了之前最先進(jìn)的水平。

結(jié)論

我們開(kāi)發(fā)的實(shí)例分割模型能夠泛化到不屬于訓(xùn)練集的類。這其中要強(qiáng)調(diào)兩個(gè)關(guān)鍵因素的作用，這兩個(gè)因素可以應(yīng)用于任何裁剪-分割模型（如 Mask R-CNN）：（1） 訓(xùn)練過(guò)程中的實(shí)際邊界框裁剪， （2） 強(qiáng)大的掩碼頭部架構(gòu)。雖然這兩個(gè)因素對(duì)訓(xùn)練期間有掩碼的類影響不大，但在訓(xùn)練期間沒(méi)有掩碼的新類別上，采用這兩個(gè)因素會(huì)帶來(lái)明顯的改善。此外，這兩個(gè)因素足以在部分監(jiān)督的 COCO 基準(zhǔn)上實(shí)現(xiàn)最先進(jìn)的性能。最后，我們的研究結(jié)果具有普遍性，也可能對(duì)相關(guān)的任務(wù)產(chǎn)生影響，如全景分割和姿勢(shì)預(yù)測(cè)。

責(zé)任編輯：haq