這篇文章的目標(biāo)是解決實例分割的實時性問題。通過在現(xiàn)有one-stage目標(biāo)檢測模型的基礎(chǔ)上添加mask分支來解決這一問題。與Mask R-CNN等明顯使用特征定位步驟（特征repooling）的方法不同，在YOLACT中并不存在這一步。

為了達(dá)到這一目的，作者將實例分割任務(wù)劃分為兩個更簡單的平行任務(wù)，通過對這兩個任務(wù)的結(jié)果進(jìn)行融合來得到最終的實例分割結(jié)果。具體如下：

第一分支：使用全卷積網(wǎng)絡(luò)（FCN）作為分支來產(chǎn)生一些具有整個圖像大小的“prototype masks”，這些prototype masks不與任何實例相關(guān)；

第二分支：在目標(biāo)檢測分支的基礎(chǔ)上添加額外的head，該head針對每一個anchor都預(yù)測一個掩膜系數(shù)（mask coefficients）。這些系數(shù)的作用是在prototype空間對某個實例的表示進(jìn)行編碼。

最后，在使用NMS得到所有的實例后，對其中的每一個實例都通過對上述兩個分支的結(jié)果進(jìn)行線性組合來得到所對應(yīng)的掩膜。結(jié)構(gòu)如下圖所示：

作者這么做的依據(jù)在于掩膜之間是空間相關(guān)的：例如相鄰的兩個像素更有可能屬于同一個實例。卷積層很自然地利用了這一相關(guān)性，但全連接層沒有。這會導(dǎo)致一個問題，對于one-stage目標(biāo)檢測器來說，其使用全連接層來針對每一個anchor輸出類別預(yù)測和box系數(shù)，無法利用到掩膜的空間相關(guān)性；而類似于Mask R-CNN的two stages方法則使用額外的定位步驟（RoI-Align）來解決這一問題，定位步驟既保留了特征圖中的空間相關(guān)性，也可以使用卷積運算得到掩膜輸出。但是這一做法的代價是，定位層會引入額外的計算，降低算法的運行效率。

因而，將這一問題分為了兩個平行的步驟：使用善于產(chǎn)生語義向量的全連接層來產(chǎn)生掩膜系數(shù)，而使用善于產(chǎn)生空間相關(guān)掩膜的卷積層來產(chǎn)生”prototype masks”。

Protonet由FCN構(gòu)成，其最后一層輸出k個通道，每一個通道對應(yīng)一個類別的prototype mask。結(jié)構(gòu)如下所示。

接著，將上述兩個步驟得到的prototype mask和掩膜系數(shù)做矩陣乘法，并使用Sigmoid進(jìn)行激活，便可以得到最終的實例掩膜。

實驗結(jié)果

在COCO上的對比結(jié)果：

總結(jié)

大多數(shù)錯誤來自于目標(biāo)檢測部分：誤分類、邊界框誤對準(zhǔn)。但是，除此之外，掩膜生成算法部分也有兩個典型的錯誤：

定位失敗：如果在一個場景中的某一個點上有著太多的目標(biāo)，那么網(wǎng)絡(luò)則無法在prototype中定位每一個目標(biāo)。在這種情況下，網(wǎng)絡(luò)將輸出與前景掩膜更為接近的而不是這一組中的一些目標(biāo)實例分割。

泄露：該算法的裁剪步驟是在掩膜集成后進(jìn)行的，因而無法過濾裁剪區(qū)域之外的噪聲。當(dāng)邊界框是準(zhǔn)確的時候，這一方法有著較好的效果，但當(dāng)邊界框不準(zhǔn)確的時候，噪聲將被裁剪進(jìn)實例的掩膜中，導(dǎo)致裁剪區(qū)域之外的掩膜的泄露。同時，當(dāng)預(yù)測的邊界框太大時，掩膜中也會包含一些離得很遠(yuǎn)的實例掩膜。

導(dǎo)致AP差距的原因：作者認(rèn)為這一差距是由檢測器相對差的性能所導(dǎo)致的，而不是產(chǎn)生masks的方法。

YOLACT++

YOLOACT++ Better Real-time Instance Segmentation

https://arxiv.org/abs/1912.06218

在YOLACT的基礎(chǔ)上，作者進(jìn)一步進(jìn)行了如下修改，來得到一個準(zhǔn)確度更高的實例分割模型。

在backbonde網(wǎng)絡(luò)中加入可變形卷積（deformable convolutions）；

使用更好的anchor尺度和比例對prediction head進(jìn)行優(yōu)化；

加入新的mask re-scoring支路。

最終，在MS COCO上，YOLACT++可以獲得34.1mAP和33.5fps的成績，其精度已經(jīng)非常接近SOTA模型。

Fast Mask Re-Scoring分支

對于模型來說，其分類置信度和預(yù)測的掩膜的質(zhì)量之間是存在差異的。為此，作者引入了一個fast mask re-scoring分支，該分支依據(jù)所預(yù)測的掩膜與ground-truth的IoU對掩膜進(jìn)行評分。具體來說，F(xiàn)ast Mask Re-Scoring網(wǎng)絡(luò)由6層FCN組成，每一層卷積層之后跟一層ReLU，最后一層為全局池化層。該網(wǎng)絡(luò)以YOLACT所輸出的裁剪過的mask（未經(jīng)過閾值）為輸入，輸出mask對于每一個目標(biāo)種類的IoU。接著，將分類分支預(yù)測的類別所對應(yīng)的mask IoU與相對應(yīng)的類別置信度的乘積作為該mask最終的分?jǐn)?shù)。

與Mask Scoring R-CNN相比，作者提出的方法有以下不同：

輸入為全尺寸的圖像的mask（預(yù)測框之外的區(qū)域值為0），而Mask Scoring R-CNN輸入的是RoI repooled的掩膜與來自于掩膜預(yù)測分支的特征圖所拼接得到的；

沒有全連接層，因而本方法更快，加入Fast Mask Re-Scoring分支后時間僅增加了1.2ms。

可變形卷積

通過加入可變形卷積，mAP提高了1.8，速度慢了8ms。作者認(rèn)為性能提升的原因有以下幾點：

通過和目標(biāo)實例進(jìn)行對準(zhǔn)，使得網(wǎng)絡(luò)可以處理不同尺度、旋轉(zhuǎn)角度和比例的實例；

YOLACT本身沒有再采樣策略，因而一個更好、更靈活的采樣策略更重要。

同時作者發(fā)現(xiàn)，在引入可變形卷積時需要選擇合適的插入位置才能取得性能的提升。

實驗結(jié)果

下圖為YOLACT和YOLACT++的實驗結(jié)果對比：

下表為加入改進(jìn)措施后的性能提升：

可變形卷積的不同插入位置的結(jié)果對比：

編輯：黃飛