1 前言

之前已經(jīng)有過(guò)關(guān)于小樣本語(yǔ)義分割的論文解讀，關(guān)于如何用 Transformer 思想的分類器進(jìn)行小樣本分割。本篇是發(fā)表在 CVPR 2022 上的 Generalized Few-shot Semantic Segmentation（后文簡(jiǎn)稱 GFS-Seg），既一種泛化的小樣本語(yǔ)義分割模型。在看論文的具體內(nèi)容之前，我們先了解一些前置知識(shí)。

深度學(xué)習(xí)是 Data hunger 的方法， 需要大量的數(shù)據(jù)，標(biāo)注或者未標(biāo)注。少樣本學(xué)習(xí)研究就是如何從少量樣本中去學(xué)習(xí)。拿分類問(wèn)題來(lái)說(shuō)，每個(gè)類只有一張或者幾張樣本。少樣本學(xué)習(xí)可以分為 Zero-shot Learning（即要識(shí)別訓(xùn)練集中沒(méi)有出現(xiàn)過(guò)的類別樣本）和 One-Shot Learning/Few shot Learning（即在訓(xùn)練集中，每一類都有一張或者幾張樣本）。以 Zero-shot Learning 來(lái)說(shuō)，比如有一個(gè)中文 “放棄”，要你從 I, your、 she、them 和 abnegation 五個(gè)單詞中選擇出來(lái)對(duì)應(yīng)的英文單詞，盡管你不知道“放棄”的英文是什么，但是你會(huì)將“放棄”跟每個(gè)單詞對(duì)比，而且在你之前的學(xué)習(xí)中，你已經(jīng)知道了 I、 your、she 和 them 的中文意思，都不是“放棄”，所以你會(huì)選擇 abnegation。還需要明確幾個(gè)概念：

Support set：支撐集，每次訓(xùn)練的樣本集合。

Query set：查詢集，用于與訓(xùn)練樣本比對(duì)的樣本，一般來(lái)說(shuō) Query set 就是一個(gè)樣本。

在 Support set 中，如果有 n 個(gè)種類，每個(gè)種類有 k 個(gè)樣本，那么這個(gè)訓(xùn)練過(guò)程叫 n-way k-shot。如每個(gè)類別是有 5 個(gè) examples 可供訓(xùn)練，因?yàn)橛?xùn)練中還要分 Support set 和 Query set，5-shots 場(chǎng)景至少需要 5+1 個(gè)樣例，至少一個(gè) Query example 去和 Support set 的樣例做距離（分類）判斷。

2 概述

訓(xùn)練語(yǔ)義分割模型需要大量精細(xì)注釋的數(shù)據(jù)，這使得它很難快速適應(yīng)不滿足這一條件的新類，F(xiàn)S-Seg 在處理這個(gè)問(wèn)題時(shí)有很多限制條件。在這篇文章中引入了一個(gè)新的方法，稱為 GFS-Seg，能同時(shí)分割具有極少樣本的新類別和具有足夠樣本的基礎(chǔ)類別的能力。建立了一個(gè) GFS-Seg baseline，在不對(duì)原模型進(jìn)行結(jié)構(gòu)性改變的情況下能取得不錯(cuò)的性能。此外，由于上下文信息對(duì)語(yǔ)義分割至關(guān)重要，文中提出了上下文感知原型學(xué)習(xí)架構(gòu)（CAPL），利用 Support Set 樣本共同的先驗(yàn)知識(shí)，根據(jù)每個(gè) Query Set 圖像的內(nèi)容動(dòng)態(tài)地豐富分類器的上下文信息，顯著提高性能。

3 GFS-Seg 和 FS-Seg 的 Pipeline 區(qū)別

如下圖所示，GFS-Seg 有三個(gè)階段。分別是：基類的學(xué)習(xí)階段；新類的注冊(cè)階段，其中包含新類的少數(shù) Support set 樣本；對(duì)基類和新類的評(píng)估階段。也就是說(shuō)，GFS-Seg 與 FS-Seg 的區(qū)別在于，在評(píng)估階段，GFS-Seg 不需要轉(zhuǎn)發(fā)測(cè)試（Query set）樣本中包含相同目標(biāo)類的 Support set 樣本來(lái)進(jìn)行預(yù)測(cè)，因?yàn)?GFS-Seg 在基類學(xué)習(xí)階段和新類注冊(cè)階段應(yīng)該已經(jīng)分別獲得了基類和新類的信息。GFS-Seg 在事先不知道查詢圖像中包含哪些類別的情況下，同時(shí)對(duì)新類進(jìn)行預(yù)測(cè)時(shí)，可以在不犧牲基類準(zhǔn)確性的情況下仍表現(xiàn)良好。

4 Towards GFS-Seg

在經(jīng)典的 Few-Shot Segmentation 任務(wù)中，有兩個(gè)關(guān)鍵標(biāo)準(zhǔn)：(1) 模型在訓(xùn)練期間沒(méi)有看到測(cè)試類的樣本。(2) 模型要求其 Support set 樣本包含 Query set 中存在的目標(biāo)類，以做出相應(yīng)的預(yù)測(cè)。

通過(guò)下圖，我們來(lái)看下 GFS-Seg 與經(jīng)典人物有哪些不同。下圖中用相同的 Query 圖像說(shuō)明了 FS-Seg 和 GFS-Seg 的一個(gè) 2-way K-shot 任務(wù)，其中牛和摩托車是新的類，人和車是基類。先來(lái)看下 (a)，Prototype Network 通過(guò) Embedding Generation 函數(shù)，將牛和摩托車的少量訓(xùn)練樣本映射為 2 個(gè)向量，在檢測(cè)分類時(shí)候，將待分割圖像的特征也通過(guò) Embedding Generation 映射為向量，最后計(jì)算待檢測(cè)向量與 2 個(gè)向量的特征差異（假設(shè)是距離），認(rèn)定距離最小的為預(yù)測(cè)類別。(a) 只限于預(yù)測(cè) Support set 中包含的類的二進(jìn)制分割掩碼。右邊的人和上面的車在預(yù)測(cè)中缺失，因?yàn)橹С旨瘺](méi)有提供這些類的信息，即使模型已經(jīng)在這些基類上訓(xùn)練了足夠的 epoch。此外，如果 (a) 的支持集提供了查詢圖像中沒(méi)有的多余的新類（如飛機(jī)），這些類別可能會(huì)影響模型性能，因?yàn)?FS-Seg 有一個(gè)前提條件，即 Query 圖像必須是 Support set 樣本提供的類。

FS-Seg 模型只學(xué)習(xí)并預(yù)測(cè)給定的新類的前景掩碼，所以在我們提出的 GFS-Seg 的通用化設(shè)置中，性能會(huì)大大降低，因?yàn)樗锌赡艿幕惡托骂惗夹枰A(yù)測(cè)。不同的是，(b) 也就是 GFS-Seg，在沒(méi)有 Query 圖像中包含的類的先驗(yàn)知識(shí)的情況下，同時(shí)識(shí)別基類和新類，額外的 Support set（如 (b) 左上角的飛機(jī)）應(yīng)該不會(huì)對(duì)模型產(chǎn)生很大影響。在評(píng)估過(guò)程中，GFS-Seg 不需要事先了解 Query 圖像中存在哪些目標(biāo)類別，而是通過(guò)注冊(cè)新的類別，對(duì)所有測(cè)試圖像一次性形成一個(gè)新的分類器（(b) 中的藍(lán)色區(qū)域代表新的類別注冊(cè)階段）。

此外，還有更多關(guān)于 GFS-Seg 的 baseline 細(xì)節(jié)，這里就不詳細(xì)展開(kāi)了，讀者們可以一遍看代碼一邊看論文中的解釋，不難理解。

5 上下文感知原型學(xué)習(xí)（CAPL）

原型學(xué)習(xí)（PL）適用于小樣本分類和 FS-Seg，但它對(duì) GFS-Seg 的效果較差。在 FS-Seg 的設(shè)置中，查詢樣本的標(biāo)簽只來(lái)自于新的類別。因此，新類和基類之間沒(méi)有必要的聯(lián)系，可以利用它來(lái)進(jìn)一步改進(jìn)。然而，在 GFS-Seg 中，對(duì)每個(gè)測(cè)試圖像中包含的類別沒(méi)有這樣的限制，需要對(duì)所有可能的基類和新穎類進(jìn)行預(yù)測(cè)。

如上圖所示，我們不關(guān)注 SCE 和 DQCE 的計(jì)算過(guò)程。SCE 只發(fā)生在新的類注冊(cè)階段，它利用支持 Support set 樣本來(lái)提供先驗(yàn)知識(shí)。然而，在評(píng)估階段，新分類器由所有 Query 圖像共享，因此引入的先驗(yàn)可能會(huì)偏向于有限的 Support set 樣本的內(nèi)容，導(dǎo)致對(duì)不同 Query 圖像的泛化能力較差。為了緩解這個(gè)問(wèn)題，進(jìn)一步提出了動(dòng)態(tài)查詢上下文豐富計(jì)算（DQCE），它通過(guò)動(dòng)態(tài)合并從單個(gè)查詢樣本中挖掘的基本語(yǔ)義信息，使新分類器適應(yīng)不同的上下文。繼續(xù)看上圖，N‘n 個(gè)新類別（例如摩托車和奶牛）的權(quán)重直接由特征平均得出。此外，Support set 中出現(xiàn)的 N’b 個(gè)基類（例如人、汽車、羊和公共汽車）的權(quán)重由 SCE 用原始權(quán)重計(jì)算得出。此外，DQCE 通過(guò)從 Query set 樣本中提取的臨時(shí)上下文特征，動(dòng)態(tài)豐富了分類器中 N'b 個(gè)基類的權(quán)重。綜上，新的分類器結(jié)合了 SCE 和 DQCE 的優(yōu)點(diǎn)。

GFS-Seg 使用 CAPL 的方式完成訓(xùn)練，具體性能表現(xiàn)在下面的實(shí)驗(yàn)部分列出。

6 實(shí)驗(yàn)

如下表所示，CANet、SCL、PFENet 和 PANet 與用 CAPL 實(shí)現(xiàn)的模型相比表現(xiàn)不佳。值得注意的是，下表中的 mIoU 的結(jié)果是在 GFS-Seg 配置下的，因此它們低于這些 FS-Seg 模型的論文中給出的結(jié)果，這種差異是由不同的全局設(shè)置造成的。在 GFS-Seg 中，模型需要在給定的測(cè)試圖像中識(shí)別所有的類，包括基類和新類，而在 FS-Seg 中，模型只需要找到屬于一個(gè)特殊的新類的像素，不會(huì)去分割基類，Support set 的樣本提供了目標(biāo)類是什么的先驗(yàn)知識(shí)。因此，在 GFS-Seg 中，存在基類干擾的情況下，識(shí)別新類要難得多，所以數(shù)值很低。

FS-Seg 是 GFS-Seg 的一個(gè)極端情況。所以為了在 FS-Seg 的中驗(yàn)證提出的 CAPL，在下表中，我們將 CAPL 合并到 PANet 和 PFENet?？梢钥闯?， CAPL 對(duì) baseline 實(shí)現(xiàn)了顯著的改進(jìn)。數(shù)據(jù)集是 Pascal-5i 和 COCO-20i ，只需要識(shí)別新類。

下圖對(duì)分割結(jié)果進(jìn)行了可視化，其中 SCE 和 DQCE 的組合進(jìn)一步完善了 baseline 的預(yù)測(cè)，還有一些消融實(shí)驗(yàn)的效果這里不一一列出了。

7 結(jié)論

這篇閱讀筆記僅為個(gè)人理解，文章提出了一個(gè)具有泛化性的小樣本語(yǔ)義分割（GFS-Seg），并提出了一個(gè)新的解決方案：上下文感知原型學(xué)習(xí)（CAPL）。與經(jīng)典的 FS-Seg 不同，GFS-Seg 旨在識(shí)別 FS-Seg 模型所不能識(shí)別的基礎(chǔ)類和新類。提出的 CAPL 通過(guò)動(dòng)態(tài)地豐富上下文信息的適應(yīng)性特征，實(shí)現(xiàn)了性能的顯著提高。CAPL 對(duì)基礎(chǔ)模型沒(méi)有結(jié)構(gòu)上的限制，因此它可以很容易地應(yīng)用于普通的語(yǔ)義分離框架，并且它可以很好地推廣到 FS-Seg。

審核編輯：劉清