論文：CPT：Colorful Prompt Tuning for Pre-Training Vision-Language Models

狀態(tài)：Work in Progress

單位：清華大學(xué)、新加坡國(guó)立大學(xué)

鏈接：https://arxiv.org/pdf/2109.11797.pdf

提取摘要

預(yù)訓(xùn)練的視覺(jué)語(yǔ)言模型 （VL-PTMs） 在將自然語(yǔ)言融入圖像數(shù)據(jù)中顯示出有前景的能力，促進(jìn)了各種跨模態(tài)任務(wù)。

然而，作者注意到模型pre-training和finetune的客觀形式之間存在顯著差距，導(dǎo)致需要大量標(biāo)記數(shù)據(jù)來(lái)刺激 VL-PTMs 對(duì)下游任務(wù)的視覺(jué)基礎(chǔ)能力。

為了應(yīng)對(duì)這一挑戰(zhàn)，本文提出了跨模態(tài)提示調(diào)優(yōu)Cross-modal Prompt Tuning（CPT，或者，彩色-Color提示調(diào)優(yōu)），這是一種用于finetune VL-PTMs 的新范式，它在圖像和文本中使用基于顏色的共同參照標(biāo)記重新構(gòu)建了視覺(jué)定位問(wèn)題，使之成為一個(gè)填空問(wèn)題，最大限度地縮小差距。

通過(guò)這種方式，本文的Prompt-Tuning方法可以讓 VL-PTMs 在少樣本甚至零樣本的強(qiáng)大的視覺(jué)預(yù)測(cè)能力。

綜合實(shí)驗(yàn)結(jié)果表明，Prompt-Tuning的 VL-PTMs 大大優(yōu)于 finetune 的方法（例如，在 RefCOCO 評(píng)估中，一次平均提高 17.3% 準(zhǔn)確度，one shot下平均相對(duì)標(biāo)準(zhǔn)偏差降低73.8%）。

數(shù)據(jù)和代碼會(huì)在之后公開(kāi)，小伙伴們不要急~

方法介紹

背景：該任務(wù)為Visual Grounding視覺(jué)定位問(wèn)題，通過(guò)一個(gè)給定的expression來(lái)定位在圖像中的位置。

Pre-training和fine-tuning

比如有一張識(shí)別好的圖片和下面的文字：

普通使用MLM（masked language modeling）的預(yù)訓(xùn)練模型的到VL-PTMs方法為：

就是使用［mask］機(jī)制來(lái)預(yù)測(cè)被被掩蓋的token。

而finetune的話，就是使用傳統(tǒng)的［CLS］來(lái)遷就下游的任務(wù)，比如做二分類：

而使用被大規(guī)模數(shù)據(jù)預(yù)訓(xùn)練的模型通過(guò)［CLS］來(lái)遷就下游任務(wù)，其實(shí)并不可解釋，而反過(guò)來(lái)讓下游帶著任務(wù)來(lái)到預(yù)訓(xùn)練模型的［mask］戰(zhàn)場(chǎng)上，才能更能發(fā)揮其作用呀。

CPT： Cross-model Prompt Tuning

CPT方法首先將圖片用不同顏色來(lái)區(qū)分不同的實(shí)體模塊：

其次將Query Text插入到color-based的模板（eg. is in ［mask］ color）里：

最后在［mask］上預(yù)測(cè)對(duì)應(yīng)的該是哪個(gè)顏色即可，語(yǔ)義上非常行得通。

模型公式

普通Finetune for VL-PLMs

首先從圖片 I 中通過(guò)目標(biāo)檢測(cè)工具，檢測(cè)出一系列的region：

最終這些被選出來(lái)的region和Query Text（w）將被放入：

其中［IMG］、［CLS］和［SEP］為特殊token。

其中圖片regions的representation通過(guò)視覺(jué)的encoder獲得，而文本的就是lookup即可，最后通過(guò)預(yù)訓(xùn)練模型VL-PLMs會(huì)得到：

最終使用隱層finetune做分類即可。

但是，finetuned VL-PLMs需要大量的標(biāo)注數(shù)據(jù)來(lái)提高視覺(jué)定位的效果，這個(gè)也是一個(gè)弊端吧。

Cross-Modal Prompt Tuning - CPT

上面說(shuō)過(guò)了，CPT需要兩個(gè)部分：

視覺(jué)子prompt

文本子prompt

視覺(jué)子prompt，目的是為了區(qū)分每一個(gè)region通過(guò)可分辨的標(biāo)記，比如顏色，比如RGB （255， 0， 0）表示red，RGB和text要對(duì)應(yīng)起來(lái)。

這里要注意的是，這個(gè)子prompt是直接加在原圖片上的，所以既沒(méi)有改變模型結(jié)果，又沒(méi)有改變參數(shù)。

文本子prompt，目的就是在圖片和Query Text之間建立一個(gè)鏈接，這里使用的模板為：

然后，VL-PTMs模型通過(guò)這樣的提示（prompt）來(lái)決定哪個(gè)顏色的region填在這個(gè)空里最恰當(dāng)：

實(shí)驗(yàn)

和finetune相比，CPT在zero-shot和few-shot下，性能可以說(shuō)是爆表，巨額提升。在全量數(shù)據(jù)下，也能達(dá)到最佳值或者接近最佳值：

CPT在其他視覺(jué)任務(wù)上的應(yīng)用

實(shí)體檢測(cè)

謂元分類

場(chǎng)景圖分類

總之，Prompt方法就是通過(guò)模板重新定義了任務(wù)，讓模型更具有解釋性，本篇文章第一次將Prompt用在了Vision-Language上，未來(lái)還會(huì)有很大的研究動(dòng)向，感興趣的小伙伴可以細(xì)讀原文。

編輯：jq