來(lái)自：復(fù)旦DISC

引言

本次分享我們將介紹三篇來(lái)自ACL2021的跨視覺(jué)語(yǔ)言模態(tài)的論文。這三篇文章分別介紹了如何在圖像描述任務(wù)中生成契合用戶(hù)意圖的圖像描述、端對(duì)端的視覺(jué)語(yǔ)言預(yù)訓(xùn)練模型和如何生成包含更多細(xì)節(jié)的圖像描述。

文章概覽

Control Image Captioning Spatially and Temporally

論文地址：https://aclanthology.org/2021.acl-long.157.pdf

該篇文章基于對(duì)比學(xué)習(xí)和注意力機(jī)制引導(dǎo)提出了LoopCAG模型。LoopCAG可以根據(jù)輸入的鼠標(biāo)軌跡，生成與鼠標(biāo)軌跡相匹配的圖像描述，從而增強(qiáng)了圖片描述生成的可控性和可解釋性。

E2E-VLP： End-to-End Vision-Language Pretraining Enhanced by Visual Learning

論文地址：https://arxiv.org/pdf/2106.01804.pdf

這篇文章提出了一個(gè)端到端的視覺(jué)語(yǔ)言預(yù)訓(xùn)練模型。模型不需要利用預(yù)訓(xùn)練的目標(biāo)檢測(cè)器抽取基于區(qū)域的視覺(jué)特征，直接以圖片作為輸入。并且設(shè)計(jì)了兩個(gè)額外的視覺(jué)預(yù)訓(xùn)練任務(wù)幫助模型學(xué)習(xí)細(xì)粒度的信息，達(dá)到了和兩階段模型相似的效果，并且提高了運(yùn)算效率。

Enhancing Descriptive Image Captioning with Natural Language Inference

論文地址：https://aclanthology.org/2021.acl-short.36.pdf

這篇文章通過(guò)推理圖和PageRank對(duì)圖像描述進(jìn)行描述性打分。再通過(guò)參考抽樣和加權(quán)指定獎(jiǎng)勵(lì)來(lái)生成具有更多細(xì)節(jié)的圖像描述。模型生成了比一般方法具有更多細(xì)節(jié)的圖像描述，這些圖像描述可以包含基線(xiàn)方法生成的圖像描述。

論文細(xì)節(jié)

1

動(dòng)機(jī)

圖像描述任務(wù)主要針對(duì)圖片上比較突出的物體和物體關(guān)系展開(kāi)描述，這樣的圖片描述沒(méi)有考慮到用戶(hù)意圖。為了生成具備可控性和可解釋性的圖像描述，最近的工作提出了生成可控性的圖像描述任務(wù)。為了生成符合用戶(hù)意圖的圖像描述，通常會(huì)對(duì)描述加以情感、邊界框和鼠標(biāo)軌跡限制。與此同時(shí)，近期提出的 Localized-Narratives 數(shù)據(jù)集將鼠標(biāo)軌跡作為圖像描述任務(wù)的另一個(gè)輸入，為圖像描述生成任務(wù)中所涉及的語(yǔ)義概念進(jìn)行空間和時(shí)序關(guān)系上的控制提供了可能。

模型

LoopCAG 可以總結(jié)為三部分：用于生成圖片描述且以 Transformer 為主干網(wǎng)絡(luò)的編碼器-解碼器；用于視覺(jué)對(duì)象空間定位的注意力引導(dǎo)（Attention Guidance）組件；用于句子級(jí)時(shí)序?qū)R的對(duì)比性約束（Contrastive Constraints）組件。

（1）Caption Generation

作者將視覺(jué)特征V和軌跡特征T分別編碼，并疊加位置信息后得 和 ，然后串聯(lián)在一起作為一個(gè)統(tǒng)一的序列輸入編碼器。解碼器通過(guò)交叉注意力模塊與編碼器最后一層的隱藏狀態(tài)相連，將視覺(jué)和軌跡信息結(jié)合起來(lái)作為生成的前置條件。解碼器的優(yōu)化目標(biāo)是將以下目標(biāo)函數(shù)最小化：

（2）Attention Guidance

為了定位物體，作者用軌跡作為中間橋梁聯(lián)系物體和語(yǔ)義token。作者構(gòu)建了一個(gè)監(jiān)督矩陣來(lái)引導(dǎo)詞語(yǔ)和視覺(jué)對(duì)象之間的注意力，即需要物體軌跡點(diǎn)盡可能多的落入對(duì)象邊界框中。當(dāng)注意力監(jiān)督矩陣和模型的交叉注意力矩陣盡可能接近時(shí)，詞語(yǔ)則可以準(zhǔn)確的對(duì)應(yīng)到圖片的空間視覺(jué)物體上。

（3）Contrastive Constraints

作者使用對(duì)比損失函數(shù)來(lái)約束生成過(guò)程的時(shí)間順序，對(duì)比損失的形式是 NCE 函數(shù)，用來(lái)學(xué)習(xí)區(qū)分軌跡-描述對(duì)之中的正例和負(fù)例。正例是指在順序上自然對(duì)應(yīng)的描述句和軌跡段，而其余的軌跡-描述對(duì)組合均為負(fù)例。

最后作者通過(guò)將所有損失的總和最小化來(lái)聯(lián)合優(yōu)化模型。

實(shí)驗(yàn)

作者在Localized-Narratives COCO 這個(gè)數(shù)據(jù)集上進(jìn)行了訓(xùn)練和測(cè)試。在測(cè)試集上的結(jié)果如圖所示，LoopCAG 方法在所有的自動(dòng)評(píng)測(cè)指標(biāo)上都達(dá)到了先進(jìn)水平。從表中可以看出，ROUGE-L 的得分提升了2.0。由于 ROUGE-L 主要采用了對(duì)順序敏感的最長(zhǎng)共同子序列計(jì)分方式，這表明對(duì)比約束可以促進(jìn)生成句子的順序和用戶(hù)意圖的對(duì)應(yīng)。

2

動(dòng)機(jī)

基于海量圖文對(duì)的多模態(tài)預(yù)訓(xùn)練在下游的跨模態(tài)任務(wù)中已經(jīng)取得巨大的成功?，F(xiàn)有的多模態(tài)預(yù)訓(xùn)練的方法主要基于兩階段訓(xùn)練，首先利用預(yù)訓(xùn)練的目標(biāo)檢測(cè)器抽取基于區(qū)域的視覺(jué)特征，然后拼接視覺(jué)表示和文本向量作為T(mén)ransformer的輸入進(jìn)行訓(xùn)練。這樣的模型存在兩點(diǎn)問(wèn)題，一個(gè)是第一階段通常在特定數(shù)據(jù)集進(jìn)行訓(xùn)練模型泛化能力不好，此外提取區(qū)域的視覺(jué)特征比較耗費(fèi)時(shí)間?；诖俗髡咛岢隽硕说蕉说南袼丶?jí)別的視覺(jué)語(yǔ)言預(yù)訓(xùn)練模型。模型通過(guò)一個(gè)統(tǒng)一的Transformer框架同時(shí)學(xué)習(xí)圖像特征和多模態(tài)表示

模型

本文的模型如圖所示。E2E-VLP用一個(gè)CNN 模型提取圖片視覺(jué)特征的同時(shí)用一個(gè)Transformer進(jìn)行多模態(tài)特征學(xué)習(xí)。

（1） Input Representations

模型首先用WordPiece tokenizer 分詞進(jìn)行序列化。圖片則直接以三通道的像素矩陣輸入。

（2） Cross-modal Encoder Pre-training：Transformer

模型用Resnet提取圖片的特征向量。用Transformer模塊接受圖像-句子的序列輸入，進(jìn)行跨模態(tài)語(yǔ)義學(xué)習(xí)。

為了提取跨模態(tài)語(yǔ)義信息，模型設(shè)計(jì)了兩個(gè)預(yù)訓(xùn)練任務(wù)。一個(gè)是與Bert類(lèi)似的Masked Language Modeling，只是在該任務(wù)中除去上下文信息還可以利用圖片信息避免語(yǔ)義混淆，第二個(gè)任務(wù)是進(jìn)行圖片文本匹配。

（3） Visual-enhanced Decoder

為了提取更細(xì)粒度的視覺(jué)特征，接入了物體檢測(cè)和描述生成兩個(gè)任務(wù)。在物體檢測(cè)中，為了增強(qiáng)視覺(jué)語(yǔ)義特征的學(xué)習(xí)，除去常規(guī)的位置和物體種類(lèi)預(yù)測(cè)，我們引入了屬性預(yù)測(cè)這一任務(wù)。描述生成圖片對(duì)應(yīng)的描述。

實(shí)驗(yàn)

根據(jù)實(shí)驗(yàn)結(jié)果，E2E-VLP 和兩階段模型相比，也取得了比較好效果，可以理解和完成兩種任務(wù)。同時(shí)在參數(shù)量上，E2E-VLP 則具有更加輕量的優(yōu)勢(shì)。

3

動(dòng)機(jī)

現(xiàn)階段的圖像描述模型通常傾向于生成比較安全的較為籠統(tǒng)的描述，而忽略圖像細(xì)節(jié)。為了生成包含更多細(xì)節(jié)的圖像描述，作者基于更具有細(xì)節(jié)的圖像描述通常包含籠統(tǒng)描述的全部信息這一觀點(diǎn)提出了基于自然語(yǔ)言推斷的描述關(guān)系模型。

方法

這篇文章的具體方法如下：

（1）Constructing Inference Graphs

首先用基于Bert的自然語(yǔ)言推斷模型判斷圖像描述之間的關(guān)系，由于圖像描述之間不存在沖突因此挪去了沖突關(guān)系。并對(duì)一張圖的描述構(gòu)建如圖所示的推斷關(guān)系圖，并利用Pagerank的方法對(duì)推斷圖計(jì)算描述性評(píng)分。

（2）Descriptiveness Regularized Learning

由于傳統(tǒng)圖像描述的第一階段生成描述和圖像描述最小化交叉熵?fù)p失函數(shù)等同于生成描述和均勻分布的圖像描述之間的KL Divergence，為了生成更具有描述性的圖像描述。則采用歸一化的描述性評(píng)分分布取代均勻分布，認(rèn)為更具有描述性的圖像描述具有更高的生成概率。

在第二階段，最大化生成圖像描述的期望收益時(shí)，也同時(shí)用描述性評(píng)分取代均勻分布來(lái)計(jì)算期望收益。

實(shí)驗(yàn)

根據(jù)實(shí)驗(yàn)結(jié)果，模型在多數(shù)指標(biāo)特別是CIDER評(píng)分上超過(guò)了Baseline，這是因?yàn)镃IDER傾向于具有更加特殊的細(xì)節(jié)描述。

此外根據(jù)自然語(yǔ)言推斷模型判斷文章模型生成的圖像描述對(duì)baseline的圖像描述形成更多的包含關(guān)系。

編輯：jq