引言

基礎(chǔ)模型 (Foundation model) 指的是在大量數(shù)據(jù)上訓(xùn)練出來(lái)的、可以適應(yīng)一系列下游任務(wù)的模型[1]，它被看作是邁向通用人工智能的重要一步。近些年來(lái)，隨著CLIP的橫空出世，視覺(jué)-文本預(yù)訓(xùn)練 (Vision-Language Pretraining) 及其在各類(lèi)任務(wù)的遷移學(xué)習(xí)成為了備受關(guān)注的研究方向，并被認(rèn)為是建立視覺(jué)基礎(chǔ)模型的一個(gè)頗具前景的方向。

根據(jù)輸入數(shù)據(jù)和目標(biāo)下游任務(wù)的不同，現(xiàn)有的VLP方法可以大致分為兩類(lèi)：圖像-文本預(yù)訓(xùn)練和視頻-文本預(yù)訓(xùn)練。前者從圖像-文本對(duì)中學(xué)習(xí)視覺(jué)和語(yǔ)言表征的聯(lián)合分布，后者則從視頻-文本對(duì)中建立視頻幀和文本之間的語(yǔ)義關(guān)聯(lián)。然而，當(dāng)前尚無(wú)工作探索將二者統(tǒng)一起來(lái)，這篇文章認(rèn)為這主要因?yàn)楝F(xiàn)有的訓(xùn)練方式無(wú)法發(fā)揮圖像-文本預(yù)訓(xùn)練和視頻-文本預(yù)訓(xùn)練之間的互補(bǔ)性，但單純地實(shí)現(xiàn)統(tǒng)一而在兩類(lèi)下游任務(wù)上折損性能將是沒(méi)有意義的。盡管困難重重，對(duì)于基礎(chǔ)模型的追求使得這一問(wèn)題依舊難以回避。

這促使這篇工作思考并最終提出了一個(gè)真正統(tǒng)一的視覺(jué)-語(yǔ)言基礎(chǔ)模型OmniVL以同時(shí)支持圖像-文本和視頻-文本的預(yù)訓(xùn)練以及相應(yīng)的下游任務(wù)，包括視覺(jué)任務(wù)（如圖像分類(lèi)、視頻動(dòng)作識(shí)別）、跨模態(tài)對(duì)齊任務(wù)（如圖像/視頻-文本檢索）以及多模態(tài)理解和生成任務(wù)（如圖像/視頻問(wèn)答、字幕自動(dòng)生成等）。OmniVL第一次探索出了圖像和視頻任務(wù)雙向互助的訓(xùn)練范式，而不是以往的單一方向，即用圖像（圖像-語(yǔ)言）來(lái)幫助視頻（視頻-語(yǔ)言）。

方法

OmniVL實(shí)現(xiàn)了模態(tài)、功能和訓(xùn)練數(shù)據(jù)三個(gè)維度的統(tǒng)一，本篇對(duì)方法的介紹也將圍繞著三個(gè)統(tǒng)一進(jìn)行展開(kāi)。

統(tǒng)一的模態(tài).OmniVL采用了一個(gè)統(tǒng)一的基于Transformer的視覺(jué)編碼器來(lái)提取視覺(jué)表征，其中視頻與圖像輸入共享大部分網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)于視頻而言，OmniVL采用了3D patching embedding和時(shí)間注意力塊[4]。此外，OmniVL額外利用一個(gè)文本編碼器來(lái)提取語(yǔ)言表征。

統(tǒng)一的功能.OmniVL采用了編碼器-解碼器的結(jié)構(gòu)，并具有兩個(gè)視覺(jué)引導(dǎo)的解碼器：跨模態(tài)對(duì)齊解碼器和文本生成解碼器，前者通過(guò)視覺(jué)-文本匹配（的二分類(lèi)）損失進(jìn)行監(jiān)督以學(xué)習(xí)視覺(jué)和文本模態(tài)之間的對(duì)齊，后者則通過(guò)語(yǔ)言建模（的生成式回歸）損失進(jìn)行監(jiān)督以學(xué)習(xí)從視覺(jué)特征中生成文本的能力。這兩個(gè)解碼器與上述的兩個(gè)編碼器相互配合，賦予了OmniVL“理解“和“生成”的能力。

統(tǒng)一的數(shù)據(jù).受到Florence[5]中使用的統(tǒng)一對(duì)比學(xué)習(xí)[6]的啟發(fā)，OmniVL統(tǒng)一了圖像-文本和圖像-標(biāo)簽數(shù)據(jù)作為預(yù)訓(xùn)練語(yǔ)料庫(kù)、并將其進(jìn)一步擴(kuò)展到視頻-文本和視頻-標(biāo)簽數(shù)據(jù)上。這基于兩個(gè)方面的考慮：1）利用盡可能多的有監(jiān)督（或無(wú)監(jiān)督）的數(shù)據(jù)來(lái)豐富語(yǔ)料庫(kù)；2）人工標(biāo)注的視覺(jué)-標(biāo)簽數(shù)據(jù)（如ImageNet和Kinetics-400）可以幫助模型學(xué)習(xí)出更具辨別性的表征，這有助于分類(lèi)相關(guān)的遷移學(xué)習(xí)任務(wù)，而從網(wǎng)絡(luò)爬取的視覺(jué)-語(yǔ)言數(shù)據(jù) (如CC12M和WebVid) 涵蓋更廣泛的視覺(jué)概念，這有助于跨模態(tài)任務(wù)。這種簡(jiǎn)單的擴(kuò)展可以幫助OmniVL同時(shí)享有兩種優(yōu)勢(shì)。

最后回到了上面提到的最重要的問(wèn)題：如何實(shí)現(xiàn)圖像-文本和視頻-文本學(xué)習(xí)的相互促進(jìn)。前文提到，現(xiàn)有工作往往只是單獨(dú)利用圖像-文本或者視頻-文本進(jìn)行預(yù)訓(xùn)練（如下圖2-3行），因此在另一類(lèi)任務(wù)上的表現(xiàn)往往差強(qiáng)人意（多數(shù)情況被直接忽略）。尤其是如果只在視頻-文本上預(yù)訓(xùn)練的話，受限于有限的數(shù)據(jù)規(guī)模、以及視頻數(shù)據(jù)本身的復(fù)雜性，在對(duì)應(yīng)的視頻任務(wù)上表現(xiàn)也很糟糕。為了解決這一問(wèn)題，一些工作如FiT[7]提出了將圖像看作單幀視頻、從而利用其和視頻數(shù)據(jù)進(jìn)行聯(lián)合訓(xùn)練（如下圖第4行），這一做法相較單純地利用視頻數(shù)據(jù)有顯著提升，但是直接從零學(xué)習(xí)圖像和視頻的表征以及跨模態(tài)的對(duì)齊顯然頗具挑戰(zhàn)性，這為網(wǎng)絡(luò)的學(xué)習(xí)和收斂增加了困難。Pretrain-then-finetuning是視覺(jué)領(lǐng)域一個(gè)常用的做法，它指的是首先在標(biāo)準(zhǔn)的圖像數(shù)據(jù)集上訓(xùn)練骨干網(wǎng)絡(luò)如ResNet，然后將其在下游任務(wù)包括視頻動(dòng)作識(shí)別上進(jìn)行微調(diào)，這一方法在各類(lèi)任務(wù)上都取得了顯著的成功。借鑒于此，一種簡(jiǎn)單的做法是首先在圖像-文本上進(jìn)行第一階段的預(yù)訓(xùn)練、然后在視頻-文本上進(jìn)行第二階段的預(yù)訓(xùn)練（如下圖第5行）。這一做法是很有競(jìng)爭(zhēng)力的一個(gè)baseline，但是在一方面在圖像任務(wù)上的性能有所下降、另一方面在視頻任務(wù)上的表現(xiàn)還不夠驚艷。

為了更加充分地利用圖像-文本和視頻-文本數(shù)據(jù)的互補(bǔ)性、進(jìn)一步提升在不同下游任務(wù)上的表現(xiàn)，OmniVL提出了一個(gè)解藕的聯(lián)合訓(xùn)練方式，即首先在圖像-文本上進(jìn)行預(yù)訓(xùn)練、然后結(jié)合視頻-文本進(jìn)行聯(lián)合預(yù)訓(xùn)練（如上圖第6行），這不僅可以防止對(duì)圖像表征的遺忘、甚至可以在二者對(duì)應(yīng)的任務(wù)上繼續(xù)提高性能。這篇工作認(rèn)為這是由于第一階段網(wǎng)絡(luò)可以專注在學(xué)習(xí)空間表征和其與文本模態(tài)的對(duì)齊上、第二階段則可以增益性地學(xué)習(xí)運(yùn)動(dòng)表征和跨模態(tài)的關(guān)系建模，這不僅使學(xué)習(xí)從空間維度到時(shí)間維度更加高效，而且還能使不同源的數(shù)據(jù)之間形成互補(bǔ)。

實(shí)驗(yàn)

視覺(jué)任務(wù)

文章首先采用經(jīng)典的圖像分類(lèi) (linear probing) 和視頻動(dòng)作識(shí)別任務(wù) (finetuning) 作為基準(zhǔn)評(píng)估了視覺(jué)編碼器在視覺(jué)任務(wù)上的表現(xiàn)。

遵從CLIP的實(shí)現(xiàn)，OmniVL凍結(jié)了視覺(jué)編碼器的參數(shù)并對(duì)新附加的線性層進(jìn)行微調(diào)。在6個(gè)圖像分類(lèi)數(shù)據(jù)集上，OmniVL相比于大多數(shù)baseline取得了一致更好的結(jié)果。與CLIP和FLAVA (70M) 相比，雖然使用明顯更少預(yù)訓(xùn)練數(shù)據(jù)，OmniVL仍然取得了總體上有競(jìng)爭(zhēng)力的結(jié)果。

對(duì)于視頻動(dòng)作識(shí)別，文章在兩個(gè)規(guī)模較小的數(shù)據(jù)集UCF101和HMDB51上評(píng)估了linear probing的結(jié)果，并在兩個(gè)規(guī)模較大的數(shù)據(jù)集Kinetics-400和Something-something V2上評(píng)估了微調(diào)的結(jié)果，實(shí)驗(yàn)表明OmniVL都顯著地超越了baseline。

跨模態(tài)對(duì)齊任務(wù)

接下來(lái)文章探究了OmniVL在圖像-文本檢索和文本到視頻檢索任務(wù)上的表現(xiàn)。值得一提的是，為了平衡推理效率和多模態(tài)信息的深度融合，OmniVL首先根據(jù)單模態(tài)編碼器得到視覺(jué)和文本embedding的相似度得分選擇Top-K（默認(rèn)為K=128）候選者，然后利用跨模態(tài)對(duì)齊解碼器計(jì)算其成對(duì)的匹配得分對(duì)候選者重新排序，這種雙階段匹配的方式進(jìn)一步體現(xiàn)了該架構(gòu)的優(yōu)越性。

從上圖可以看出，無(wú)論是在圖像-文本檢索還是文本到視頻檢索上，OmniVL都在不同數(shù)據(jù)集上取得了目前最佳的性能。尤其是在文本到視頻檢索任務(wù)上，得益于所提出的解藕聯(lián)合預(yù)訓(xùn)練方法，OmniVL顯著地超越了現(xiàn)有方法。

多模態(tài)理解和生成任務(wù)

以視覺(jué)為基礎(chǔ)的跨模態(tài)對(duì)齊解碼器和文本生成解碼器使OmniVL具備了多模態(tài)理解和生成的能力，在這一部分中，文章評(píng)估了它在字幕生成和圖像/視頻問(wèn)題回答上的表現(xiàn)。

在這類(lèi)任務(wù)上，OmniVL同樣取得了最好的結(jié)果。

總結(jié)和未來(lái)工作

這篇工作提出了OmniVL，一個(gè)全新的視覺(jué)-語(yǔ)言基礎(chǔ)模型，它將圖像-語(yǔ)言和視頻-語(yǔ)言統(tǒng)一起來(lái)，并同時(shí)支持視覺(jué)任務(wù)、跨模態(tài)對(duì)齊任務(wù)以及多模態(tài)的理解和生成任務(wù)。OmniVL采用了統(tǒng)一的視覺(jué)-語(yǔ)言對(duì)比損失，這讓其能夠同時(shí)利用圖像-文本、圖像-標(biāo)簽、視頻-文本和視頻-標(biāo)簽數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練。另外，文章中提出了一個(gè)解耦地聯(lián)合訓(xùn)練范式，將視覺(jué)-語(yǔ)言建模解耦為空間和時(shí)間兩個(gè)維度，從而同時(shí)提高了在圖像和視頻任務(wù)的性能。

在這篇工作僅僅在CC12M和WebVid-2.5M這類(lèi)相對(duì)小規(guī)模的數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，隨著LAION、WebVid-10M的問(wèn)世，可以在更大規(guī)模的數(shù)據(jù)上訓(xùn)練更大的模型，以探索具有更強(qiáng)零樣本、小樣本能力的模型。另外一個(gè)值得探索的方向是結(jié)合更豐富的有標(biāo)簽數(shù)據(jù)和更優(yōu)的監(jiān)督目標(biāo)，使得模型可以支持細(xì)粒度的任務(wù)如物體檢測(cè)、追蹤等，從而朝著通用的統(tǒng)一模型更上一層臺(tái)階。

審核編輯 ：李倩