對(duì)于 AI 系統(tǒng)來(lái)說(shuō)，將語(yǔ)言與視覺(jué)聯(lián)系起來(lái)是它需要面對(duì)并學(xué)會(huì)解決的基本問(wèn)題，例如在進(jìn)行圖像的檢索時(shí)，AI 系統(tǒng)需要既能識(shí)別圖像，也能識(shí)別語(yǔ)言，并將二者相關(guān)聯(lián)起來(lái)。

對(duì)于這類(lèi)需要 AI 系統(tǒng)識(shí)別不同種類(lèi)或形式的信息來(lái)源的任務(wù)中，就需要多模態(tài)機(jī)器學(xué)習(xí)（MML/Multimodal Machine Learning）來(lái)發(fā)揮作用。所謂模態(tài)，指的是一種信息的來(lái)源或形式，例如文字、圖像、視頻、音頻等都是模態(tài)。多模態(tài)機(jī)器學(xué)習(xí)是指利用機(jī)器學(xué)習(xí)來(lái)處理多種模態(tài)的信息。

近些年來(lái)，在多模態(tài)機(jī)器學(xué)習(xí)領(lǐng)域中，多模態(tài)圖像語(yǔ)言轉(zhuǎn)換器（Multimodal image–language transformers）已經(jīng)取得了深刻進(jìn)展，尤其在解決各種需要微調(diào)的任務(wù)，如視覺(jué)問(wèn)答、圖像檢索中發(fā)揮了關(guān)鍵性作用。

但是，在既需要處理圖像又需要處理語(yǔ)言文本的多模態(tài)機(jī)器學(xué)習(xí)任務(wù)中，有一類(lèi)問(wèn)題對(duì)于多模態(tài)圖像語(yǔ)言轉(zhuǎn)換器來(lái)說(shuō)尤其棘手，那就是對(duì)文本中的動(dòng)詞的理解。例如要求 AI 系統(tǒng)來(lái)在圖像中區(qū)分識(shí)別找出“踢球”和“拋球”這兩種情景。在這一任務(wù)中，AI 系統(tǒng)不僅需要識(shí)別出圖像中的“球”這一對(duì)象，還需要識(shí)別圖像中不同對(duì)象之間的關(guān)系。

為了評(píng)估近年來(lái)多模態(tài)圖像語(yǔ)言轉(zhuǎn)換器的預(yù)訓(xùn)練水平，尤其是在“看圖理解”中對(duì)于上文所說(shuō)的動(dòng)詞的識(shí)別能力。近日，DeepMind 開(kāi)發(fā)出一套方法，并引入了名為 SVO-Probes 的“圖像－句子對(duì)” 數(shù)據(jù)集，來(lái)評(píng)估不同 AI 系統(tǒng)的多模態(tài)預(yù)訓(xùn)練模型對(duì)于動(dòng)詞的理解水平，尤其是了解這些 AI 系統(tǒng)多模態(tài)轉(zhuǎn)換器的預(yù)訓(xùn)練模型在結(jié)合語(yǔ)言文本來(lái)識(shí)別圖像時(shí)，到底是既能夠識(shí)別中圖片中的物體、也能區(qū)分中圖像中的動(dòng)作，還是只能夠識(shí)別出圖中的物體。

為了達(dá)到這一目的，DeepMind 建立的 SVO-Probes 數(shù)據(jù)集包含了 48000 個(gè)圖像-句子對(duì)，可以測(cè)試 AI 系統(tǒng)對(duì) 447 個(gè)動(dòng)詞的理解，這些動(dòng)詞要么是視覺(jué)可以區(qū)分的，要么是在預(yù)訓(xùn)練數(shù)據(jù)中常見(jiàn)的，例如許多概念字幕數(shù)據(jù)集。這個(gè)數(shù)據(jù)集中的每個(gè)句子都可以分解成 一個(gè) <主語(yǔ)、動(dòng)詞、賓語(yǔ)> 三元組，也就是 SVO 三元組，并分別配對(duì)有與句子描述的內(nèi)容相符和不符的圖像，它們?cè)谑菍?shí)驗(yàn)中分別被稱(chēng)為“正實(shí)例圖像” 和 “負(fù)實(shí)例圖像”。

圖｜評(píng)估多模態(tài)語(yǔ)言圖像轉(zhuǎn)換器對(duì)于動(dòng)詞的識(shí)別能力的 SVO- Probes 數(shù)據(jù)集中的圖像-句子對(duì)（來(lái)源：DeepMind）

上圖顯示了圖像-句子對(duì)的幾個(gè)例子，以左上角的圖像-句子對(duì)為例，分別顯示了與句子“孩子、過(guò)、馬路”相符的正示例圖像，以及與“女士、過(guò)、馬路”不符的負(fù)示例圖像，通過(guò)這一對(duì)可以測(cè)試 AI 系統(tǒng)識(shí)別圖中的對(duì)象——也就是名詞的能力；而上方中間的圖像-句子對(duì)，則分別顯示了”人、唱歌、演唱會(huì)上“ 的正示例圖像和”“人、跳舞、演唱會(huì)上“ 的負(fù)示例圖像。通過(guò)這一對(duì)就可以既測(cè)試 AI 系統(tǒng)識(shí)別圖中的名詞的能力，也能測(cè)試 AI 識(shí)別動(dòng)詞的能力。

在實(shí)驗(yàn)中使用這一 SVO-Probes 數(shù)據(jù)集以零樣本的方式對(duì) AI 預(yù)訓(xùn)練模型進(jìn)行評(píng)估之后，DeepMind 的工程師發(fā)現(xiàn)，相比名詞等其他詞性，預(yù)訓(xùn)練模型在需要?jiǎng)釉~理解的情況下錯(cuò)誤率要高很多。

下面的條形圖詳細(xì)說(shuō)明了測(cè)試的結(jié)果。標(biāo)準(zhǔn)多模態(tài)轉(zhuǎn)換器模型經(jīng)過(guò)測(cè)試后總體準(zhǔn)確率達(dá)到 64.3%，這也顯示了 SVO- Probes 數(shù)據(jù)集確實(shí)具有挑戰(zhàn)性。而這一 AI 模型在對(duì)于主語(yǔ)和賓語(yǔ)判斷的準(zhǔn)確率分別為 67.0% 和 73.4%，但是對(duì)于動(dòng)詞判斷的準(zhǔn)確率卻下降到 60.8%。這一結(jié)果表明，動(dòng)詞識(shí)別確實(shí)對(duì) AI 系統(tǒng)模型具有挑戰(zhàn)性。

此外，該公司的工程師們還進(jìn)一步總結(jié)調(diào)查了哪些類(lèi)別的動(dòng)詞對(duì)于這些 AI 預(yù)訓(xùn)練模型尤其具有挑戰(zhàn)性。結(jié)果發(fā)現(xiàn)，像“抓”這樣的運(yùn)動(dòng)性動(dòng)詞以及“帶領(lǐng)”這樣在不同類(lèi)型的語(yǔ)境中經(jīng)常出現(xiàn)的動(dòng)詞對(duì)于 AI 來(lái)說(shuō)更容易。而 AI 模型判斷的正確率最高的動(dòng)詞有“打斗”“包圍”“滑雪”“參加”等；而錯(cuò)誤率最高的幾個(gè)動(dòng)詞有“切”“爭(zhēng)論”“斷”等。

圖｜多模態(tài)機(jī)器學(xué)習(xí)的圖像語(yǔ)言轉(zhuǎn)換器對(duì)于 SVO-Probes 數(shù)據(jù)集進(jìn)行判斷測(cè)試之后的結(jié)果（來(lái)源：DeepMind）

值得一提的是，當(dāng)工程師們對(duì)哪些模型架構(gòu)在 SVO-Probes 數(shù)據(jù)集上的表現(xiàn)更好這一問(wèn)題進(jìn)行探索時(shí)，他們驚訝地發(fā)現(xiàn)，相比圖像建模能力更強(qiáng)的標(biāo)準(zhǔn)圖像語(yǔ)言轉(zhuǎn)換器模型，那些圖像建模較弱的模型反而表現(xiàn)更好。對(duì)這一與直覺(jué)相反的發(fā)現(xiàn)的解釋的一個(gè)假設(shè)是，標(biāo)準(zhǔn)轉(zhuǎn)換器模型在圖像識(shí)別方面可能有些“過(guò)度訓(xùn)練”了。

審核編輯 ：李倩