雖然目前傳統(tǒng)的跨模態(tài)檢索工作已取得了巨大的進(jìn)展，但由于缺少低資源語言的標(biāo)注數(shù)據(jù)，這些工作通常關(guān)注于高資源語言（比如英語），因此極大地限制了低資源語言在該領(lǐng)域的發(fā)展。

為了解決這一問題，作者針對跨語言跨模態(tài)檢索任務(wù)（CCR）展開了研究，該任務(wù)旨在僅使用人工標(biāo)注的視覺-源語言（如英語）語料庫對模型進(jìn)行訓(xùn)練，使其可以適用于其他目標(biāo)語言（非英語）進(jìn)行評估【如下圖所示】。

傳統(tǒng)跨模態(tài)檢索&跨語言跨模態(tài)檢索（CCR）

在這篇論文中，作者旨在借助機(jī)器翻譯來生成偽視覺-目標(biāo)語言對進(jìn)行跨語言遷移，來緩解人工標(biāo)注多語言視覺-語言語料庫困難的問題。雖然機(jī)器翻譯可以快速的處理大量的文本語言轉(zhuǎn)換，但是其準(zhǔn)確性并不能得到保證，因此在翻譯過程中將會(huì)引入大量的噪聲，導(dǎo)致翻譯的目標(biāo)語言句子并不能準(zhǔn)確的描述其對應(yīng)的視覺內(nèi)容【如下圖所示】。

然而之前的基于機(jī)器翻譯的CCR工作大多忽略了這個(gè)問題，它們通常使用大規(guī)模的預(yù)訓(xùn)練模型在通過機(jī)器翻譯得到的大規(guī)模多語言視覺-語言語料庫上進(jìn)行大規(guī)模預(yù)訓(xùn)練，并且只關(guān)注于視覺-目標(biāo)語言數(shù)據(jù)對之間的對齊。然而直接在這種噪聲數(shù)據(jù)對上應(yīng)用跨模態(tài)匹配將會(huì)嚴(yán)重影響檢索性能，神經(jīng)網(wǎng)絡(luò)模型有很強(qiáng)的能力來擬合這種給定的(噪聲)數(shù)據(jù)。

為了解決這個(gè)問題，作者提出了一個(gè)噪聲魯棒學(xué)習(xí)方法來緩解機(jī)器翻譯中所引入的噪聲問題，該論文是首個(gè)關(guān)注于CCR任務(wù)中由機(jī)器翻譯所引入噪聲問題的工作。

方法

模型框架圖

作者首先先引入了其「基線模型」

基線模型

視覺編碼器：給定一個(gè)視頻，使用預(yù)訓(xùn)練的2D CNN來提取視頻特征序列，然后輸入到Transformer塊中，來增強(qiáng)幀間交互，最終得到一個(gè)視頻特征向量

文本編碼器：作者設(shè)計(jì)了一個(gè)雙分支編碼器，分別又一個(gè)源語言分支和一個(gè)目標(biāo)語言分支組成。每個(gè)語言分支都包含一個(gè)Transformer block 和一個(gè)預(yù)訓(xùn)練的mBERT backbone，將源語言和目標(biāo)語言分別輸入到對應(yīng)的分支中，得到對應(yīng)的源語言句子特征和目標(biāo)語言句子特征

將以上三個(gè)特征分別映射到多語言多模態(tài)空間中

作者使用了傳統(tǒng)的跨模態(tài)檢索任務(wù)中常用的triplet ranking loss進(jìn)行約束：

噪聲魯棒的特征學(xué)習(xí)

基線模型只是簡單的進(jìn)行了跨語言跨模態(tài)對齊，并沒有對噪聲進(jìn)行處理，接下來作者提出了多視圖自蒸餾來生成pseudo-tagets以監(jiān)督目標(biāo)語言分支的學(xué)習(xí)

作者首先借助于cross-attention來生成一個(gè)相對干凈的中間目標(biāo)語言句子特征，通過將源語言token序列作為query，利用cross-attenion固有的性質(zhì)，對目標(biāo)語言token序列進(jìn)行過濾。

cross-attention權(quán)重示例圖

如圖3所示，錯(cuò)誤的單詞(用紅色標(biāo)記)和源語言單詞之間的注意權(quán)重被分配了低值。其過程表示如下：

多視角自蒸餾

作者引入了基于相似度視角和基于特征視角的自蒸餾損失

基于相似度視角的自蒸餾（Similarity-based view）：

給定（V, S, T），默認(rèn)其兩兩之間互為匹配對，忽視翻譯得到的目標(biāo)語言句子T中所包含噪聲的事實(shí)。對此，作者將cross-attention所生成的特征作為teacher，使用特征和視覺特征計(jì)算計(jì)算得到一個(gè)soft pseudo-targets作為目標(biāo)語言分支的監(jiān)督

soft pseudo-targets示例圖

基于特征視角的自蒸餾（Feature-based view）：

通過l1范式實(shí)現(xiàn)特征蒸餾

循環(huán)語義一致性

受無監(jiān)督機(jī)器翻譯的啟發(fā)，作者引入了循環(huán)語義一致性模塊，提高源語言分支從噪聲中提高原始語義信息的能力。增加源語言分支的魯棒性。

語言無關(guān)特征學(xué)習(xí)

考慮到特定語言特征缺少跨語言遷移能力，作者通過對抗學(xué)習(xí)的方式來訓(xùn)練模型學(xué)習(xí)語言無關(guān)特征。構(gòu)建一個(gè)分類器F作為判別器來分辨輸入特征是源語言還是目標(biāo)語言，判別器和特征編碼器相互博弈：

訓(xùn)練和測試

最終的目標(biāo)函數(shù)為：

測試時(shí)作者采用了目標(biāo)語言和翻譯的源語言（由于測試時(shí)只使用目標(biāo)語言）加權(quán)和的方式：

實(shí)驗(yàn)

作者在三個(gè)跨語言跨模態(tài)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)對比，其中為兩個(gè)多語言視頻文本檢索數(shù)據(jù)集（VATEX和MSRVTT-CN），一個(gè)多語言圖像文本檢索（Multi30K）；其中MSRVTT-CN是作者對MSRVTT進(jìn)行中文擴(kuò)展得到的多語言數(shù)據(jù)集

在VATEX數(shù)據(jù)集上進(jìn)行SOTA對比實(shí)驗(yàn)



MSRVTT-CN上性能對比




Multi30K上進(jìn)行性能對比實(shí)驗(yàn)

魯棒分析實(shí)驗(yàn)

為了進(jìn)一步證明模型對抗翻譯噪聲的魯棒能力，作者通過增加翻譯次數(shù)以進(jìn)一步增加訓(xùn)練數(shù)據(jù)的噪聲程度，如圖所示，在經(jīng)過多次翻譯后，基線模型的性能明顯下降，而本文所提出的模型性能更加的穩(wěn)定，驗(yàn)證了噪聲魯棒特征學(xué)習(xí)的有效性

將目標(biāo)語言句子根據(jù)句子長度進(jìn)行分組，作者假設(shè)越長的句子，翻譯越困難，因此包含的噪聲可能更多。結(jié)果表明，本文所提出的模型和基線模型的性能差距隨著句子長度的增加而增加。

t-SNE可視化實(shí)驗(yàn)

作者隨機(jī)從VATEX的中文測試集中隨機(jī)選擇20個(gè)樣本，其中每個(gè)樣本包含10個(gè)對應(yīng)的英語翻譯句子和一個(gè)對應(yīng)的視頻。如圖所示，NRCCR的類內(nèi)特征更加的緊湊，表明了模型更好的學(xué)習(xí)到了跨語言跨模態(tài)對齊。

消融實(shí)驗(yàn)

結(jié)果表明，使用兩個(gè)視角，性能得到了提升，表明基于相似度視角和基于特征視角彼此互補(bǔ)。引入循環(huán)語義一致性后，實(shí)現(xiàn)了額外的性能收益。此外，還表明了語言無關(guān)特征學(xué)習(xí)的重要性

審核編輯：劉清