本文是 ICCV 2023 入選 Oral 論文 Grounded Entity-Landmark Adaptive Pre-training for Vision-and-Language Navigation 的解讀。本論文是某智能人機交互團(tuán)隊在視覺-語言導(dǎo)航（Vision-and-Language Navigation, VLN）領(lǐng)域的最新工作。該工作構(gòu)建了 VLN 中首個帶有高質(zhì)量實體-標(biāo)志物對齊標(biāo)注的數(shù)據(jù)集，并提出實體-標(biāo)志物對齊的自適應(yīng)預(yù)訓(xùn)練方法，從而顯著提高了智能體的導(dǎo)航性能。

論文題目：

Grounded Entity-Landmark Adaptive Pre-training for Vision-and-Language Navigation

論文地址：

開源數(shù)據(jù)集：

代碼地址：

https://github.com/csir1996/vln-gela

為解決以上問題，我們提出了一種面向 VLN 的實體-標(biāo)志物自適應(yīng)預(yù)訓(xùn)練方法，主要工作與貢獻(xiàn)如下：

1. 我們基于 Room-to-Room（R2R）數(shù)據(jù)集 [1] 標(biāo)注實體-標(biāo)志物對齊，構(gòu)建了第一個帶有高質(zhì)量實體-標(biāo)志物對齊標(biāo)注的 VLN 數(shù)據(jù)集，命名為 GEL-R2R；

2. 我們提出一種實體-標(biāo)志物自適應(yīng)預(yù)訓(xùn)練 (Grounded Entity-Landmark Adaptive，GELA) 方法，利用 GEL-R2R 數(shù)據(jù)集顯式監(jiān)督 VLN 模型學(xué)習(xí)實體名詞和環(huán)境標(biāo)志物之間的細(xì)粒度跨模態(tài)對齊；

為了建立指令中實體短語與其周圍環(huán)境中相應(yīng)標(biāo)志物之間的對齊，我們在 R2R 數(shù)據(jù)集的基礎(chǔ)上進(jìn)行了實體-標(biāo)志物對齊的人工標(biāo)注，整個流程包括五個階段：

1. 原始數(shù)據(jù)準(zhǔn)備。我們從 Matterport3D 模擬器中采集每個可導(dǎo)航點的全景圖。為了提高標(biāo)注的效率和準(zhǔn)確性，我們在全景圖中標(biāo)注下一個動作方向，并根據(jù) FG-R2R 數(shù)據(jù)集 [2] 將每個全景圖與相應(yīng)的子指令進(jìn)行對應(yīng)；

2. 標(biāo)注工具開發(fā)。我們基于 Label-Studio 開發(fā)了一個跨模態(tài)標(biāo)注平臺，如圖 2 所示；

3. 標(biāo)注指南建立。為確保標(biāo)注的一致性，我們經(jīng)過預(yù)標(biāo)注之后建立了四個準(zhǔn)則來標(biāo)準(zhǔn)化標(biāo)注指南：

• 對齊準(zhǔn)則：指令中的實體短語應(yīng)與全景圖中的標(biāo)志物準(zhǔn)確匹配

• 自由文本準(zhǔn)則：標(biāo)注自由文本而不是類別

• 文本共指準(zhǔn)則：指代相同標(biāo)志物的實體短語用相同的標(biāo)簽標(biāo)注

• 唯一標(biāo)志物準(zhǔn)則：對于一個實體短語，在全景圖中只應(yīng)標(biāo)注一個對應(yīng)的標(biāo)志物

4. 數(shù)據(jù)標(biāo)注與修訂；

如圖 4 所示，方法流程分為三個階段：預(yù)訓(xùn)練（pre-training）、自適應(yīng)預(yù)訓(xùn)練（adaptive pre-training）和微調(diào)（fine-tuning）。我們直接在預(yù)訓(xùn)練模型 HAMT [3] 的基礎(chǔ)上進(jìn)行自適應(yīng)預(yù)訓(xùn)練，HAMT 模型由文本編碼器、圖像編碼器、歷史編碼器和跨模態(tài)編碼器構(gòu)成。我們將跨模態(tài)編碼器輸出的文本向量、歷史向量和圖像向量分別記為 Z、Y 和 S。我們設(shè)計了三種自適應(yīng)預(yù)訓(xùn)練任務(wù)：

實驗結(jié)果

參考文獻(xiàn)

[1] Peter Anderson, Qi Wu, Damien Teney, Jake Bruce, Mark Johnson, Niko S ? underhauf, Ian D. Reid, Stephen Gould, and Anton van den Hengel. Vision-and-language navigation: Interpreting visually-grounded navigation instructions in real environments. In CVPR, pages 3674–3683, 2018.

[2] Yicong Hong, Cristian Rodriguez Opazo, Qi Wu, and Stephen Gould. Sub-instruction aware vision-and-language navigation. In EMNLP, pages 3360–3376, 2020.

[3] Shizhe Chen, Pierre-Louis Guhur, Cordelia Schmid, and Ivan Laptev. History aware multimodal transformer for vision-and-language navigation. In NeurIPS, pages 58345847, 2021.