Progress-Think

機(jī)器人首次實(shí)現(xiàn)語(yǔ)義進(jìn)展推理

零標(biāo)簽在指令結(jié)構(gòu)中定位任務(wù)進(jìn)展

在視覺語(yǔ)言導(dǎo)航(VLN)中，機(jī)器人長(zhǎng)期缺乏一種關(guān)鍵能力：它能持續(xù)前進(jìn)，卻無(wú)法判斷自己的任務(wù)推進(jìn)到了哪一步。導(dǎo)航在空間中不斷展開，畫面節(jié)節(jié)推進(jìn)，但模型并不知道自己在自然語(yǔ)言指令里處于什么階段，因此容易漂移、兜圈，或做出難以解釋的決策。我們認(rèn)為，引入語(yǔ)義進(jìn)展推理，是破解長(zhǎng)程導(dǎo)航不穩(wěn)定性的關(guān)鍵路徑。

Progress-Think讓機(jī)器人第一次具備語(yǔ)義層面的“進(jìn)展坐標(biāo)系”。我們首次揭示了視覺觀測(cè)序列與指令語(yǔ)義之間的結(jié)構(gòu)性關(guān)聯(lián)，并將其提煉為可學(xué)習(xí)的進(jìn)展信號(hào)，使模型無(wú)需額外標(biāo)注即可學(xué)會(huì)思考：“我剛完成了什么”。通過(guò)自監(jiān)督的進(jìn)展對(duì)齊、進(jìn)展引導(dǎo)決策以及進(jìn)展一策略聯(lián)合微調(diào)，僅憑單目相機(jī)輸入，模型就能顯著減少偏航并提升穩(wěn)定性。Progress-Think在R2R-CE等標(biāo)準(zhǔn)數(shù)據(jù)集上取得領(lǐng)先表現(xiàn)，并進(jìn)一步推動(dòng)具身推理朝更明確的任務(wù)導(dǎo)向發(fā)展。

? 論文題目：

Progress-Think: Semantic Progress Reasoning for Vision-Language Navigation

? 論文鏈接：

https://arxiv.org/abs/2511.17097

?項(xiàng)目主頁(yè)：

https://horizonrobotics.github.io/robot_lab/progress-think

從空間定位到進(jìn)展定位

在視覺語(yǔ)言導(dǎo)航 (VLN) 中，機(jī)器人往往只會(huì)執(zhí)行動(dòng)作，卻難以理解任務(wù)的推進(jìn)。它能在空間中持續(xù)移動(dòng)，卻無(wú)法判斷指令走到了哪一步；視覺觀測(cè)不斷更新，但任務(wù)完成度可能在它的認(rèn)知里存在偏差。這種缺乏“語(yǔ)義位置感”的現(xiàn)象，使導(dǎo)航在遇到復(fù)雜場(chǎng)景時(shí)容易失去方向，出現(xiàn)漂移、兜圈或反復(fù)確認(rèn)等不穩(wěn)定行為。

視覺觀測(cè)與指令語(yǔ)義呈協(xié)同單調(diào)推進(jìn)；即隨著觀測(cè)累積（上），匹配的指令前綴同步單調(diào)擴(kuò)展（下），后續(xù)進(jìn)展（紅）始終在早期進(jìn)展（藍(lán)）上遞進(jìn)。

Progress-Think的核心洞見在于：視覺語(yǔ)言導(dǎo)航本質(zhì)上不僅是幾何運(yùn)動(dòng)，而是執(zhí)行一段結(jié)構(gòu)化語(yǔ)言指令的語(yǔ)義進(jìn)展過(guò)程?；谶@一視角，我們揭示了視覺觀測(cè)序列與指令語(yǔ)義之間存在協(xié)同單調(diào)關(guān)系：當(dāng)畫面從“床邊”走向“門口”時(shí)，指令也應(yīng)從“離開床邊”自然推進(jìn)到“朝門口轉(zhuǎn)向”。我們進(jìn)一步將這一結(jié)構(gòu)規(guī)律提煉為任務(wù)層面的語(yǔ)義方位基準(zhǔn)，為后續(xù)決策提供進(jìn)展的建模。

零標(biāo)注學(xué)習(xí)語(yǔ)義進(jìn)展

為了在沒有進(jìn)展標(biāo)注的情況下習(xí)得進(jìn)展定位能力，我們?cè)O(shè)計(jì)了一個(gè)三階段的學(xué)習(xí)框架。第一階段，通過(guò)前綴對(duì)齊的自監(jiān)督訓(xùn)練，模型在視覺軌跡中自動(dòng)推斷出與指令前綴的對(duì)應(yīng)關(guān)系，使“當(dāng)前觀察對(duì)應(yīng)哪一語(yǔ)義段落”成為一種內(nèi)生表征，而非依賴外部標(biāo)注。第二階段，我們將進(jìn)展表示作為上下文注入導(dǎo)航VLA策略，使決策在結(jié)合指令和觀測(cè)的同時(shí)，也能參考自身的任務(wù)進(jìn)展，從而形成明確的語(yǔ)義方向感。第三階段，通過(guò)進(jìn)展推理與導(dǎo)航VLA策略的聯(lián)合優(yōu)化，使模型在推理時(shí)保持一致、穩(wěn)健的進(jìn)展定位能力，并形成從語(yǔ)義對(duì)齊到動(dòng)作生成的完整閉環(huán)。

Progress-Think模型在原有VLA結(jié)構(gòu)上加入“進(jìn)展推理模塊”，用于判斷當(dāng)前指令完成到哪一步，并據(jù)此引導(dǎo)動(dòng)作生成。整個(gè)系統(tǒng)通過(guò)三階段、無(wú)需標(biāo)注的流程完成訓(xùn)練：① 自監(jiān)督的進(jìn)展對(duì)齊；② 進(jìn)展引導(dǎo)的策略預(yù)訓(xùn)練；③ 進(jìn)展–策略聯(lián)合優(yōu)化。

在三階段學(xué)習(xí)下，進(jìn)展不再是一個(gè)回歸值或附加標(biāo)簽，而演化為貫穿視覺理解、語(yǔ)義推理與行動(dòng)決策的結(jié)構(gòu)性信號(hào)。機(jī)器人由此首次具備真正的“進(jìn)展定位”能力，能夠在執(zhí)行中持續(xù)推理“我完成到哪了”，并據(jù)此更清晰地決策“下一步該做什么”。

語(yǔ)義進(jìn)展助力多步驟指令導(dǎo)航

具備可推理的進(jìn)展定位后，機(jī)器人的行為方式發(fā)生了明顯變化。它不再像傳統(tǒng)模型那樣給出與任務(wù)無(wú)關(guān)或時(shí)序混亂的描述，而是能夠持續(xù)跟蹤自己處于指令的哪一步。導(dǎo)航軌跡因此更穩(wěn)、更有方向感，執(zhí)行過(guò)程也呈現(xiàn)出清晰的語(yǔ)義連貫性，讓人類能一眼看出它正在完成任務(wù)的哪一段。

GPT-4o和NVILA的描述經(jīng)常跑偏，無(wú)法用于判斷進(jìn)展；消融版Progress-Think偶有幻覺，可靠性不足；而完整版Progress-Think能穩(wěn)定推理出與真實(shí)進(jìn)展對(duì)齊的結(jié)果。

在R2R-CE等基準(zhǔn)上，Progress-Think在僅使用單目RGB的條件下，便超越了依賴全景或深度的傳統(tǒng)方案，顯著提升了長(zhǎng)程任務(wù)的成功率、穩(wěn)定性與可解釋性。結(jié)果表明，長(zhǎng)程導(dǎo)航的核心限制在于缺失語(yǔ)義進(jìn)展這一結(jié)構(gòu)性能力；當(dāng)機(jī)器人能夠理解“自己做到哪”，導(dǎo)航才真正具備持續(xù)、可靠的任務(wù)推進(jìn)能力。

在R2R Val-Unseen上，Progress-Think在無(wú)深度、無(wú)全景、零外部數(shù)據(jù)的條件下依然取得最佳表現(xiàn)。

總結(jié)和展望

隨著Progress-Think的引入，機(jī)器人第一次擁有了自身行為在任務(wù)語(yǔ)義層面的“進(jìn)展坐標(biāo)系”，能夠在任務(wù)結(jié)構(gòu)中定位自己，并以此為決策提供額外的進(jìn)展約束。它在決策“下一步怎么走”前，先思考“我已經(jīng)走到哪一步”，從而讓長(zhǎng)程行為更連貫、更可解釋。我們期待將這種語(yǔ)義進(jìn)展推理能力擴(kuò)展至高層規(guī)劃、多輪交互和自主探索，讓具身智能逐步邁向真正的任務(wù)理解與長(zhǎng)期推理。