MonoDream

機(jī)器人僅憑一枚普通單目相機(jī)也能擁有全局觀、洞察力與前瞻性

視覺語言導(dǎo)航(VLN)的關(guān)鍵挑戰(zhàn)，是讓機(jī)器人在真實環(huán)境中聽懂指令、理解空間、保持方位并連續(xù)決策。過去的高性能方案往往依賴全景RGB-D傳感器，以填補視野盲區(qū)并提供幾何線索，但帶來高成本、高功耗和復(fù)雜集成，使其難以在真實機(jī)器人中規(guī)模化落地。MonoDream提出另一種路徑：不增加傳感器，而是強(qiáng)化單目模型的想象力。

地平線與合作者們?yōu)閂LA大模型構(gòu)建了統(tǒng)一導(dǎo)航表征(UNR)，并提出隱式全景想象(LPD)，在訓(xùn)練階段讓模型僅憑單目輸入推測當(dāng)前與未來的全景RGB-D隱特征，從而學(xué)會在有限視野下重建空間、推演動態(tài)。在實際部署中，MonoDream只需單目圖像即可導(dǎo)航，無需全景、無需深度、無需重建模塊，實現(xiàn)輕量感知下的全局理解與前瞻決策。它不僅縮小了單目與全景導(dǎo)航的性能差距，也拓展了具身智能在輕傳感器配置下的能力邊界。

? 論文題目：

MonoDream: Monocular Vision-Language Navigation with Panoramic Dreaming

? 論文鏈接：

https://arxiv.org/abs/2508.02549

?項目主頁：

https://horizonrobotics.github.io/robot_lab/monodream/

從依賴傳感器，到發(fā)掘想象力

在視覺語言導(dǎo)航 (VLN) 中，高性能系統(tǒng)往往依賴全景RGB-D傳感器，以獲取寬視野與幾何線索，但這種方案成本高、功耗大、集成復(fù)雜。相比之下，單目相機(jī)雖最普及、最易部署，卻長期被視為能力不足，無法支撐高成功率導(dǎo)航。

MonoDream提出了另一種路徑：不依賴多傳感器堆疊，而是激發(fā)VLA大模型的潛在想象力，使單目智能體具備從局部推斷全局的能力。這一設(shè)計與認(rèn)知科學(xué)高度契合。預(yù)測編碼理論1指出，人類視覺系統(tǒng)會基于局部觀測主動生成全局場景預(yù)測；神經(jīng)影像研究2則表明，大腦能夠從有限視野重建不可見空間并用于行動規(guī)劃。MonoDream采用類似機(jī)制，從片段觀測中補全潛在全景、推測可行動路徑，實現(xiàn)可靠導(dǎo)航。

MonoDream一邊用單目圖像做導(dǎo)航?jīng)Q策，一邊在訓(xùn)練隱式全景想象力，讓模型在有限視野下也能推演完整空間與未來。

如何在機(jī)器人腦中構(gòu)建想象力

具體來說，我們不是試圖用有限視野去對抗空間不完整性，而是讓模型在訓(xùn)練過程中學(xué)會用單目畫面推演一個看不見的世界。MonoDream通過統(tǒng)一導(dǎo)航表征 (UNR) 和隱式全景想象機(jī)制 (LPD) ，在訓(xùn)練階段逼迫模型僅憑單目輸入去預(yù)測當(dāng)前與未來的全景RGB-D潛特征。這不僅讓它在空間維度上從缺失視角中重建完整結(jié)構(gòu)，也讓它在時間維度上形成前瞻能力。重要的是，這些想象并不依賴顯式渲染或生成，而是內(nèi)化為導(dǎo)航?jīng)Q策的一部分，沉淀在模型內(nèi)部。

進(jìn)入真實部署時，MonoDream選擇完全回歸現(xiàn)實：不需要全景輸入，不需要深度圖，不需要顯式重建，只憑一枚普通單目相機(jī)即可完成導(dǎo)航?jīng)Q策。訓(xùn)練時擁有“看見更多的自由”，推理時卻保持“設(shè)備極簡的克制”。這正是MonoDream設(shè)計上的關(guān)鍵轉(zhuǎn)折——讓“想象”成為真正的能力，而不是額外消耗。

MonoDream能在轉(zhuǎn)角和盲區(qū)中做出正確導(dǎo)航?jīng)Q策，而無想象能力的模型會誤判路徑、走錯房間。

單目潛能遠(yuǎn)不止于此

實驗結(jié)果顯示，這條路徑不僅可行，而且強(qiáng)大。在R2R-CE和RxR-CE等標(biāo)準(zhǔn)基準(zhǔn)上，MonoDream在單目設(shè)定下取得了領(lǐng)先表現(xiàn)，甚至在訓(xùn)練數(shù)據(jù)有限的情況下依然保持穩(wěn)定泛化，并顯著縮小了與全景方案之間的性能差距。事實證明，過去單目表現(xiàn)不佳的根源，并非傳感器本身，而是模型缺乏補全視野與空間認(rèn)知的能力。

在R2R-CE基準(zhǔn)上，MonoDream僅用單目輸入，就達(dá)到接近全景與深度模型的性能，且不依賴外部數(shù)據(jù)。

MonoDream告訴我們：輕感知≠弱能力。一枚相機(jī)，并不意味著只能看到有限世界。只要模型具備想象與推演能力，就能補全缺失、洞察結(jié)構(gòu)、推測未來。在具身智能的發(fā)展道路上，MonoDream不僅重新定義了“單目能做到什么”，也為“如何以認(rèn)知能力彌補硬件限制”提供了新的答案。

即使未在RxR-CE基準(zhǔn)的數(shù)據(jù)上訓(xùn)練，MonoDream直接遷移仍達(dá)SOTA，展現(xiàn)隱式全景想象機(jī)制 (LPD) 賦予的全局理解與長程導(dǎo)航能力。

總結(jié)和展望

當(dāng)機(jī)器人能夠在單目畫面中自行重構(gòu)全景與未來，它便不再受限于輸入本身，而開始依托內(nèi)生的世界模型進(jìn)行想象與決策。接下來，這一范式將延展至更高維的具身智能場景——長程規(guī)劃、交互理解，甚至在未知環(huán)境中實現(xiàn)自主推演與探索。MonoDream不是單目能力的封頂，而是讓想象力成為具身智能進(jìn)化的一種新路徑。

參考文獻(xiàn)：

(1) Robertson, C. E.; Hermann, K. L.; Mynick, A.; Kravitz, D. J.; and Kanwisher, N. 2016. Neural representations integrate the current field of view with the remembered 360 panorama in scene-selective cortex. Current Biology, 26(18): 2463–2468.

(2) Seeber, M.; Stangl, M.; Vallejo Martelo, M.; Topalovic, U.; Hiller, S.; Halpern, C. H.; Langevin, J.-P.; Rao, V. R.; Fried, I.; Eliashiv, D.; et al. 2025. Human neural dynamics of real-world and imagined navigation. Nature Human Behaviour, 9(4): 781–793.