近年來，大模型的研究正在加速推進，它逐漸在各類任務上展現(xiàn)出多模態(tài)的理解和時間空間上的推理能力。機器人的各類具身操作任務天然就對語言指令理解、場景感知和時空規(guī)劃等能力有著很高的要求，這自然引申出一個問題：能不能充分利用大模型能力，將其遷移到機器人領域，直接規(guī)劃底層動作序列呢？ ?

對此，ByteDance Research 基于開源的多模態(tài)語言視覺大模型 OpenFlamingo 開發(fā)了開源、易用的 RoboFlamingo 機器人操作模型，只用單機就可以訓練。使用簡單、少量的微調就可以把 VLM 變成 Robotics VLM，從而適用于語言交互的機器人操作任務。 ? OpenFlamingo 在機器人操作數(shù)據(jù)集 CALVIN 上進行了驗證，實驗結果表明，RoboFlamingo 只利用了 1% 的帶語言標注的數(shù)據(jù)即在一系列機器人操作任務上取得了 SOTA 的性能。隨著 RT-X 數(shù)據(jù)集開放，采用開源數(shù)據(jù)預訓練 RoboFlamingo 并 finetune 到不同機器人平臺，將有希望成為一個簡單有效的機器人大模型 pipeline。論文還測試了各種不同 policy head、不同訓練范式和不同 Flamingo 結構的 VLM 在 Robotics 任務上微調的表現(xiàn)，得到了一些有意思的結論。 ?

研究背景

? 基于語言的機器人操作是具身智能領域的一個重要應用，它涉及到多模態(tài)數(shù)據(jù)的理解和處理，包括視覺、語言和控制等。近年來，視覺語言基礎模型（VLMs）已經(jīng)在多個領域取得了顯著的進展，包括圖像描述、視覺問答和圖像生成等。然而，將這些模型應用于機器人操作仍然存在一些挑戰(zhàn)，例如如何將視覺和語言信息結合起來，如何處理機器人操作的時序性等。 ? 為了解決這些問題，ByteDance Research 的機器人研究團隊利用現(xiàn)有的開源 VLM，OpenFlamingo，設計了一套新的視覺語言操作框架，RoboFlamingo。其中 VLM 可以進行單步視覺語言理解，而額外的 policy head 模組被用來處理歷史信息。只需要簡單的微調方法就能讓 RoboFlamingo 適應于基于語言的機器人操作任務。 ? RoboFlamingo 在基于語言的機器人操作數(shù)據(jù)集 CALVIN 上進行了驗證，實驗結果表明，RoboFlamingo 只利用了 1% 的帶語言標注的數(shù)據(jù)即在一系列機器人操作任務上取得了 SOTA 的性能（多任務學習的 task sequence 成功率為 66%，平均任務完成數(shù)量為 4.09，基線方法為 38%，平均任務完成數(shù)量為 3.06；zero-shot 任務的成功率為 24%，平均任務完成數(shù)量為 2.48，基線方法為 1%，平均任務完成數(shù)量是 0.67），并且能夠通過開環(huán)控制實現(xiàn)實時響應，可以靈活部署在較低性能的平臺上。這些結果表明，RoboFlamingo 是一種有效的機器人操作方法，可以為未來的機器人應用提供有用的參考。 ? 方法

? 本工作利用已有的基于圖像 - 文本對的視覺語言基礎模型，通過訓練端到端的方式生成機器人每一步的 relative action。模型的主要模塊包含了 vision encoder，feature fusion decoder 和 policy head 三個模塊。Vision encoder 模塊先將當前視覺觀測輸入到 ViT 中，并通過 resampler 對 ViT 輸出的 token 進行 down sample。Feature fusion decoder 將 text token 作為輸入，并在每個 layer 中先將 vision encoder 的 output 作為 query 進行 cross attention，之后進行 self attention 以完成視覺與語言特征的融合。最后，對 feature fusion decoder 進行 max pooling 后將其送入 policy head 中，policy head 根據(jù) feature fusion decoder 輸出的當前和歷史 token 序列直接輸出當前的 7 DoF relative action，包括了 6-dim 的機械臂末端位姿和 1-dim 的 gripper open/close。 ? 在訓練過程中，RoboFlamingo 利用預訓練的 ViT、LLM 和 Cross Attention 參數(shù)，并只微調 resampler、cross attention 和 policy head 的參數(shù)。 ? 實驗結果 ? 數(shù)據(jù)集： ?

? ? CALVIN（Composing Actions from Language and Vision）是一個開源的模擬基準測試，用于學習基于語言的 long-horizon 操作任務。與現(xiàn)有的視覺 - 語言任務數(shù)據(jù)集相比，CALVIN 的任務在序列長度、動作空間和語言上都更為復雜，并支持靈活地指定傳感器輸入。CALVIN 分為 ABCD 四個 split，每個 split 對應了不同的 context 和 layout。 ? 定量分析： ?

? ? RoboFlamingo 在各設置和指標上的性能均為最佳，說明了其具有很強的模仿能力、視覺泛化能力以及語言泛化能力。Full 和 Lang 表示模型是否使用未配對的視覺數(shù)據(jù)進行訓練（即沒有語言配對的視覺數(shù)據(jù)）；Freeze-emb 指的是凍結融合解碼器的嵌入層；Enriched 表示使用 GPT-4 增強的指令。 ? 消融實驗： ?

? ? 不同的 policy head： ? 實驗考察了四種不同的策略頭部：MLP w/o hist、MLP w hist、GPT 和 LSTM。其中，MLP w/o hist 直接根據(jù)當前觀測預測歷史，其性能最差，MLP w hist 將歷史觀測在 vision encoder 端進行融合后預測 action，性能有所提升；GPT 和 LSTM 在 policy head 處分別顯式、隱式地維護歷史信息，其表現(xiàn)最好，說明了通過 policy head 進行歷史信息融合的有效性。 ? 視覺-語言預訓練的影響： ? 預訓練對于 RoboFlamingo 的性能提升起到了關鍵作用。實驗顯示，通過預先在大型視覺-語言數(shù)據(jù)集上進行訓練，RoboFlamingo 在機器人任務中表現(xiàn)得更好。 ? 模型大小與性能： ? 雖然通常更大的模型會帶來更好的性能，但實驗結果表明，即使是較小的模型，也能在某些任務上與大型模型媲美。 ? 指令微調的影響： ? 指令微調是一個強大的技巧，實驗結果表明，它可以進一步提高模型的性能。

?

?

?

????定性結果 ? 相較于基線方法，RoboFlamingo 不但完整執(zhí)行了 5 個連續(xù)的子任務，且對于基線頁執(zhí)行成功的前兩個子任務，RoboFlamingo 所用的步數(shù)也明顯更少。??

?

? ? 總結 ? 本工作為語言交互的機器人操作策略提供了一個新穎的基于現(xiàn)有開源 VLMs 的框架，使用簡單微調就能實現(xiàn)出色的效果。RoboFlamingo 為機器人技術研究者提供了一個強大的開源框架，能夠更容易地發(fā)揮開源 VLMs 的潛能。工作中豐富的實驗結果或許可以為機器人技術的實際應用提供寶貴的經(jīng)驗和數(shù)據(jù)，有助于未來的研究和技術發(fā)展。?

審核編輯：黃飛

?