本文來(lái)自 MathWorks 博客，Autonomous System 自主系統(tǒng)欄目。

作者：YJ Lim，MathWorks 機(jī)器人產(chǎn)品經(jīng)理

翻譯：葉女士(人機(jī)版)

非常激動(dòng)地和大家分享我們最近的一些酷炫成果：我們正在利用生成式 AI，讓機(jī)器人變得更加靈活，使用起來(lái)也更加便捷!

生成式 AI 已成為近年來(lái)最具影響力的技術(shù)趨勢(shì)之一，推動(dòng)了像 deepseek，ChatGPT 這樣的工具，改變了我們的生活和工作方式。除此之外，生成式 AI 也正在重塑各行各業(yè)，機(jī)器人領(lǐng)域也不例外。在 MathWorks，我們非常期待探索這項(xiàng)技術(shù)如何簡(jiǎn)化和提升機(jī)器人運(yùn)行的方式，讓先進(jìn)的機(jī)器人技術(shù)變得更加易用和多樣化。

該領(lǐng)域的一個(gè)典型例子是 Google’s Robotics Transformer 2 (RT-2) [1]。RT-2 展示了生成式AI的巨大潛力，使機(jī)器人具備了前所未有的感知、規(guī)劃和行動(dòng)的適應(yīng)能力。這些模型利用大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)，幫助機(jī)器人泛化知識(shí)、在非結(jié)構(gòu)化環(huán)境中執(zhí)行任務(wù)，并且只需極少的針對(duì)性訓(xùn)練。雖然前景令人振奮，但仍然面臨一些挑戰(zhàn)，比如如何將這些模型集成到現(xiàn)實(shí)世界的工作流程中——而這，正是 MathWorks 的用武之地。

從傳統(tǒng)到生成式 AI 方法的轉(zhuǎn)變

傳統(tǒng)上，自主系統(tǒng)通常由感知、規(guī)劃和控制等獨(dú)立模塊組成。雖然這些模塊能夠?qū)崿F(xiàn)預(yù)期功能，但在集成和適應(yīng)新環(huán)境時(shí)往往需要投入大量精力。

圖示：現(xiàn)有的機(jī)器人任務(wù)實(shí)現(xiàn)方式——在傳統(tǒng)機(jī)器人系統(tǒng)中，任務(wù)通常被分解為若干子任務(wù)，如目標(biāo)檢測(cè)、抓取和運(yùn)動(dòng)規(guī)劃。感知模塊負(fù)責(zé)檢測(cè)并估算物體的姿態(tài)，而運(yùn)動(dòng)規(guī)劃模塊則計(jì)算任務(wù)執(zhí)行所需的軌跡。在動(dòng)態(tài)環(huán)境下，這些步驟往往需要多次重復(fù)執(zhí)行，對(duì)于像放置多個(gè)物體這樣的多步驟任務(wù)，會(huì)導(dǎo)致系統(tǒng)變得復(fù)雜且效率低下。

以傳統(tǒng)的感知流程為例：

目標(biāo)檢測(cè)：可以使用 YOLOv4 檢測(cè)器對(duì)圖像中的物體進(jìn)行識(shí)別(示例[2])。

姿態(tài)估算：通過(guò)多步流程估算被檢測(cè)物體的三維位置和朝向(示例[3])。

訓(xùn)練與部署：每添加一個(gè)新物體或更換環(huán)境，都需要重新訓(xùn)練和配置系統(tǒng)，這不僅耗時(shí)，而且難以大規(guī)模推廣。

圖示：現(xiàn)有的姿態(tài)估算方法實(shí)現(xiàn)機(jī)器人任務(wù)(參見此示例[4])。在現(xiàn)有的感知流程中，主要目標(biāo)是檢測(cè)圖像中的物體并估算其三維姿態(tài)，通常會(huì)用到 YOLOv4 檢測(cè)器。盡管這種方法有效，但需要大量的訓(xùn)練和姿態(tài)估算步驟，因此在面對(duì)新物體或新環(huán)境時(shí)，擴(kuò)展和應(yīng)用起來(lái)既繁瑣又具有挑戰(zhàn)性。

生成式 AI 則改變了這一傳統(tǒng)做法，將感知、規(guī)劃和控制集成到一個(gè)端到端的系統(tǒng)中。VLA(視覺(jué)-語(yǔ)言-動(dòng)作)模型能夠處理文本指令和攝像頭圖像，預(yù)測(cè)機(jī)器人動(dòng)作，并根據(jù)反饋不斷優(yōu)化這些動(dòng)作。這類模型具備以下特點(diǎn)：

基于 transformer 架構(gòu)——與 ChatGPT 等模型采用相同的技術(shù)基礎(chǔ);

能夠結(jié)合視覺(jué)和語(yǔ)言輸入進(jìn)行推理并生成相應(yīng)動(dòng)作;

作為“具身智能”系統(tǒng)，將抽象理解與實(shí)際物理動(dòng)作相連接。

這種端到端的方法大大簡(jiǎn)化了開發(fā)流程，使機(jī)器人更容易適應(yīng)新的任務(wù)和環(huán)境。

圖示：基于 transformer 架構(gòu)的機(jī)器人 VLA(視覺(jué)-語(yǔ)言-動(dòng)作)模型能夠根據(jù)文本指令和攝像頭圖像，在一個(gè)簡(jiǎn)化的步驟中預(yù)測(cè)機(jī)器人動(dòng)作，這與傳統(tǒng)系統(tǒng)中任務(wù)分解、感知和運(yùn)動(dòng)規(guī)劃等多個(gè)獨(dú)立階段不同。這些模型通過(guò)視覺(jué)反饋不斷迭代優(yōu)化動(dòng)作，從而提升準(zhǔn)確性，但在實(shí)際執(zhí)行時(shí)仍需依賴底層控制器，并且在真實(shí)應(yīng)用中需要安全層來(lái)保障可靠性。與 ChatGPT 和 DALL-E 等模型不同，VLA 模型通過(guò)將決策過(guò)程融入物理機(jī)器人系統(tǒng)，實(shí)現(xiàn)了“具身智能”。

生成式 AI 與機(jī)器人技術(shù)在 MathWorks 的結(jié)合

在 MathWorks，我們致力于將生成式 AI 領(lǐng)域的前沿研究與機(jī)器人實(shí)際應(yīng)用之間的鴻溝彌合。我們 MATLAB 和 Simulink 中的工具為機(jī)器人基礎(chǔ)模型提供了有力補(bǔ)充，例如：

即插即用：可直接在 MATLAB 和 Simulink 中訪問(wèn)和部署此類模型。

測(cè)試驗(yàn)證：利用生成式模型的輸出，仿真機(jī)器人動(dòng)力學(xué)、優(yōu)化運(yùn)動(dòng)規(guī)劃和軌跡控制(通過(guò) Robotics System Toolbox)。

三維可視化：逼真的3D動(dòng)畫將機(jī)器人行為生動(dòng)展現(xiàn)，便于在仿真環(huán)境中評(píng)估性能。

安全保障：為機(jī)器人系統(tǒng)的現(xiàn)實(shí)應(yīng)用提供驗(yàn)證和確認(rèn)工具，確保安全關(guān)鍵型場(chǎng)景的可靠性。

真實(shí)部署：支持從仿真無(wú)縫過(guò)渡到實(shí)際部署，包括在資源受限設(shè)備上的測(cè)試或利用云端推理。

例如，我們開發(fā)了一個(gè)名為“RobotPolicy”的 Simulink 模塊，可與基礎(chǔ)模型集成，在閉環(huán)系統(tǒng)中展示其能力。該模塊能夠接收任務(wù)指令和視覺(jué)觀測(cè)，輸出機(jī)器人動(dòng)作，并支持如 RT1-X 和 Octo 等預(yù)訓(xùn)練的小型模型。

圖示：在 Simulink 中仿真和測(cè)試機(jī)器人基礎(chǔ)模型。Simulink 中的“RobotPolicy”模塊可以集成來(lái)自 HuggingFace 等平臺(tái)的基于 Python 的基礎(chǔ)模型。它能夠處理任務(wù)指令和觀測(cè)圖像，生成機(jī)器人動(dòng)作，明確指定末端執(zhí)行器的位置和姿態(tài)。整個(gè)工作流程包括自然運(yùn)動(dòng)的位姿控制、具有真實(shí)感的 3D 仿真環(huán)境，以及動(dòng)作的迭代生成直至完成任務(wù)，從而實(shí)現(xiàn)生成式 AI 在機(jī)器人領(lǐng)域的無(wú)縫測(cè)試與部署。

現(xiàn)實(shí)應(yīng)用與未來(lái)展望

結(jié)合 MATLAB 和 Simulink 的生成式 AI 為各類機(jī)器人應(yīng)用領(lǐng)域帶來(lái)了令人興奮的新可能，例如：

零樣本部署：得益于基礎(chǔ)模型在多樣化數(shù)據(jù)集上的廣泛訓(xùn)練，機(jī)器人能夠在從未見過(guò)的環(huán)境中執(zhí)行任務(wù)。

涌現(xiàn)能力：不僅能執(zhí)行基礎(chǔ)指令，機(jī)器人還可完成需要推理的復(fù)雜任務(wù)，比如挑選健康飲品或理解符號(hào)化指令。

仿真驅(qū)動(dòng)開發(fā)：高保真仿真有助于優(yōu)化模型和加速測(cè)試，縮小仿真與現(xiàn)實(shí)部署之間的差距。

針對(duì)特定任務(wù)的微調(diào)：借助基礎(chǔ)模型中學(xué)到的先驗(yàn)知識(shí)，機(jī)器人僅需極少的數(shù)據(jù)就能適應(yīng)新任務(wù)或新環(huán)境。例如，只需少量樣本，便可在數(shù)小時(shí)內(nèi)完成對(duì)高精度操作或長(zhǎng)時(shí)序任務(wù)的模型微調(diào)。

親自體驗(yàn)

我們非常樂(lè)意幫助您探索生成式 AI 如何變革機(jī)器人工作流程。目前，我們準(zhǔn)備在 GitHub 上發(fā)布示例，同時(shí)您也可以直接聯(lián)系我們，申請(qǐng)?jiān)囉么a的訪問(wèn)權(quán)限。

這個(gè)示例將展示：

機(jī)器人基礎(chǔ)模型與 Simulink 的集成

機(jī)器人任務(wù)的仿真與可視化

如何將這些模型適配到具體應(yīng)用中

歡迎聯(lián)系我們獲取試用代碼，親自體驗(yàn)生成式 AI 帶來(lái)的各種可能。我們期待您的反饋和寶貴見解!

加入討論

生成式 AI 仍在不斷發(fā)展，提升成功率和實(shí)現(xiàn)可擴(kuò)展性等問(wèn)題仍需攻克。隨著更多數(shù)據(jù)和高保真仿真的出現(xiàn)，我們相信該領(lǐng)域?qū)?huì)快速進(jìn)步。在 MathWorks，我們很高興能夠參與這一進(jìn)程，并期待聽到您對(duì)生成式 AI 在機(jī)器人領(lǐng)域創(chuàng)造新機(jī)遇的看法。

歡迎分享您的想法，并親自試用 GitHub 上的示例，體驗(yàn)這些創(chuàng)新應(yīng)用的可能性：

您目前是否在探索生成式 AI 在機(jī)器人領(lǐng)域的應(yīng)用?在您看來(lái)，生成式AI在哪些機(jī)器人應(yīng)用中能夠產(chǎn)生重大影響?

機(jī)器人VLA基礎(chǔ)模型(如 Google 的 RT-X 和 Covariant 的 RFM-01)可以實(shí)現(xiàn)端到端的任務(wù)處理(涵蓋感知、規(guī)劃和執(zhí)行)。您認(rèn)為這些模型有可能取代傳統(tǒng)算法嗎?

機(jī)器人基礎(chǔ)模型在實(shí)際部署中仍需底層控制器、額外的安全機(jī)制和大量測(cè)試。您認(rèn)為基于模型的設(shè)計(jì)(Model-Based Design)能否在保障這些模型功能安全方面發(fā)揮關(guān)鍵作用?

MATLAB/Simulink 為基礎(chǔ)模型的連接、仿真、測(cè)試和部署提供了便捷工具。您是否有興趣將 MATLAB/Simulink 用于這些用途?