人形機(jī)器人和智能汽車(chē)等新一代 AI 機(jī)器人依賴(lài)于高保真、物理感知的訓(xùn)練數(shù)據(jù)。如果沒(méi)有多樣化且具有代表性的數(shù)據(jù)集，這些系統(tǒng)將無(wú)法獲得適當(dāng)?shù)挠?xùn)練，并且由于泛化性差、對(duì)現(xiàn)實(shí)世界變化的影響有限以及邊緣案例中的行為不可預(yù)測(cè)，因此會(huì)面臨測(cè)試風(fēng)險(xiǎn)。而收集大量真實(shí)數(shù)據(jù)集進(jìn)行訓(xùn)練成本高昂、耗時(shí)費(fèi)力，而且往往受限于各種可能性。

NVIDIA Cosmos 通過(guò)加速世界基礎(chǔ)模型 (WFM) 開(kāi)發(fā)來(lái)應(yīng)對(duì)這一挑戰(zhàn)。Cosmos WFM 是其平臺(tái)的核心，可加快合成數(shù)據(jù)的生成，并作為后訓(xùn)練的基礎(chǔ)，以開(kāi)發(fā)下游領(lǐng)域或特定任務(wù)的物理 AI 模型來(lái)解決這些挑戰(zhàn)。本文將探討最新的 Cosmos WFM、其推進(jìn)物理 AI 的關(guān)鍵功能，以及如何使用它們。

Cosmos Transfer 用于基于物理學(xué)的逼真視頻

Cosmos Transfer WFM 根據(jù)結(jié)構(gòu)化輸入生成高保真世界場(chǎng)景，確保精確的空間對(duì)齊和場(chǎng)景構(gòu)成。

通過(guò)采用 ControlNet 架構(gòu)，Cosmos Transfer 可保留預(yù)訓(xùn)練知識(shí)，從而實(shí)現(xiàn)結(jié)構(gòu)化、一致的輸出。它利用時(shí)空控制圖來(lái)動(dòng)態(tài)對(duì)齊合成和真實(shí)世界的表示，從而實(shí)現(xiàn)對(duì)場(chǎng)景構(gòu)圖、物體放置和運(yùn)動(dòng)動(dòng)態(tài)的精細(xì)控制。

輸入：

結(jié)構(gòu)化視覺(jué)或幾何數(shù)據(jù)：分割圖、深度圖、邊緣圖、人體運(yùn)動(dòng)關(guān)鍵點(diǎn)、LiDAR 掃描、軌跡、HD 地圖和 3D 邊界框。

真值標(biāo)注：用于精確對(duì)齊的高保真引用。

輸出：具有受控布局、物體放置和運(yùn)動(dòng)的逼真視頻序列。

主要功能：

生成與真實(shí)物理特性相符的可擴(kuò)展、逼真的合成數(shù)據(jù)，例如使用 NVIDIA GPU 和 PyTorch 等技術(shù)。

通過(guò)結(jié)構(gòu)化的多模態(tài)輸入控制對(duì)象交互和場(chǎng)景構(gòu)圖。

使用 Cosmos Transfer 獲取可控的合成數(shù)據(jù)

借助生成式 AI 的 API 和 SDK， NVIDIA Omniverse 可加速物理 AI 仿真。開(kāi)發(fā)者使用基于 OpenUSD 構(gòu)建的 NVIDIA Omniverse 創(chuàng)建 3D 場(chǎng)景，以準(zhǔn)確模擬現(xiàn)實(shí)世界環(huán)境，從而訓(xùn)練和測(cè)試機(jī)器人和智能汽車(chē)。這些仿真可作為 Cosmos Transfer 的真值視頻輸入，并與標(biāo)注和文本指令相結(jié)合。Cosmos Transfer 可在改變環(huán)境、照明和視覺(jué)條件的同時(shí)增強(qiáng)逼真度，從而生成可擴(kuò)展的多樣化世界狀態(tài)。

此工作流可加速高質(zhì)量訓(xùn)練數(shù)據(jù)集的創(chuàng)建，確保 AI 智能體從仿真有效推廣到實(shí)際部署。

圖 . NVIDIA Omniverse 中的生成式 API 和 SDK 為 Cosmos Transfer 的真值模擬提供支持

Cosmos Transfer 通過(guò)在用于合成操作運(yùn)動(dòng)生成的 Isaac GR00T Blueprint 和用于智能汽車(chē)仿真的 Omniverse Blueprint 中實(shí)現(xiàn)逼真的照明、色彩和紋理來(lái)增強(qiáng)機(jī)器人開(kāi)發(fā)，從而為訓(xùn)練提供不同的環(huán)境和天氣條件。這種逼真的數(shù)據(jù)對(duì)于后訓(xùn)練的策略模型至關(guān)重要，可確保將仿真平穩(wěn)地遷移到現(xiàn)實(shí)，并支持感知 AI 和 GR00T N1 等專(zhuān)用機(jī)器人模型的模型訓(xùn)練。

使用 Cosmos Transfer 運(yùn)行推理

以下是使用 Cosmos-Transfer1-7B 模型進(jìn)行推理的一些示例命令。

Cosmos Transfer 已根據(jù) NVIDIA Open Model License 在 Hugging Face 上公開(kāi)可用。生成 Hugging Face 訪(fǎng)問(wèn)令牌，使用 CLI 登錄，接受 LlamaGuard-7b 條款，并按照 Cosmos-Transfer1 GitHub 說(shuō)明操作。

以下命令可下載 Cosmos-Transfer1 的基礎(chǔ)模型、tokenizer 和 guardrail 模型：

PYTHONPATH=$(pwd) python scripts/download_checkpoints.py --output_dir checkpoints/

使用以下命令運(yùn)行模型。您可以使用 JSON 文件自定義設(shè)置，單獨(dú)或組合啟用模糊、Canny、深度或分割 ControlNets 等功能。

export CUDA_VISIBLE_DEVICES=0
PYTHONPATH=$(pwd) python cosmos_transfer1/diffusion/inference/transfer.py 
 --checkpoint_dir checkpoints 
 --input_video_path path/to/input_video.mp4 
 --video_save_name output_video 
 --sigma_max 70 
 --controlnet_specs spec.json

Cosmos WFM 可以后訓(xùn)練為 VLA 策略模型，其中視頻輸出被機(jī)器人執(zhí)行的動(dòng)作輸出所取代。對(duì)于上下文，策略模型根據(jù)當(dāng)前觀察結(jié)果和給定任務(wù)生成物理 AI 系統(tǒng)要執(zhí)行的操作。經(jīng)過(guò)良好訓(xùn)練的 WFM 可以對(duì)世界的這種動(dòng)態(tài)模式進(jìn)行建模，并作為策略模型的良好初始化。

在 GitHub 上詳細(xì)了解 Cosmos Transfer 示例。

Cosmos Predict 生成未來(lái)世界狀態(tài)

Cosmos Predict WFM 旨在將未來(lái)世界狀態(tài)建模為來(lái)自多模態(tài)輸入（包括文本、視頻和開(kāi)始端幀序列）的視頻。它使用基于 Transformer 的架構(gòu)構(gòu)建，可增強(qiáng)時(shí)間一致性和幀插值。

主要功能：

直接根據(jù)文本提示生成逼真的世界狀態(tài)。

通過(guò)預(yù)測(cè)缺失幀或擴(kuò)展運(yùn)動(dòng)，根據(jù)視頻序列預(yù)測(cè)后續(xù)狀態(tài)。

在開(kāi)始和結(jié)束圖像之間生成多幀，創(chuàng)建完整、流暢的序列。

Cosmos Predict WFM 為訓(xùn)練機(jī)器人和智能汽車(chē)的下游世界模型奠定了堅(jiān)實(shí)的基礎(chǔ)。您可以對(duì)這些模型進(jìn)行后期訓(xùn)練 ，以生成用于策略建模的動(dòng)作而不是視頻，也可以對(duì)其進(jìn)行調(diào)整以實(shí)現(xiàn)視覺(jué)語(yǔ)言理解，從而創(chuàng)建自定義感知 AI 模型。

Cosmos 以智能方式進(jìn)行

感知、推理和響應(yīng)的推理

Cosmos Reason 是一個(gè)完全可定制的多模態(tài) AI 推理模型，專(zhuān)為理解運(yùn)動(dòng)、物體交互和時(shí)空關(guān)系而構(gòu)建。該模型使用 chain-of-thought (CoT) 推理來(lái)解釋視覺(jué)輸入，根據(jù)給定的提示預(yù)測(cè)結(jié)果，并獎(jiǎng)勵(lì)最佳決策。與基于文本的 LLM 不同，它為現(xiàn)實(shí)世界的物理推理奠定了基礎(chǔ)，以自然語(yǔ)言生成清晰的上下文感知響應(yīng)。

輸入：視頻觀察和基于文本的查詢(xún)或指令。

輸出：通過(guò)長(zhǎng)視距 CoT 推理生成的文本響應(yīng)。

主要功能：

了解物體如何隨時(shí)間移動(dòng)、交互和變化。

根據(jù)輸入觀察結(jié)果預(yù)測(cè)并獎(jiǎng)勵(lì)下一個(gè)最佳動(dòng)作。

不斷完善決策制定。

專(zhuān)為后期訓(xùn)練而構(gòu)建，旨在構(gòu)建感知 AI 和具身 AI 模型。

訓(xùn)練管線(xiàn)

Cosmos Reason 分為三個(gè)階段進(jìn)行訓(xùn)練，增強(qiáng)其在現(xiàn)實(shí)世界場(chǎng)景中推理、預(yù)測(cè)和響應(yīng)決策的能力。

預(yù)訓(xùn)練：使用視覺(jué) Transformer（ViT）將視頻幀處理為結(jié)構(gòu)化嵌入，并將其與文本對(duì)齊，以共享對(duì)物體、動(dòng)作和空間關(guān)系的理解。

監(jiān)督式微調(diào) (SFT) ：使模型在兩個(gè)關(guān)鍵級(jí)別上專(zhuān)門(mén)進(jìn)行物理推理。常規(guī)微調(diào)可使用多樣化的視頻文本數(shù)據(jù)集增強(qiáng)語(yǔ)言基礎(chǔ)和多模態(tài)感知，而對(duì)物理 AI 數(shù)據(jù)進(jìn)行更多訓(xùn)練可提高模型推理現(xiàn)實(shí)世界交互的能力。它可以學(xué)習(xí)物體的行為，例如如何在現(xiàn)實(shí)世界中使用物體、動(dòng)作序列、確定多步驟任務(wù)的展開(kāi)方式，以及空間可行性，以區(qū)分現(xiàn)實(shí)和不可能的放置。

圖 . 強(qiáng)化學(xué)習(xí)反饋回路通過(guò)正反饋和模型調(diào)整不斷改進(jìn)

強(qiáng)化學(xué)習(xí) (RL) ：該模型會(huì)評(píng)估不同的推理路徑，并僅在通過(guò)試驗(yàn)和獎(jiǎng)勵(lì)反饋?zhàn)龀龈玫臎Q策時(shí)自我更新。它不依賴(lài)人工標(biāo)記的數(shù)據(jù)，而是使用基于規(guī)則的獎(jiǎng)勵(lì)：

實(shí)體識(shí)別：獎(jiǎng)勵(lì)準(zhǔn)確識(shí)別對(duì)象及其屬性的行為。

空間限制：懲罰物理上不可能進(jìn)行的放置，同時(shí)強(qiáng)化逼真的物體定位。

時(shí)間推理：鼓勵(lì)根據(jù)因果關(guān)系進(jìn)行正確的序列預(yù)測(cè)。

開(kāi)始使用

Cosmos WFM 在Hugging Face 上提供，并在 GitHub 上為 Cosmos-Predict1 和 Cosmos-Transfer1 提供了推理腳本。