CES 2025展會上，英偉達(dá)推出了基石世界模型Cosmos，World Foundation Model基石世界模型，簡稱WFM。

物理 AI 模型的開發(fā)成本很高并且需要大量真實(shí)數(shù)據(jù)和測試。Cosmos 世界基礎(chǔ)模型（WFM）使開發(fā)者能夠輕松生成大量基于物理學(xué)的逼真合成數(shù)據(jù)，以用于訓(xùn)練和評估其現(xiàn)有的模型。開發(fā)者還可以通過微調(diào) Cosmos WFM 構(gòu)建自定義模型。

為加速機(jī)器人和自動駕駛汽車行業(yè)的工作，Cosmos 模型將以開放模型許可證的方式提供。開發(fā)者可以在 NVIDIA API 目錄中預(yù)覽首批模型，也可以從 NVIDIA NGC 目錄或 Hugging Face下載整個(gè)系列的模型和微調(diào)框架。

Cosmos 的首批用戶包括 1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi 和小鵬汽車等領(lǐng)先機(jī)器人和汽車公司以及共享出行巨頭 Uber。

Cosmos主要功能，生成虛擬世界狀態(tài)：Cosmos能根據(jù)文本、圖像或視頻的提示生成高度仿真的虛擬世界狀態(tài)，適用于自動駕駛和機(jī)器人應(yīng)用。

生成式模型：平臺基于生成式模型快速生成與真實(shí)世界場景相似的數(shù)據(jù)，幫助開發(fā)者訓(xùn)練和評估現(xiàn)有的AI模型。

高級標(biāo)記器和數(shù)據(jù)處理：Cosmos集成了高級標(biāo)記器和加速視頻處理管道，生成的數(shù)據(jù)在后續(xù)的模型訓(xùn)練中發(fā)揮更大的作用。

安全與合規(guī)：平臺還提供了安全防護(hù)機(jī)制，確保數(shù)據(jù)的安全與合規(guī)。

開放模型許可：Cosmos將以開放模型許可的形式在Hugging Face和NVIDIA NGC目錄中提供，支持開發(fā)者進(jìn)行定制化應(yīng)用。

Cosmos的技術(shù)原理

生成式世界基礎(chǔ)模型（WFM）：Cosmos使用先進(jìn)的生成式模型技術(shù)，模型包括擴(kuò)散模型和自回歸Transformer模型，能生成與真實(shí)世界高度一致的場景。

駕駛環(huán)境模擬：Cosmos能生成各種天氣和路況條件下的合成數(shù)據(jù)，為自動駕駛系統(tǒng)的訓(xùn)練提供豐富的場景。

策略模型優(yōu)化：通過生成大量逼真的駕駛場景，Cosmos可以幫助自動駕駛系統(tǒng)在模擬環(huán)境中進(jìn)行強(qiáng)化學(xué)習(xí)，優(yōu)化決策策略模型，測試在不同場景下的性能。

復(fù)雜環(huán)境適應(yīng)性訓(xùn)練：Cosmos可以為機(jī)器人提供復(fù)雜環(huán)境的實(shí)時(shí)模擬，使其感知系統(tǒng)通過合成數(shù)據(jù)進(jìn)行訓(xùn)練。

導(dǎo)航與任務(wù)執(zhí)行：基于Cosmos生成的虛擬世界狀態(tài)，機(jī)器人可以更好地理解和適應(yīng)周圍環(huán)境，實(shí)現(xiàn)更精準(zhǔn)的導(dǎo)航和任務(wù)執(zhí)行。

逼真場景生成：Cosmos能生成高度仿真的虛擬世界狀態(tài)，適用于虛擬現(xiàn)實(shí)游戲和仿真訓(xùn)練。例如，開發(fā)者可以使用Omniverse創(chuàng)建三維場景，然后通過Cosmos將其轉(zhuǎn)換為逼真的場景，使機(jī)器人在模擬環(huán)境中進(jìn)行訓(xùn)練。

工業(yè)數(shù)字孿生：結(jié)合NVIDIA的Omniverse和Cosmos，可以創(chuàng)建工業(yè)數(shù)字孿生環(huán)境，用于工廠和倉庫的模擬、測試和優(yōu)化。這使得在復(fù)雜生產(chǎn)設(shè)施和配送中心網(wǎng)絡(luò)中，能更好地進(jìn)行手動設(shè)計(jì)、操作和優(yōu)化。

Cosmos的應(yīng)用案例

Uber自動駕駛開發(fā)：Uber作為首批采用Cosmos的公司之一，基于生成式AI能力，加速了安全、可擴(kuò)展的自動駕駛解決方案的進(jìn)程。為Uber的自動駕駛系統(tǒng)提供了豐富的合成數(shù)據(jù)，幫助其在不同駕駛場景下進(jìn)行模型訓(xùn)練和優(yōu)化，提升自動駕駛技術(shù)的安全性和可靠性。

小鵬汽車模擬訓(xùn)練：小鵬汽車也采用了Cosmos平臺，通過生成各種天氣和路況條件下的合成駕駛數(shù)據(jù)，對自動駕駛算法進(jìn)行模擬訓(xùn)練。例如，在模擬雨、雪、霧、霾等惡劣天氣下，以及城市道路、高速公路等不同路況的場景中，自動駕駛系統(tǒng)可以學(xué)習(xí)如何更好地感知環(huán)境、做出決策和執(zhí)行操作，提高算法在真實(shí)街景中的表現(xiàn)。

1X機(jī)器人動態(tài)規(guī)劃：1X公司用Cosmos的仿真引擎，為機(jī)器人提供了高保真的力學(xué)、運(yùn)動學(xué)和動態(tài)交互建模能力。通過閉環(huán)模擬，1X機(jī)器人可以在虛擬環(huán)境中進(jìn)行動態(tài)規(guī)劃與環(huán)境適應(yīng)性優(yōu)化，在實(shí)際應(yīng)用場景中實(shí)現(xiàn)更精準(zhǔn)的導(dǎo)航和任務(wù)執(zhí)行。

Waabi是一家從自動駕駛汽車開始致力于開發(fā)物理世界生成式 AI 的先驅(qū)。該公司正在評估 Cosmos 在自動駕駛汽車軟件開發(fā)和仿真中數(shù)據(jù)整理的應(yīng)用。

Wayve是一家致力于開發(fā)自動駕駛 AI 基礎(chǔ)模型的公司。該公司正在評估使用 Cosmos 搜索用于提高安全性和驗(yàn)證的極端駕駛場景。

自動駕駛汽車工具鏈提供商Foretellix將使用 Cosmos 與 NVIDIA Omniverse Sensor RTX API大規(guī)模評估和生成高保真測試場景與訓(xùn)練數(shù)據(jù)。

我們來具體看一下Cosmos，英偉達(dá)搜集了2000萬小時(shí)的視頻，這些視頻數(shù)據(jù)篩選或者說編審（curation）管線借助許多經(jīng)過預(yù)訓(xùn)練的圖像/視頻理解模型，從中抽出1億個(gè)2-60秒的片段，每個(gè)片段使用VLM視覺語言模型，每256幀提供一個(gè)視覺解說（caption），英偉達(dá)采用自回歸即transformer和擴(kuò)散diffusion兩種模式來生成盡可能多的可用于訓(xùn)練的視頻。英偉達(dá)使用一萬張H100顯卡，用時(shí)三個(gè)月，訓(xùn)練出了Cosmos，當(dāng)然這個(gè)模型會一直升級，英偉達(dá)的運(yùn)算資源自然是不成問題的。

英偉達(dá)打造了一種Ray-based orchestration的管線，用于端到端特別是強(qiáng)化學(xué)習(xí)訓(xùn)練中。

強(qiáng)化學(xué)習(xí)訓(xùn)練

圖片來源：論文《Ray: A Distributed Framework for Emerging AI Applications》

Ray架構(gòu)

圖片來源：論文《Ray: A Distributed Framework for Emerging AI Applications》

Cosmos實(shí)例

圖片來源：英偉達(dá)

預(yù)訓(xùn)練的Cosmos WFM生成高質(zhì)量的3D視頻并且包含正確的物理世界分布與反應(yīng)。使用連續(xù)和分離潛在表示（latent representation）來訓(xùn)練視頻。

圖片來源：英偉達(dá)

WFM是基石，再根據(jù)下游具體應(yīng)用做出對應(yīng)的定制數(shù)據(jù)集，再進(jìn)行訓(xùn)練。

華為DriveGPT4

圖片來源：華為DriveGPT4論文

這和自動駕駛領(lǐng)域?qū)LM微調(diào)一樣，華為使用的是META開源的LLaMA 2，使用BDD-X和ChatGPT做指令微調(diào)。這些指令實(shí)際就是prompt，它包括動作命令、軌跡規(guī)劃和具體指令。這些prompt需要從現(xiàn)實(shí)物理世界中搜集，并做一一對應(yīng)。

Cosmos構(gòu)成

圖片來源：英偉達(dá)

Cosmos視頻篩選步驟

圖片來源：英偉達(dá)

上面是Cosmos視頻類型構(gòu)成，駕駛類占了11%，手動作和物體操縱占16%，人類動作和活動占10%，空間認(rèn)知和導(dǎo)航占16%，第一人稱視角占8%，自然動態(tài)占20%。由此看出，Cosmos主要還是面向機(jī)器人和具身智能的。

Cosmos的Tokenizer

圖片來源：英偉達(dá)

Cosmos的Tokenizer可以對應(yīng)各種類型的輸入。

Cosmos擴(kuò)散WFM模型1.0版架構(gòu)

圖片來源：英偉達(dá)

Cosmos擴(kuò)散WFM模型1.0版架構(gòu)，tokenizer分的很細(xì)，且是3D的，國內(nèi)受限于計(jì)算資源，都盡量減少token數(shù)量，這會導(dǎo)致準(zhǔn)確率下降。英偉達(dá)自然是絲毫不在意計(jì)算資源的。

Cosmos生成多個(gè)視角視頻

Text-conditioned samples generated by Cosmos-1.0-Di?usion-7B-Text2World-SampleMultiView, extended to 8 seconds by Cosmos-1.0-Di?usion-7B-Video2World-Sample-MultiView.

圖片來源：英偉達(dá)

多視角視頻目前國內(nèi)已知的只有華為的MagicDriveDiT。

Trajectory-conditioned generated samples from Cosmos-1.0-Di?usion-7B-Text2World-SampleMultiView-TrajectoryCond.，給定軌跡，生成需要的視頻，同樣是多視角的，圖片只顯示了前攝像頭視角。

圖片來源：英偉達(dá)

圖片來源：英偉達(dá)

軌跡誤差即TFE的單位是厘米，與真實(shí)即groundtruth的誤差小于7厘米。

圖片來源：英偉達(dá)

視頻生成質(zhì)量指標(biāo)主要是FID和FVD，F(xiàn)ID（Fréchet Inception Distance）是一種用于評估生成模型，尤其是在圖像生成任務(wù)中，生成圖像的質(zhì)量和多樣性的指標(biāo)。它通過比較生成圖像與真實(shí)圖像在特定空間內(nèi)的分布來工作。這個(gè)特定的空間通常是通過預(yù)訓(xùn)練的Inception網(wǎng)絡(luò)的某一層來定義的。對于生成圖像集和真實(shí)圖像集，分別通過Inception網(wǎng)絡(luò)（通常是Inception V3模型）計(jì)算它們的特征表示。這一步驟會得到每個(gè)圖像集的特征向量。計(jì)算每個(gè)集合的特征向量的均值和協(xié)方差矩陣，并做對比。FVD和FID接近，相當(dāng)于把FID的圖像特征提取網(wǎng)絡(luò)換成視頻特征提取網(wǎng)絡(luò)，其他都差不多。

注：這里的Ours指商湯的InfinityDrive

圖片來源：商湯科技

商湯的要比英偉達(dá)優(yōu)秀很多，但英偉達(dá)是3D且是多視角，能達(dá)到中上游水平已經(jīng)是相當(dāng)優(yōu)秀了，英偉達(dá)在3D方面實(shí)力是最強(qiáng)的，沒有之一。

Cosmos的數(shù)據(jù)保護(hù)

圖片來源：英偉達(dá)

視頻可能牽涉的隱私和安全問題，英偉達(dá)已經(jīng)替你想過了，完全不用擔(dān)心。

英偉達(dá)Cosmos的推出對于智能駕駛特別是端到端智能駕駛有了極大的幫助，廠家的數(shù)據(jù)成本下降至少95%，數(shù)據(jù)的質(zhì)量還更好，對于那些靠搜集真實(shí)數(shù)據(jù)的純數(shù)據(jù)集公司來說是滅頂之災(zāi)，對于極佳、商湯和華為之流世界模型廠家則提出了嚴(yán)峻的挑戰(zhàn)。