NVIDIA 的數(shù)據(jù)工廠團隊為NVIDIACosmos Reason 等 AI 模型奠定了基礎(chǔ)，該模型近日在 Hugging Face 的物理推理模型排行榜中位列榜首。

AI 模型正以驚人的速度與規(guī)模不斷發(fā)展。

但它們?nèi)鄙倭巳祟惻c生俱來的哪種能力呢？答案是“常識”。常識是一種通過現(xiàn)實生活經(jīng)驗形成的認知：比如鳥類無法倒著飛、鏡子能夠反射、冰會融化成水。

對人類而言，這些常識顯而易見。但對于需要精準回答復雜問題、在工業(yè)倉庫或道路等不可預測的物理環(huán)境中運行的 AI 模型來說，這些知識必須通過“教學”才能掌握。

為解決這一難題，NVIDIA 正在開發(fā)一套測試方案，旨在教會 AI 模型認知物理世界的運行邊界。簡言之，就是教會 AI 常識。

這些測試被用于開發(fā)推理模型，比如NVIDIA Cosmos Reason。這是一款用于物理 AI 應(yīng)用的開源視覺語言推理模型（VLM），能夠生成具有時間關(guān)聯(lián)性的響應(yīng)。目前，Cosmos Reason 已在 Hugging Face 的物理推理模型排行榜中位居第一。

相較于傳統(tǒng)視覺語言模型，NVIDIACosmos Reason 的獨特價值在于：它專為加速機器人、自動駕駛汽車及智能空間等物理 AI 的開發(fā)而設(shè)計，能夠基于物理常識知識，對之前沒有經(jīng)歷過的場景進行推理。

要讓 AI 模型真正理解工業(yè)空間、實驗室等復雜環(huán)境，需從基礎(chǔ)認知開始構(gòu)建。例如，在下方展示的測試中，NVIDIACosmos Reason 需要回答關(guān)于視頻中和相對運動有關(guān)的選擇題。

NVIDIACosmos Reason 評估數(shù)據(jù)集的示例

什么是 AI 模型的推理能力？

為提升模型的推理能力，NVIDIA 采用?強化學習?的方式，讓模型學習關(guān)于現(xiàn)實世界的物理常識。

舉例說明，機器人無法憑直覺分辨左、右、上、下，它們需要通過訓練才能理解這些時空概念；用于安全測試，比如汽車碰撞測試的 AI 驅(qū)動機器人，也必須經(jīng)過訓練才能理解自身物理形態(tài)如何與周圍環(huán)境互動。

如果在訓練過程中沒有教會機器人常識，在實際部署時就可能出現(xiàn)問題。

NVIDIA Cosmos Reason 研究科學家 Yin Cui 表示：“如果缺乏對物理世界的基礎(chǔ)認知，機器人可能跌倒，或者導致意外損毀物品，進而對人員及環(huán)境的安全構(gòu)成威脅?！?/p>

NVIDIA 正通過將人類對物理世界的常識“注入”AI 模型，推動下一代 AI 的發(fā)展。

NVIDIA 數(shù)據(jù)工廠團隊由來自生物工程、商業(yè)和語言學等多元背景的全球分析師構(gòu)成，他們致力于開發(fā)、分析并整合數(shù)十萬條數(shù)據(jù)單元，為生成式 AI 的推理訓練提供核心數(shù)據(jù)支撐。

數(shù)據(jù)整理流程

NVIDIA 數(shù)據(jù)工廠團隊的核心項目之一，是開發(fā)面向物理 AI 應(yīng)用的世界基礎(chǔ)模型。這些虛擬環(huán)境能構(gòu)建深度學習神經(jīng)網(wǎng)絡(luò)，基于仿真場景為推理模型訓練提供更安全、更高效的支持。

NVIDIA 數(shù)據(jù)標注團隊率先啟動流程，他們基于真實世界視頻數(shù)據(jù)設(shè)計問答對。視頻內(nèi)容涵蓋各類場景，從雞在雞舍中活動，到汽車在鄉(xiāng)間道路行駛。

例如，某個標注員可能會針對下面的視頻提出問題：“畫面中的人是用哪只手切意大利面？”

NVIDIACosmos Reason 評估數(shù)據(jù)集的示例

隨后，標注員會給出 A、B、C、D 四個選項。模型獲取這些數(shù)據(jù)后，進行推理并選擇正確答案。

Yin Cui 表示：“我們本質(zhì)上是在給模型設(shè)計測試題。所有問題都采用選擇題形式，就像學生在學?？荚囍杏龅降念}目一樣?！?/p>

這些問答對隨后由 Michelle Li 等 NVIDIA 的分析師進行質(zhì)量檢查。

Li 擁有公共衛(wèi)生和數(shù)據(jù)分析學背景，這讓她能夠從更宏觀的角度看待所分析的數(shù)據(jù)。

她說：“對于物理 AI ，我們的特定目標是訓練模型理解物理世界，這一目標讓我在審核問答對和問題類型時，始終保持全局視角。我會問自己，這些問答對是否符合項目的目標和準則要求？”

之后，數(shù)據(jù)會由項目的數(shù)據(jù)工廠負責人審核，確保其符合質(zhì)量標準并可交付至NVIDIACosmos Reason 研究團隊?？茖W家們隨后將數(shù)十萬條數(shù)據(jù)單元（即問答對）輸入模型，通過強化學習訓練其理解物理世界的邊界和限制。

推理型 AI 有哪些應(yīng)用場景？

推理模型的優(yōu)勢在于，它們既能理解自身所處的時空環(huán)境，也能預測結(jié)果。這類模型可分析情境，生成可能結(jié)果的邏輯思維網(wǎng)絡(luò)，并推斷出最可能的場景。

簡而言之，推理式 AI 展現(xiàn)了類似人類的思維。它會展示思考過程，讓用戶能夠理解其響應(yīng)背后的邏輯。

用戶可要求模型分析視頻內(nèi)容，如兩輛車在路上行駛的場景。當被問到“如果這兩輛車在同一車道上相向而行會發(fā)生什么？”時，模型能夠推理并判定該假設(shè)情景的最可能結(jié)果，比如兩車相撞。

NVIDIA Cosmos Reason 團隊首席研究科學家 Tsung-Yi Lin 表示：“我們正在開發(fā)一種以物理 AI 為核心的突破性推理模型?！?/p>

隨著 NVIDIA 持續(xù)推進推理模型創(chuàng)新，數(shù)據(jù)工廠團隊的高質(zhì)量數(shù)據(jù)生產(chǎn)能力，將對開發(fā)能安全與現(xiàn)實世界交互的自主的智能體以及物理 AI 系統(tǒng)起到關(guān)鍵作用。

您可以在 Hugging Face 和 GitHub 預覽或下載 NVIDIA Cosmos-Reason1 模型。