自主機(jī)器開(kāi)發(fā)是一個(gè)數(shù)據(jù)生成和收集、模型訓(xùn)練和部署的迭代過(guò)程，其特點(diǎn)是跨異構(gòu)計(jì)算資源的復(fù)雜的多階段、多容器工作流。

這其中涉及多個(gè)團(tuán)隊(duì)，每個(gè)團(tuán)隊(duì)都需要共享和異構(gòu)計(jì)算。此外，團(tuán)隊(duì)希望將某些工作負(fù)載擴(kuò)展到云中，這通常需要 DevOps 專(zhuān)業(yè)知識(shí)，還需要在本地維護(hù)其他工作負(fù)載。

到目前為止，還沒(méi)有一個(gè)統(tǒng)一的平臺(tái)可供開(kāi)發(fā)者輕松提交所需計(jì)算的工作負(fù)載。

在最近的 GTC 大會(huì)上，NVIDIA 發(fā)布了OSMO，這是一個(gè)云原生工作流編排平臺(tái)，它提供一個(gè)單一界面，用于跨異構(gòu)共享計(jì)算環(huán)境調(diào)度和管理各種自主機(jī)器工作負(fù)載。這些工作負(fù)載包括：

合成數(shù)據(jù)生成 (SDG)

DNN 訓(xùn)練和驗(yàn)證

強(qiáng)化學(xué)習(xí)

SIL 或 HIL 中的機(jī)器人 (再) 仿真

基于 SIM 或真實(shí)數(shù)據(jù)的感知評(píng)估

跨異構(gòu)共享計(jì)算部署復(fù)雜的工作流

借助 OSMO 統(tǒng)一計(jì)算資源調(diào)度，您可以輕松地在 Kubernetes 集群上部署和協(xié)調(diào)多階段工作負(fù)載。這包括共享的異構(gòu)多節(jié)點(diǎn)計(jì)算資源，例如 aarch64 和 x86-64，可確?？绮煌軜?gòu)的靈活性和兼容性。

您可以輕松設(shè)置基于 YAML 的多階段、多節(jié)點(diǎn)任務(wù)，并簡(jiǎn)化從 SDG 、訓(xùn)練到模型驗(yàn)證的端到端開(kāi)發(fā)流程。OSMO 還可以集成到現(xiàn)有的 CI/CD 工作流中，動(dòng)態(tài)調(diào)度夜間回歸測(cè)試、基準(zhǔn)測(cè)試和模型驗(yàn)證等任務(wù)。

該服務(wù)還利用 OIDC 等開(kāi)放標(biāo)準(zhǔn)進(jìn)行身份驗(yàn)證，并支持通過(guò)一鍵式密鑰輪換實(shí)現(xiàn)憑據(jù)和數(shù)據(jù)集安全性的最佳實(shí)踐。在合規(guī)性方面，團(tuán)隊(duì)可以通過(guò)開(kāi)發(fā)中的版本管理和追蹤用于模型訓(xùn)練的所有數(shù)據(jù)。這一功能對(duì)于可重復(fù)性來(lái)說(shuō)也非常有價(jià)值。

協(xié)調(diào)本地部署和云 SDG 工作負(fù)載

合成數(shù)據(jù)生成尤其受益于分布式環(huán)境，因?yàn)樗ǔ谋镜亻_(kāi)始生成較小批量的數(shù)據(jù)，但當(dāng)需要生成大量數(shù)據(jù)時(shí)，則需要利用云來(lái)進(jìn)行規(guī)模的擴(kuò)展。OSMO 使用彈性資源調(diào)配，在降低 SDG 等離線(xiàn)批量流程的成本方面發(fā)揮著關(guān)鍵作用，從而實(shí)現(xiàn)高效且經(jīng)濟(jì)的大規(guī)模數(shù)據(jù)生成。

高效運(yùn)行 SIL 和 HIL 測(cè)試

OSMO 支持的另一個(gè)重要工作負(fù)載是軟件在環(huán) (SIL) 機(jī)器人測(cè)試，涉及仿真多傳感器和多機(jī)器人場(chǎng)景，或是一系列測(cè)試場(chǎng)景。這些場(chǎng)景最適合易于訪問(wèn)計(jì)算資源的云環(huán)境。OSMO 能夠跨分布式環(huán)境調(diào)度和管理工作負(fù)載，確保利用云資源的可擴(kuò)展性和可訪問(wèn)性，從而高效地執(zhí)行 SIL 測(cè)試。

另一方面，由于特定機(jī)器人或機(jī)器硬件的可用性，硬件在環(huán) (HIL) 測(cè)試需要本地部署。

異構(gòu)計(jì)算對(duì)于 HIL 測(cè)試來(lái)說(shuō)是必需的，因?yàn)榉抡婧驼{(diào)試等工作負(fù)載需要 x86，并且需要在 aarch64 上運(yùn)行針對(duì)測(cè)試的軟件，以提供其他方式無(wú)法提供的準(zhǔn)確性能和硬件功能。直接在目標(biāo)硬件上運(yùn)行 HIL 還可以減少對(duì)昂貴的仿真器的需求。

同時(shí)生成和訓(xùn)練基礎(chǔ)模型

OSMO 支持GR00T這種基礎(chǔ)模型，該模型需要在 NVIDIA DGX 上進(jìn)行模型訓(xùn)練，同時(shí)在 OVX 上進(jìn)行實(shí)時(shí)強(qiáng)化學(xué)習(xí)。該工作負(fù)載包括在一個(gè)循環(huán)中以迭代方式生成和訓(xùn)練模型。

OSMO 可以跨分布式環(huán)境管理和調(diào)度工作負(fù)載，從而實(shí)現(xiàn) DGX 和 OVX 系統(tǒng)的無(wú)縫協(xié)調(diào)，從而實(shí)現(xiàn)高效的迭代模型開(kāi)發(fā)。

圖 1. NVIDIA OSMO 用于 GR00T 基礎(chǔ)模型

跟蹤數(shù)據(jù)沿襲

數(shù)據(jù)沿襲和管理對(duì)于模型審計(jì)和確保整個(gè)開(kāi)發(fā)過(guò)程的可追溯性來(lái)說(shuō)至關(guān)重要。借助 OSMO，您可以追溯從來(lái)源到經(jīng)過(guò)訓(xùn)練的模型的數(shù)據(jù)沿襲，從而提供透明性和可靠性。

借助 OSMO，您還可以輕松地管理大型數(shù)據(jù)集和創(chuàng)建數(shù)據(jù)集，從而實(shí)現(xiàn)高效的數(shù)據(jù)組織和分類(lèi)。這包括管理真實(shí)數(shù)據(jù)集、合成數(shù)據(jù)集或混合數(shù)據(jù)集的能力，從而靈活地控制用于模型訓(xùn)練和評(píng)估的數(shù)據(jù)集。

審核編輯：劉清