傳感器仿真對真實(shí)世界傳感器的物理屬性和行為進(jìn)行建模，以再現(xiàn)其感知周圍環(huán)境的過程。該技術(shù)使開發(fā)者能夠擁有一個(gè)安全的試驗(yàn)場，來訓(xùn)練、測試和驗(yàn)證用于機(jī)器人、汽車和工業(yè)應(yīng)用的物理 AI 模型。

1?

為什么傳感器仿真對物理 AI 至關(guān)重要？

機(jī)器人和自動(dòng)駕駛汽車（AVs）等自主系統(tǒng)依賴于復(fù)雜的多維 AI 模型，使用傳感器數(shù)據(jù)來感知和回應(yīng)周圍環(huán)境。

為自主系統(tǒng)開發(fā)物理 AI 算法需要大量的數(shù)據(jù)來代表現(xiàn)實(shí)世界條件的多樣性和不可預(yù)測性。但是，收集和標(biāo)注大量有用的真實(shí)世界傳感器數(shù)據(jù)耗時(shí)耗力且成本高昂。此外，由于安全問題，要收集現(xiàn)實(shí)世界中危險(xiǎn)場景的數(shù)據(jù)困難重重。

傳感器仿真提供了一種安全、可控和可擴(kuò)展的方式來訓(xùn)練、驗(yàn)證和測試需要大量數(shù)據(jù)的模型，并加速物理 AI 的開發(fā)。

2?

傳感器仿真有哪些好處？

傳感器仿真渲染基于物理環(huán)境，開發(fā)者可通過無數(shù)逼真的“假設(shè)”場景運(yùn)行自主模型，進(jìn)行可靠的訓(xùn)練和測試。由于機(jī)器人、自動(dòng)駕駛汽車和智能工廠對傳感器數(shù)據(jù)的精確性和與環(huán)境的交互要求甚高，因此，傳感器仿真對其至關(guān)重要。

虛擬環(huán)境中的仿真?zhèn)鞲衅饕远喾N方式簡化了物理 AI 開發(fā)：

生成用于模型訓(xùn)練的數(shù)據(jù)變體

仿真可以用于生成合成數(shù)據(jù)和新變體，可從真值數(shù)據(jù)中捕獲現(xiàn)實(shí)世界場景的多樣性。多樣化的數(shù)據(jù)集使模型能夠推廣到各個(gè)領(lǐng)域，從而提高它們在不同環(huán)境和用例中運(yùn)行的有效性。

提高安全性

傳感器仿真可以對自主機(jī)器如何感知其環(huán)境的各個(gè)方面進(jìn)行模擬，而無需進(jìn)行真實(shí)世界的交互。這包括任意給定場景的外觀、行為和內(nèi)容，以及傳感器噪音、遮擋、來自其他智能體的不利操縱以及嚴(yán)酷的照明和天氣條件。通過在安全、可擴(kuò)展的環(huán)境中進(jìn)行軟件在環(huán)和硬件在環(huán)測試，開發(fā)者可以全面驗(yàn)證并改進(jìn)其系統(tǒng)，確保在部署前提高安全性和可靠性。

降低開發(fā)成本

傳感器仿真減少了對昂貴的大規(guī)模數(shù)據(jù)采集和標(biāo)注數(shù)據(jù)的依賴，以及測試和驗(yàn)證所需的物理原型數(shù)量。

縮短解決時(shí)間

傳感器仿真使開發(fā)者能夠配置虛擬世界，使用自動(dòng)化工作流進(jìn)行快速迭代，以提高性能并縮短端到端開發(fā)時(shí)間。此外，傳感器仿真使開發(fā)者能夠在物理傳感器可用之前對完整的解決方案進(jìn)行原型設(shè)計(jì)。

3?

傳感器仿真面臨哪些挑戰(zhàn)？

精準(zhǔn)性

虛擬傳感器的仿真必須反映真實(shí)世界傳感器的物理屬性和行為，具有一定程度的保真度，提升開發(fā)者信心，使用模擬傳感器數(shù)據(jù)來增強(qiáng)和擴(kuò)展現(xiàn)有的真實(shí)世界工作流。

持續(xù)開發(fā)能力

擴(kuò)展和維護(hù)傳感器仿真解決方案，以與其他傳感器或新功能相整合，例如高級(jí)渲染功能或復(fù)雜的傳感器行為（如非視覺傳感器的多次反射、多路徑光線追蹤效果），這些任務(wù)通常需要大量的技術(shù)專業(yè)人員。

可擴(kuò)展

傳感器仿真解決方案能夠?qū)崿F(xiàn)物理 AI 開發(fā)所需的精確性和可擴(kuò)展性，但構(gòu)建和維護(hù)成本可能很高。這通常意味著需要建立大規(guī)模的基礎(chǔ)設(shè)施，并且需要能夠管理整個(gè)軟件和硬件堆棧的團(tuán)隊(duì)。

易于集成

傳感器仿真解決方案通常在復(fù)雜硬件上使用定制軟件包構(gòu)建，需要特定的領(lǐng)域?qū)I(yè)知識(shí)。目前沒有即插即用解決方案，可以讓開發(fā)者輕松地將現(xiàn)有的仿真工作流與傳感器仿真相連，并訓(xùn)練/測試他們的物理 AI 系統(tǒng)。

4?

傳感器仿真是如何運(yùn)作的？

高效的傳感器仿真包括以下組件：

數(shù)字孿生

開發(fā)者可以利用包括操作環(huán)境的 3D 模型的數(shù)字孿生技術(shù)。這些環(huán)境可能包括具有材料和視覺屬性的車輛、人、機(jī)器人、工廠或街道。數(shù)字孿生還應(yīng)包括物理現(xiàn)象，例如光如何與物體交互。這種詳細(xì)的表達(dá)讓傳感器模型與周圍環(huán)境進(jìn)行交互，并提取真值標(biāo)簽，用于訓(xùn)練和測試物理 AI。

現(xiàn)實(shí)物理現(xiàn)象和行為

在仿真環(huán)境中，開發(fā)者必須定義 3D 場景中智能體基于物理的行為，包括光和物質(zhì)。這包括精確模擬行人行走、箱子從架子上掉下來，或者移動(dòng)車輛或機(jī)器人的動(dòng)態(tài)等動(dòng)作。每個(gè)實(shí)體都應(yīng)符合物理定律，確保真實(shí)現(xiàn)實(shí)行為，并生成精確的傳感器輸出。

傳感器建模

傳感器仿真模型模擬傳感器工作流中的每一步，以準(zhǔn)確地模擬真實(shí)世界傳感器的物理和行為。這一工作流包括光和無線電波的行為，每個(gè)傳感器中的發(fā)射器和接收器的行為，以及每個(gè)傳感器特定的其他內(nèi)部作業(yè)，如機(jī)械激光雷達(dá)或相機(jī)上的滾動(dòng)快門的旋轉(zhuǎn)。各種物理現(xiàn)象，如多次反射、多路徑射線效應(yīng)、多普勒、透鏡的光失真、圖像數(shù)據(jù)中的動(dòng)態(tài)模糊、低光噪聲等都是縮小仿真與真實(shí)數(shù)據(jù)之間的域間隙的重要方面。

5?

傳感器仿真有哪些應(yīng)用？

傳感器仿真可以使任何使用自主機(jī)器或依賴于傳感器設(shè)備的行業(yè)受益。

汽車

仿真是自動(dòng)駕駛汽車開發(fā)工作流的基礎(chǔ)組成部分。特別是傳感器仿真，對于測試和驗(yàn)證基于高保真度的物理傳感器數(shù)據(jù)的感知和規(guī)劃堆棧至關(guān)重要。

具體而言，開發(fā)者可以在傳感器仿真中反復(fù)再現(xiàn)真實(shí)世界的駕駛。該精確反復(fù)再現(xiàn)駕駛的能力使開發(fā)者能夠?qū)π阅苓M(jìn)行基準(zhǔn)測試，測量堆棧是否改進(jìn)或退化，并全面測試自動(dòng)駕駛汽車和駕駛員輔助系統(tǒng)。

傳感器仿真還提供了一個(gè)試驗(yàn)場，以訓(xùn)練自動(dòng)駕駛汽車的深度神經(jīng)網(wǎng)絡(luò)，為車輛的感知提供動(dòng)力。這些網(wǎng)絡(luò)可以不斷體驗(yàn)多樣化的新數(shù)據(jù)集，以磨練其準(zhǔn)確理解周圍環(huán)境的能力。傳感器仿真還可以用于開環(huán)數(shù)據(jù)生成，創(chuàng)建各種挑戰(zhàn)自動(dòng)駕駛汽車的數(shù)據(jù)集。

最后，開發(fā)者可以在動(dòng)態(tài)、反應(yīng)性強(qiáng)且安全至關(guān)重要的平臺(tái)上進(jìn)行閉環(huán)測試。采用高保真度傳感器的大規(guī)模運(yùn)行和高性能的閉環(huán)仿真，可以增強(qiáng)自動(dòng)駕駛汽車開發(fā)者加速預(yù)檢定位、調(diào)試和開發(fā)新功能的能力，這有助于開發(fā)人員驗(yàn)證自動(dòng)駕駛系統(tǒng)，以實(shí)現(xiàn)在真實(shí)世界部署。

機(jī)器人

依賴感知的機(jī)器人可以充分利用傳感器仿真工具。

自主移動(dòng)機(jī)器人（AMR）在工廠和倉庫中已經(jīng)變得很普遍，用于吊裝產(chǎn)品和運(yùn)輸貨物。這些自主移動(dòng)機(jī)器人配備了大量傳感器，與自動(dòng)駕駛汽車一樣，必須理解周圍環(huán)境并安全地導(dǎo)航。

人形機(jī)器人采用模仿人類外形和功能的設(shè)計(jì)，依靠傳感器在不同的環(huán)境中移動(dòng)并與物體交互。傳感器仿真對于將機(jī)器人投入到現(xiàn)實(shí)世界運(yùn)行前，測試和增強(qiáng)這些機(jī)器人在不可預(yù)測的環(huán)境中的功能起到關(guān)鍵作用。

機(jī)器人開發(fā)者使用傳感器仿真來進(jìn)行姿勢估計(jì)，使機(jī)械臂能夠正確抓取物體。傳感器仿真還用于調(diào)優(yōu) AI 模型，用于光學(xué)檢測應(yīng)用場景，如檢測裝配線上的缺陷產(chǎn)品和產(chǎn)品分揀。

智慧空間

傳感器仿真可用于訓(xùn)練為倉庫、機(jī)場、醫(yī)院等智慧空間提供支持的 AI 模型。

開發(fā)者可對一系列應(yīng)用進(jìn)行感知模型的訓(xùn)練，從工人安全到自主移動(dòng)機(jī)器人的路線規(guī)劃和車隊(duì)優(yōu)化，再到庫存管理。

傳感器仿真可用于驗(yàn)證各種AI機(jī)器人和攝像頭在物理場所的虛擬表現(xiàn)中的性能。這使得可以在單一統(tǒng)一的空間內(nèi)對不同的自主機(jī)器進(jìn)行可擴(kuò)展的測試。

醫(yī)療健康

先進(jìn)的超聲波和內(nèi)鏡醫(yī)療設(shè)備依賴于傳感器檢查，以及從臨床邊緣設(shè)備捕獲醫(yī)療數(shù)據(jù)并以流媒體方式傳輸數(shù)據(jù)。這些設(shè)備需要極高的準(zhǔn)確性和精度，特別是用于診斷或外科手術(shù)中。傳感器仿真能夠訓(xùn)練、測試和校準(zhǔn)醫(yī)療設(shè)備，實(shí)現(xiàn)手術(shù)精確性，從而降低錯(cuò)誤或誤診的風(fēng)險(xiǎn)。

6?

如何開始使用傳感器仿真？

NVIDIA 提供支持傳感器仿真工作流的工具套件。

NVIDIA Omniverse是一個(gè)由 API、SDK 和服務(wù)組成的平臺(tái)，使開發(fā)者能夠輕松地將通用場景描述（OpenUSD）和 RTX 渲染技術(shù)集成到現(xiàn)有的軟件工具和仿真工作流中，以構(gòu)建 AI 系統(tǒng)。

NVIDIA Omniverse Cloud Sensor RTX是一套微服務(wù)，可實(shí)現(xiàn)物理精確的傳感器仿真，以加速各類完全自主機(jī)器的開發(fā)。Omniverse Cloud Sensor RTX 基于OpenUSD框架，并由NVIDIA RTX光線追蹤和神經(jīng)渲染技術(shù)提供支持，可加速生成高保真度傳感器數(shù)據(jù)，用于自主機(jī)器中使用的攝像頭、激光雷達(dá)和雷達(dá)，以安全、可重復(fù)的方式訓(xùn)練和驗(yàn)證物理 AI。