多模傳感器模塊集成二維成像、三維深度檢測和類人運動感知技術(shù)

英偉達(dá) Holoscan Sensor Bridge確保傳感器與 Jetson 平臺實現(xiàn)即插即用千兆級互聯(lián)

全面支持 NVIDIA Isaac 開放式機器人開發(fā)平臺

意法半導(dǎo)體和 Leopard Imaging 公司聯(lián)合推出了一款面向人形機器人和其他高級機器人系統(tǒng)的一體化多模視覺模塊。新模塊整合意法半導(dǎo)體的圖像傳感器、三維深度傳感器和運動傳感器與英偉達(dá)的Holoscan Sensor Bridge技術(shù)，與英偉達(dá)的NVIDIA Jetson邊緣人工智能計算平臺和 NVIDIA Isaac開放式機器人開發(fā)平臺原生集成，有助于簡化并加快人形機器人的視覺系統(tǒng)設(shè)計，同時滿足尺寸、重量和功耗限制等方面的要求。

意法半導(dǎo)體模擬、功率、MEMS和傳感器產(chǎn)品部市場與應(yīng)用副總裁Marco Angelici表示：“人形機器人技術(shù)正從研究項目和演示階段走向?qū)嶋H應(yīng)用，為設(shè)備制造廠、汽車工廠、物流倉儲中心、零售和客戶服務(wù)等眾多行業(yè)帶來強大的新型機器，在實際應(yīng)用中扮演各種不同的角色。通過與Leopard Imaging合作，我們正在將市場領(lǐng)先的ST傳感器和執(zhí)行器無縫集成到英偉達(dá)機器人生態(tài)系統(tǒng)，加快具有類人感知能力的物理AI應(yīng)用的部署。”

Leopard Imaging首席執(zhí)行官Bill Pu表示： “通過在英偉達(dá)生態(tài)內(nèi)直接使用ST傳感器和執(zhí)行器，我們可以對HSB接口上的人形機器人視覺數(shù)據(jù)進行標(biāo)準(zhǔn)化采集記錄，并簡化整個過程。多模視覺感知模塊與Isaac工具配合使用，可以加快模型的學(xué)習(xí)速度，并快速彌合仿真到真機的差異?！?/p>

新模塊以英偉達(dá) Holoscan Sensor Bridge為引擎，通過以太網(wǎng)與 NVIDIA Jetson傳感器數(shù)據(jù)實時采集平臺無縫集成，深度融入NVIDIA Isaac 開放式機器人開發(fā)平臺，為開發(fā)者提供開放式AI 模型、仿真框架和軟件庫。新模塊包含構(gòu)建系統(tǒng)和應(yīng)用程序編程接口 (API)、移動機器人專用AI 算法、應(yīng)用代碼示例和域隨機化，以及包含傳感器模型的仿真環(huán)境。

作為英偉達(dá)機器人和邊緣人工智能的重要合作伙伴，意法半導(dǎo)體將持續(xù)不斷地把傳感器、驅(qū)動器、執(zhí)行器、控制器和開發(fā)工具加入英偉達(dá)機器人生態(tài)系統(tǒng)，包括高保真模型和概念驗證模塊。