塵土飛揚的建筑工地；霧氣彌漫的田野；擁擠的倉庫；傾盆大雨；崎嶇不平的地形。讓自動設備能夠可靠地實時感知并適應上述充滿挑戰(zhàn)的真實應用場景，需要哪些關鍵要素？

恩智浦與Au-Zone Technologies攜手迎接挑戰(zhàn)，不僅需要構建一個能在高壓環(huán)境下穩(wěn)定運行的感知系統，還要確保系統能快速集成并靈活擴展。

雙方合作下，Au-Zone研發(fā)并推出Raivin模塊——集成雷達傳感、視覺處理和邊緣AI推理的3D感知系統，該模塊已準備投入量產。Raivin專為復雜操作環(huán)境而設計，使機器能夠實時處理復雜的環(huán)境數據并作出決策，在高壓條件下提供穩(wěn)定的感知能力。

借助預訓練的AI感知模型和統一的軟硬件架構，Raivin簡化了智能感知的部署，為可擴展的自主系統向邊緣發(fā)展邁出了重要的一步。

自主系統的下一步發(fā)展需要更強大、更精準且更具成本效益的實時3D空間感知能力。我們與恩智浦攜手合作，專為這一需求打造了Raivin。——Brad Scott Au-Zone Technologies首席執(zhí)行官

實時感知的共同愿景

自主性和物理AI的演進已超越傳統感知解決方案的能力范疇。許多現有系統仍依賴單一傳感器協議棧，在復雜且不可預測的環(huán)境中提供有限且不穩(wěn)定的感知支持。

僅使用攝像頭的系統在低能見度或光照不足時性能下降。激光雷達雖然具備高精度，但成本高昂且能耗較大。雷達在惡劣天氣下表現可靠，卻缺乏精確物體分類所需的分辨率。

我們與Au-Zone攜手應對挑戰(zhàn)，共同研發(fā)了這款邊緣AI傳感器融合系統，實現高置信度、低延遲的感知能力。

視覺技術提供了豐富的語義理解能力，可實現物體檢測、分類與分割。同時，雷達則補充了連續(xù)的深度信息和運動跟蹤能力，即使在低能見度環(huán)境下仍能穩(wěn)定運行。Raivin通過融合這些信號與AI推理，構建了一個同步的、具備上下文感知能力的3D世界模型，從而賦予實時決策更高的置信度。

盡管多傳感器系統帶來了諸多優(yōu)勢，但自主應用仍受限于其對現實世界刺激的響應速度。低延遲至關重要，這類工作負載無法容忍因云處理或傳感器刷新率過低而導致的延遲。

只有將雷達和視覺技術與邊緣AI處理整合于同一個單元，我們才能打造足夠快速、可靠且強大的系統，以滿足下一代自主應用的需求。

Raivin體現了系統級思維，將雷達、視覺和邊緣AI設計為一個統一、確定性的流程。這一方法使在復雜環(huán)境中實現實時感知成為可能?！狝ltaf Hussain 恩智浦運輸與移動細分市場市場總監(jiān)

統一的軟硬件協議棧

Raivin從一開始就是合作研發(fā)的成果。其全協議棧設計涵蓋從芯片到軟件的各個層面，采用協同開發(fā)方式，以確保在邊緣實現一致、高效的性能。

Raivin模塊是一款商用AI感知解決方案，將雷達模塊、視覺數據處理和邊緣AI整合為一個可直接部署的單元。

恩智浦提供高性能、可擴展的計算和傳感基礎

i.MX 8M Plus應用處理器采用四核Arm Cortex-A53及神經處理單元，在高達2.3 TOPS的計算能力下高效執(zhí)行AI推理，并支持基于視覺的分類、分割及場景理解。

S32R294雷達微控制器符合ISO26262 ASIL D安全等級要求，憑借雙e200z7應用內核及鎖步e200z4安全內核，提供實時雷達信號處理及傳感器融合能力。

RFCMOS雷達收發(fā)器工作于76-81GHz頻段，即使在復雜多變或惡劣環(huán)境下，仍能確保穩(wěn)定、可靠的空間感知能力。

Au-Zone提供邊緣AI軟件協議棧與開發(fā)工具

Raivin模塊采用Au-Zone的EdgeFirst Studio開發(fā)，專為傳感器融合模型的多模態(tài)數據收集、AI輔助標注、訓練、驗證及部署而設計，無需深厚的機器學習專業(yè)知識。

其中，EdgeFirst Perception Stack通過預訓練模型與工作流程優(yōu)化軟件，幫助工程師加速開發(fā)進程。開發(fā)人員可在集成環(huán)境中標注數據集、微調模型并驗證性能。這種端到端方法能夠顯著減少開發(fā)工作量，降低設計人員實現復雜、多模態(tài)AI感知系統的技術門檻。

最終，打造出一款高集成度的3D感知系統，在低延遲、低功耗方面實現了優(yōu)化，并支持部署在邊緣。

Raivin能夠在復雜多變或惡劣環(huán)境下穩(wěn)定運行。觀看方案演示，了解該模塊如何在邊緣提供可信賴的空間感知能力，點擊這里>>

真實應用場景中的突破性表現

在CES 2025上，Raivin在現場演示中接受了嚴苛的測試，重現自動設備每日所面臨的各類環(huán)境挑戰(zhàn)，包括天氣變化、動態(tài)運動以及視覺障礙等：

在霧霾環(huán)境下，雷達依然能夠穩(wěn)定執(zhí)行目標檢測、跟蹤與空間感知。

在強光條件下，融合引擎確保精準的目標跟蹤能力。

在模擬降雨環(huán)境中，雷達與AI協同工作，以保持高精度感知。

在復雜、雜亂的場景中，雷達實時追蹤速度，而AI與視覺系統則協同分割和分類人員、設備及障礙物。

在模擬降雨期間，雷達與AI緊密協作，以補償視覺退化，確保系統在低能見度環(huán)境下仍具備可靠的感知能力。

大規(guī)模簡化傳感器融合

長期以來，傳感器融合一直是復雜的過程，需要分散的工具、定制化流程以及深厚的專業(yè)知識。Raivin顛覆了這一傳統。

預訓練的AI模型被集成到Au-Zone的EdgeFirst Studio，工程師可輕松實現雷達與視覺的融合，而無需從零構建。該軟件支持數據集管理、訓練與驗證，只需要很少的編碼與機器學習基礎設施，就能實現快速的迭代開發(fā)。同時，它還能作為數據收集平臺，助力針對不同對象和工作環(huán)境探索定制化解決方案。

同時，該即用型硬件解決方案經過優(yōu)化，專為邊緣AI處理設計，消除了對定制實現與硬件權衡的顧慮。Raivin現已商用，為OEM提供經過驗證的可擴展3D感知系統。

無論是應用于移動機器人、精準農業(yè)還是車隊車輛，Raivin模塊均可通過單一平臺快速集成AI驅動的感知能力。

憑借高效的邊緣處理、預訓練的AI模型以及集成式軟硬件設計，Raivin大大簡化了機器人、農業(yè)和車隊車輛等應用中的傳感器融合部署。——Brad Scott Au-Zone Technologies首席執(zhí)行官

Raivin支持技術創(chuàng)新

Raivin代表著技術革新與合作升級。通過將雷達、視覺和邊緣AI深度融合至同一平臺，Raivin模塊等解決方案加速智能感知的部署，提升可擴展性，并確保其在真實應用場景中的適用性。

如需構建或集成類似系統，歡迎探索Au-Zone的EdgeFirst Studio，了解其如何簡化邊緣AI的部署流程。

本文作者

Altaf Hussain，恩智浦半導體運輸與移動細分市場市場總監(jiān)。Altaf在企業(yè)、服務提供商和工業(yè)應用的應用工程、產品營銷和業(yè)務開拓方面擁有30多年的經驗。他目前擔任恩智浦運輸與移動部門的負責人，該部門專注于移動機器人、機器視覺和倉庫物流自動化領域。Altaf致力于制定系統解決方案，幫助客戶借助自主移動機器人加速自動化進程。他擁有英國倫敦南岸大學的電氣與電子工程學士學位。