塵土飛揚(yáng)的建筑工地；霧氣彌漫的田野；擁擠的倉(cāng)庫(kù)；傾盆大雨；崎嶇不平的地形。讓自動(dòng)設(shè)備能夠可靠地實(shí)時(shí)感知并適應(yīng)上述充滿挑戰(zhàn)的真實(shí)應(yīng)用場(chǎng)景，需要哪些關(guān)鍵要素？

恩智浦與Au-Zone Technologies攜手迎接挑戰(zhàn)，不僅需要構(gòu)建一個(gè)能在高壓環(huán)境下穩(wěn)定運(yùn)行的感知系統(tǒng)，還要確保系統(tǒng)能快速集成并靈活擴(kuò)展。

雙方合作下，Au-Zone研發(fā)并推出Raivin模塊——集成雷達(dá)傳感、視覺處理和邊緣AI推理的3D感知系統(tǒng)，該模塊已準(zhǔn)備投入量產(chǎn)。Raivin專為復(fù)雜操作環(huán)境而設(shè)計(jì)，使機(jī)器能夠?qū)崟r(shí)處理復(fù)雜的環(huán)境數(shù)據(jù)并作出決策，在高壓條件下提供穩(wěn)定的感知能力。

借助預(yù)訓(xùn)練的AI感知模型和統(tǒng)一的軟硬件架構(gòu)，Raivin簡(jiǎn)化了智能感知的部署，為可擴(kuò)展的自主系統(tǒng)向邊緣發(fā)展邁出了重要的一步。

自主系統(tǒng)的下一步發(fā)展需要更強(qiáng)大、更精準(zhǔn)且更具成本效益的實(shí)時(shí)3D空間感知能力。我們與恩智浦?jǐn)y手合作，專為這一需求打造了Raivin?！狟rad Scott Au-Zone Technologies首席執(zhí)行官

實(shí)時(shí)感知的共同愿景

自主性和物理AI的演進(jìn)已超越傳統(tǒng)感知解決方案的能力范疇。許多現(xiàn)有系統(tǒng)仍依賴單一傳感器協(xié)議棧，在復(fù)雜且不可預(yù)測(cè)的環(huán)境中提供有限且不穩(wěn)定的感知支持。

僅使用攝像頭的系統(tǒng)在低能見度或光照不足時(shí)性能下降。激光雷達(dá)雖然具備高精度，但成本高昂且能耗較大。雷達(dá)在惡劣天氣下表現(xiàn)可靠，卻缺乏精確物體分類所需的分辨率。

我們與Au-Zone攜手應(yīng)對(duì)挑戰(zhàn)，共同研發(fā)了這款邊緣AI傳感器融合系統(tǒng)，實(shí)現(xiàn)高置信度、低延遲的感知能力。

視覺技術(shù)提供了豐富的語(yǔ)義理解能力，可實(shí)現(xiàn)物體檢測(cè)、分類與分割。同時(shí)，雷達(dá)則補(bǔ)充了連續(xù)的深度信息和運(yùn)動(dòng)跟蹤能力，即使在低能見度環(huán)境下仍能穩(wěn)定運(yùn)行。Raivin通過融合這些信號(hào)與AI推理，構(gòu)建了一個(gè)同步的、具備上下文感知能力的3D世界模型，從而賦予實(shí)時(shí)決策更高的置信度。

盡管多傳感器系統(tǒng)帶來(lái)了諸多優(yōu)勢(shì)，但自主應(yīng)用仍受限于其對(duì)現(xiàn)實(shí)世界刺激的響應(yīng)速度。低延遲至關(guān)重要，這類工作負(fù)載無(wú)法容忍因云處理或傳感器刷新率過低而導(dǎo)致的延遲。

只有將雷達(dá)和視覺技術(shù)與邊緣AI處理整合于同一個(gè)單元，我們才能打造足夠快速、可靠且強(qiáng)大的系統(tǒng)，以滿足下一代自主應(yīng)用的需求。

Raivin體現(xiàn)了系統(tǒng)級(jí)思維，將雷達(dá)、視覺和邊緣AI設(shè)計(jì)為一個(gè)統(tǒng)一、確定性的流程。這一方法使在復(fù)雜環(huán)境中實(shí)現(xiàn)實(shí)時(shí)感知成為可能。——Altaf Hussain 恩智浦運(yùn)輸與移動(dòng)細(xì)分市場(chǎng)市場(chǎng)總監(jiān)

統(tǒng)一的軟硬件協(xié)議棧

Raivin從一開始就是合作研發(fā)的成果。其全協(xié)議棧設(shè)計(jì)涵蓋從芯片到軟件的各個(gè)層面，采用協(xié)同開發(fā)方式，以確保在邊緣實(shí)現(xiàn)一致、高效的性能。

Raivin模塊是一款商用AI感知解決方案，將雷達(dá)模塊、視覺數(shù)據(jù)處理和邊緣AI整合為一個(gè)可直接部署的單元。

恩智浦提供高性能、可擴(kuò)展的計(jì)算和傳感基礎(chǔ)

i.MX 8M Plus應(yīng)用處理器采用四核Arm Cortex-A53及神經(jīng)處理單元，在高達(dá)2.3 TOPS的計(jì)算能力下高效執(zhí)行AI推理，并支持基于視覺的分類、分割及場(chǎng)景理解。

S32R294雷達(dá)微控制器符合ISO26262 ASIL D安全等級(jí)要求，憑借雙e200z7應(yīng)用內(nèi)核及鎖步e200z4安全內(nèi)核，提供實(shí)時(shí)雷達(dá)信號(hào)處理及傳感器融合能力。

RFCMOS雷達(dá)收發(fā)器工作于76-81GHz頻段，即使在復(fù)雜多變或惡劣環(huán)境下，仍能確保穩(wěn)定、可靠的空間感知能力。

Au-Zone提供邊緣AI軟件協(xié)議棧與開發(fā)工具

Raivin模塊采用Au-Zone的EdgeFirst Studio開發(fā)，專為傳感器融合模型的多模態(tài)數(shù)據(jù)收集、AI輔助標(biāo)注、訓(xùn)練、驗(yàn)證及部署而設(shè)計(jì)，無(wú)需深厚的機(jī)器學(xué)習(xí)專業(yè)知識(shí)。

其中，EdgeFirst Perception Stack通過預(yù)訓(xùn)練模型與工作流程優(yōu)化軟件，幫助工程師加速開發(fā)進(jìn)程。開發(fā)人員可在集成環(huán)境中標(biāo)注數(shù)據(jù)集、微調(diào)模型并驗(yàn)證性能。這種端到端方法能夠顯著減少開發(fā)工作量，降低設(shè)計(jì)人員實(shí)現(xiàn)復(fù)雜、多模態(tài)AI感知系統(tǒng)的技術(shù)門檻。

最終，打造出一款高集成度的3D感知系統(tǒng)，在低延遲、低功耗方面實(shí)現(xiàn)了優(yōu)化，并支持部署在邊緣。

Raivin能夠在復(fù)雜多變或惡劣環(huán)境下穩(wěn)定運(yùn)行。觀看方案演示，了解該模塊如何在邊緣提供可信賴的空間感知能力，點(diǎn)擊這里>>

真實(shí)應(yīng)用場(chǎng)景中的突破性表現(xiàn)

在CES 2025上，Raivin在現(xiàn)場(chǎng)演示中接受了嚴(yán)苛的測(cè)試，重現(xiàn)自動(dòng)設(shè)備每日所面臨的各類環(huán)境挑戰(zhàn)，包括天氣變化、動(dòng)態(tài)運(yùn)動(dòng)以及視覺障礙等：

在霧霾環(huán)境下，雷達(dá)依然能夠穩(wěn)定執(zhí)行目標(biāo)檢測(cè)、跟蹤與空間感知。

在強(qiáng)光條件下，融合引擎確保精準(zhǔn)的目標(biāo)跟蹤能力。

在模擬降雨環(huán)境中，雷達(dá)與AI協(xié)同工作，以保持高精度感知。

在復(fù)雜、雜亂的場(chǎng)景中，雷達(dá)實(shí)時(shí)追蹤速度，而AI與視覺系統(tǒng)則協(xié)同分割和分類人員、設(shè)備及障礙物。

在模擬降雨期間，雷達(dá)與AI緊密協(xié)作，以補(bǔ)償視覺退化，確保系統(tǒng)在低能見度環(huán)境下仍具備可靠的感知能力。

大規(guī)模簡(jiǎn)化傳感器融合

長(zhǎng)期以來(lái)，傳感器融合一直是復(fù)雜的過程，需要分散的工具、定制化流程以及深厚的專業(yè)知識(shí)。Raivin顛覆了這一傳統(tǒng)。

預(yù)訓(xùn)練的AI模型被集成到Au-Zone的EdgeFirst Studio，工程師可輕松實(shí)現(xiàn)雷達(dá)與視覺的融合，而無(wú)需從零構(gòu)建。該軟件支持?jǐn)?shù)據(jù)集管理、訓(xùn)練與驗(yàn)證，只需要很少的編碼與機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施，就能實(shí)現(xiàn)快速的迭代開發(fā)。同時(shí)，它還能作為數(shù)據(jù)收集平臺(tái)，助力針對(duì)不同對(duì)象和工作環(huán)境探索定制化解決方案。

同時(shí)，該即用型硬件解決方案經(jīng)過優(yōu)化，專為邊緣AI處理設(shè)計(jì)，消除了對(duì)定制實(shí)現(xiàn)與硬件權(quán)衡的顧慮。Raivin現(xiàn)已商用，為OEM提供經(jīng)過驗(yàn)證的可擴(kuò)展3D感知系統(tǒng)。

無(wú)論是應(yīng)用于移動(dòng)機(jī)器人、精準(zhǔn)農(nóng)業(yè)還是車隊(duì)車輛，Raivin模塊均可通過單一平臺(tái)快速集成AI驅(qū)動(dòng)的感知能力。

憑借高效的邊緣處理、預(yù)訓(xùn)練的AI模型以及集成式軟硬件設(shè)計(jì)，Raivin大大簡(jiǎn)化了機(jī)器人、農(nóng)業(yè)和車隊(duì)車輛等應(yīng)用中的傳感器融合部署?！狟rad Scott Au-Zone Technologies首席執(zhí)行官

Raivin支持技術(shù)創(chuàng)新

Raivin代表著技術(shù)革新與合作升級(jí)。通過將雷達(dá)、視覺和邊緣AI深度融合至同一平臺(tái)，Raivin模塊等解決方案加速智能感知的部署，提升可擴(kuò)展性，并確保其在真實(shí)應(yīng)用場(chǎng)景中的適用性。

如需構(gòu)建或集成類似系統(tǒng)，歡迎探索Au-Zone的EdgeFirst Studio，了解其如何簡(jiǎn)化邊緣AI的部署流程。

本文作者

Altaf Hussain，恩智浦半導(dǎo)體運(yùn)輸與移動(dòng)細(xì)分市場(chǎng)市場(chǎng)總監(jiān)。Altaf在企業(yè)、服務(wù)提供商和工業(yè)應(yīng)用的應(yīng)用工程、產(chǎn)品營(yíng)銷和業(yè)務(wù)開拓方面擁有30多年的經(jīng)驗(yàn)。他目前擔(dān)任恩智浦運(yùn)輸與移動(dòng)部門的負(fù)責(zé)人，該部門專注于移動(dòng)機(jī)器人、機(jī)器視覺和倉(cāng)庫(kù)物流自動(dòng)化領(lǐng)域。Altaf致力于制定系統(tǒng)解決方案，幫助客戶借助自主移動(dòng)機(jī)器人加速自動(dòng)化進(jìn)程。他擁有英國(guó)倫敦南岸大學(xué)的電氣與電子工程學(xué)士學(xué)位。