來源：本文編譯自semiengineering作者：ANN MUTSCHLER

在汽車設(shè)計領(lǐng)域，傳感器融合正變得日益流行且復(fù)雜。它將多種類型的傳感器集成到單個芯片或封裝中，并智能地將數(shù)據(jù)路由到所需之處。其主要目標(biāo)是整合來自攝像頭、雷達、激光雷達和其他傳感器的信息，以全面呈現(xiàn)車輛內(nèi)外的情況。在最新設(shè)計中，傳感器融合常發(fā)生在區(qū)域控制器或中央計算模塊中，這些設(shè)備作為中介，收集不同傳感器的數(shù)據(jù)并傳輸?shù)街醒?a target="_blank">處理器。不過，傳感器融合的具體位置以及所融合的傳感器種類，會因車輛架構(gòu)和制造商的方法而異。

傳感器融合的關(guān)鍵是什么？

在車輛中融合傳感器主要有兩種選擇。新思科技（Synopsys）汽車 IP 部門經(jīng)理Ron DiGiuseppe表示：“在區(qū)域電子控制單元（ECU）中可以進行傳感器融合，它就像一個智能篩選開關(guān)。另一種選擇是在中央計算模塊上進行傳感器融合，在那里可以進行數(shù)據(jù)提取?！?具體選用哪種方式通常取決于成本。DiGiuseppe指出：“如果在區(qū)域 ECU 中進行融合，該應(yīng)用是一個具有多個端口的芯片（SoC）。它處理各種不同的數(shù)據(jù)類型，如 CAN、MIPI 等。這些數(shù)據(jù)都通過區(qū)域 ECU，然后傳輸?shù)街醒胩幚砥?，所以可以在區(qū)域 ECU 中完成融合。但通常會傳遞到中央計算模塊，這需要高性能的汽車車內(nèi)以太網(wǎng)以及長距離 MIPI 端口。大多數(shù) CAN 數(shù)據(jù)會在 ECU 中轉(zhuǎn)換，CAN 數(shù)據(jù)包會傳輸?shù)絽^(qū)域 ECU 進行提取，然后封裝到以太網(wǎng)中，再傳輸回中央計算模塊。”

有效的傳感器融合的關(guān)鍵推動力是高速車載網(wǎng)絡(luò)，汽車以太網(wǎng)是常見選擇。當(dāng)前量產(chǎn)車輛使用 1 Gbps 以太網(wǎng)，10 Gbps 系統(tǒng)也即將問世。這種高速網(wǎng)絡(luò)允許傳感器、區(qū)域控制器和中央處理器之間快速傳輸數(shù)據(jù)。融合過程本身通常涉及專門的硬件和軟件。例如，統(tǒng)一的數(shù)字信號處理器（DSP）可以處理來自不同傳感器類型的數(shù)據(jù)，如雷達、激光雷達和攝像頭。還可能使用額外的加速器來執(zhí)行特定功能，如快速傅里葉變換（FFT）或計算機視覺任務(wù)。雖然這比最初的傳感器融合概念更復(fù)雜，但也更加成熟。

都有哪些傳感器需要融合

西門子數(shù)字工業(yè)軟件公司（Siemens Digital Industries Software）混合和虛擬系統(tǒng)副總裁David Fritz表示：“就像所有新技術(shù)一樣，一開始大家都急于找到解決方案。幾乎可以說，每個解決方案都是全新且獨特的。如今，人們對傳感器融合已經(jīng)有了很好的理解。坦率地說，我們看到更智能的感知堆棧使傳感器融合不再那么令人擔(dān)憂。激光雷達、雷達、攝像頭和慣性傳感器相互作用，但傳感的趨勢是傳感器具有更多智能，這使得融合的問題不再那么突出。”

融合的內(nèi)容因用例而異。Cadence汽車解決方案部門總監(jiān)Robert Schweiger描述了一種場景，其中視覺處理器也處理雷達數(shù)據(jù)以及一些人工智能功能。他說：“我想分析點云，并根據(jù)這些點確定我面前是什么物體。市場上有可用的內(nèi)核，將雷達和視覺內(nèi)核的指令集集成在一個內(nèi)核中。這意味著它可以在這個單一內(nèi)核中處理激光雷達、雷達和視覺數(shù)據(jù)?！?或者，應(yīng)用場景可能是一個要求極高的傳感器系統(tǒng)，配備最新的高清傳感器，向處理器傳輸大量數(shù)據(jù)。Schweiger指出：“你可能在其之上有一個加速器來支持 DSP，并加速例如 FFT 功能。如果處理器包含高達 2 TOPS 的人工智能基礎(chǔ)功能，這意味著你擁有了一個非常強大的系統(tǒng)。有些人需要更高的人工智能性能，所以你需要一個神經(jīng)處理單元，一個實例可以擴展到 80 TOPS，在多核系統(tǒng)中組合多個這樣的實例可以擴展到數(shù)百 TOPS 甚至一千 TOPS?！?/span>

芯片上的所有這些處理器也需要連接，這就需要片上網(wǎng)絡(luò)（NoC）。Schweiger說：“需要一個 NoC 將我們不同的 IP 連接成一個子系統(tǒng)，最終成為一個Chiplet?！?對于傳感器融合，假設(shè)有一個傳感器堆棧。Schweiger說：“你有攝像頭雷達、用于高分辨率的 4D 成像雷達、前置攝像頭，還有側(cè)面或后部的另一個攝像頭。這些是不同的傳感器模式，現(xiàn)在你想將所有東西融合在一起。角雷達可能是低端或中端類型的雷達，要求不那么高，但 4D 成像雷達是一種要求非常高的傳感器。它產(chǎn)生大量數(shù)據(jù)，這意味著這里需要大量處理。對于前置攝像頭也是如此。前置的智能攝像頭通常是最強大的攝像頭，它進行大量的行人檢測、圖像分析、過濾等。后部可能還有一個低端攝像頭。那么傳感器融合系統(tǒng)是怎樣的呢？我們的方法是使用統(tǒng)一的 DSP，它可以處理雷達、激光雷達和基礎(chǔ)人工智能?！?/span>

用于雷達的同一實例也可用于攝像頭，無論是前置攝像頭還是后置攝像頭。他指出：“在那里，我們處理視覺飛行時間和人工智能。從上層 DSP，我們生成雷達點云（PCL），為下層生成視覺點云，這樣我們就可以將前置攝像頭和側(cè)面攝像頭，或者角落雷達和前置雷達融合在一起。我們在內(nèi)核中進行融合。如果我們需要更高的性能，可以添加 FFT 作為加速器，或者另一個可以加速 FFT 功能以及計算機視覺功能的加速器?！?/span>

更智能的傳感器

越來越多的傳感器將包含機器學(xué)習(xí)功能。Imagination Technologies公司質(zhì)量、功能安全和網(wǎng)絡(luò)安全總監(jiān)Andrew Johnston解釋說：“用于實現(xiàn)自動駕駛平臺或高度輔助駕駛功能所需控制精度的傳感器類型，以及它們使用的數(shù)據(jù)類型，本質(zhì)上比在相鄰領(lǐng)域（如過程工業(yè)或醫(yī)療領(lǐng)域）中可能找到的傳統(tǒng)傳感器測量更加復(fù)雜。那些傳感器可能幾十年來一直在進行傳感器融合，并且較少依賴機器學(xué)習(xí)，可以說機器學(xué)習(xí)仍在發(fā)展中，但它們使用的傳感器本質(zhì)上更簡單。所以你可能最終會得到簡單的查找表和交叉參考算法。”

在汽車領(lǐng)域，最大的變化在于視覺感知和基于運動構(gòu)建結(jié)構(gòu)。Johnston說：“要做好這一點，你需要一系列不同類型的傳感器。你可以用單一類型的傳感器實現(xiàn)自動駕駛功能，但效果參差不齊。而且因為這些是高完整性功能，即安全關(guān)鍵功能，采用冗余和多樣性是件好事。在系統(tǒng)層面，你希望融合來自攝像頭、雷達、激光雷達、超聲波的傳感器數(shù)據(jù)，甚至將其與更傳統(tǒng)的傳感器（如光傳感器或溫度傳感器）結(jié)合起來。你這樣做是為了試圖了解操作環(huán)境。問題是這是一個本質(zhì)上復(fù)雜的功能和技術(shù)領(lǐng)域，在半導(dǎo)體層面，挑戰(zhàn)更大。在理想情況下，每個半導(dǎo)體供應(yīng)商都希望嘗試構(gòu)建一種能夠滿足多種用例的產(chǎn)品。我們盡量不制造特定用例的產(chǎn)品，因為這將具有非常小眾的應(yīng)用，而且客戶可能不會選擇你的產(chǎn)品。所以 IP 和半導(dǎo)體供應(yīng)商需要平衡的是，在弄清楚芯片上的晶體管需要做什么之前，系統(tǒng)地評估用例并了解在硬件軟件領(lǐng)域可以做些什么?！?/span>

這在汽車領(lǐng)域意味著大量的機器學(xué)習(xí)和對機器學(xué)習(xí)的高帶寬需求。Johnston說：“你希望實時執(zhí)行這些算法，這意味著你要進行大量不同類型的復(fù)雜矩陣乘法和數(shù)據(jù)融合，理想情況下你希望在一個單一實體上快速完成。之所以要快速完成，是因為它必須像人類駕駛員一樣在回路中做出基于控制系統(tǒng)的決策。我們自然而然地做到這一點，而且我們的世界是模擬的，所以你試圖在數(shù)字領(lǐng)域中表示模擬世界和模擬控制器。從哲學(xué)角度來看，這是一個非常有趣的挑戰(zhàn)?！?/span>

向軟件定義車輛和區(qū)域架構(gòu)的過渡

隨著汽車行業(yè)向軟件定義車輛和區(qū)域架構(gòu)過渡，傳感器融合的方法也在不斷發(fā)展。OEM正在努力將這些新系統(tǒng)與現(xiàn)有架構(gòu)集成，這帶來了重大挑戰(zhàn)。目標(biāo)是創(chuàng)建一個更集中、可擴展的系統(tǒng)，隨著技術(shù)的進步可以輕松更新和擴展。值得注意的是，傳感器融合的具體實現(xiàn)方式在不同制造商之間可能存在顯著差異，有些選擇更集中的方法，而另一些則將處理分布在車輛的多個節(jié)點上。

英飛凌計算和連接產(chǎn)品營銷與應(yīng)用傳感高級總監(jiān)Ted Karlin表示：“如今，傳感器融合是將來自多個傳感器的數(shù)據(jù)組合起來，以創(chuàng)建對環(huán)境更全面的視圖的過程，通常不基于生成式人工智能和深度機器學(xué)習(xí)。未來，更多將生成式人工智能和深度機器學(xué)習(xí)與傳感器融合算法相結(jié)合的應(yīng)用將變得更加智能。借助生成式人工智能，傳感器融合過程將變得更具適應(yīng)性，因為這些模型可以合成填補數(shù)據(jù)空白，模擬潛在結(jié)果，從而實時預(yù)測和應(yīng)對變化。它們還將具有更強的上下文感知能力，因為歷史上下文可以成為算法的一部分，同時結(jié)合環(huán)境因素和態(tài)勢感知，以獲得更高質(zhì)量的傳感器融合輸出。最后，機器學(xué)習(xí)可以變得更加個性化，因為生成式人工智能可以利用特定人的監(jiān)測或診斷得出個性化結(jié)論?！?/span>

其他人也表示認同。Rambus 公司硅 IP 業(yè)務(wù)開發(fā)總監(jiān)Adiel Bahrouch說：“將成像雷達與攝像頭融合的力量已得到充分理解。例如，雷達無法讀取標(biāo)志，你也無法訓(xùn)練它讀取標(biāo)志。它無法區(qū)分不同顏色，如紅色、藍色，而攝像頭可以。你可以用人工智能訓(xùn)練攝像頭識別標(biāo)志、人物、物體、車道等。當(dāng)你將這些特性與雷達所能提供的所有優(yōu)點結(jié)合起來時，你可以擁有一個非常強大的系統(tǒng)，輕松超越激光雷達。激光雷達是另一種有很多優(yōu)點的技術(shù)，但非常非常昂貴。對于非常高的自動駕駛級別，我認為攝像頭無法單獨完成任務(wù)，因為在黑暗或惡劣天氣條件下，攝像頭可能會帶來一些安全問題。雷達在分辨率、圖像檢測和模式識別方面不具備攝像頭的能力，但當(dāng)你將兩者結(jié)合起來時，你就擁有了一個非常強大的系統(tǒng)，可以推動自動駕駛的發(fā)展。”

至于這在車輛中的位置，Bahrouch指出E/E架構(gòu)的演變是一個起點?！皞鹘y(tǒng)車輛有其基于域的架構(gòu)，所有的 ECU 和傳感器都連接在一起，這意味著融合是一個巨大的挑戰(zhàn)。這種架構(gòu)不支持這類活動。但隨著向區(qū)域架構(gòu)的轉(zhuǎn)變，位于同一角落的傳感器在一個大處理器下組合在一起，區(qū)域處理器有助于收集來自不同傳感器的所有信息，開始進行融合。這意味著信息在本地進行處理，即區(qū)域處理，或者通過高速以太網(wǎng)骨干網(wǎng)從不同角度收集所有信息，并在車輛中央進行集中融合。我不知道哪種將成為主流方法，是在邊緣、區(qū)域 SoC、中央大腦，還是它們的排列組合。在所有信息合并之前會進行預(yù)處理嗎？這是一個正在發(fā)展的領(lǐng)域。而且是一個相當(dāng)新的領(lǐng)域?！?/span>

然而，人們普遍認為，激光雷達、雷達和攝像頭傳感器的持續(xù)集成將使車輛更安全。AMD 汽車部門高級營銷總監(jiān)Wayne Lyons表示：“先進的傳感器將通過提供更準(zhǔn)確的數(shù)據(jù)和改進從車道保持輔助到自動泊車和制動等安全操作，對ADAS解決方案產(chǎn)生重大影響。隨著車輛中攝像頭、雷達和激光雷達等傳感器的數(shù)量和類型每年不斷增加，像 Waymo 這樣的先鋒公司已經(jīng)在利用這三種技術(shù)的車輛中積累了數(shù)百萬英里的自動駕駛里程。此外，中國新興的電動汽車公司正在利用激光雷達等先進傳感器在競爭激烈的電動汽車市場中突出其安全優(yōu)勢。為了實現(xiàn)實時性能，以便在實際駕駛場景中使用各種傳感器數(shù)據(jù)，開發(fā)人員將需要一個靈活的架構(gòu)，能夠在單個芯片上提供必要的性能和功能安全?！?/span>

4D 雷達

新思科技的DiGiuseppe表示，向 4D 雷達的轉(zhuǎn)變將進一步增加需要融合的傳感器數(shù)據(jù)量。“向 4D 雷達的過渡正在增加 DSP 的數(shù)量，并且它也在進行信道化。不再只是單一反射數(shù)據(jù)，你可以獲得信道化數(shù)據(jù)，所以你可以使用虛擬通道獲得多個雷達反射。這提供了更廣泛的數(shù)據(jù)集，所以不再只是單個雷達回波。由于它是信道化的，它更接近激光雷達的方法。在激光雷達技術(shù)中，你得到一個點云，通常會給你更多的數(shù)據(jù)。這是它相對于雷達的優(yōu)勢之一。激光雷達提供更高的分辨率。此外，還有 128 通道和 256 通道的激光雷達。雷達也開始增加信道化，所以雷達數(shù)據(jù)的分辨率越來越高，這使得你可以像使用相機圖像一樣，使用雷達數(shù)據(jù)集識別物體?！?/span>

“可以使用人工智能處理器來識別圖像?！盌iGiuseppe說：“這是一只狗，這是一棵樹，這是一個人。雷達現(xiàn)在也開始具備這種能力，盡管分辨率肯定不如相機系統(tǒng)高，因為這是一個不同的問題需要解決。雖然相機確實有一些局限性，比如在夜間、黑暗中、雨霧或大雪中，并且在物體檢測識別方面仍然存在差距。但是在相機不理想的條件下，雷達現(xiàn)在提供的這些數(shù)據(jù)集是相機的很好補充，所以從這些 4D 雷達中提取的信息對 ADAS 系統(tǒng)更有用。現(xiàn)在可以使用雷達進行物體檢測，這是新的進展?！?/span>

結(jié)論

盡管傳感器融合技術(shù)已經(jīng)取得了顯著進展，但其在汽車系統(tǒng)中的實施仍在不斷發(fā)展。趨勢是朝著更智能、分布式處理以及物體數(shù)據(jù)的標(biāo)準(zhǔn)化通信發(fā)展。這些概念看似清晰，但其實現(xiàn)仍在不斷演變。盡管如此，隨著當(dāng)今正在開發(fā)的車輛越來越接近上路，OEM 應(yīng)該會透露更多關(guān)于這項技術(shù)發(fā)展方向的細節(jié)。

原文鏈接：https://semiengineering.com/adas-adds-complexity-to-automotive-sensor-fusion/