由于傳感器的成本從 15 美元到 1,000 美元不等，汽車制造商開始質(zhì)疑車輛至少在部分時(shí)間內(nèi)需要多少傳感器才能實(shí)現(xiàn)完全自動(dòng)駕駛。

這些傳感器用于收集有關(guān)周圍環(huán)境的數(shù)據(jù)，包括圖像、激光雷達(dá)、雷達(dá)、超聲波和熱傳感器。一種類型的傳感器是不夠的，因?yàn)槊恳环N都有其局限性。這是傳感器融合背后的關(guān)鍵驅(qū)動(dòng)力，它結(jié)合了多種類型的傳感器以實(shí)現(xiàn)安全的自動(dòng)駕駛。

所有 2 級(jí)或更高級(jí)別的車輛都依靠傳感器“看到”周圍環(huán)境并執(zhí)行車道居中、自適應(yīng)巡航控制、緊急制動(dòng)和盲點(diǎn)警告等任務(wù)。到目前為止，OEM 正在采用截然不同的設(shè)計(jì)和部署方法。

2022 年 5 月，梅賽德斯-奔馳在德國(guó)推出了第一款能夠進(jìn)行 3 級(jí)自動(dòng)駕駛的汽車。3 級(jí)自動(dòng)駕駛是 S 級(jí)和 EQS 的一個(gè)選項(xiàng)，計(jì)劃于 2024 年在美國(guó)推出。據(jù)該公司稱，建立在駕駛輔助包（雷達(dá)和攝像頭）基礎(chǔ)上的 DRIVE PILOT 添加了新的傳感器，包括激光雷達(dá)、前窗的高級(jí)立體攝像頭和后窗的多功能攝像頭。前駕駛室還增加了麥克風(fēng)（特別是用于檢測(cè)緊急車輛）和濕度傳感器。總共安裝了 30 個(gè)傳感器來捕獲安全自動(dòng)駕駛所需的數(shù)據(jù)。

特斯拉走的是一條不同的道路。2021 年，特斯拉宣布其 Tesla Vision 純攝像頭自動(dòng)駕駛技術(shù)戰(zhàn)略將在 Model 3 和 Model Y 上實(shí)施，隨后在 2022 年在 Model S 和 Model X 上實(shí)施。該公司還決定取消超聲波傳感器。

01

傳感器限制

當(dāng)今自動(dòng)駕駛設(shè)計(jì)面臨的挑戰(zhàn)之一是不同傳感器的限制。為了實(shí)現(xiàn)安全的自動(dòng)駕駛，可能需要傳感器融合。關(guān)鍵問題不僅是傳感器的數(shù)量、類型和部署位置，還包括 AI/ML 技術(shù)應(yīng)如何與傳感器交互以分析數(shù)據(jù)以做出最佳駕駛決策。

圖 1：為了克服傳感器限制，可能需要傳感器融合，將多個(gè)傳感器組合起來進(jìn)行自動(dòng)駕駛，以實(shí)現(xiàn)最佳性能和安全性。

“自動(dòng)駕駛廣泛使用人工智能技術(shù)，” Rambus安全 IP 技術(shù)產(chǎn)品經(jīng)理 Thierry Kouthon 表示. “自動(dòng)駕駛，甚至是入門級(jí)的 ADAS 功能，都要求車輛表現(xiàn)出與人類駕駛員相當(dāng)或更好的環(huán)境意識(shí)水平。首先，車輛必須識(shí)別其他車輛、行人和路邊基礎(chǔ)設(shè)施，并確定它們的正確位置。這需要 AI 深度學(xué)習(xí)技術(shù)能夠很好地解決的模式識(shí)別功能。視覺模式識(shí)別是車輛密集使用的高級(jí)深度學(xué)習(xí)領(lǐng)域。此外，車輛必須能夠始終計(jì)算其最佳軌跡和速度。這需要 AI 也能很好地解決的路線規(guī)劃能力。這樣，激光雷達(dá)和雷達(dá)就可以提供正確重建車輛環(huán)境所必需的距離信息?！?/p>

傳感器融合，結(jié)合來自不同傳感器的信息以更好地了解車輛環(huán)境，仍然是一個(gè)活躍的研究領(lǐng)域。

“每種類型的傳感器都有局限性，”Kouthon 說。“相機(jī)非常適合物體識(shí)別，但提供的距離信息很差，而且圖像處理需要大量的計(jì)算資源。相比之下，激光雷達(dá)和雷達(dá)提供出色的距離信息，但清晰度較差。此外，激光雷達(dá)在惡劣的天氣條件下效果不佳?！?/p>

02

我們真正需要多少個(gè)傳感器？

對(duì)于自動(dòng)駕駛系統(tǒng)需要多少傳感器的問題，沒有簡(jiǎn)單的答案。原始設(shè)備制造商目前正試圖解決這個(gè)問題。這里的其他考慮因素包括卡車在開闊的道路上行駛和城市機(jī)器人出租車有非常不同的需求。

“這是一項(xiàng)艱巨的計(jì)算，因?yàn)槊總€(gè)汽車原始設(shè)備制造商都有自己的架構(gòu)，通過提供更好的空間定位、更長(zhǎng)的距離和更高的可見度以及識(shí)別和分類物體然后區(qū)分各種物體的能力來保護(hù)車輛，”Cadence的 Tensilica Vision、雷達(dá)和激光雷達(dá) DSP 產(chǎn)品管理和營(yíng)銷總監(jiān)Amit Kumar 說?！斑@還取決于汽車制造商決定啟用何種級(jí)別的自動(dòng)駕駛（例如，提供廣度）。簡(jiǎn)而言之，要實(shí)現(xiàn)部分自動(dòng)駕駛，傳感器的最小數(shù)量可以是 4 到 8 個(gè)各種類型。為了完全自動(dòng)駕駛，今天使用了 12 個(gè)以上的傳感器?！?/p>

Kumar 指出，在特斯拉的案例中，有 20 個(gè)傳感器（8 個(gè)攝像頭傳感器加上 12 個(gè) 3 級(jí)或以下的超聲波傳感器），沒有激光雷達(dá)或雷達(dá)。“該公司堅(jiān)信計(jì)算機(jī)視覺，其傳感器套件適用于 L3 Autonomy。媒體報(bào)道說，特斯拉可能會(huì)引入雷達(dá)來改進(jìn)自動(dòng)駕駛?！?/p>

Zoox 實(shí)施了四個(gè)激光雷達(dá)傳感器，以及攝像頭和雷達(dá)傳感器的組合。這是一輛完全無人駕駛的車輛，車內(nèi)沒有駕駛員，目標(biāo)是在地圖清晰、易于理解的路線上行駛。商業(yè)部署尚未開始，但很快就會(huì)有一個(gè)有限的用例（不像乘用車那么廣泛）。

Nuro 的自動(dòng)駕駛送貨車，審美不是那么重要，它使用了一個(gè) 360 度攝像頭系統(tǒng)，有四個(gè)傳感器，加上一個(gè) 360 度激光雷達(dá)傳感器，四個(gè)雷達(dá)傳感器，再加上超聲波傳感器。

實(shí)施這些系統(tǒng)沒有簡(jiǎn)單的公式。

Synopsys汽車軟件與安全高級(jí)經(jīng)理 Chris Clark 表示：“您需要的傳感器數(shù)量是組織可接受的風(fēng)險(xiǎn)水平，并且還取決于應(yīng)用程序”'?！叭绻阏陂_發(fā)機(jī)器人出租車，他們不僅需要用于道路安全的傳感器，還需要車內(nèi)的傳感器來監(jiān)控乘客在車內(nèi)的行為以確保乘客安全。在這種情況下，我們將處于人口稠密和城市密度高的地區(qū)，該地區(qū)具有相當(dāng)獨(dú)特的特征，而不是用于高速公路行駛的車輛，在高速公路上您有更長(zhǎng)的距離和更大的反應(yīng)空間。在高速公路上，侵入車道的可能性較小。我不認(rèn)為有一個(gè)固定的規(guī)則，你必須擁有三種不同類型的傳感器和三個(gè)不同的攝像頭來覆蓋所有自動(dòng)駕駛汽車的不同角度。”

不過，有多少傳感器將取決于該車輛將要解決的用例。

“在機(jī)器人出租車的例子中，必須使用激光雷達(dá)和普通攝像頭，以及超聲波或雷達(dá)，因?yàn)槊芏忍蠖鵁o法處理，”Clark說?！按送?，我們需要包括一個(gè)用于 V2X 的傳感器，流入車輛的數(shù)據(jù)將與車輛在周圍環(huán)境中看到的數(shù)據(jù)保持一致。在公路卡車運(yùn)輸解決方案中，將使用不同類型的傳感器。除非我們正在做類似團(tuán)隊(duì)合作的事情，否則超聲波在高速公路上的用處不大，但這不是前瞻性傳感器。相反，它可能是前視和后視傳感器，這樣我們就可以連接到所有團(tuán)隊(duì)資產(chǎn)。但激光雷達(dá)和雷達(dá)變得更加重要，因?yàn)榭ㄜ囋诟咚俟飞闲旭倳r(shí)必須考慮距離和范圍?！?/p>

另一個(gè)考慮因素是所需的分析級(jí)別?！坝羞@么多數(shù)據(jù)要處理，我們必須決定其中有多少數(shù)據(jù)是重要的，”他說。“這就是傳感器的類型和功能變得有趣的地方。例如，如果激光雷達(dá)傳感器可以在周期的早期進(jìn)行本地分析，這將減少流回傳感器融合以進(jìn)行額外分析的數(shù)據(jù)量。減少數(shù)據(jù)量又會(huì)降低系統(tǒng)設(shè)計(jì)的總計(jì)算能力和成本。否則，車輛將需要以整合計(jì)算環(huán)境或?qū)Ｗ⒂趥鞲衅骶W(wǎng)格化和分析的專用 ECU 的形式進(jìn)行額外處理?！?/p>

03

成本始終是一個(gè)問題

傳感器融合可能很昂貴。在早期，由多個(gè)單元組成的激光雷達(dá)系統(tǒng)的成本可能高達(dá) 80,000 美元。高成本來自設(shè)備中的機(jī)械部件。如今，成本要低得多，一些制造商預(yù)計(jì)在未來的某個(gè)時(shí)候，它可能會(huì)低至每件 200 到 300 美元。新興的熱傳感器技術(shù)將在幾千美元的范圍內(nèi)。總體而言，原始設(shè)備制造商將繼續(xù)面臨降低傳感器部署總成本的壓力。使用更多攝像頭代替激光雷達(dá)系統(tǒng)將有助于原始設(shè)備制造商降低制造成本。

“在城市環(huán)境中，安全的基本定義是消除所有可避免的碰撞，” Siemens Digital Industries Software混合和虛擬系統(tǒng)副總裁 David Fritz 說。所需的最小傳感器數(shù)量取決于用例。一些人認(rèn)為，在未來，智慧城市基礎(chǔ)設(shè)施將變得更加復(fù)雜和無處不在，從而減少城市環(huán)境中對(duì)車載傳感的需求?！?/p>

車對(duì)車通信也可能對(duì)傳感器產(chǎn)生影響。

“在這里，機(jī)載傳感器的數(shù)量可能會(huì)減少，但我們還沒有做到這一點(diǎn)，”Fritz 觀察到。“此外，在某些情況下，AV 必須假設(shè)所有外部信息由于電源故障或其他中斷而變得不可用。因此，車輛始終需要配備一組傳感器——不僅適用于城市地區(qū)，也適用于農(nóng)村地區(qū)。我們一直致力于的許多設(shè)計(jì)都需要在車輛外部安裝八個(gè)攝像頭，在內(nèi)部安裝幾個(gè)攝像頭。前置兩個(gè)攝像頭，經(jīng)過適當(dāng)校準(zhǔn)，我們可以實(shí)現(xiàn)低延遲、高分辨率立體視覺，提供物體的深度范圍，從而減少對(duì)雷達(dá)的需求。我們?cè)谲囕v的前部、后部和兩側(cè)都這樣做，以獲得完整的 360° 視角?！?/p>

當(dāng)所有攝像頭執(zhí)行對(duì)象檢測(cè)和分類時(shí)，關(guān)鍵信息將被傳遞到中央計(jì)算系統(tǒng)以做出控制決策。

“如果基礎(chǔ)設(shè)施或其他車輛信息可用，它會(huì)與來自車載傳感器的信息融合，以生成更全面的 3D 視圖，從而做出更好的決策，”Fritz 說?！霸谲噧?nèi)，額外的攝像頭用于監(jiān)控駕駛員，還可以檢測(cè)遺留物體等占用情況。可能添加一個(gè)低成本雷達(dá)來處理惡劣天氣情況，例如有霧或下雨的情況，是傳感器套件的高級(jí)補(bǔ)充。我們最近沒有看到大量使用激光雷達(dá)。在某些情況下，激光雷達(dá)性能會(huì)受到回波和反射的影響。最初，自動(dòng)駕駛原型嚴(yán)重依賴激光雷達(dá)數(shù)據(jù)的 GPU 處理，但最近更智能的架構(gòu)越來越傾向于高分辨率，

優(yōu)化傳感器融合可能很復(fù)雜。您如何知道哪種組合能為您帶來最佳性能？除了進(jìn)行功能測(cè)試外，原始設(shè)備制造商還依賴 Ansys 和西門子等公司提供建模和仿真解決方案，以測(cè)試各種傳感器組合的結(jié)果，以實(shí)現(xiàn)最佳性能。

04

增強(qiáng)技術(shù)影響未來的傳感器設(shè)計(jì)

智能基礎(chǔ)設(shè)施中的 V2X、5G、高級(jí)數(shù)字地圖和 GPS 等增強(qiáng)技術(shù)將實(shí)現(xiàn)自動(dòng)駕駛，而車載傳感器更少。但要讓這些技術(shù)得到提升，自動(dòng)駕駛需要整個(gè)汽車行業(yè)的支持，以及智慧城市的發(fā)展。

“各種增強(qiáng)技術(shù)服務(wù)于不同的目的，” Arteris IP解決方案和業(yè)務(wù)開發(fā)副總裁 Frank Schirrmeister 指出?！伴_發(fā)人員通常會(huì)結(jié)合多個(gè)來創(chuàng)建安全便捷的用戶體驗(yàn)。例如，用于路徑規(guī)劃的地圖信息數(shù)字孿生可以在能見度有限的條件下創(chuàng)造更安全的體驗(yàn)，以增強(qiáng)基于傳感器信息的車內(nèi)本地決策。V2V 和 V2X 信息可以補(bǔ)充車內(nèi)本地可用的信息以做出安全決策，增加冗余并創(chuàng)建更多數(shù)據(jù)點(diǎn)以作為安全決策的基礎(chǔ)?！?/p>

此外，車聯(lián)網(wǎng)有望實(shí)現(xiàn)車輛與路邊基礎(chǔ)設(shè)施之間的實(shí)時(shí)協(xié)作，這需要超可靠低延遲通信 (URLLC) 等技術(shù)。

“這些需求導(dǎo)致各種人工智能技術(shù)在流量預(yù)測(cè)、5G 資源分配、擁塞控制等方面的應(yīng)用，”Kouthon 說。“換句話說，人工智能可以優(yōu)化和減少自動(dòng)駕駛對(duì)網(wǎng)絡(luò)基礎(chǔ)設(shè)施造成的沉重負(fù)擔(dān)。我們希望原始設(shè)備制造商使用軟件定義的車輛架構(gòu)構(gòu)建自動(dòng)駕駛汽車，其中 ECU 被虛擬化并通過無線方式更新。數(shù)字雙胞胎技術(shù)對(duì)于在非常接近真實(shí)車輛的車輛云模擬上測(cè)試軟件和更新至關(guān)重要。”

05

結(jié)論

最終實(shí)施時(shí)，3 級(jí)自動(dòng)駕駛可能需要 30 多個(gè)傳感器或十幾個(gè)攝像頭，具體取決于 OEM 的架構(gòu)。但關(guān)于哪個(gè)更安全，或者自動(dòng)駕駛傳感器系統(tǒng)是否能在城市環(huán)境中提供與在高速公路上駕駛相同水平的安全駕駛，尚無定論。

隨著未來幾年傳感器成本的下降，它可能會(huì)打開新傳感器的大門，這些傳感器可以添加到組合中以提高惡劣天氣下的安全性。但是，原始設(shè)備制造商可能需要很長(zhǎng)時(shí)間才能對(duì)一定數(shù)量的傳感器進(jìn)行標(biāo)準(zhǔn)化，這些傳感器被認(rèn)為足以確保在所有條件和極端情況下的安全性。