自動(dòng)駕駛汽車及其計(jì)算機(jī)視覺(jué)系統(tǒng)收到了大量新聞報(bào)道，這清楚地表明設(shè)計(jì)一個(gè)在任何環(huán)境條件下都表現(xiàn)良好的強(qiáng)大視覺(jué)系統(tǒng)是多么困難。在開(kāi)發(fā)這些復(fù)雜的汽車視覺(jué)系統(tǒng)時(shí)，所有設(shè)計(jì)人員都應(yīng)考慮幾個(gè)關(guān)鍵要素。其中包括傳感器冗余、低光視覺(jué)處理和故障傳感器檢測(cè)。

傳感器冗余的重要性對(duì)于使用視覺(jué)系統(tǒng)進(jìn)行物體檢測(cè)的汽車周圍的每個(gè)位置，都應(yīng)該有多個(gè)攝像頭（至少兩個(gè)）指向視線。即使視覺(jué)算法只需要單視覺(jué)數(shù)據(jù)，也應(yīng)該設(shè)置此設(shè)置。

傳感器多樣性允許通過(guò)將圖像與輔助攝像頭進(jìn)行比較來(lái)檢測(cè)主攝像頭的故障。主攝像頭將其數(shù)據(jù)提供給視覺(jué)算法。如果系統(tǒng)檢測(cè)到主攝像頭出現(xiàn)故障，它應(yīng)該能夠?qū)⑵渲幸粋€(gè)輔助攝像頭的數(shù)據(jù)重新路由到視覺(jué)算法。

由于有多個(gè)攝像頭可用，視覺(jué)算法也應(yīng)該利用立體視覺(jué)。以較低的分辨率和較低的幀速率收集深度數(shù)據(jù)將節(jié)省處理能力。即使處理本質(zhì)上是單相機(jī)，深度信息也可以通過(guò)根據(jù)場(chǎng)景中對(duì)象的最小和最大距離減少需要處理的尺度數(shù)量來(lái)加速對(duì)象分類。

例如，德州儀器 (TI) 的 TDAx 汽車處理器系列配備了必要的技術(shù)，可處理至少 8 個(gè)攝像頭輸入，并通過(guò) Vision AcceleratorPac 執(zhí)行最先進(jìn)的立體視覺(jué)處理以滿足此類要求。Vision AcceleratorPac 包含多個(gè)嵌入式視覺(jué)引擎 (EVE)，它們?cè)诹Ⅲw視覺(jué)系統(tǒng)的對(duì)應(yīng)匹配算法中使用的單指令多數(shù)據(jù)路徑 (SIMD) 操作類型方面表現(xiàn)出色。

微光視覺(jué)的重要性、對(duì)離線地圖的依賴和傳感器融合微光視覺(jué)處理需要一種不同于白天使用的處理模式。在弱光條件下拍攝的圖像信噪比低，邊緣等結(jié)構(gòu)化元素被隱藏在噪聲之下。在弱光條件下，視覺(jué)算法應(yīng)該更多地依賴斑點(diǎn)或形狀而不是邊緣。典型的計(jì)算機(jī)視覺(jué)算法，例如基于定向梯度直方圖 (HOG) 的對(duì)象分類，主要依賴于邊緣，因?yàn)檫@些特征在日光下占主導(dǎo)地位。但是配備這種視覺(jué)系統(tǒng)的汽車在夜間在光線不足的道路上檢測(cè)其他車輛或行人時(shí)會(huì)遇到問(wèn)題。

如果系統(tǒng)檢測(cè)到弱光條件，視覺(jué)算法應(yīng)切換到弱光模式。這種模式可以使用僅使用低光圖像訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。低光模式還應(yīng)該依賴離線地圖或離線世界觀的數(shù)據(jù)。低光視覺(jué)算法可以提供線索以在地圖上找到正確的位置，并根據(jù)離線世界觀重建場(chǎng)景，這對(duì)于靜態(tài)環(huán)境中的導(dǎo)航來(lái)說(shuō)應(yīng)該足夠了。

然而，在動(dòng)態(tài)環(huán)境中，對(duì)于以前未記錄的移動(dòng)或新物體，需要與其他傳感器（激光雷達(dá)、雷達(dá)、熱像儀等）融合，以利用每種傳感器模式的各自優(yōu)勢(shì)確保最佳性能. 例如，激光雷達(dá)在白天或晚上都能正常工作，但無(wú)法區(qū)分顏色。攝像頭在弱光條件下視力不佳，但會(huì)為檢測(cè)紅燈和交通標(biāo)志的算法提供顏色信息。在有雨、雪和霧的情況下，這兩種傳感器都會(huì)表現(xiàn)不佳。雷達(dá)可以在惡劣天氣下使用，但它們沒(méi)有足夠的空間分辨率來(lái)準(zhǔn)確檢測(cè)物體的位置和大小。

您可以看到每個(gè)傳感器提供的信息，如果單獨(dú)使用，是不完整或不確定的。為了減少這種不確定性，融合算法結(jié)合了從這些不同傳感器收集的數(shù)據(jù)。

這是使用異構(gòu)架構(gòu)設(shè)計(jì)的好處。例如，TI 的 TDA2x 處理器可以處理傳感器數(shù)據(jù)采集、處理和融合所需的處理多樣性，這要?dú)w功于具有不同架構(gòu)的三個(gè)不同內(nèi)核（EVE、數(shù)字信號(hào)處理器 [DSP] 和微控制器 [MCU]）。有關(guān) 功能映射的詳細(xì)信息，請(qǐng)參見(jiàn)圖 1 。

圖 1：異構(gòu)片上系統(tǒng) (SoC) 概念實(shí)現(xiàn)了最高的處理性能和功率效率。

弱光條件需要使用高動(dòng)態(tài)范圍 (HDR) 傳感器。這些 HDR 傳感器為同一幀輸出具有不同曝光/增益值的多個(gè)圖像。為了可用，這些圖像必須組合/合并為一個(gè)。這種合并算法通常是計(jì)算密集型的，但 TI 的 TDA2P 和 TDA3x 處理器具有硬件圖像信號(hào)處理器 (ISP)，能夠通過(guò)由合并、噪聲過(guò)濾、閃爍緩解、去馬賽克和清晰度增強(qiáng)塊組成的管道來(lái)處理 HDR 圖像。

除了減輕圖像信號(hào)處理任務(wù)之外，將 ISP 集成到視覺(jué)處理器而不是傳感器中還具有限制相機(jī)中的功耗和熱量產(chǎn)生的優(yōu)勢(shì)，這有助于提高圖像質(zhì)量。該 ISP 功能強(qiáng)大，可以處理多達(dá) 8 個(gè) 1-MP 攝像頭，非常適合環(huán)視應(yīng)用。

ISP 的目標(biāo)是在將圖像傳遞給計(jì)算機(jī)視覺(jué)算法之前盡可能生成最高質(zhì)量的圖像，以便后者可以更優(yōu)化地執(zhí)行。但即使圖像質(zhì)量不理想，計(jì)算機(jī)視覺(jué)的最新發(fā)展也有助于減輕由惡劣操作環(huán)境引起的光學(xué)效應(yīng)。

事實(shí)上，在過(guò)去十年中，人工智能技術(shù)深度學(xué)習(xí)已經(jīng)能夠解決最具挑戰(zhàn)性的計(jì)算機(jī)視覺(jué)問(wèn)題。但由于對(duì)計(jì)算能力的巨大需求，深度學(xué)習(xí)主要局限于云計(jì)算和數(shù)據(jù)中心行業(yè)。

研究人員一直專注于開(kāi)發(fā)足夠輕的深度學(xué)習(xí)網(wǎng)絡(luò)，以在不損失質(zhì)量的情況下在嵌入式系統(tǒng)上運(yùn)行。為支持這一革命性技術(shù)，TI 創(chuàng)建了 TI 深度學(xué)習(xí) (TIDL) 庫(kù)。TIDL 使用 Vision AcceleratorPac 實(shí)施，可以采用使用 Caffe 或 TensorFlow 框架設(shè)計(jì)的深度學(xué)習(xí)網(wǎng)絡(luò)，并在 2.5W 功率范圍內(nèi)實(shí)時(shí)執(zhí)行它們。語(yǔ)義分和單次檢測(cè)器是在 TDA2x 處理器上成功演示的網(wǎng)絡(luò)之一。

為了補(bǔ)充其視覺(jué)技術(shù)，TI 一直在加大力度開(kāi)發(fā)針對(duì)高級(jí)駕駛輔助系統(tǒng) (ADAS) 和自動(dòng)駕駛市場(chǎng)量身定制的雷達(dá)技術(shù)。其中包括：

采用互補(bǔ)金屬氧化物半導(dǎo)體 (CMOS) 技術(shù)的汽車?yán)走_(dá)毫米波 (mmWave) 傳感器。用于中遠(yuǎn)程雷達(dá)的 AWR1xx 傳感器將射頻 (RF) 和具有數(shù)字控制能力的模擬功能集成到單個(gè)芯片中。在一個(gè)芯片中包含這些功能可將典型的雷達(dá)系統(tǒng)尺寸縮小 50%。此外，傳感器的較小外形尺寸需要較少的功率并且可以承受較高的環(huán)境溫度。

在 TDAx 處理器上運(yùn)行的軟件開(kāi)發(fā)套件實(shí)現(xiàn)了雷達(dá)信號(hào)處理鏈，可以處理多達(dá)四個(gè)雷達(dá)信號(hào)。雷達(dá)信號(hào)處理鏈包括二維快速傅里葉變換 (FFT)、峰值檢測(cè)和波束成形階段，可實(shí)現(xiàn)物體檢測(cè)。由于其高可配置性，雷達(dá)信號(hào)處理鏈可以支持不同的汽車應(yīng)用，包括用于自適應(yīng)巡航控制的長(zhǎng)距離和用于停車輔助的短距離。

故障傳感器檢測(cè)和故障安全機(jī)制的重要性在朝著自動(dòng)駕駛發(fā)展的世界中，故障傳感器甚至污垢可能會(huì)產(chǎn)生危及生命的后果，因?yàn)猷须s的圖像會(huì)欺騙視覺(jué)算法并導(dǎo)致錯(cuò)誤的分類?？赡軙?huì)更加關(guān)注開(kāi)發(fā)可以檢測(cè)由故障傳感器產(chǎn)生的無(wú)效場(chǎng)景的算法。該系統(tǒng)可以實(shí)施故障安全機(jī)制，例如激活應(yīng)急燈或逐漸停止汽車。

例如，TDAx 設(shè)備具有基于學(xué)習(xí)的算法，該算法使用來(lái)自 H3A 引擎的銳度統(tǒng)計(jì)數(shù)據(jù)來(lái)檢測(cè)障礙物。H3A 提供了逐塊的清晰度分?jǐn)?shù)，從而為算法提供了精細(xì)的統(tǒng)計(jì)數(shù)據(jù)。

結(jié)論
為自動(dòng)駕駛汽車設(shè)計(jì)汽車視覺(jué)系統(tǒng)的工程師面臨著許多挑戰(zhàn)，因?yàn)殡S著每個(gè)級(jí)別的自主性對(duì)魯棒性的要求越來(lái)越高。幸運(yùn)的是，可用于解決所有這些問(wèn)題的工具數(shù)量一直在增長(zhǎng)，傳感器技術(shù)、處理器架構(gòu)和算法的不斷進(jìn)步最終將催生自動(dòng)駕駛汽車。

TI 提供一系列針對(duì)汽車市場(chǎng)的產(chǎn)品，包括其 TDAx 處理器系列、深度學(xué)習(xí)軟件庫(kù)和雷達(dá)傳感器。這些產(chǎn)品支持設(shè)計(jì)強(qiáng)大的前置攝像頭、后置攝像頭、環(huán)視、雷達(dá)和融合應(yīng)用，這些應(yīng)用是當(dāng)今 ADAS 技術(shù)的基石，也是未來(lái)自動(dòng)駕駛汽車的基礎(chǔ)。

審核編輯：郭婷