無人駕駛汽車平臺(tái)的激增？在空中，地面上，在水中？為擴(kuò)大情報(bào)、監(jiān)視和偵察行動(dòng)提供了無與倫比的機(jī)會(huì)。選擇功能、性能、可靠性和成本的最佳組合是優(yōu)化視頻使用的關(guān)鍵挑戰(zhàn)。同時(shí)，除了尺寸、重量和功耗 （SWaP） 之外，關(guān)鍵考慮因素還包括傳感器處理位置趨勢(shì)、視頻融合、視頻壓縮和帶寬。

下一波軍事演變浪潮是由保護(hù)作戰(zhàn)人員生命的雙重需求推動(dòng)的，另一方面是控制運(yùn)營成本的需要。這些必要條件正在推動(dòng)空軍和海軍的大量投資。無人駕駛車輛比載人車輛更具消耗性，這意味著它們可以部署在原本不可能完成的任務(wù)上，并且它們具有更大的耐力。

合作任務(wù)（載人/無人組隊(duì)）和自主作戰(zhàn)（加油、著陸/對(duì)接、感知和避開）等無人車部署場景的出現(xiàn)增加了視頻處理特征和后續(xù)圖像數(shù)據(jù)傳輸?shù)膹?fù)雜性和需求。

無論無人駕駛車輛的類型是什么 - 無論是陸地，海上還是空中 - 其任務(wù)通常包括三個(gè)關(guān)鍵要素：數(shù)據(jù)采集，數(shù)據(jù)處理和數(shù)據(jù)傳輸。此外，目標(biāo)跟蹤和數(shù)據(jù)融合等應(yīng)用需要時(shí)間敏感性、空間感知和相互感知，以正確理解和利用數(shù)據(jù)。低延遲處理和傳輸是關(guān)鍵的性能指標(biāo)，特別是當(dāng)人類操作員和關(guān)鍵決策者位于遠(yuǎn)離數(shù)據(jù)收集點(diǎn)的位置時(shí)。除了尺寸、重量和功率 （SWaP） 之外，還研究了關(guān)鍵考慮因素（傳感器處理位置趨勢(shì)、視頻融合、視頻壓縮和帶寬）。

趨勢(shì)：靠近傳感器

隨著高清傳感器在無人駕駛車輛上變得司空見慣，其增加的帶寬需求給傳統(tǒng)的視頻跟蹤和處理系統(tǒng)帶來了巨大的處理開銷。這一趨勢(shì)導(dǎo)致采用視頻架構(gòu)，這些架構(gòu)可以以最小的延遲處理更高的像素密度、幀速率和多個(gè)視頻源。更高的清晰度反過來又會(huì)產(chǎn)生指數(shù)級(jí)增長的數(shù)據(jù)量，并對(duì)下載鏈接的帶寬要求產(chǎn)生相關(guān)影響，并且需要通過有效捕獲，轉(zhuǎn)換和壓縮視頻流來管理這一要求。圖 2 顯示了接口帶寬與原始視頻帶寬的關(guān)系。

圖 2：接口帶寬與原始視頻帶寬

解決這種二分法的一種方法是在傳感器上進(jìn)行處理，因?yàn)橥ǔ]有時(shí)間將數(shù)據(jù)發(fā)送到地面以做出決定，或者這樣做可能會(huì)丟失視頻保真度（圖3）。在傳感器本地處理視頻可能是有益的，因?yàn)樵谶M(jìn)行任何縮小或壓縮損失之前，可以從原始高保真圖像中提取相關(guān)信息，例如目標(biāo)指標(biāo)，并且這可以在低延遲（通常小于1幀）下完成，以驅(qū)動(dòng)后續(xù)決策過程。然而，這以遠(yuǎn)程車輛更大的功耗為潛在代價(jià)，這可能會(huì)影響續(xù)航里程和續(xù)航能力，特別是在功率限制極其嚴(yán)格的小型平臺(tái)上。

圖 3：趨勢(shì)是處理視頻，并提取盡可能靠近傳感器的相關(guān)信息。

圖像融合簡化數(shù)據(jù)雪崩

無人駕駛軍用車輛上的傳感器數(shù)量正在迅速增加，因此需要智能方式在不使信息過載的情況下向操作員呈現(xiàn)信息，同時(shí)降低系統(tǒng)的功耗、重量和尺寸。軍事和準(zhǔn)軍事成像系統(tǒng)可以包括對(duì)多個(gè)波段敏感的傳感器，包括彩色可見光、增強(qiáng)可見光、近紅外、熱紅外和太赫茲成像儀。在此列表中，我們可以添加將相機(jī)源與合成視頻（如地形圖）同化的需要。通常，這些系統(tǒng)具有一個(gè)顯示器，一次只能顯示來自一個(gè)攝像頭的數(shù)據(jù)，因此操作員必須選擇要集中處理的圖像，或者必須循環(huán)通過不同的傳感器輸出。圖像融合是一種技術(shù)，可以將來自每個(gè)傳感器的互補(bǔ)信息組合成一個(gè)可以顯示給操作員的優(yōu)質(zhì)圖像。

融合方法包括簡單的加法圖像融合方法，該方法對(duì)每個(gè)輸入圖像應(yīng)用加權(quán)，然后線性組合它們。這具有低延遲和中等處理能力的優(yōu)點(diǎn)，但具有可變質(zhì)量輸出，并且不能保證保留完整的圖像對(duì)比度。在大多數(shù)情況下，線性加權(quán)融合算法將產(chǎn)生一個(gè)完全可接受的圖像，該圖像顯然是輸入圖像的組合，并且比并排查看兩個(gè)相機(jī)輸出更可取。但是，在某些情況下，加權(quán)平均技術(shù)將導(dǎo)致關(guān)鍵場景特征的丟失，并且融合圖像可能無法提供場景的增強(qiáng)視圖。

如果需要更高質(zhì)量的圖像融合系統(tǒng)，則必須采用更先進(jìn)的技術(shù)。兩個(gè)傳感器融合的最可靠和最成功的方法是使用多分辨率技術(shù)來分析輸入圖像，以最大限度地提高融合圖像中的場景細(xì)節(jié)和對(duì)比度。多分辨率方法的復(fù)雜性增加，在線性組合技術(shù)上引入了額外的處理負(fù)載，但為根據(jù)要求定制算法和更高質(zhì)量、更可靠的融合圖像提供了更大的空間。

成功圖像融合的一個(gè)關(guān)鍵組成部分是輸入對(duì)齊，以確保不同源圖像中的像素對(duì)應(yīng)于現(xiàn)實(shí)世界中的相同時(shí)間和位置。如果不是這種情況，現(xiàn)實(shí)世界中的一個(gè)特征可以在融合圖像中表示兩次，從而創(chuàng)建令人困惑的場景表示。理想的圖像融合系統(tǒng)將包含同步傳感器和公共光路，但由于成本或其他限制，這通常是不可能的。

可以通過緩沖一個(gè)圖像流來提供時(shí)間對(duì)齊，這可以補(bǔ)償具有不同延遲的未同步成像器或傳感器。將一個(gè)圖像與另一個(gè)圖像匹配的過程是通過創(chuàng)建扭曲的圖像來實(shí)現(xiàn)的。通過首先計(jì)算原始圖像中輸出像素的來源，然后使用周圍像素的值插值其強(qiáng)度來評(píng)估變形圖像的像素強(qiáng)度。這可以補(bǔ)償傳感器的任何相對(duì)旋轉(zhuǎn)，光學(xué)軸的未對(duì)準(zhǔn)或圖像比例的差異。

內(nèi)置的變形引擎可以為每個(gè)視頻源提供旋轉(zhuǎn)、縮放和平移，以補(bǔ)償圖像失真和成像器之間的不對(duì)中，從而減少對(duì)成像器精確匹配的需求，從而降低整體系統(tǒng)成本。這些系統(tǒng)只需要一臺(tái)顯示器，進(jìn)一步降低了SWaP要求。

由于融合的目標(biāo)是增加動(dòng)態(tài)范圍并提供更大的景深，傳感器數(shù)據(jù)和合成視頻（例如地形圖）現(xiàn)在正在融合，以增強(qiáng)對(duì)諸如掉電等具有挑戰(zhàn)性的環(huán)境的局部態(tài)勢(shì)感知。

視頻壓縮

無人駕駛車輛和地面站之間的通信帶寬始終處于較高水平（圖 4）。例如，傳輸原始捕獲的視頻最多可能導(dǎo)致不可接受的延遲。因此，機(jī)載系統(tǒng)通常需要進(jìn)行重要的本地處理，以識(shí)別有價(jià)值的信息，并在傳輸之前丟棄沒有價(jià)值的信息。隨著無人駕駛車輛變得越來越自主 - 不再由地面站引導(dǎo)，并且能夠根據(jù)實(shí)時(shí)數(shù)據(jù)調(diào)整任務(wù) - 這種車載處理將具有更大的意義。

圖 4：從自動(dòng)駕駛汽車到地面站的視頻圖像通信帶來了重大挑戰(zhàn)。

除此之外，為了進(jìn)一步降低帶寬消耗，需要使用編解碼器來壓縮傳輸?shù)囊曨l，以最小化數(shù)據(jù)流，同時(shí)最大限度地提高圖像保真度。今天選擇的編解碼器是H.264，也稱為H.264 / MPEG4，其使用的比特率約為以前視頻編解碼器的一半（或更低）。H.264之所以受歡迎，不僅因?yàn)樗男剩€因?yàn)樗膽?yīng)用很廣泛-包括在廣播電視中。這意味著，與JPEG2000等替代方案相比，有大量的支持和專業(yè)知識(shí)基礎(chǔ)設(shè)施可以使實(shí)施基于H.264的系統(tǒng)對(duì)軍方來說更快，成本更低。

考慮到新系統(tǒng)正在添加更多的視頻源，并以更高的幀速率將圖像分辨率從較低質(zhì)量提高到高清晰度，因此有效的視頻壓縮變得更加重要。結(jié)果是每個(gè)視頻流的原始數(shù)據(jù)增加了12倍，這需要大量的數(shù)據(jù)壓縮，以使操作員能夠在控制中心查看一個(gè)視頻源。

信號(hào)適配器問題

日益復(fù)雜的像素處理鏈（例如跟蹤和穩(wěn)定壓縮）加上每輛車上使用的傳感器數(shù)量的增加，導(dǎo)致正在處理的像素?cái)?shù)量增加了十倍。滿足無人系統(tǒng)飛速發(fā)展的視頻處理需求，同時(shí)滿足不斷下降的SWaP期望是一項(xiàng)艱巨的任務(wù)。將跟蹤、移動(dòng)目標(biāo)檢測、圖像穩(wěn)定、圖像處理和壓縮等過程組合在一塊電路板上，不僅可以節(jié)省空間，還可以使系統(tǒng)集成得更緊密，整體功率水平更低。

將不同的處理任務(wù)合理化為單個(gè)統(tǒng)一的處理平臺(tái)是解決此問題的一種有用方法，并且已經(jīng)可以使用SWaP優(yōu)化的基于COTS的圖像處理模塊，這些模塊設(shè)計(jì)用于放置在小型平臺(tái)上，例如手動(dòng)發(fā)射的無人機(jī)或小型無人地面車輛（圖5）。

圖 5：GE 的 ADEPT3000 系統(tǒng)級(jí)模塊圖像處理器專為高度受限的 SWaP 環(huán)境而設(shè)計(jì)。

最終，視頻架構(gòu)的仔細(xì)規(guī)劃和實(shí)施對(duì)于任何有效的解決方案都至關(guān)重要，多功能圖像處理器的使用可以成為在不犧牲性能的情況下減少整體SWaP占用空間的有效工具。

審核編輯：郭婷