無人駕駛汽車平臺的激增？在空中，地面上，在水中？為擴大情報、監(jiān)視和偵察行動提供了無與倫比的機會。選擇功能、性能、可靠性和成本的最佳組合是優(yōu)化視頻使用的關(guān)鍵挑戰(zhàn)。同時，除了尺寸、重量和功耗 （SWaP） 之外，關(guān)鍵考慮因素還包括傳感器處理位置趨勢、視頻融合、視頻壓縮和帶寬。

下一波軍事演變浪潮是由保護作戰(zhàn)人員生命的雙重需求推動的，另一方面是控制運營成本的需要。這些必要條件正在推動空軍和海軍的大量投資。無人駕駛車輛比載人車輛更具消耗性，這意味著它們可以部署在原本不可能完成的任務(wù)上，并且它們具有更大的耐力。

合作任務(wù)（載人/無人組隊）和自主作戰(zhàn)（加油、著陸/對接、感知和避開）等無人車部署場景的出現(xiàn)增加了視頻處理特征和后續(xù)圖像數(shù)據(jù)傳輸?shù)膹?fù)雜性和需求。

無論無人駕駛車輛的類型是什么 - 無論是陸地，海上還是空中 - 其任務(wù)通常包括三個關(guān)鍵要素：數(shù)據(jù)采集，數(shù)據(jù)處理和數(shù)據(jù)傳輸。此外，目標跟蹤和數(shù)據(jù)融合等應(yīng)用需要時間敏感性、空間感知和相互感知，以正確理解和利用數(shù)據(jù)。低延遲處理和傳輸是關(guān)鍵的性能指標，特別是當人類操作員和關(guān)鍵決策者位于遠離數(shù)據(jù)收集點的位置時。除了尺寸、重量和功率 （SWaP） 之外，還研究了關(guān)鍵考慮因素（傳感器處理位置趨勢、視頻融合、視頻壓縮和帶寬）。

趨勢：靠近傳感器

隨著高清傳感器在無人駕駛車輛上變得司空見慣，其增加的帶寬需求給傳統(tǒng)的視頻跟蹤和處理系統(tǒng)帶來了巨大的處理開銷。這一趨勢導(dǎo)致采用視頻架構(gòu)，這些架構(gòu)可以以最小的延遲處理更高的像素密度、幀速率和多個視頻源。更高的清晰度反過來又會產(chǎn)生指數(shù)級增長的數(shù)據(jù)量，并對下載鏈接的帶寬要求產(chǎn)生相關(guān)影響，并且需要通過有效捕獲，轉(zhuǎn)換和壓縮視頻流來管理這一要求。圖 2 顯示了接口帶寬與原始視頻帶寬的關(guān)系。

圖 2：接口帶寬與原始視頻帶寬

解決這種二分法的一種方法是在傳感器上進行處理，因為通常沒有時間將數(shù)據(jù)發(fā)送到地面以做出決定，或者這樣做可能會丟失視頻保真度（圖3）。在傳感器本地處理視頻可能是有益的，因為在進行任何縮小或壓縮損失之前，可以從原始高保真圖像中提取相關(guān)信息，例如目標指標，并且這可以在低延遲（通常小于1幀）下完成，以驅(qū)動后續(xù)決策過程。然而，這以遠程車輛更大的功耗為潛在代價，這可能會影響續(xù)航里程和續(xù)航能力，特別是在功率限制極其嚴格的小型平臺上。

圖 3：趨勢是處理視頻，并提取盡可能靠近傳感器的相關(guān)信息。

圖像融合簡化數(shù)據(jù)雪崩

無人駕駛軍用車輛上的傳感器數(shù)量正在迅速增加，因此需要智能方式在不使信息過載的情況下向操作員呈現(xiàn)信息，同時降低系統(tǒng)的功耗、重量和尺寸。軍事和準軍事成像系統(tǒng)可以包括對多個波段敏感的傳感器，包括彩色可見光、增強可見光、近紅外、熱紅外和太赫茲成像儀。在此列表中，我們可以添加將相機源與合成視頻（如地形圖）同化的需要。通常，這些系統(tǒng)具有一個顯示器，一次只能顯示來自一個攝像頭的數(shù)據(jù)，因此操作員必須選擇要集中處理的圖像，或者必須循環(huán)通過不同的傳感器輸出。圖像融合是一種技術(shù)，可以將來自每個傳感器的互補信息組合成一個可以顯示給操作員的優(yōu)質(zhì)圖像。

融合方法包括簡單的加法圖像融合方法，該方法對每個輸入圖像應(yīng)用加權(quán)，然后線性組合它們。這具有低延遲和中等處理能力的優(yōu)點，但具有可變質(zhì)量輸出，并且不能保證保留完整的圖像對比度。在大多數(shù)情況下，線性加權(quán)融合算法將產(chǎn)生一個完全可接受的圖像，該圖像顯然是輸入圖像的組合，并且比并排查看兩個相機輸出更可取。但是，在某些情況下，加權(quán)平均技術(shù)將導(dǎo)致關(guān)鍵場景特征的丟失，并且融合圖像可能無法提供場景的增強視圖。

如果需要更高質(zhì)量的圖像融合系統(tǒng)，則必須采用更先進的技術(shù)。兩個傳感器融合的最可靠和最成功的方法是使用多分辨率技術(shù)來分析輸入圖像，以最大限度地提高融合圖像中的場景細節(jié)和對比度。多分辨率方法的復(fù)雜性增加，在線性組合技術(shù)上引入了額外的處理負載，但為根據(jù)要求定制算法和更高質(zhì)量、更可靠的融合圖像提供了更大的空間。

成功圖像融合的一個關(guān)鍵組成部分是輸入對齊，以確保不同源圖像中的像素對應(yīng)于現(xiàn)實世界中的相同時間和位置。如果不是這種情況，現(xiàn)實世界中的一個特征可以在融合圖像中表示兩次，從而創(chuàng)建令人困惑的場景表示。理想的圖像融合系統(tǒng)將包含同步傳感器和公共光路，但由于成本或其他限制，這通常是不可能的。

可以通過緩沖一個圖像流來提供時間對齊，這可以補償具有不同延遲的未同步成像器或傳感器。將一個圖像與另一個圖像匹配的過程是通過創(chuàng)建扭曲的圖像來實現(xiàn)的。通過首先計算原始圖像中輸出像素的來源，然后使用周圍像素的值插值其強度來評估變形圖像的像素強度。這可以補償傳感器的任何相對旋轉(zhuǎn)，光學軸的未對準或圖像比例的差異。

內(nèi)置的變形引擎可以為每個視頻源提供旋轉(zhuǎn)、縮放和平移，以補償圖像失真和成像器之間的不對中，從而減少對成像器精確匹配的需求，從而降低整體系統(tǒng)成本。這些系統(tǒng)只需要一臺顯示器，進一步降低了SWaP要求。

由于融合的目標是增加動態(tài)范圍并提供更大的景深，傳感器數(shù)據(jù)和合成視頻（例如地形圖）現(xiàn)在正在融合，以增強對諸如掉電等具有挑戰(zhàn)性的環(huán)境的局部態(tài)勢感知。

視頻壓縮

無人駕駛車輛和地面站之間的通信帶寬始終處于較高水平（圖 4）。例如，傳輸原始捕獲的視頻最多可能導(dǎo)致不可接受的延遲。因此，機載系統(tǒng)通常需要進行重要的本地處理，以識別有價值的信息，并在傳輸之前丟棄沒有價值的信息。隨著無人駕駛車輛變得越來越自主 - 不再由地面站引導(dǎo)，并且能夠根據(jù)實時數(shù)據(jù)調(diào)整任務(wù) - 這種車載處理將具有更大的意義。

圖 4：從自動駕駛汽車到地面站的視頻圖像通信帶來了重大挑戰(zhàn)。

除此之外，為了進一步降低帶寬消耗，需要使用編解碼器來壓縮傳輸?shù)囊曨l，以最小化數(shù)據(jù)流，同時最大限度地提高圖像保真度。今天選擇的編解碼器是H.264，也稱為H.264 / MPEG4，其使用的比特率約為以前視頻編解碼器的一半（或更低）。H.264之所以受歡迎，不僅因為它的效率，還因為它的應(yīng)用很廣泛-包括在廣播電視中。這意味著，與JPEG2000等替代方案相比，有大量的支持和專業(yè)知識基礎(chǔ)設(shè)施可以使實施基于H.264的系統(tǒng)對軍方來說更快，成本更低。

考慮到新系統(tǒng)正在添加更多的視頻源，并以更高的幀速率將圖像分辨率從較低質(zhì)量提高到高清晰度，因此有效的視頻壓縮變得更加重要。結(jié)果是每個視頻流的原始數(shù)據(jù)增加了12倍，這需要大量的數(shù)據(jù)壓縮，以使操作員能夠在控制中心查看一個視頻源。

信號適配器問題

日益復(fù)雜的像素處理鏈（例如跟蹤和穩(wěn)定壓縮）加上每輛車上使用的傳感器數(shù)量的增加，導(dǎo)致正在處理的像素數(shù)量增加了十倍。滿足無人系統(tǒng)飛速發(fā)展的視頻處理需求，同時滿足不斷下降的SWaP期望是一項艱巨的任務(wù)。將跟蹤、移動目標檢測、圖像穩(wěn)定、圖像處理和壓縮等過程組合在一塊電路板上，不僅可以節(jié)省空間，還可以使系統(tǒng)集成得更緊密，整體功率水平更低。

將不同的處理任務(wù)合理化為單個統(tǒng)一的處理平臺是解決此問題的一種有用方法，并且已經(jīng)可以使用SWaP優(yōu)化的基于COTS的圖像處理模塊，這些模塊設(shè)計用于放置在小型平臺上，例如手動發(fā)射的無人機或小型無人地面車輛（圖5）。

圖 5：GE 的 ADEPT3000 系統(tǒng)級模塊圖像處理器專為高度受限的 SWaP 環(huán)境而設(shè)計。

最終，視頻架構(gòu)的仔細規(guī)劃和實施對于任何有效的解決方案都至關(guān)重要，多功能圖像處理器的使用可以成為在不犧牲性能的情況下減少整體SWaP占用空間的有效工具。

審核編輯：郭婷