紅外偏振成像系統(tǒng)快速發(fā)展且應(yīng)用廣泛，但評估其性能的成像系統(tǒng)性能模型發(fā)展不足。迫切需要能夠與先進的偏振成像系統(tǒng)相匹配的性能模型。研究認為，搭建系統(tǒng)性能模型應(yīng)該考慮幾個基本條件：是否自動化、是否有應(yīng)對非線性圖像處理的能力、是否能在復(fù)雜環(huán)境下依舊保證性能評估的準(zhǔn)確性。

據(jù)麥姆斯咨詢報道，近期，北京理工大學(xué)光電學(xué)院和光電成像技術(shù)與系統(tǒng)教育部重點實驗室的聯(lián)合科研團隊在《紅外技術(shù)》期刊上發(fā)表了以“紅外偏振成像系統(tǒng)性能評估模型”為主題的文章。該文章第一作者和通訊作者為王霞副教授，主要從事圖像處理、紅外偏振成像、光電探測等方向的教學(xué)和研究工作。

本文首次將深度學(xué)習(xí)方法引入性能模型，提出了一個自動化的基于圖像的紅外偏振成像系統(tǒng)性能模型。并通過紅外偏振輻射原理仿真海面艦船數(shù)據(jù)集，基于該典型場景對模型展開測試。實驗結(jié)果表明，該模型對于紅外偏振成像系統(tǒng)的評估結(jié)果與人的主觀感知具有較好的一致性。

模型結(jié)構(gòu)與原理

圖1展示了本文所提出模型的基本架構(gòu)。模型由兩個主要模塊（圖中灰色部分）構(gòu)成：成像系統(tǒng)退化模塊、性能感知模塊（圖中藍色部分）。成像系統(tǒng)退化模塊用于計算從光學(xué)系統(tǒng)捕捉場景到顯示器顯示的整個過程的退化反應(yīng)。性能感知模塊由PRI-YOLOv5網(wǎng)絡(luò)和預(yù)測網(wǎng)絡(luò)組成，這個模塊負責(zé)接收退化圖像，并判斷目標(biāo)的可識別、可確認概率。其中，PRI-YOLOv5網(wǎng)絡(luò)基于原YOLOv5網(wǎng)絡(luò)進行改進，用網(wǎng)絡(luò)模擬觀察者觀察圖像的信息提取過程和識別/確認圖像中目標(biāo)的判斷過程。預(yù)測網(wǎng)絡(luò)則學(xué)習(xí)圖像內(nèi)容與可識別/確認概率的關(guān)系，從而破除網(wǎng)絡(luò)僅能判識已知目標(biāo)（包含在數(shù)據(jù)集中）的局限性。在評估一個新的系統(tǒng)時，我們需要輸入高質(zhì)量的原始圖像，并根據(jù)系統(tǒng)的硬件參數(shù)量身定制成像系統(tǒng)退化模塊，退化完成后輸入性能感知模塊，從而得到最終的目標(biāo)獲取性能。

圖1 基本系統(tǒng)性能模型結(jié)構(gòu)（綠色）。灰色：兩個主要模塊; 藍色：性能感知模塊

成像系統(tǒng)退化模塊

成像系統(tǒng)退化模塊根據(jù)系統(tǒng)的參數(shù)模擬了系統(tǒng)的退化效應(yīng)。退化主要來自于4個部分：光學(xué)系統(tǒng)、探測器、電子電路、顯示器。有些系統(tǒng)集成了數(shù)字圖像處理功能，這些功能的影響可以放在探測器退化后面模擬。盡管該退化模塊對整個系統(tǒng)性能模型有重要的貢獻，但這不是本文主要討論的問題。我們參考文獻，在頻域來完成整個退化過程。

性能感知模塊

性能感知模塊是本文提出的系統(tǒng)性能模型的重要環(huán)節(jié)，該模塊通過適當(dāng)?shù)赜?xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，使其學(xué)習(xí)人眼對圖像中目標(biāo)判識的過程。再根據(jù)后續(xù)統(tǒng)計得出系統(tǒng)的目標(biāo)獲取性能。它包含了兩個部分：PRI-YOLOv5網(wǎng)絡(luò)和預(yù)測網(wǎng)絡(luò)。

PRI-YOLOv5網(wǎng)絡(luò)

YOLO是當(dāng)前計算機視覺領(lǐng)域最熱門的目標(biāo)檢測網(wǎng)絡(luò)之一。自2016以來，YOLO系列網(wǎng)絡(luò)不斷朝著更優(yōu)的方向發(fā)展。YOLOv5是其第五代版本，它采用CSPDarknnet53作為骨干網(wǎng)絡(luò)（Backbone）、PANet作為頸部網(wǎng)絡(luò)（Neck）、YOLO探測頭作為頭部網(wǎng)絡(luò)（Head）。該網(wǎng)絡(luò)的輸出為圖像中的每個目標(biāo)標(biāo)注預(yù)選框和標(biāo)簽。預(yù)選框代表著網(wǎng)絡(luò)認為目標(biāo)最有可能存在的位置，標(biāo)簽包含了所框選目標(biāo)可能的種類以及相應(yīng)的概率。YOLOv5的損失函數(shù)包括了坐標(biāo)損失、置信度損失和類別損失3個部分。

深度學(xué)習(xí)起源于神經(jīng)網(wǎng)絡(luò)，它通過模擬人腦對信息抽象的過程提取信息，來完成高級任務(wù)。考慮到Y(jié)OLOv5的結(jié)構(gòu)和其優(yōu)越的性能，我們從原理上進行詳細的分析，并對該網(wǎng)絡(luò)的頭部網(wǎng)絡(luò)輸出和損失函數(shù)部分進行改進。使其替代傳統(tǒng)模型中的仿人眼視覺系統(tǒng)模型/觀察者對大量數(shù)據(jù)進行觀察并判斷的過程，完成模擬人眼和大腦自動對特征提取并輸出場景中目標(biāo)的可識別、可確認概率的功能。由于其輸出為可識別和確認概率（PRI），將該改進的網(wǎng)絡(luò)稱為PRI-YOLOv5。圖2為PRI-YOLOv5的結(jié)構(gòu)及輸出定義示意圖。

圖2 PRI-YOLOv5的結(jié)構(gòu)及輸出定義示意圖

預(yù)測網(wǎng)絡(luò)

上述的PRI-YOLOv5網(wǎng)絡(luò)已實現(xiàn)了性能感知模塊的基本功能，但由于目標(biāo)檢測網(wǎng)絡(luò)只能對數(shù)據(jù)集中存在的/已標(biāo)注的目標(biāo)類別進行判識。而作為判斷系統(tǒng)性能的一個環(huán)節(jié)，該模塊應(yīng)該根據(jù)成像系統(tǒng)拍攝圖像的質(zhì)量，對圖像中所有的目標(biāo)均可進行判識。為破除PRI-YOLOv5對可判識目標(biāo)類別的限制，我們選取文獻中的網(wǎng)絡(luò)作為預(yù)測網(wǎng)絡(luò)。此網(wǎng)絡(luò)由Su等提出并命名為HyperIQA，被用于盲圖像質(zhì)量評價領(lǐng)域。它包含了3個部分：提取語義特征的骨干網(wǎng)絡(luò)，學(xué)習(xí)質(zhì)量感知規(guī)則的超網(wǎng)絡(luò)和預(yù)測最終數(shù)值的目標(biāo)網(wǎng)絡(luò)。該預(yù)測網(wǎng)絡(luò)可以隨著圖像內(nèi)容的變化自適應(yīng)地調(diào)節(jié)權(quán)重參數(shù)，使預(yù)測值不斷向真值靠近?？捎糜趯W(xué)習(xí)圖像內(nèi)容和數(shù)字（概率）之間的映射關(guān)系。

如圖3所示，只需將PRI-YOLOv5的數(shù)據(jù)集和其訓(xùn)練出的概率值分別作為預(yù)測網(wǎng)絡(luò)的輸入和真值標(biāo)簽。網(wǎng)絡(luò)即可學(xué)習(xí)其映射關(guān)系。在訓(xùn)練完成后，該網(wǎng)絡(luò)理論上可以對不同條件下拍攝的目標(biāo)（或許是未知類別）進行識別和確認概率的判斷。主觀上來說，具有相似語義特征或內(nèi)容的圖像中的目標(biāo)應(yīng)具有相近的可識別/確認概率。另外，由于每張圖片對應(yīng)兩個概率標(biāo)簽，所以該網(wǎng)絡(luò)需要訓(xùn)練兩次。

圖3 預(yù)測網(wǎng)絡(luò)示意圖

實驗過程與結(jié)果

鑒于紅外偏振數(shù)據(jù)的難以獲取，本章首先基于海面場景的紅外偏振輻射模型，建立了仿真數(shù)據(jù)集。隨后，我們分別介紹了性能感知模塊兩個網(wǎng)絡(luò)的實施細節(jié)及結(jié)果。最后，對整個模型進行了測試。

海面艦船數(shù)據(jù)集

圖4描述了海面艦船場景仿真的過程。首先，下載艦船的3D模型文件（通常以.max結(jié)尾），并對船模型做一些必要的簡化，保留其主要特征，來避免模型的過度復(fù)雜并減少對計算資源的消耗。導(dǎo)出艦船模型文件并生成高度場。同時，基于波浪譜合成高分辨率的海面?？紤]到艦船吃水的實際情況，適當(dāng)?shù)亟档团灤母叨葓鍪蛊渑c海面高度場相融合。參考文獻對合成高度場進行光線逆追跡，同時保存反射點、法線和反射方向等重要信息。最后，結(jié)合這些有效信息、折射率及艦船和海面的溫度等計算出偏振輻射度，從而獲得場景仿真結(jié)果。

圖4 場景仿真示意圖

根據(jù)上述原理，選取6個不同型號的船只作為場景中的觀測目標(biāo)，它們屬于3個不同的種類：護衛(wèi)艦、驅(qū)逐艦、巡邏艦。表1展示了船只模型及其尺寸，具體型號以ship1~ship6代為表示。由于場景仿真的原理復(fù)雜，計算量大耗時較長。雖然針對船模型以及尺寸較小的海面進行仿真，可成倍縮小計算量。但是基于模型仿真并不完全符合實際情況，如仿真距離和焦距不同對路徑中大氣傳輸和紅外輻射的影響等。故按照表2中組1參數(shù)對船模型進行仿真，并配套以較小的海面尺寸、較近的拍攝距離，用于網(wǎng)絡(luò)預(yù)訓(xùn)練。另外，按照船只的實際尺寸對模型進行放大。護衛(wèi)艦和驅(qū)逐艦?zāi)Ｐ烷L度在1.94~4 m之間，實際長度約為模型的50倍，在97~196 m之間，長寬比約為8。巡邏艦由于其任務(wù)的特殊性，通常具有更小的尺寸，模型長度約為2 m，實際長度約為模型的35倍，約為62.5 m，長寬比約為4。按照表2組2參數(shù)對其進行仿真，用于網(wǎng)絡(luò)的正式訓(xùn)練。假設(shè)仿真是在有太陽輻射的夏季進行的，表2列舉了其他的變量和常量。相機的硬件參數(shù)根據(jù)法國CEDIP公司的一款Jade中波紅外偏振相機的說明書進行設(shè)置。

表1 船模型及類別

表2 仿真中變量和常量參數(shù)設(shè)置

仿真圖像共計506組，圖5給出了一組仿真結(jié)果示例，（a）~（e）是5個常見的Stokes參數(shù)，即偏振角（AoP）、線偏振度（DoLP）、強度（I）、水平和垂直方向的輻射強度差（Q）和對角方向輻射強度差（U）。經(jīng)過觀察，圖（b）~（d）保存了更多的圖像細節(jié)及偏振信息，將其依次拼接為三通道圖像，記為1張。共計圖像506張，組1圖像288張，組2圖像218張。

圖5 仿真結(jié)果示例

性能感知模塊實施細節(jié)及結(jié)果

PRI-YOLOv5的訓(xùn)練在NVIDIAGeForce GTX 1060 GPU上基于Python 3.6和Pytorch 1.7.0環(huán)境實現(xiàn)。訓(xùn)練及測試結(jié)果如圖6至圖8所示。

圖6 PRI-YOLOv5訓(xùn)練結(jié)果

圖7 預(yù)測網(wǎng)絡(luò)測試結(jié)果

圖8 兩組數(shù)據(jù)預(yù)測差值與其相似性的關(guān)系

系統(tǒng)性能模型結(jié)果及分析

接下來將基于已構(gòu)建的性能感知模塊，進一步測試整個性能模型的有效性。按照圖1所示的模型架構(gòu)，選取3款紅外偏振成像系統(tǒng)（代號A款、B款、C款）進行整體的性能評估，系統(tǒng)的主要參數(shù)見表4。對于原始仿真圖像，需要首先經(jīng)歷系統(tǒng)的退化，然后輸入訓(xùn)練好的性能感知模塊，來獲取最終的目標(biāo)獲取性能。

表4 待評估紅外偏振成像系統(tǒng)主要參數(shù)

圖9展示了上述3款系統(tǒng)的退化效果圖，左側(cè)為偏振圖像，右側(cè)為按照次序疊加的三通道圖像。觀察可知，系統(tǒng)A的分辨率最低，成像較為模糊，而系統(tǒng)B的分辨率最高。圖10展示了測試數(shù)據(jù)經(jīng)過退化后，輸入到性能感知模塊得到的預(yù)測結(jié)果經(jīng)過二次擬合得到的曲線。結(jié)果顯示，系統(tǒng)的識別/確認概率隨距離變遠而下降，B系統(tǒng)拍攝的圖片質(zhì)量較高，其性能表現(xiàn)最佳。其次是為C系統(tǒng)，兩款系統(tǒng)均在3.7 km仍保持50%的識別概率。而A系統(tǒng)的50%識別概率則需要通過預(yù)測來獲得，超出了數(shù)據(jù)涵蓋的距離范圍。在4.2~4.3 km之間，A系統(tǒng)的識別概率和B、C兩款系統(tǒng)的確認概率出現(xiàn)交叉，這可能是由于該系統(tǒng)的探測器分辨率過低。總體來說，該評估結(jié)果與主觀認知基本吻合，和實驗室前期實拍實驗得出的結(jié)論基本相符。

圖9 幾款待評估偏振系統(tǒng)的退化效果示意圖

圖10 不同距離處的目標(biāo)獲取概率（三款系統(tǒng)）

結(jié)論

本文首先介紹了紅外偏振成像系統(tǒng)相關(guān)性能模型的研究背景和研究現(xiàn)狀，并分析了已有性能模型的優(yōu)缺點。并根據(jù)目前的需求，建立了一個基于圖像的紅外偏振成像系統(tǒng)性能模型。為滿足系統(tǒng)性能模型的自動化需求，首次將深度學(xué)習(xí)方法引入模型。作為搭建系統(tǒng)性能模型與深度學(xué)習(xí)方法之間橋梁的初次嘗試，該項研究有望引領(lǐng)系統(tǒng)性能模型領(lǐng)域朝此方向發(fā)展。對于模型中較為關(guān)鍵的性能感知模塊的原理和相關(guān)實驗的實施細節(jié)及原理進行了詳細的描述。結(jié)果表明，整個系統(tǒng)性能模型可對已知硬件參數(shù)的紅外偏振成像系統(tǒng)進行性能評估，并且所得結(jié)果與人的主觀認知具有較好的一致性。此外，本文基于物理模型構(gòu)建了面向海面場景的紅外偏振數(shù)據(jù)集，可應(yīng)用于各項相關(guān)研究。

文中搭建的模型基于自建的仿真海面艦船數(shù)據(jù)集展開實驗驗證。后續(xù)可進一步討論其他典型場景，如地面坦克等。另外，仿真技術(shù)對仿真圖像的質(zhì)量有直接的影響。應(yīng)進一步提升仿真水平。同時，在后續(xù)的研究中，有望將該模型應(yīng)用于更多不同類型相機的性能測試。

編輯：黃飛

?