偏振成像技術(shù)通過偏振信息的獲取和解譯，可以有效抑制復(fù)雜環(huán)境干擾，提升成像質(zhì)量，增強(qiáng)目標(biāo)感知能力，對于復(fù)雜環(huán)境下的光學(xué)成像探測具有獨(dú)特優(yōu)勢。天津大學(xué)胡浩豐教授結(jié)合本團(tuán)隊(duì)工作，介紹了深度學(xué)習(xí)偏振成像技術(shù)的研究進(jìn)展，闡述了深度學(xué)習(xí)賦能復(fù)雜環(huán)境偏振成像任務(wù)的優(yōu)勢，并對該領(lǐng)域的未來發(fā)展方向進(jìn)行展望。

撰稿人：胡浩豐

論文題目：基于深度學(xué)習(xí)復(fù)雜環(huán)境的偏振成像技術(shù)研究進(jìn)展（特邀）

作者：胡浩豐1,2，黃一釗2，朱震1，馬千文1，翟京生1，李校博1

完成單位：天津大學(xué) 海洋科學(xué)與技術(shù)學(xué)院；天津大學(xué) 精密儀器與光電子工程學(xué)院

導(dǎo)讀

視覺是人類獲得客觀世界信息的主要途徑，光學(xué)成像技術(shù)也因此在各個(gè)領(lǐng)域占據(jù)重要地位。傳統(tǒng)光學(xué)成像技術(shù)大多基于光強(qiáng)和波長所提供的信息，存在的缺陷是受光線傳播環(huán)境的影響較大，并且對目標(biāo)的某些物理特性難以做出正確理解。偏振作為光波的基本物理信息之一，可以提供目標(biāo)自身物理特性，是光學(xué)成像新的信息維度。然而，散射、低照度等復(fù)雜環(huán)境，偏振參量圖像將發(fā)生嚴(yán)重退化。研究與實(shí)踐均證實(shí)通過偏振信息的獲取和解譯，可以有效抑制復(fù)雜環(huán)境干擾，提升成像質(zhì)量，增強(qiáng)目標(biāo)感知能力，對于復(fù)雜環(huán)境下的光學(xué)成像探測具有獨(dú)特優(yōu)勢。復(fù)雜環(huán)境偏振圖像退化機(jī)理呈現(xiàn)非線性特征，偏振信息解譯方法為非線性逆問題，復(fù)雜度較高。深度學(xué)習(xí)方法具有強(qiáng)大的特征提取和學(xué)習(xí)能力，通過學(xué)習(xí)大規(guī)模數(shù)據(jù)隱藏的映射規(guī)律獲得偏振信息的復(fù)原效果。特別適合偏振成像這種多維度、相互關(guān)聯(lián)的復(fù)雜信號處理問題。

研究背景

利用偏振信息成像本質(zhì)上是對光場信息獲取維度的提升，通過多維偏振信息的獲取與融合處理，可以解決不同復(fù)雜環(huán)境和應(yīng)用領(lǐng)域的成像任務(wù)。依靠物理模型以及一定先驗(yàn)知識是解決復(fù)雜環(huán)境偏振成像任務(wù)的重要思想。例如，研究人員在散射環(huán)境偏振成像機(jī)理和物理模型研究的基礎(chǔ)上，通過對偏振信息解譯，實(shí)現(xiàn)了水體、霧霾等散射環(huán)境成像效果的提升。依靠物理模型以及一定先驗(yàn)知識的偏振成像方法的圖像復(fù)原效果很大程度上取決于建立的物理模型是否符合真實(shí)環(huán)境成像的物理過程。由于構(gòu)建的物理模型往往存在模型簡化和偏離實(shí)際應(yīng)用場景等問題，難以應(yīng)對極端復(fù)雜的成像環(huán)境。

近年來，隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，硬件單元處理大規(guī)模數(shù)據(jù)的性能得到提升，深度學(xué)習(xí)技術(shù)也隨之得到蓬勃發(fā)展，并在光學(xué)成像領(lǐng)域展現(xiàn)出獨(dú)特優(yōu)勢。深度學(xué)習(xí)具有強(qiáng)大的特征提取和學(xué)習(xí)能力，善于通過大量的樣本訓(xùn)練，提取和學(xué)習(xí)信號特征，歸納輸入信號和預(yù)期結(jié)果之間的映射關(guān)系，尤其對于多維且相互關(guān)聯(lián)的偏振參量信號處理具有獨(dú)特優(yōu)勢?；谏疃葘W(xué)習(xí)復(fù)雜環(huán)境偏振成像技術(shù)以其出色的不同層次特征學(xué)習(xí)與擬合能力，繞過建立物理模型求解非線性逆問題的障礙，在成像質(zhì)量客觀評價(jià)核心指標(biāo)獲得顯著提升。文章介紹了基于深度學(xué)習(xí)偏振成像技術(shù)的基本范式，并針對散射和噪聲這兩種最具代表性的復(fù)雜成像環(huán)境，對基于深度學(xué)習(xí)復(fù)雜環(huán)境的偏振成像技術(shù)的代表性研究工作進(jìn)行系統(tǒng)梳理。

技術(shù)亮點(diǎn)

1.?基于深度學(xué)習(xí)復(fù)雜環(huán)境的偏振成像技術(shù)范式

不同于構(gòu)建物理模型以及一定的先驗(yàn)知識解決復(fù)雜環(huán)境偏振成像任務(wù)的思路，深度學(xué)習(xí)技術(shù)以偏振成像系統(tǒng)采集得到的多維偏振參量圖像作為輸入數(shù)據(jù)，利用網(wǎng)絡(luò)非線性特征擬合能力，擬合偏振參量圖像到復(fù)原圖像的的映射關(guān)系，得到偏振參量圖像復(fù)原結(jié)果。圖1為基于深度學(xué)習(xí)復(fù)雜環(huán)境的偏振成像技術(shù)范式圖像。

圖1 基于深度學(xué)習(xí)復(fù)雜環(huán)境的偏振成像技術(shù)范式圖像

2.?基于深度學(xué)習(xí)散射環(huán)境的偏振成像研究進(jìn)展

基于深度學(xué)習(xí)散射環(huán)境下的偏振成像技術(shù)旨在利用偏振光特性對散射介質(zhì)采集的偏振信號進(jìn)行解譯，利用網(wǎng)絡(luò)非線性擬合與特征學(xué)習(xí)能力，得到退化圖像以及復(fù)原圖像間的映射關(guān)系。文章對該成像任務(wù)的兩種解決方式，即數(shù)據(jù)驅(qū)動方式和物理模型內(nèi)嵌的方式代表性研究工作進(jìn)行歸納，總結(jié)了該領(lǐng)域的發(fā)展脈絡(luò)。

天津大學(xué)胡浩豐團(tuán)隊(duì)首次提出應(yīng)用于水下復(fù)雜成像環(huán)境的偏振密集網(wǎng)絡(luò)（Polarimetric Residual Dense Network, PDN），網(wǎng)絡(luò)結(jié)構(gòu)如圖2（a）所示。Polarimetric-Net的輸入是三張不同角度偏振圖像，而Intensity-Net僅輸入一張強(qiáng)度圖像。該設(shè)計(jì)用于驗(yàn)證采用多維度偏振信息作為輸入得到的去散射效果遠(yuǎn)遠(yuǎn)優(yōu)于僅輸入光強(qiáng)圖像。不同方法復(fù)原對比效果如圖2（b）所示，復(fù)原效果在主觀與客觀評價(jià)指標(biāo)（Edge-Model Estimation, EME）均為最佳。

圖2(a) PDN方法網(wǎng)絡(luò)結(jié)構(gòu)示意圖；(b) PDN網(wǎng)絡(luò)復(fù)原效果以及與其它方法的對比效果

在該技術(shù)首次提出后，研究人員使用無監(jiān)督、自監(jiān)督的學(xué)習(xí)方式以及通過仿真合成所需要的圖像數(shù)據(jù)來解決基于深度學(xué)習(xí)偏振成像去散射技術(shù)面臨的公開數(shù)據(jù)集缺失，采集一定規(guī)模數(shù)據(jù)困難的問題。

數(shù)據(jù)驅(qū)動方式將模型視作一個(gè)“黑盒子”，學(xué)習(xí)輸入與標(biāo)簽圖像間的映射關(guān)系。而訓(xùn)練數(shù)據(jù)不可能涵蓋所有的散射環(huán)境，面對不同情況散射環(huán)境具有局限性。同時(shí)這種方式有可能出現(xiàn)與物理知識相悖的復(fù)原結(jié)果，網(wǎng)絡(luò)參數(shù)訓(xùn)練量較大，訓(xùn)練效率較低。將物理模型以及一定先驗(yàn)知識內(nèi)嵌網(wǎng)絡(luò)結(jié)構(gòu)，可以增強(qiáng)網(wǎng)絡(luò)對于偏振信息退化過程的學(xué)習(xí)推理能力，以適應(yīng)不同情況散射環(huán)境。

3?基于深度學(xué)習(xí)噪聲環(huán)境的偏振成像研究進(jìn)展

同等噪聲水平下，非線性算法解譯的偏振參量圖像相比線性算法求得的Stokes矢量圖像質(zhì)量退化更為嚴(yán)重。其中偏振角圖像放大區(qū)域尤為明顯，目標(biāo)信息幾乎完全不可見。因此，解決噪聲引起的偏振參量圖像退化問題是偏振成像技術(shù)應(yīng)用于低照度復(fù)雜環(huán)境的關(guān)鍵。文章對該領(lǐng)域研究工作進(jìn)行整理與分類并總結(jié)發(fā)展脈絡(luò)?；谏疃葘W(xué)習(xí)噪聲環(huán)境的偏振成像技術(shù)經(jīng)歷了三個(gè)發(fā)展階段。第一階段研究人員采用有監(jiān)督端到端的訓(xùn)練方式，實(shí)現(xiàn)了偏振參量圖像去噪效果。第二階段研究人員探索采用無監(jiān)督，自監(jiān)督，遷移學(xué)習(xí)方法解決第一階段遇到的數(shù)據(jù)集構(gòu)建成本高效率低的問題。第三階段，研究人員對網(wǎng)絡(luò)訓(xùn)練的可解釋性作以探究。

胡浩豐研究團(tuán)隊(duì)在2020年首次提出基于密集殘差網(wǎng)絡(luò)的偏振圖像去噪網(wǎng)絡(luò)，稱之為PDRDN方法。觀察圖3（d）低信噪比環(huán)境下的高質(zhì)量偏振參量復(fù)原效果與真值圖像對比圖像，基于深度學(xué)習(xí)技術(shù)的偏振圖像去噪方法能夠有效抑制偏振圖像噪聲，尤其是對偏振度圖像和偏振角圖像的去噪效果優(yōu)越。

圖3（a）PDRDN方法網(wǎng)絡(luò)結(jié)構(gòu)示意圖；（b）殘差密集塊結(jié)構(gòu)；（c）測試集不同材質(zhì)目標(biāo)的偏振參量復(fù)原效果；（d）偏振參量圖像復(fù)原效果與真值圖像的細(xì)節(jié)對比

結(jié)論與展望

現(xiàn)有研究工作表明：由于偏振信息包含多個(gè)參量且具有一定的相關(guān)性，這種多維、相互關(guān)聯(lián)的信號處理問題，正適合使用深度學(xué)習(xí)技術(shù)。將深度學(xué)習(xí)技術(shù)與偏振成像技術(shù)相結(jié)合，可實(shí)現(xiàn)光學(xué)成像質(zhì)量的進(jìn)一步提升，滿足復(fù)雜環(huán)境的成像需求，體現(xiàn)更為突出的優(yōu)勢。未來仍需要進(jìn)一步完善內(nèi)嵌物理模型，提高網(wǎng)絡(luò)的可解釋性，探索多模態(tài)融合策略，進(jìn)一步鞏固深度學(xué)習(xí)模型在復(fù)雜環(huán)境偏振成像中的可行性，增強(qiáng)模型對復(fù)雜環(huán)境變化的適應(yīng)能力，使其更具有場景通用性。

團(tuán)隊(duì)及作者介紹

團(tuán)隊(duì)介紹：

課題組依托天津大學(xué)光電信息技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室和自然資源部海洋觀測技術(shù)重點(diǎn)實(shí)驗(yàn)室，在偏振光學(xué)及海洋探測領(lǐng)域具有深厚的研究基礎(chǔ)和優(yōu)越的研究條件。團(tuán)隊(duì)完成了多類具備控制、采集、處理、顯示、存儲等功能的偏振成像系統(tǒng)配套軟件。相關(guān)科技成果已成功應(yīng)用于中國核電集團(tuán)、應(yīng)急管理部天津消防研究所等單位。

胡浩豐，天津大學(xué)英才教授，博士生導(dǎo)師，國家高層次青年人才，國家重點(diǎn)研發(fā)計(jì)劃首席青年科學(xué)家。擔(dān)任中國儀器儀表學(xué)會圖像科學(xué)與工程分會理事、中國光學(xué)學(xué)會全息與光信息處理專委會委員、中國光學(xué)工程學(xué)會計(jì)算成像專家委員會首屆委員。入選中國科協(xié)“青年人才托舉工程”、天津市首批“青年人才托舉工程”、天津市“青年科技優(yōu)秀人才”，獲中國儀器儀表學(xué)會金國藩青年學(xué)子獎學(xué)金。主持國家重點(diǎn)研發(fā)計(jì)劃青年科學(xué)家項(xiàng)目1項(xiàng)、國家自然科學(xué)基金項(xiàng)目3項(xiàng)。主編學(xué)術(shù)專著2部，以第一或通訊作者發(fā)表SCI論文60余篇，以第一發(fā)明人授權(quán)國家發(fā)明專利19項(xiàng)。研究工作被美國光學(xué)學(xué)會、英國物理學(xué)會等多家機(jī)構(gòu)專題報(bào)道。

李校博，天津大學(xué)，英才副教授，碩士生導(dǎo)師。入選中國科協(xié)“青年人才托舉工程”，獲中國光學(xué)學(xué)會王大珩光學(xué)獎、天津市優(yōu)秀博士學(xué)位論文等。曾先后在法國高等光學(xué)研究所和香港中文大學(xué)從事訪問學(xué)者和研究工作。擔(dān)任中國光學(xué)工程學(xué)會計(jì)算成像專業(yè)委員會青年委員、《應(yīng)用光學(xué)》雜志青年編委等。以第一/通訊作者身份在Optics Letters，Optics Express等國際知名期刊發(fā)表學(xué)術(shù)論文40余篇，先后主持國家自然科學(xué)基金項(xiàng)目1項(xiàng)，省部級項(xiàng)目5項(xiàng)。主要研究方向包括海洋光學(xué)探測、計(jì)算成像、光學(xué)測量及計(jì)量技術(shù)等。

黃一釗，天津大學(xué)精密儀器與光電子工程學(xué)院2021級碩士研究生，從事水下偏振成像技術(shù)相關(guān)研究工作，參與國家自然科學(xué)基金等多個(gè)項(xiàng)目。

審核編輯：黃飛

?