紅外周視系統(tǒng)能夠提供周圍360°場景紅外圖像，消除車輛駕駛視覺盲區(qū)，能借助算法實現(xiàn)定位、建圖、避障、路徑規(guī)劃、導航等功能，滿足智能駕駛和自主駕駛的迫切需求。按照技術路線，可將紅外周視系統(tǒng)分為三類：1）分時多視點紅外周視系統(tǒng)；2）分孔徑多視點紅外周視系統(tǒng)；3）單視點折反射紅外周視系統(tǒng)。

據(jù)麥姆斯咨詢報道，近期，北京理工大學光電學院和云南北方光學科技有限公司的科研團隊在《紅外與激光工程》期刊上發(fā)表了以“非全對稱五面鏡單視點折反射紅外周視系統(tǒng)”為主題的文章。該文章第一作者為周云揚，通訊作者為王嶺雪副教授，主要從事紅外成像、圖像處理、紅外光譜等方面的研究工作。

文中面向車載周視紅外成像應用，綜合分孔徑多視點周視和單視點折反射周視的優(yōu)勢，根據(jù)車載應用中對前方探測距離要求高、對后方探測距離要求較低的實際情況，提出一種分孔徑、單視點非全對稱五面鏡折反射紅外周視系統(tǒng)設計方案，前方、左右側視場均為64°，后方則是兩個84°視場，共同組成水平360°、俯仰±29°的周視視場。針對不同焦距的非制冷紅外成像組件，完成非全對稱五面鏡的結構設計，建立了滿足單視點約束的非全對稱折反射周視結構理論模型；設計出可調(diào)整、對準視點的系統(tǒng)機械結構，分析了系統(tǒng)投影轉換、圖像處理要素，提高其全面性、真實性和可信度。

全對稱多面鏡單視點折反射周視系統(tǒng)概述

目前國外研究者已開發(fā)出工作在可見光波段的四面鏡、五面鏡、十面鏡單視點約束折反射周視系統(tǒng)，如圖1所示，其共同特點為：多面鏡構成對稱結構的、底角（α）為45°的正多面體；每個鏡面對應的攝像機鏡頭焦距（f）相同（即視場角ω相等）；每個攝像機視點與底面之間的垂直距離（h）、到中心軸線的水平距離（l）相同，攝像機視點是透鏡中心（鏡頭為薄透鏡時）或透鏡物方主點（鏡頭為透鏡組時）。對稱多面鏡單視點約束折反射結構的本質是利用正多面體反射鏡將多個焦距相同攝像機視點所成的虛像重合于同一點。

圖1 全對稱多面鏡單視點約束折反射周視樣機及其結構示意圖

以全對稱五面鏡為例，如圖2（a）所示，P1、P2、P3、P4、P5是采用針孔成像模型簡化后的攝像機視點，視點方向垂直向下。視點所對應的每一個棱面都是一塊鏡面朝外的平面反射鏡，與水平面成45°夾角。所有視點位于棱錐頂點所在的水平面與相應棱面角平分線所在垂直平面的交線上，不同方向上的視點經(jīng)平面反射鏡成像后得到的虛視點重合為同一點，P′點成為系統(tǒng)的唯一視點。假設觀察者位于P′點，就能從該點通過不同成像方向的多個攝像機觀察到周圍無縫的周視圖像。圖2（b）是圖2（a）中相鄰兩塊平面鏡的正面投影圖，P1和P2兩個視點關于鏡面軸對稱的虛像點位于頂點O′與底面的垂直線OO′上，并在點P′重合，通過構建平面鏡與攝像機之間的約束關系即可實現(xiàn)單視點約束。

圖2 全對稱五面鏡單視點約束。（a）全對稱五面鏡；（b）相鄰平面鏡的正面投影圖

圖3是美國Tonbo Imaging公司分別使用九套低照度CMOS組件和非制冷紅外成像組件研制的雙波段分孔徑多視點周視系統(tǒng)WolfPack。與圖3中的分孔徑、多視點周視系統(tǒng)相比，引入反射面構建的分孔徑、單視點周視系統(tǒng)具有的優(yōu)勢有：

圖3 分孔徑多視點周視系統(tǒng)

1）能有效消除不同攝像機之間的視差；

2）能不經(jīng)過圖像拼接，直接獲得水平360°視場的周視圖像；

3）能保證水平360°視場內(nèi)的物像一一對應，同一物體成像唯一，不存在“跨鏡追蹤”問題，提高周視圖像中目標的可信度，既有利于對感興趣目標進行識別和追蹤，又有利于定量測量目標的方向和運動狀態(tài)。

非全對稱五面鏡單視點折反射紅外周視系統(tǒng)設計

系統(tǒng)總體設計

駕駛員多數(shù)時候通過觀察道路前方和左、右側來保證安全駕駛，故要求周視系統(tǒng)中的前視和左、右側攝像機具有較遠的作用距離，以便能盡早感知路面信息，從而快速進行避障操作，對后視攝像機的作用距離要求相對較低。因此，文中提出一種非全對稱五面鏡單視點折反射紅外周視系統(tǒng)方案。首先，根據(jù)車輛駕駛時對行人探測距離選擇合適的紅外鏡頭。假設行人尺寸0.5×1.7m2、溫度309 K，背景溫度298 K，紅外探測器像元規(guī)模640×512、像元尺寸12 μm、噪聲等效溫差（NETD）40 mK，使用最小可分辨溫差（MRTD）公式計算，得到探測概率50%時，行人和背景的等效黑體溫差ΔT′與距離R的曲線ΔT′（R）與MRTD（R）如圖4（a）所示，此時4.1、5.8、9.1 mm焦距紅外鏡頭的探測距離分別為145、200、320 m，相應的水平視場角分別為86°、67°、46°，如圖4（b）所示。

圖4 計算結果。（a）50%探測概率時焦距4.1、5.8、9.1 mm紅外鏡頭的探測距離；（b）焦距4.1、5.8、9.1 mm紅外鏡頭對應的水平視場角

根據(jù)計算結果（圖4），為使用五塊非全對稱的反射鏡獲得360°周視視場，前視、左右側均為64°視場（焦距5.8 mm），后視為兩個84°視場（焦距4.1 mm），視場構成如圖5所示。傳統(tǒng)車載視覺存在盲區(qū)檢測區(qū)域，主要為擋風玻璃兩側傾斜A柱遮擋造成的A柱盲區(qū)（見圖5中Blind Spot Ⅰ）以及后視鏡盲區(qū)（見圖5中Blind spot Ⅱ），所設計的系統(tǒng)能夠有效消除這些盲區(qū)。系統(tǒng)選用的紅外探測器組件參數(shù)見表1。

圖5 系統(tǒng)視場構成示意圖

表1 系統(tǒng)所用紅外成像組件的性能參數(shù)

非全對稱五面鏡結構設計

基于2.1節(jié)選用的紅外成像組件，根據(jù)單視點約束要求進行非全對稱五面鏡結構設計。三套焦距f?=5.8 mm的等效視點為P1、P2、P3，對應棱面均與水平面成α的夾角?鏡面傾角；兩套焦距f?=4.1 mm的等效視點為P4和P5，對應棱面與水平面成β的鏡面傾角。不同焦距鏡頭組合使得五面鏡結構底部表現(xiàn)為頂點到中心距離相等、邊長與內(nèi)角不完全相等的非全對稱五邊形，且紅外成像組件在垂直方向上處于不同高度，如圖6所示。單視點約束非全對稱五面鏡結構設計要點是調(diào)整不同鏡面傾角組合（α、β）與紅外成像組件的空間位置，使得視點P1、P2、P3、P4、P5所成的虛像重合于P′點。

圖6 非全對稱五面鏡的幾何結構示意圖

為方便計算單視點約束下非全對稱五面鏡結構參數(shù)，選取圖6中一個方向的紅外成像組件進行分析。為不失一般性，令該成像組件的等效視點為P，對應的鏡面傾角為θ，其他結構參數(shù)定義如圖7所示，并在表2中列出，包括：虛視點P′高度m、底面中心點到邊長距離d、可裁剪鏡面高度s（圖7（b）中紅色虛線上方高度）、成像組件等效視點P的高度h以及與結構頂點O′的水平距離l、成像組件的垂直視場角2ε、鏡頭直徑k。

圖7 非全對稱五面鏡結構的參數(shù)定義示意圖。（a）三維圖；（b）側面投影二維圖

表2 非全對稱五面鏡的結構參數(shù)

五面鏡結構的整體尺寸由鏡面傾角θ、底部中心點到邊長的距離d、虛視點高度m決定。假設垂直視場角2ε左側邊界光線剛好位于結構底部C處，視點P對應的反射鏡棱面為圖7（a）中的平面ABO′，該反射面?zhèn)让嫱队盀閳D7（b）中的CO′。

根據(jù)幾何光學中光線的反射分析紅外成像組件剛好不對自身成像時的視場臨界角，如圖8所示，將等效視點P對應的紅外成像組件鏡頭直徑k令為線段MN，臨界入射光線Ⅰ（圖8中Ray Ⅰ）剛好經(jīng)過鏡頭邊界點M，在Q點以入射角?1發(fā)生反射，反射光線經(jīng)過鏡頭邊界點N后進入紅外成像組件；臨界入射光線Ⅱ（圖8中Ray Ⅱ）在C點以入射角?2發(fā)生反射，反射光線經(jīng)過鏡頭邊界點M后進入紅外成像組件。在此條件下，令角度∠MPN=2ε′。

圖8 無遮擋成像分析

綜上所述，根據(jù)單視點約束設計非全對稱五面鏡結構的主要步驟如圖9所示，包括：

1）針對特定任務中目標與背景之間的溫度差，根據(jù)空間分辨力和作用距離要求選取合適的紅外成像組件及其鏡頭參數(shù)，如表1所示；

2）根據(jù)垂直視場角2ε、鏡頭直徑k等選取合適的視點高度m與鏡面傾角θ的組合，通過求解紅外成像組件等效視點P的高度h以及與結構頂點O′的水平距離l，確定紅外成像組件的精確位置，再根據(jù)反射視場確定結構底部中心點到邊長的距離d、可裁剪鏡面高度s，從而確定非全對稱五棱臺反射鏡的具體尺寸；

3）根據(jù)上一步獲得的系統(tǒng)結構參數(shù)進行視場有無遮擋的分析；

4）根據(jù)視場無遮擋分析結果優(yōu)化系統(tǒng)結構，直至獲得無遮擋、結構尺寸小、易加工的非對稱五棱臺反射鏡。

圖9 非全對稱五面鏡結構的設計流程圖

五方向平面?柱面投影獲得周視圖像的模型

滿足單視點約束的非全對稱五面鏡和不同焦距紅外鏡頭將五個方向的場景輻射反射并匯聚到五套垂直放置的紅外焦平面探測器，如圖10所示，由于虛視點P′所在軸線可當作旋轉軸，采用柱面投影將圖10（a）五個方向上的平面圖像轉換為無縫周視圖像，如圖10（b）所示。圖10中紅色線、藍色線分別代表焦距f? =5.8 mm、f?=4.1 mm的紅外成像組件。另外，為盡可能保留前方和左、右側視場信息，將焦距f? =5.8 mm作為柱面投影半徑進行周視圖像投影。同時，三幅焦距f? =5.8 mm和兩幅f?=4.1 mm的圖像也可以作為大視場圖像進行保存和供使用者調(diào)用。

圖10 平面投影到周視圖像的轉換示意圖。（a）五個方向上的平面圖像；（b）柱面投影后的周視圖像

系統(tǒng)機械結構設計

利用ProE軟件對該系統(tǒng)進行仿真設計，提出可調(diào)整、對準視點的機械結構方案，保證不同焦距紅外成像組件視點能精確重合為同一點，如圖11所示。該周視系統(tǒng)主要可分為鏡面反射區(qū)域、紅外成像組件、中心柱軸以及相關支架。紅外成像組件通過固定在圓盤平臺上與中心柱軸保持一定的水平和垂直距離，鏡面反射區(qū)域主要由反射鏡支架與反射鏡面組成，水平與垂直方向上增加平面支架保證傾角的穩(wěn)定性和準確性，支架表面刻制凹槽保證兩者的貼合。反射鏡面由具有一定厚度、內(nèi)部均勻、擁有光滑平整前表面的浮法玻璃組成，有利于紅外輻射的鏡面反射。每個紅外成像組件采集對應反射鏡面反射的紅外輻射，共同構成360°紅外周視圖像。

圖11 系統(tǒng)機械結構設計圖

為使多個視點對準于單個虛視點以保證單視點約束，設計了紅外成像組件空間位置可調(diào)整的機械結構。一方面，在中心柱軸上放置不同數(shù)量的調(diào)節(jié)圈調(diào)整高度，并通過鎖緊圈固定；另一方面，紅外成像組件采用固定座組件確定在圓盤上的位置，該組件可在一定范圍內(nèi)移動，用于調(diào)節(jié)紅外成像組件的水平距離，下方放置不同數(shù)量的調(diào)節(jié)圈調(diào)整垂直高度。中心柱軸調(diào)整機制和固定座調(diào)整機制確?？墒謩诱{(diào)節(jié)紅外成像組件的空間位置，避免結構加工、人工裝調(diào)誤差造成的視點位置偏移。該系統(tǒng)經(jīng)過機械設計后的最終結構參數(shù)如表3所示。

表3 系統(tǒng)結構參數(shù)的理論設計值與實際值

原型系統(tǒng)實物與周視圖像處理

加工、組裝和調(diào)試后的原型系統(tǒng)實物照片如圖12所示。當系統(tǒng)工作時，五個紅外成像組件根據(jù)外同步信號同時采集視頻圖像，一幀圖像的大小為640 pixel×480 pixel。

圖12 文中原型系統(tǒng)的實物照片

由于使用兩種焦距的紅外鏡頭（f?=5.8 mm和f?=4.1 mm），首先需要對其中一種焦距的圖像進行縮放。

綜上所述，該系統(tǒng)紅外周視圖像的獲取需要進行的圖像處理步驟主要包括：柱面投影、縮放、中心對齊、冗余部分切割、灰度平衡，最終獲得完整且無縫的紅外周視圖像，如圖13所示，前方和左、右側紅外成像組件作用距離較遠，擴大駕駛員視野，滿足全天時、無盲區(qū)的觀察需要。

圖13 系統(tǒng)成像結果

結論

文中針對車輛駕駛應用中前方和左、右側、后方對行人探測距離要求的不同（分別為200 m和145 m），提出并實現(xiàn)了前方和左、右側均為64°視場、后視為兩個84°視場的非全對稱五面鏡單視點折反射紅外周視系統(tǒng)，利用非全對稱五面鏡將三套焦距f?=5.8 mm和兩套f?=4.1 mm的紅外成像組件的虛視點重合為同一點，建立了單視點約束非全對稱五面鏡結構的設計流程，即根據(jù)空間分辨力和作用距離要求選取合適的紅外成像組件及其鏡頭參數(shù)后，再根據(jù)單視點結構約束條件確定非全對稱五棱臺反射鏡的具體尺寸，并根據(jù)系統(tǒng)結構參數(shù)進行視場遮擋分析后進一步優(yōu)化系統(tǒng)結構，直至獲得無遮擋、結構尺寸小、易加工的非對稱五棱臺反射鏡。完成加工、裝調(diào)非全對稱五面鏡折反射紅外周視原型系統(tǒng)后，提出了包含柱面投影、縮放、中心對齊、冗余部分切割、灰度平衡等步驟的周視紅外圖像處理流程，最終實現(xiàn)對水平360°、俯仰±29°視場的無遮擋、無縫、無盲區(qū)紅外成像。該系統(tǒng)獲取場景的紅外圖像全面、真實和可信，有助于消除車輛駕駛觀察盲區(qū)，提升智能駕駛能力，在民用和軍用領域都有廣闊的應用前景。未來將開展系統(tǒng)小型化方面的工作。

審核編輯：彭菁