基于元學(xué)習(xí)的紅外弱小點狀目標(biāo)跟蹤算法

關(guān)注微信公眾號：人工智能技術(shù)與咨詢。了解更多咨詢！

人工智能技術(shù)與咨詢 昨天

本文來自《激光技術(shù)》，作者熱孜亞·艾沙等

引言

紅外點狀目標(biāo)的跟蹤是紅外搜索和跟蹤(infrared search and track, IRST)系統(tǒng)中的關(guān)鍵技術(shù)之一[1]，在紅外目標(biāo)跟蹤、遙感制圖等多個方面占據(jù)主要的位置[2]。在紅外背景的圖像中，目標(biāo)占據(jù)像素小、無具體的形狀、缺少紋理呈點狀[3-4], 在復(fù)雜的紅外背景下，跟蹤階段常常存有如目標(biāo)遮蔽、背景雜波、迅速移動等困難，這些因素增加了紅外點狀目標(biāo)跟蹤的難度。目前所使用的大多數(shù)都是常規(guī)的一些手工設(shè)計的特征提取方法，使得傳統(tǒng)方法無法很好地用于紅外點狀目標(biāo)跟蹤。因此，在復(fù)雜背景下準(zhǔn)確地跟蹤紅外點狀目標(biāo)成為一項具有挑戰(zhàn)性的研究。

目前機器學(xué)習(xí)的算法被廣泛應(yīng)用于目標(biāo)跟蹤，通常需求大量的訓(xùn)練數(shù)據(jù)[5]。過度依賴于訓(xùn)練數(shù)據(jù)使得跟蹤模型存在以下問題：(1)需要耗費大量人力進行數(shù)據(jù)標(biāo)注，這給算法的計算帶來很多困難；(2)這種依賴大量訓(xùn)練數(shù)據(jù)的模型在訓(xùn)練數(shù)據(jù)上可以取得較小的誤差，但是在測試中遇到新狀態(tài)下的視頻序列時跟蹤性能比較差，無法精確跟蹤到目標(biāo)。機器學(xué)習(xí)的算法需要足夠的訓(xùn)練數(shù)據(jù)，但紅外點狀目標(biāo)自身弱和小的特點，而且在點狀目標(biāo)的跟蹤領(lǐng)域，公開的、大規(guī)模的點狀小目標(biāo)的視頻數(shù)據(jù)十分有限，由于沒有大數(shù)據(jù)的支撐，因而機器學(xué)習(xí)的算法不能直接用在紅外點狀目標(biāo)的跟蹤[6]。因此，如何根據(jù)紅外弱小點狀目標(biāo)的特點，能夠讓模型盡量用少量的數(shù)據(jù)，建立具有代表性的、結(jié)合深度學(xué)習(xí)的紅外點狀目標(biāo)跟蹤算法是一個很大的難題。

將機器學(xué)習(xí)的方法運用在紅外點狀目標(biāo)跟蹤中，作者提出基于改進的元學(xué)習(xí)紅外點狀目標(biāo)跟蹤算法，該算法使用靜態(tài)紅外圖像通過元學(xué)習(xí)的方法對卷積神經(jīng)網(wǎng)絡(luò)做離線訓(xùn)練，學(xué)習(xí)點狀目標(biāo)的通用特征表示，有效解決紅外點狀目標(biāo)訓(xùn)練數(shù)據(jù)不足的問題。其次將靜態(tài)紅外圖像傳入預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)中提取特征[7]，將紅外點狀目標(biāo)跟蹤問題轉(zhuǎn)化為二元分類問題的判別模型，通過基于深度特征學(xué)習(xí)分類器來區(qū)分背景與前景信息。在跟蹤階段，依據(jù)點狀目標(biāo)的運動的特征，運用基于運動模型的目標(biāo)位置預(yù)測的方法來除去后續(xù)的幀中非目標(biāo)點和噪聲點對跟蹤結(jié)果的影響，定位精確的目標(biāo)位置。結(jié)果表明，該實驗方法能夠穩(wěn)定地、精確地跟蹤到紅外點狀目標(biāo)。

1.?? 相關(guān)工作

1.1?? 網(wǎng)絡(luò)結(jié)構(gòu)

牛津大學(xué)視覺幾何組(visual geometry group, VGG) 提出分類任務(wù)預(yù)訓(xùn)練網(wǎng)絡(luò)[8]。

如圖 1所示，網(wǎng)絡(luò)模型包含3個卷積層(convolutional)conv 1~conv 3，3個全連接層(fully connected, FC)FC 4~FC 6。輸入圖像的大小為C×W×H，其中C為圖像的通道數(shù)，W為圖像的寬度，H為圖像的高度。卷積層1有96個卷積核，卷積層2有256個卷積核，卷積層3有512個卷積核，其中卷積核的大小為3×3。兩個全連接層(FC 4，F(xiàn)C 5)分別有512個神經(jīng)元節(jié)點。首先通過網(wǎng)絡(luò)中的卷積層提取目標(biāo)的特征，其次將得到的特征作為全連接層的輸入，最后一層全連接層FC 6的輸出是二分類分支，判別目標(biāo)和背景。

Figure?1.? The architecture of VGG network

1.2?? 元學(xué)習(xí)

現(xiàn)存的大部分基于深度學(xué)習(xí)的方法都依賴于大規(guī)模的訓(xùn)練數(shù)據(jù)，這要求人工標(biāo)注很多數(shù)據(jù)標(biāo)簽，這是極其浪費時間的，使得只有少量標(biāo)注數(shù)據(jù)的任務(wù)難以進一步發(fā)展，如紅外點狀目標(biāo)跟蹤。元學(xué)習(xí)是解決訓(xùn)練數(shù)據(jù)不足的有效方法。元學(xué)習(xí)的主要目的是使模型能夠用盡量少的訓(xùn)練數(shù)據(jù)獲得盡量大的泛化能力。

盡管元學(xué)習(xí)在如圖像分類等很多領(lǐng)域取得了不錯的效果，但是基于元學(xué)習(xí)的單目標(biāo)跟蹤算法卻很少見。運用元學(xué)習(xí)的離線訓(xùn)練和在線更新的方式，達到準(zhǔn)確地跟蹤點狀目標(biāo)。元學(xué)習(xí)又稱為學(xué)會學(xué)習(xí)[9-10]?；趦?yōu)化更新的元學(xué)習(xí)的主要思想是將跟蹤問題當(dāng)作二元分類問題。

使用初始幀數(shù)據(jù)(X1,?Y1)和網(wǎng)絡(luò)模型的參量θ，通過對損失函數(shù)Lθ經(jīng)過一次或少量幾次梯度下降得到模型f的參量θ*。采用隨機梯度下降的方法對參量進行更新[11]：

式中，X1為初始幀圖像，Y1為X1所對應(yīng)的標(biāo)簽，θ為網(wǎng)絡(luò)模型的參量，α為學(xué)習(xí)率。

更新后的參量θ*滿足:

式中，(Xn,?Yn)為后續(xù)幀的數(shù)據(jù)，Xn為第n幀圖像，Yn為對應(yīng)的標(biāo)簽，Lθ(X,?Y)為損失函數(shù)。

將紅外點狀目標(biāo)跟蹤問題看作為二元分類問題的判別模型，其常用的損失函數(shù)為交叉熵?fù)p失:

式中，Yi表示樣本i的標(biāo)簽，正樣本為1，負(fù)樣本為0，Pi表示樣本i預(yù)測為目標(biāo)的概率。

2.?? 本文中提出的算法

2.1?? 模型初始化

目前深度學(xué)習(xí)的算法被廣泛應(yīng)用于目標(biāo)跟蹤，通常需要大量的訓(xùn)練數(shù)據(jù)。由于紅外點狀小目標(biāo)視頻數(shù)據(jù)十分有限，因此運用預(yù)訓(xùn)練跟蹤模型，將元學(xué)習(xí)運用到卷積神經(jīng)網(wǎng)絡(luò)中，在共享域中使用包含紅外點狀目標(biāo)的靜態(tài)圖片對模型進行離線的預(yù)訓(xùn)練，充分的表示點狀目標(biāo)的外觀特征，使得模型學(xué)習(xí)目標(biāo)的通用屬性，如時序性、空間特性等。本文中采用對VGG網(wǎng)絡(luò)模型進行訓(xùn)練，來初始化跟蹤模型。

首先，隨機初始化網(wǎng)絡(luò)模型參量θ并將Xn輸入到VGG網(wǎng)絡(luò)中提取目標(biāo)特征f(Xn)，利用網(wǎng)絡(luò)模型參量θ在f(Xn)上做卷積操作，得到目標(biāo)位置的響應(yīng)圖像，響應(yīng)圖像與真實標(biāo)簽Yn之間的差異來計算損失L，然后求得損失L對初始參量θ的導(dǎo)數(shù)并將其送到優(yōu)化網(wǎng)絡(luò)U(?)中，獲得更新后的參量θ*，訓(xùn)練過程如圖 2所示。

Figure?2.? Meta-learning training process

式中，l為分類損失函數(shù)，*為卷積操作，S是響應(yīng)圖像，Y為訓(xùn)練數(shù)據(jù)的標(biāo)簽。

利用損失函數(shù)L來更新優(yōu)化器參量?與網(wǎng)絡(luò)模型參量θ，如下式所示[12]：

通過隨機梯度下降算法(stochastic gradient descent, SGD)[13]對網(wǎng)絡(luò)參量θ和優(yōu)化器參量?進行優(yōu)化，得到更新后的網(wǎng)路模型參量θ*和優(yōu)化器參量?*，學(xué)習(xí)率α=0.0001，?Lθ?Lθ表示損失梯度，更新網(wǎng)絡(luò)U(·)為隨機梯度下降算法。

圖 3a為俯拍海面船舶的場景，受海面的反光，海面波浪等的影響。圖 3b為田野背景模糊小目標(biāo)紅外圖像序列，受到不同背景雜波的影響，如光照強度、樹木遮擋、形狀變化等。圖 3c為海天背景紅外圖像序列。由于高亮的云層的影響，目標(biāo)通常被淹沒在雜波中。圖像以“.jpg”格式存儲，數(shù)據(jù)集獲取場景涵蓋了天空、海面等多種場景，背景相對復(fù)雜。

Figure?3.? Some examples of static data and dynamic video data in the pre-training stage

通過網(wǎng)絡(luò)的卷積層在離線訓(xùn)練階段學(xué)習(xí)包含紅外點狀目標(biāo)的靜態(tài)圖像中的通用屬性，如時序性、空間特性等。特定屬性是目標(biāo)在不同的紅外場景下所具有的明顯差異目標(biāo)特征的信息，通過初始幀中的目標(biāo)來學(xué)習(xí)目標(biāo)的特定表示，如尺度。

圖 4a是原圖，圖 4b是卷積層1，圖 4c是卷積層2，圖 4d是卷積層3的卷積層的特征可視化顯示的圖。從圖 4中可以看出，紅外點狀目標(biāo)占較小的像素，因此淺層特征更多地偏向于對圖像邊緣的信息，包含較多的位置信息和豐富的運動信息，同時會保留圖像更多的空間特性，這有利于目標(biāo)定位。隨著層數(shù)的加深，空間信息逐漸減少，從而影響分類器的定位精確度。

Figure?4.? Features of different layers extracted using VGG network

2.2?? 模型更新

在長時目標(biāo)跟蹤過程中，跟蹤目標(biāo)的相關(guān)特性可能會發(fā)生變化，如目標(biāo)的形狀，目標(biāo)被遮擋，以及背景變化等。如果沒有根據(jù)目標(biāo)最新狀態(tài)進行采樣來更新模型，會導(dǎo)致目標(biāo)跟蹤失敗。因此，為了適應(yīng)目標(biāo)在跟蹤過程中外觀的變化，避免跟蹤器產(chǎn)生漂移，更精確地跟蹤目標(biāo)，因而根據(jù)跟蹤目標(biāo)和背景的變化來更新樣本和模型。

在后續(xù)幀中，當(dāng)?shù)?i>t幀候選樣本中前3幀的最大響應(yīng)值的平均值大于設(shè)定的閾值Tth，認(rèn)為當(dāng)前幀跟蹤結(jié)果可靠，則把R作為當(dāng)前幀中目標(biāo)的位置。若R小于閾值Tth(其中Tth=0.5為經(jīng)驗值)時，說明目標(biāo)被遮擋，發(fā)生形變和光照變化，目標(biāo)和背景產(chǎn)生較大的變化(如圖 5所示)，此時重新獲取當(dāng)前幀目標(biāo)信息，這時啟動重檢測，使用多尺度局部梯度強度評估算法[14]來檢測出當(dāng)前幀的目標(biāo)位置信息，當(dāng)檢測算法定位到目標(biāo)在當(dāng)前測試幀的位置時，會按照模型初始化時的方式將檢測算法定位得到的目標(biāo)區(qū)域的基礎(chǔ)上采集樣本。通過檢測得到的目標(biāo)位置作為正樣本，其周圍區(qū)域作為負(fù)樣本來構(gòu)成樣本集合，將在線獲得的樣本作為訓(xùn)練數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)，對模型進行訓(xùn)練更新，直到成功預(yù)測目標(biāo)位置。通過這種方式，使得模型能夠及時適應(yīng)目標(biāo)的外觀變化。

Figure?5.? The target is occlusion, deformation, back-ground clutter

給定視頻幀中第t幀的圖像，以t-1幀圖像中目標(biāo)的預(yù)測位置為中心獲得搜索區(qū)域圖像Xt，利用網(wǎng)絡(luò)獲得響應(yīng)圖像St：

從St中通過響應(yīng)值最大的位置來估計出目標(biāo)所在的位置。

2.3?? 跟蹤模型

本文中算法以對卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)進行離線訓(xùn)練和在線模型更新相結(jié)合的方式對紅外點狀目標(biāo)進行跟蹤。跟蹤過程的整體框架如圖 6所示。

Figure?6.? Flow chart of the entire algorithm

圖 6中，紫色的實線框1為初始幀給定的目標(biāo)區(qū)域，紅色的虛線框2為前一幀目標(biāo)區(qū)域，藍色虛線框3為待搜索區(qū)域，綠色實線框4為當(dāng)前幀目標(biāo)區(qū)域，藍色實線框5為最后一幀目標(biāo)區(qū)域。

當(dāng)前視頻幀將前一幀的目標(biāo)位置作為輸入，根據(jù)前一幀的目標(biāo)位置為中心，在它的周圍用多維高斯分布的形式進行采樣，將采集的樣本輸入到模型中獲得輸出結(jié)果，輸出結(jié)果為輸入圖像塊的響應(yīng)值，取其中前3個具有最大響應(yīng)值的平均值的圖像塊位置作為預(yù)測目標(biāo)位置。如果將最大響應(yīng)值作為目標(biāo)位置，因測試和訓(xùn)練樣本之間的差異，背景變化等這些原因，響應(yīng)值最高的點不一定是最優(yōu)的目標(biāo)位置。因此，為了解決這個問題，本文中從多個響應(yīng)值中選擇前3個最高的響應(yīng)值，然后對它求平均值作為目標(biāo)的預(yù)測位置。

根據(jù)設(shè)定的閾值Tth來判斷目標(biāo)是否進行重檢測。將取平均值后的響應(yīng)值R與設(shè)定的閾值Tth進行比較，若R>Tth，認(rèn)為跟蹤準(zhǔn)確，則把R作為當(dāng)前幀中目標(biāo)的位置; 若R?Tth，那么認(rèn)為目標(biāo)發(fā)生了遮擋，本文中檢測方法使用多尺度局部梯度強度評估算法，再次檢測到目標(biāo)。通過檢測得到的目標(biāo)位置作為正樣本，其周圍區(qū)域作為負(fù)樣本組成一個小批量數(shù)據(jù)，使用在線獲得的樣本作為訓(xùn)練數(shù)據(jù)，對模型進行更新。

在紅外視頻序列中，紅外點狀目標(biāo)在前后兩幀中的像素是相接近的，而且在相鄰的多幀圖像中，目標(biāo)位置信息有相關(guān)性，而背景雜波沒有這個特性?？柭鼮V波根據(jù)前幾幀目標(biāo)狀態(tài)來預(yù)測當(dāng)前幀目標(biāo)可能的運動方向和運動速度。

當(dāng)目標(biāo)運動速度過快或者過慢時，初步設(shè)定的以目標(biāo)區(qū)域大小的3倍的搜索框就不合理，在搜索框內(nèi)可能不存在目標(biāo)，導(dǎo)致目標(biāo)的丟失。根據(jù)卡爾曼濾波預(yù)測的目標(biāo)運動速度自適應(yīng)調(diào)節(jié)搜索框的大小，根據(jù)預(yù)測的目標(biāo)運動方向把搜索框選擇在目標(biāo)可能存在的區(qū)域。因此在卡爾曼濾波預(yù)測的位置范圍內(nèi)，用模型來確定最終的目標(biāo)位置。

在復(fù)雜的紅外背景下，目標(biāo)與背景的灰度差較小，當(dāng)目標(biāo)消失在雜波中或者重新出現(xiàn)時，跟蹤算法會失去目標(biāo)，采用重檢測使跟蹤算法發(fā)生跟蹤失敗時，能夠讓跟蹤算法重新檢測到目標(biāo)是非常重要的。若逐幀都進行重檢測，那么計算量較大，因此通過閾值來判斷是否進行重檢測。本文中檢測方法使用多尺度局部梯度強度評估算法，達到再次檢測到目標(biāo)的目的。首先計算前3幀的最大響應(yīng)值的平均值R。當(dāng)前3幀的最大響應(yīng)值的平均值R?Tth時，認(rèn)為目標(biāo)發(fā)生了遮擋，需要進行重檢測; 當(dāng)R≥Tth時，認(rèn)為跟蹤準(zhǔn)確，作為新的目標(biāo)位置。

式中，Tth=0.5為經(jīng)驗值，Rt-1,?Rt-2,?Rt-3為前3幀的最大響應(yīng)值，R為平均響應(yīng)值。

3.?? 實驗結(jié)果和分析

3.1?? 實驗環(huán)境和數(shù)據(jù)集

為了測試本文中所提出算法的跟蹤性能，在不同的數(shù)據(jù)集上進行了對比實驗。這5幅紅外點狀圖像序列的詳細(xì)信息如表 1所示。本文中通過對具有不同背景的5幅紅外序列的數(shù)據(jù)集上對本文中提出的算法進行了跟蹤對比實驗。本文中所有的實驗都是在一臺具有一個3.6GHz Intel Core i7 CPU、8G內(nèi)存的計算機上進行的，并使用MatConvNet工具箱。

Table?1.? Data set for the test tracking

|?顯示表格

3.2?? 評價指標(biāo)

在本文實驗中采用3個評價指標(biāo)來測試跟蹤算法的性能。

(1) 重疊率(intersection-over-union, IOU)，它主要度量通過跟蹤算法估計的目標(biāo)位置框與目標(biāo)真實位置框之間的重疊部分[15]：

式中，A1為標(biāo)注的目標(biāo)框，A2為跟蹤的跟蹤框，∩為交集操作，∪為并集操作。

(2) 中心位置誤差(center location error, CLE)，通過計算跟蹤框的中心位置之間的歐氏距離，ECLE的值越小，說明該方法更加有效[16]：

式中，(x0,?y0)為目標(biāo)真實位置的中心坐標(biāo)，(x1,?y1)為跟蹤到的目標(biāo)位置中心坐標(biāo)。

(3) 準(zhǔn)確率(precision plots，PRE)，它的定義為：

式中，s為紅外圖像序列總的幀數(shù)，r為中心位置誤差的值小于閾值的圖像幀數(shù)[17]。比值越大，說明該算法的跟蹤結(jié)果越準(zhǔn)確。

3.3?? 實驗結(jié)果和分析

為了檢驗本文中提出的算法跟蹤紅外點狀目標(biāo)的性能，選擇了中值光流算法[18]、在線學(xué)習(xí)及檢測(tracking learning detection, TLD)算法[19]、多實例學(xué)習(xí)(multiple instance learning, MIL)算法[20]等3種常規(guī)的跟蹤算法作為本文中算法的對比實驗。本文中的實驗是計算機環(huán)境Windows10，3.6GHz Intel Core i7 CPU、8G內(nèi)存，基于Python實現(xiàn)的。實驗中采用的軟件開發(fā)平臺是Microsoft Visual Studio 2015，使用MatConvNet庫的MATLAB2014軟件。本文中的實驗通過對具有不同背景的5幅紅外序列的數(shù)據(jù)集上對4種跟蹤算法進行了跟蹤。

圖 7~圖 11中顯示了4個跟蹤算法在5個不同的紅外視頻序列上的跟蹤結(jié)果。綠色框表示目標(biāo)真實位置框(ground-truth, GT)，紅色框通過本文中算法得到的跟蹤結(jié)果坐標(biāo)框，深藍色、橙色、紫色框依次分別是通過中值光流算法、TLD算法、MIL算法得到的跟蹤結(jié)果坐標(biāo)框。

Figure?7.? Representative visual results of four tracking algorithms on seq.1 dataset

Figure?8.? Representative visual results of four tracking algorithms on seq.2 dataset

Figure?9.? Representative visual results of four tracking algorithms on seq.3 dataset

Figure?10.? Representative visual results of four tracking algorithms on seq.4 dataset

Figure?11.? Representative visual results of four tracking algorithms on seq.5 dataset

在紅外視頻序列1中(如圖 7所示)，在第1幀(如圖 7a所示)，目標(biāo)與背景的灰度差較小，當(dāng)點狀目標(biāo)最先從云層中出現(xiàn)時，TLD算法偏移較大，出現(xiàn)丟幀現(xiàn)象，失去了目標(biāo)。中值光流算法、MIL算法偏移較小。在第10幀(如圖 7b所示)，中值光流算法偏移較大。從第20幀開始(如圖 7c所示)，TLD算法和中值光流算法在不同的階段都失去了目標(biāo), 無法再次檢測到目標(biāo)。在信噪比較低的情況下，本文中算法能夠準(zhǔn)確跟蹤到目標(biāo)。

在紅外視頻序列2中(如圖 8所示)，在第180幀(如圖 8b所示)，中值光流算法、TLD算法和MIL算法偏移較大、失去了目標(biāo)。在第280幀(如圖 8c所示)，MIL和中值光流算法都失去目標(biāo)。在第381幀(如圖 8d所示)，中值光流算法、MIL算法、TLD算法失去了目標(biāo)，無法恢復(fù)。本文中算法一直穩(wěn)定地跟蹤到目標(biāo)，而其它3種算法跟蹤失敗，失去目標(biāo)。

在紅外視頻序列3中(如圖 9所示)，在第1幀(如圖 9a所示)，MIL算法發(fā)生微小的偏移。在第60幀(如圖 9b所示)，MIL算法和TLD算法初始發(fā)生偏移，目標(biāo)并不處于跟蹤區(qū)域的中心。在第110幀(如圖 9c所示)，紅外點狀目標(biāo)初步進去云層中，這時中值光流算法、MIL算法中，目標(biāo)并不處于跟蹤區(qū)域的中心。在第170幀(如圖 9d所示), 目標(biāo)消失在云層被遮擋時，背景與目標(biāo)之間的灰度差比較小并且紅外背景相對較復(fù)雜，中值光流算法失去了目標(biāo)。盡管是在復(fù)雜背景下，本文中算法依然能夠有效地準(zhǔn)確跟蹤到紅外點狀目標(biāo)。

在紅外視頻序列4中(如圖 10所示)，在第140幀(如圖 10b所示)，中值光流算法偏移變大，失去目標(biāo)，無法再次檢測到目標(biāo)，MIL算法偏移較小。在第240幀(如圖 7c所示)，TLD算法、MIL算法跟蹤效果并不穩(wěn)定，而本文中算法一直穩(wěn)定地跟蹤到目標(biāo)。

在紅外視頻序列5中(如圖 11所示)，在第100幀(如圖 11b所示)，目標(biāo)重現(xiàn)在云層中出來，目標(biāo)區(qū)域發(fā)生了變化，中值光流算法失去了目標(biāo)，無法恢復(fù)。在第170幀(如圖 11c所示)，目標(biāo)開始重新進入云層中，TLD算法、MIL算法中的目標(biāo)并不在跟蹤區(qū)域的中心位置。在第270幀(如圖 11d所示)，目標(biāo)消失在云層中被遮擋，MIL算法偏移較小，中值光流算法和TLD算法偏移較大，失去了目標(biāo)，無法再次檢測到目標(biāo)。當(dāng)目標(biāo)從非云層區(qū)域移動到云層區(qū)域時，中值光流算法和TLD算法跟蹤失敗，MIL算法開始發(fā)生偏移，而本文中算法保持了較強的跟蹤性能。

綜上所述，通過對5幅圖像序列的對比，本文中提出的算法在不同的紅外場景下穩(wěn)定地跟蹤到目標(biāo)的同時，還可以保證對整個視頻序列的準(zhǔn)確跟蹤，抗干擾能力較強。中值光流算法和TLD算法的跟蹤性能較差，對跟蹤過程常存在的如目標(biāo)遮擋、背景雜波和快速運動等問題解決較差。在突然變化的背景或背景雜波的環(huán)境中，本文中算法不僅準(zhǔn)確跟蹤到目標(biāo)，而且跟蹤結(jié)果坐標(biāo)更加貼近真實目標(biāo)框。

表 2顯示，將本文中算法與中值光流算法、TLD算法、MIL算法的跟蹤結(jié)果來評價算法的性能, 展現(xiàn)幾種跟蹤算法準(zhǔn)確跟蹤的幀數(shù)。其中occlusion表示目標(biāo)被遮擋的總幀數(shù)。實驗表明，中值光流算法和TLD算法對目標(biāo)被局部遮擋的情況下跟蹤效果比較差，MIL算法有部分未跟蹤成功的情況，而本文中算法對整個視頻序列準(zhǔn)確跟蹤。

Table?2.? Number of successfully tracked frames(ours in comparison to medianflow, TLD, MIL results)

|?顯示表格

圖 12~圖 16是本文中提出的算法、中值光流算法、TLD算法、MIL算法等4種跟蹤算法在不同背景下的紅外圖像序列上的重疊率(IOU)、中心位置誤差圖(CLE)和基于中心位置誤差的精確度圖(PRE)。從圖 12~圖 16中清楚地看到，本文中算法的跟蹤結(jié)果受到的背景雜波和非目標(biāo)點的影響較小，表明該方法是比較有效的。還可以看出，與其它3種算法相比，本文中算法在不同背景下的性能都是較好的，這表明本文中算法具有更好的跟蹤性能。

Figure?12.? IOU, CLE, PRE plots of the four tracking algorithms on the seq. 1

Figure?13.? IOU, CLE, PRE plots of the four tracking algorithms on the seq.2

Figure?14.? IOU, CLE, PRE plots of the four tracking algorithms on the seq. 3

Figure?15.? IOU, CLE, PRE plots of the four tracking algorithms on the seq.4

Figure?16.? IOU, CLE, PRE plots of the four tracking algorithms on the seq.5

4.?? 結(jié)論

本文中把機器學(xué)習(xí)的方法運用在紅外點狀目標(biāo)跟蹤中，使用元學(xué)習(xí)的線下訓(xùn)練，使得模型可以學(xué)習(xí)到跟蹤目標(biāo)的通用特征，有效解決了紅外點狀目標(biāo)訓(xùn)練數(shù)據(jù)不足的問題。此外，在長時跟蹤過程中，目標(biāo)可能存在被遮擋、跟蹤可能會發(fā)生漂移等情況，從而丟失目標(biāo)，因此，本文中提出重檢測機制，重新跟蹤到目標(biāo)，實現(xiàn)穩(wěn)定跟蹤。與此同時，通過卡爾曼濾波算法預(yù)測目標(biāo)運動模型，得到最優(yōu)的搜索區(qū)域。為了驗證本文中算法的有效性，對不同背景下的紅外圖像序列上進行測試，均表現(xiàn)出了良好的性能，實驗結(jié)果表明了此方法的有效性。同時，與現(xiàn)有方法進行了比較，該算法優(yōu)于其它幾種紅外點狀目標(biāo)跟蹤算法。在后續(xù)的研究中，將在此基礎(chǔ)上，結(jié)合使用優(yōu)化算法來進一步提高算法的實時性。

【轉(zhuǎn)載聲明】轉(zhuǎn)載目的在于傳遞更多信息。如涉及作品版權(quán)和其它問題，請在30日內(nèi)與本號聯(lián)系，我們將在第一時間刪除！

關(guān)注微信公眾號：人工智能技術(shù)與咨詢。了解更多咨詢！

編輯：fqj