Q1文章提出的工程問題是什么?

有什么實際工程價值?

在交通負荷和氣候的影響下，路面系統(tǒng)會隨著時間的推移而惡化，每年需要花費大量資金來修復(fù)和保持其性能在預(yù)期水平?？煽亢蜏蚀_的路面狀況數(shù)據(jù)在路面管理系統(tǒng)(PMS)中發(fā)揮著關(guān)鍵作用，人工調(diào)查可能存在潛在的安全問題，需要交通控制，耗時且結(jié)果受主觀影響，這可能導(dǎo)致每年的路面狀況數(shù)據(jù)不一致。

因此，基于數(shù)字成像的調(diào)查技術(shù)以高速公路的速度捕獲路面圖像，并將其存儲在電子介質(zhì)上，用于進行路面狀況的解釋的方法被大量研究。自動化和半自動化技術(shù)由于其在安全性和效率、數(shù)據(jù)一致性和可重復(fù)性以及全車道覆蓋的高分辨率路面圖像等方面的優(yōu)勢，在路面條件數(shù)據(jù)收集領(lǐng)域獲得了廣泛的接受。

Q2文章提出的科學(xué)問題是什么?

有什么新的學(xué)術(shù)貢獻?

基于圖像的系統(tǒng)正在成為為路面管理活動收集路面狀況數(shù)據(jù)的流行系統(tǒng)，路面工程師會根據(jù)路面類型定義各種遇險類別。然而，現(xiàn)在的軟件解決方案在自動從收集到的圖像中正確識別路面類型方面存在局限性。

本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的路面識別系統(tǒng)PvmtTPNet，具有可接受的一致性、準確性并且高效自動識別路面類型。

1. 通過使用統(tǒng)計學(xué)習(xí)方法分析近場的聲音輪廓和紋理，確定了不同類型的路面。

2. 利用最先進的PaveVison3D系統(tǒng)(Wangetal.2015)在俄克拉何馬州不同條件下不同路面類型的路線上以1毫米分辨率的路面圖像。共隨機選取80%的準備圖像用于對所提網(wǎng)絡(luò)的訓(xùn)練，其余20%的圖像用于測試。

3. 將獲得的網(wǎng)絡(luò)應(yīng)用于確定2019年另外兩個數(shù)據(jù)收集的圖像的路面類型，以評估性能。

Q3文章提出的技術(shù)路線是什么?

有什么改進創(chuàng)新之處?

①訓(xùn)練數(shù)據(jù)

本研究考慮了PMS中通常評定和測量的三種路面類型：瀝青混凝土路面(AC)、接縫素混凝土路面(JPCP)和連續(xù)鋼筋混凝土路面(CRCP)?？偣彩占?1,000張二維(2D)圖像，覆蓋了84,000米(52.20英里)的長路面切片。隨機選取80%的準備圖像用于對所提網(wǎng)絡(luò)的訓(xùn)練，其余20%的圖像用于測試。在訓(xùn)練過程中，將制備的二維圖像縮小到475×512 二維圖像，以提高計算效率。圖1是預(yù)先準備的數(shù)據(jù)集的圖像樣例。

圖1 準備的數(shù)據(jù)集的圖像樣例：(a)新;(b)有裂縫;(c)有密封裂縫;(d)有修補;(e)有裂縫;(f)有PCC修補;(g)有出口;(h)有交流修補;(i)有DBR;(j)有DBR和修補;(k)有裂縫;(l)有凹槽。

② 網(wǎng)絡(luò)開發(fā)

圖2顯示了PvmtTPNet的體系結(jié)構(gòu)。PvmtTPNet由六層組成：三個卷積層、兩個全連接層和一個輸出層。PvmtTPNet的輸入端是準備好的二維路面圖像，輸出層計算出預(yù)測的路面類型的概率分布。在每個卷積層中，使用8個大小為13×13的核來提取輸入圖像的特征，如邊緣和形狀。對于這兩個完全連接的圖層，我們分別實現(xiàn)了32個節(jié)點和16個節(jié)點，以保存最重要的路面圖像的特征。

圖2 利用GA對HNN進行優(yōu)化的流程圖

③訓(xùn)練技巧

在網(wǎng)絡(luò)訓(xùn)練過程中，采用了不同技術(shù)的組合，根據(jù)準備好的二維圖像來調(diào)整PvmtTPNet內(nèi)的超參數(shù)。對網(wǎng)絡(luò)的參數(shù)進行逐步調(diào)整，以減少輸出分數(shù)與期望分數(shù)模式之間的誤差，以減少訓(xùn)練損失，提高訓(xùn)練精度(LeCunetal.2015)。經(jīng)過廣泛的訓(xùn)練，PvmtTPNet能夠根據(jù)一個得分向量來預(yù)測給定的二維圖像的路面類型，其中所有類別的最高得分將對應(yīng)于路面類型。表1總結(jié)了PvmtTPNet的調(diào)優(yōu)超參數(shù)，總數(shù)為992,979個。表1是訓(xùn)練參數(shù)的總結(jié)。

表1 訓(xùn)練參數(shù)總結(jié)

④ 訓(xùn)練結(jié)果

網(wǎng)絡(luò)訓(xùn)練和測試的分類精度和交叉熵損失如圖3所示。隨著訓(xùn)練周期數(shù)的增加，分類精度增加，交叉熵損失減小。PvmtTPNet在100個時代的準備數(shù)據(jù)集上的訓(xùn)練需要28小時才能在NVIDIAtitanVGPU卡上完成。通過對訓(xùn)練技術(shù)的選擇組合，測試數(shù)據(jù)的分類精度仍然接近于訓(xùn)練數(shù)據(jù)的分類精度，這表明該網(wǎng)絡(luò)中很少存在過擬合問題。特別是，PvmtTPNet的最高測試精度為98.48%，這是在第96時代觀察到的。同時，訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的交叉熵損失分別為0.0067和0.054。因此，在第96階段導(dǎo)出的參數(shù)被認為是PvmtTPNet的最優(yōu)參數(shù)。訓(xùn)練數(shù)據(jù)在最優(yōu)時期的分類精度達到99.83%。

圖3 分類精度和交叉熵損失的總結(jié)

基于上述內(nèi)容，本文有以下創(chuàng)新點：

1.本研究開發(fā)了一種基于深度學(xué)習(xí)(DL)的網(wǎng)絡(luò)，稱為PvmtTPNet，可以從圖像中自動識別路面類型，以促進全自動的路面狀況調(diào)查。PvmtTPNet實現(xiàn)了一個基于卷積神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)來學(xué)習(xí)來自路面類別的圖像的特征。

2.采用校流線性單元(ReLUs)作為卷積層和全連通層的激活函數(shù)，可以進行快速有效的訓(xùn)練，已成為現(xiàn)代深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的默認激活函數(shù)。

Q4

文章是如何驗證和解決問題的?

為了評估獲得的PvmtTPNet在路面類型識別最佳時期的性能，2019年通過PaveVision3D系統(tǒng)對1號站點(靠近俄克拉荷馬城)和2號站點(靠近阿肯色州史密斯堡的I-540)進行了另外兩次現(xiàn)場數(shù)據(jù)收集。兩種數(shù)據(jù)采集的路徑如圖4所示。

圖4 模型評估的數(shù)據(jù)收集：

(a)Site1-I-35;(b)Site2-I-540

表2總結(jié)了PvmtTPNet對這兩個數(shù)據(jù)收集的實際和預(yù)測路面類型的詳細數(shù)量，并提供了每個站點的混淆矩陣。

表2 網(wǎng)絡(luò)評價中的混淆矩陣

在每個混淆矩陣中，沿對角線上的數(shù)字代表正確的預(yù)測，而其他數(shù)字表示對每個路面類別的準確預(yù)測。如表2所示，PvmtTPNet從準備的Site1的6311張圖像中獲得了5760個正確的預(yù)測，準確率為91.27%。對于Site2，PvmtTPNet做出了3,439個正確的預(yù)測，并達到了96.66%的準確率。此外，PvmtTPNet使用一個NVIDIAtitanVGPU卡對站點1和站點2的圖像進行預(yù)測需要16.33min和4.59min。因此，每幅圖像的平均處理時間為站點1的平均處理時間為155,212μs，站點2為77,452μs。如果野外數(shù)據(jù)采集速度為96.56km/h(60mi/h)，則需要18.55min和10.46min才能完成對這兩個地點的調(diào)查。因此，處理時間小于數(shù)據(jù)采集時間(站點1為16.33<18.55，站點2為4.59<10.46)。PvmtTPNet顯然有潛力使用最新的GPU從實時收集的2D圖像中預(yù)測路面類型，這將比研究中使用的GPU快幾倍。

Q5文章有什么可取和不足之處?

邏輯結(jié)構(gòu)：本文的outline呈現(xiàn)在下文：

1. Introduction

說明了通過人工獲得路面狀況數(shù)據(jù)存在缺陷，因此，基于卷積神經(jīng)網(wǎng)絡(luò)的圖像路面類型自動識別研究具有必要性。

2. Data preparation

介紹了本研究中使用的所有路面圖像來源，以及本文對PvmtTPNet進行訓(xùn)練的對象。

3. Network Development

本研究開發(fā)了一種基于深度學(xué)習(xí)(DL)的網(wǎng)絡(luò)，稱為PvmtTPNet，可以從圖像中自動識別路面類型，以促進全自動的路面狀況調(diào)查。PvmtTPNet實現(xiàn)了一個基于卷積神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)來學(xué)習(xí)來自路面類別的圖像的特征。

3.1 Methodology

介紹本研究采用CNN體系結(jié)構(gòu)訓(xùn)練所提出的PvmtTPNet的方法論。

3.2 Network Architecture

介紹PvmtTPNet的網(wǎng)絡(luò)體系結(jié)構(gòu)。

3.3 Training Techniques

介紹PvmtTPNet網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)來源及訓(xùn)練方法。

3.4 Training Results

展示網(wǎng)絡(luò)訓(xùn)練和測試的分類精度和交叉熵損失。通過對訓(xùn)練技術(shù)的選擇組合，測試數(shù)據(jù)的分類精度仍然接近于訓(xùn)練數(shù)據(jù)的分類精度，表明該網(wǎng)絡(luò)中很少存在過擬合問題。

4. Network Evaluation

通過PaveVision3D系統(tǒng)對俄克拉荷馬城及靠近阿肯色州史密斯堡的I-540兩地進行數(shù)據(jù)采集，并且通過PvmtTPNet在路面類型識別的結(jié)果評估其在路面類型識別最佳時期的性能。

5. Discussion

目前，在數(shù)據(jù)收集過程中在橋上添加事件標記是從收集的圖像數(shù)據(jù)中排除橋段的常用方法。然而，這是對現(xiàn)場工作人員的估計，考慮到數(shù)據(jù)收集的高速速度，這可能會產(chǎn)生不準確的記錄。因此，在下一階段的工作中根據(jù)獲得的圖像判斷PvmtTPTet在橋面圖像的訓(xùn)練效果。但是存在以下幾個方面的局限性：首先，從橋面上收集到的圖像還不夠多。眾所周知，DL訓(xùn)練需要大量的訓(xùn)練數(shù)據(jù)來達到所需的性能。其次，橋面的二維圖像并不總是包含該網(wǎng)絡(luò)學(xué)習(xí)的區(qū)別特征。

6. Conclusions

在這項研究中，一個基于卷積神經(jīng)網(wǎng)絡(luò)的DL網(wǎng)絡(luò)，名為PvmtTPNet，通過訓(xùn)練來識別人類的路面類型。2018年，利用PaveVision3D系統(tǒng)對俄克拉何馬州三種路面類型的瀝青混凝土路面、連接普通混凝土路面和不同條件和壓力的連續(xù)鋼筋混凝土路面進行了調(diào)查，編制了培訓(xùn)數(shù)據(jù)庫。最后，總共制作了21000張2D路面圖像，而三種路面類型都有大約7000張圖像。每個2D圖像覆蓋了一個約4米寬和4米長的路面部分。通過所選擇的訓(xùn)練技術(shù)，成功地訓(xùn)練了網(wǎng)絡(luò)，沒有過擬合問題。在最優(yōu)時期，網(wǎng)絡(luò)對路面類型識別的訓(xùn)練和測試圖像的預(yù)測精度分別達到99.85%和98.37%。

應(yīng)該注意的是，橋面的圖像沒有包括作為PvmtTPNet的一種路面類型。因此，未來的研究希望使用更多的數(shù)據(jù)集和可能更新的DL方法來識別橋梁。最后，還需要改進PvmtTPNet，以對剛性路面上的圖像產(chǎn)生更準確的預(yù)測。最終目標是達到接近100%的精度，以自動和高速識別瀝青和混凝土路面類型，以及其他表面類型，如橋面和復(fù)合材料。

從上述內(nèi)容可以看出，本文主要采用縱式結(jié)構(gòu)，以研究展開的順序先后介紹了數(shù)據(jù)處理，神經(jīng)網(wǎng)絡(luò)開發(fā)，網(wǎng)絡(luò)訓(xùn)練結(jié)果評估以及關(guān)于卷積神經(jīng)網(wǎng)絡(luò)圖像路面類型自動識別的進一步發(fā)展。

研究方法：本文在研究的過程中，評估卷積神經(jīng)網(wǎng)絡(luò)PvmtTPNet在收集的路面類型時的性能的方法非常詳細，并從多個角度驗證PvmtTPNet在預(yù)測這兩種數(shù)據(jù)時的收集效果。

圖5 PvmtTPNet在預(yù)測數(shù)據(jù)準確性評估公式

圖表形式：本文的圖表形式簡潔明了，沒有使用復(fù)雜的圖形表格，但是卻直觀展現(xiàn)了實驗結(jié)果。

分類精度和交叉熵損失的總結(jié)

網(wǎng)絡(luò)評估的混淆矩陣

文字表達：

表2總結(jié)了PvmtTPNet對這兩個數(shù)據(jù)收集的實際和預(yù)測路面類型的詳細數(shù)量，并為每個站點提供了混淆矩陣。

在圖像精度評價中，混淆矩陣主要用于比較分類結(jié)果和實際測得值，可以把分類結(jié)果的精度顯示在一個混淆矩陣里面。混淆矩陣是通過將每個實測像元的位置和分類與分類圖像中的相應(yīng)位置和分類像比較計算的?；煜仃嚨拿恳涣写砹藢嶋H測得信息，每一列中的數(shù)值等于實際測得像元在分類圖象中對應(yīng)于相應(yīng)類別的數(shù)量;混淆矩陣的每一行代表了遙感數(shù)據(jù)的分類信息，每一行中的數(shù)值等于遙感分類像元在實測像元相應(yīng)類別中的數(shù)量。

圖6 作者在文中使用混淆矩陣的前后文

Q6文章對自身的研究有什么啟發(fā)?

本文主要研究通過卷積神經(jīng)網(wǎng)絡(luò)對路面圖像類型自動識別。在使用充分的樣本驗證PvmtTPNet后，延伸探討了橋面的圖像沒有包括作為PvmtTPNet的一種路面類型，希望使用更多的數(shù)據(jù)集和可能更新的DL方法來識別橋梁。并且對PvmtTPNet進行改進，以對剛性路面上的圖像產(chǎn)生更準確的預(yù)測。延伸出在自動和高速識別瀝青和混凝土路面類型及復(fù)合材料方面的應(yīng)用。

我們做科研也應(yīng)該舉一反三，將自己的研究結(jié)果進行延伸，不要僅僅局限在當(dāng)下的專業(yè)框架下，而是要去積極探索更多的可能性。

原文標題：基于卷積神經(jīng)網(wǎng)絡(luò)的圖像路面類型自動識別

文章出處：【微信公眾號：機器視覺智能檢測】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯：湯梓紅