肖彭昊 楊修偉 范媛媛

(1.長江大學(xué)地球物理與石油資源學(xué)院，湖北 武漢 430100；2.鄭州大學(xué)地球科學(xué)與技術(shù)學(xué)院，河南 鄭州 450001)

路面裂縫作為道路中常見病害之一，是道路養(yǎng)護(hù)工作的重點(diǎn)和難點(diǎn)。目前，基于圖像處理的方法是路面病害的常用檢測方法[1]。

國外現(xiàn)有研究中，任亮[2]采用脊線檢測方式對所有可疑裂縫目標(biāo)進(jìn)行一一標(biāo)注，最大程度地保留明顯的裂縫特征，通過Prim 算法來構(gòu)造最小生成樹將所有不連續(xù)裂縫相連，刪除所有強(qiáng)制偽連接，通過填充操作增強(qiáng)裂縫并獲得完整的裂縫結(jié)構(gòu)。Li[3]提出基于邊界框的自動化圖像分割方法，該方法嵌入了多種子融合算法，結(jié)合車輪路徑和車道標(biāo)記的位置生成邊界框，對裂縫的災(zāi)害嚴(yán)重性進(jìn)行評估，取得了不錯的分類效果。Saar 等[4]提出一種使用二級分段神經(jīng)網(wǎng)絡(luò)檢測裂縫圖像的道路路面測量系統(tǒng)，該方法的預(yù)測效果要優(yōu)于貝葉斯以及最近鄰分類器。Miguel[5]提出了基于線性SVM 的路面破損分類方法，該方法能將錯誤分類特征的影響降低，但是，除了使用分類器算法外，該方法的效果還取決于樣本數(shù)量，正樣本和負(fù)樣本的比例以及樣本的泛用性。Zhang 等[6]訓(xùn)練了一個基于監(jiān)督學(xué)習(xí)的深度卷積神經(jīng)網(wǎng)絡(luò)，對收集的每個路面圖像塊進(jìn)行分類，通過對智能手機(jī)收集的圖像數(shù)據(jù)集進(jìn)行評估，與手工提取特征對比，該方法裂縫檢測性能更好，證明了將深度學(xué)習(xí)與路面裂縫識別相結(jié)合的可行性。Zhang等[7]提出了一種基于遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)的三維瀝青路面全自動像素級裂縫檢測方法，實(shí)現(xiàn)了序列生成和序列建模兩個階段的序列處理方式，通過對500 幅路面圖像進(jìn)行測試，取得了不錯的效果。

在國內(nèi)研究中，李剛等[8]提出基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)識別裂縫，該方法能很好地提取邊緣特征，具有較強(qiáng)的抗噪能力。沙愛民等[9]建立卷積神經(jīng)網(wǎng)絡(luò)模型對設(shè)備采集后尺寸分割的路面圖像進(jìn)行訓(xùn)練，最終實(shí)現(xiàn)路面裂縫、坑槽病害識別。張采芳等[10]提出了基于特征分析的裂縫分類方法，在不構(gòu)建分類器的前提下，利用方向特征調(diào)整閾值以確定類別，然后根據(jù)分布密度的特性，識別塊狀裂縫與龜裂裂縫。陳瑤等[11]利用爬壁機(jī)器人采集橋梁路面裂縫，使用小波變換以及二值圖像路面形態(tài)學(xué)分析增強(qiáng)圖像中的裂縫特征并提取裂縫特征，最后運(yùn)用SVM 進(jìn)行分類識別。李偉等[12]對預(yù)處理后二值化的路面裂縫圖像以聚類方式進(jìn)行識別，運(yùn)用杠桿原理確定聚類后裂縫中心點(diǎn)位置，通過計(jì)算路面裂縫弧度辨別路面裂縫的類型，并對網(wǎng)狀裂縫的毀壞程度進(jìn)行了參數(shù)分析。錢彬等[13]將多屬性特征構(gòu)建在不同的結(jié)構(gòu)，并嵌套到矩陣分解算法中，可以實(shí)現(xiàn)函數(shù)的自適應(yīng)融合和原始灰度屬性維度的減少，從而成為一個整體的目標(biāo)函數(shù)。琚曉輝等[14]提出SVM-Adaboost 分類器對SVM 參數(shù)進(jìn)行動態(tài)優(yōu)化，自適應(yīng)地調(diào)整訓(xùn)練樣本分布，隨著訓(xùn)練迭代次數(shù)的改變，最終由弱分類器多次迭代，生成分類誤差最小的強(qiáng)分類器，有效提高分類器的性能。

本文提出的基于VGGNet-plus 網(wǎng)絡(luò)模型的路面裂痕自動分類識別方法，是在傳統(tǒng)的VGGNet[15]的基礎(chǔ)上，增加了Dropout 層和殘差層，并在每個卷積層后連接批量正則化層和LeakyReLu 層。該網(wǎng)絡(luò)保留了VGGNet 簡潔的網(wǎng)絡(luò)結(jié)構(gòu)，并且通過不斷加深網(wǎng)絡(luò)，使用小濾波器卷積層組合來提升性能，解決了訓(xùn)練量過多的問題，簡化計(jì)算量的同時也加速了模型的收斂。本文針對訓(xùn)練樣本有限的問題，提出了通過灰度處理，上下翻轉(zhuǎn)，左右翻轉(zhuǎn)，灰度二值處理，均值濾波，灰度gamma 處理，高斯濾波，中值濾波等方法來進(jìn)行數(shù)據(jù)增容，不僅增加了數(shù)據(jù)的數(shù)量，同時對采集光照條件、角度、噪聲等造成的影響具有更強(qiáng)的適應(yīng)性和魯棒性。

1 基于VGGNet-plus 的裂痕分類方法

本文所使用的路面裂縫圖像數(shù)據(jù)集來源于道路檢測車拍攝的路面視頻和智能手機(jī)拍攝的路面圖像。根據(jù)裂縫特征，將數(shù)據(jù)集分為縱向裂紋、橫向裂紋、塊狀裂紋、龜裂裂紋、無裂紋5 類典型裂縫(圖1)。該方法的關(guān)鍵步驟包括:數(shù)據(jù)增容，VGGNet-plus 網(wǎng)絡(luò)搭建與訓(xùn)練，模型集成，裂痕自動識別。

圖1 典型路面裂縫特征

1.1 數(shù)據(jù)增容

由于訓(xùn)練數(shù)據(jù)過少，我們首先通過灰度處理，上下翻轉(zhuǎn)，左右翻轉(zhuǎn)，灰度二值處理，均值濾波，灰度gamma 處理，高斯濾波，中值濾波等方法來進(jìn)行數(shù)據(jù)增容，完成數(shù)據(jù)集的構(gòu)造(圖2)。通過數(shù)據(jù)增容，不僅增加了數(shù)據(jù)的數(shù)量，同時對采集光照條件、角度、噪聲等造成的影響具有更強(qiáng)的適應(yīng)性和魯棒性。將增容后的樣本數(shù)據(jù)通過VGGNet-plus 卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行裂縫辨別訓(xùn)練，獲取訓(xùn)練后的神經(jīng)元參數(shù)集合。

圖2 數(shù)據(jù)增容方式

1.2 VGGNet-plus 分類識別網(wǎng)絡(luò)結(jié)構(gòu)

VGGNet-plus 網(wǎng)絡(luò)結(jié)構(gòu)如表1 所示。其中包括了5 個卷積層、5 個殘差層、1 個平坦層以及3 個全連接層。殘差層和卷積層內(nèi)部結(jié)構(gòu)如圖3 所示。

圖3 殘差層和卷積層內(nèi)部結(jié)構(gòu)

表1 VGGNet-plus 網(wǎng)絡(luò)結(jié)構(gòu)

每個卷積層中利用核大小分別為2×2 尺度的特征圖進(jìn)行最大池化，使用3×3 卷積核進(jìn)行特征提取(體現(xiàn)在圖上)，各卷積層后都接有批量標(biāo)準(zhǔn)化層和LeakyReLu 層，簡化計(jì)算量，同時加速模型收斂。殘差層通過充分提取裂縫圖像的屬性來減少模型參數(shù)的數(shù)量，并解決了網(wǎng)絡(luò)層數(shù)過深引起的計(jì)算量大的問題，將傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的逐層訓(xùn)練方式調(diào)整為逐階段訓(xùn)練方式。然后通過3 個全連接層存儲所有特征參數(shù)，加入dropout 層，每次訓(xùn)練丟棄一半的參數(shù)，從而防止模型過擬合。

1.3 模型訓(xùn)練與模型集成

模型訓(xùn)練利用Adam 優(yōu)化算法取代傳統(tǒng)的SGD算法，反向傳播后迭代更新網(wǎng)絡(luò)權(quán)重，通過梯度調(diào)整每個參數(shù)的學(xué)習(xí)率。通過模型集成中的Bagging 方法，在原數(shù)據(jù)集的基礎(chǔ)上有放回選取，形成多個子訓(xùn)練集，然后把每個基模型預(yù)測的結(jié)果進(jìn)行綜合評估產(chǎn)生最佳的預(yù)測結(jié)果。

1.4 模型評價(jià)

混淆矩陣是衡量分類模型準(zhǔn)確度中最直觀，計(jì)算最簡單的方法。它也是評估模型結(jié)果的度量標(biāo)準(zhǔn)，通常用于評估分類器的性能。除了混淆矩陣之外，本文還使用準(zhǔn)確度和召回率指標(biāo)來衡量網(wǎng)絡(luò)模型的性能，并計(jì)算F1-score 以充分評估模型的影響(表2)。

表2 準(zhǔn)確率、召回率和F1-score 的計(jì)算公式

其中，準(zhǔn)確率是正確識別和分類的目標(biāo)與總體目標(biāo)的比率，反映了模型區(qū)分圖像背景的能力。準(zhǔn)確率越高，意味著模型就可以更好地區(qū)分復(fù)雜背景。召回率是最終被正確歸為其目標(biāo)類別的圖像數(shù)量占該目標(biāo)類別圖像總數(shù)的比例，反映了模型在圖像中檢索目標(biāo)的能力。召回率越高，意味著模型的識別能力就越高。F1-score 是兩者的綜合表現(xiàn)，其分值越高，模型越可靠。

2 實(shí)驗(yàn)結(jié)果與分析

本文以道路檢測車拍攝的路面視頻和智能手機(jī)拍攝的路面圖像為實(shí)驗(yàn)樣本進(jìn)行算法驗(yàn)證。其中，每類裂縫有800 個樣本數(shù)據(jù)，我們通過數(shù)據(jù)增容，將數(shù)據(jù)集擴(kuò)展為原來的12 倍，獲得9 600 個樣本。選取8 400 個作為我們的訓(xùn)練集，1 200 個作為測試集。訓(xùn)練過程中，隨機(jī)選擇訓(xùn)練集的90%作為訓(xùn)練數(shù)據(jù)，剩下的10%作為驗(yàn)證數(shù)據(jù)。

利用訓(xùn)練好的VGGNet-plus 網(wǎng)絡(luò)對測試集進(jìn)行測試比較，并繪制混淆矩陣、計(jì)算準(zhǔn)確率、召回率和F1值(圖4，表3)?？梢钥闯?，混淆矩陣對角線顏色較深，總體準(zhǔn)確率、召回率和F1值分別為0.924、0.905 和0.883，縱向裂紋、橫向裂紋、龜裂裂紋和無裂紋的準(zhǔn)確率和召回率均達(dá)到了90%以上，表明模型測試效果較好。

圖4 VGGNet-plus 模型混淆矩陣

表3 VGGNet-plus 模型評價(jià)

為了突出本文方法的優(yōu)勢，選擇了3 種經(jīng)典圖像分類方法在同等條件下進(jìn)行對比，即AIexNet 算法、InceptionNet 算法以及VGGNet 算法。表4 為各種方法對裂縫圖像進(jìn)行分類的準(zhǔn)確率、召回率、F1值以及耗時的對比。為了保證客觀性，實(shí)驗(yàn)結(jié)果均為執(zhí)行20 次實(shí)驗(yàn)得到的平均值。

表4 路面裂縫分類算法測試結(jié)果比較

從表4 中的各項(xiàng)評價(jià)指標(biāo)可以看出，AlexNet 網(wǎng)絡(luò)層數(shù)相對較淺，應(yīng)對復(fù)雜環(huán)境下各種干擾因素的能力也相對較差，因此，識別結(jié)果和計(jì)算效率均是四類方法中最差的。InceptionNet 相比于AlexNet 既減少了參數(shù)量，又在一定程度上擴(kuò)展其深度和廣度，提高了非線性表達(dá)能力，識別結(jié)果和計(jì)算效率得到了一定的提升。VGGNet 使用多個相同的卷積核，使決策函數(shù)更有判別性，識別精度和訓(xùn)練耗時均優(yōu)于AlexNet方法，但不及InceptionNet 方法。本文提出的VGGNet-plus 模型保留了VGGNet 模型的主要結(jié)構(gòu)，并通過增加Batch＿normalize(BN)層和LeakyReLu 層緩解梯度消失，梯度爆炸等問題，增加Dropout 層和殘差層解決了因網(wǎng)絡(luò)過深，參數(shù)過大引起的過擬合問題，從而加快訓(xùn)練速度，加速模型收斂。表4 結(jié)果也表明:本文提出的方法具有最高的精度以及最小耗時，優(yōu)于AIexNet，InceptionNet 和VGGNet 模型。

4 結(jié)論

本文提出了一種基于VGGNet-plus 卷積神經(jīng)網(wǎng)絡(luò)識別路面5 種典型裂縫的方法，該方法在VGGNet算法的基礎(chǔ)上，增加了Dropout 層和殘差層，此外，各卷積層后都接有批量標(biāo)準(zhǔn)化層和LeakyReLu 層，解決訓(xùn)練參數(shù)過多，從而加快訓(xùn)練速度，降低計(jì)算量，同時加速模型收斂。本文通過對比AIexNet、InceptionNet、VGGNet 以及本文方法(VGGNet-plus)，分析了各模型的優(yōu)缺點(diǎn)，評價(jià)了各模型的圖像識別能力、運(yùn)行性能，證明本文方法的性能最佳。

本文提出的裂縫分類算法具有分類效果較優(yōu)、訓(xùn)練速度較快、同時在小樣本訓(xùn)練性能較佳等優(yōu)勢。但仍存在一些可改進(jìn)的地方:

(1)增加更多的噪音數(shù)據(jù)，提高模型的泛化能力，增強(qiáng)其魯棒性。

(2)使用TTA(Test Time Augmentation)集成學(xué)習(xí)，對同一個樣本預(yù)測三次，然后對三次結(jié)果進(jìn)行平均。