摘 要：路面缺陷會給公路監(jiān)管和路面養(yǎng)護帶來嚴重影響，本文針對目前路面缺陷圖像采集方法成本高、效率低的問題，提出一種基于深度學習的路面缺陷檢測方法。該方法包括目標檢測和圖像分割子系統(tǒng)，其中，目標檢測使用YOLOv5模型來提升路面缺陷位置識別精準率；圖形分割使用“U”形多尺度擴張卷積網(wǎng)絡(luò)（U-Multiscale Dilated Network，U-MDN）來增強路面缺陷深度特征提取。使用目標檢測數(shù)據(jù)集和圖像分割數(shù)據(jù)集進行試驗，其中YOLOv5模型精度為92%；比較U-Net模型和U-MDM模型，U-MDN模型的Precision、Recall和F1-score指標綜合表現(xiàn)最優(yōu)，充分證明了該方法對路面缺陷檢測具有有效性。

關(guān)鍵詞：深度學習；路面缺陷檢測；目標檢測；圖像分割；YOLOv5模型；“U”形多尺度擴張卷積網(wǎng)絡(luò)

中圖分類號：TP 39" " " " " " " " 文獻標示碼：A

道路使用過程中產(chǎn)生的表面缺陷會給公路監(jiān)管和養(yǎng)護帶來嚴重影響，增加事故率，發(fā)現(xiàn)越晚，維護成本越高[1]，因此道路缺陷的檢測識別問題亟待解決。

早期路面檢測主要方式為傳統(tǒng)圖像處理技術(shù)和手動檢測，方法費時、費力，精度和速度不佳，難以滿足實際需求。而人工智能的迅猛發(fā)展在一定程度上緩解了上述問題，尤其是深度學習技術(shù)，極大提升了識別精度與速度。路面缺陷檢測問題的關(guān)鍵是目標檢測和圖像分割。

1 系統(tǒng)結(jié)構(gòu)和原理

基于深度學習技術(shù)的路面缺陷方法與系統(tǒng)如圖1所示，具體原理包括以下4點。1）采集足量的路面缺陷圖像，構(gòu)建目標檢測數(shù)據(jù)集。對圖像進行處理后，構(gòu)建圖像分割數(shù)據(jù)集，本文使用成熟的數(shù)據(jù)集。2）建立目標檢測模型和圖形分割模型。采用YOLOv5方法構(gòu)建目標檢測模型，采用U-MDN方法構(gòu)建圖形分割模型?；谀繕藱z測數(shù)據(jù)集和圖像分割數(shù)據(jù)集進行模型準確性驗證。3）基于圖像分割數(shù)據(jù)集進行路面缺陷輪廓提取。4）根據(jù)常規(guī)路面缺陷量化評定方法，進行長度、寬度、方向和面積等路面破損指標計算，對路面進行健康狀況評定。

2 路面缺陷目標檢測建模

路面缺陷圖像目標檢測是系統(tǒng)的關(guān)鍵環(huán)節(jié)，可以減少后續(xù)圖像分割的計算量。YOLO算法為經(jīng)典路面缺陷圖像采集方法，其中經(jīng)過多次迭代的YOLOv5算法較成熟[2]。

2.1 YOLOv5算法原理

YOLOv5算法為經(jīng)典One-stage識別網(wǎng)絡(luò)，核心為網(wǎng)絡(luò)化檢測，通過將圖形劃分為F×F個網(wǎng)格并計算目標落在某個網(wǎng)格的概率來完成預(yù)測，需要回歸目標位置信息和confidence值。其中，目標位置信息為（ox，oy，ow，oh），confidence值如公式（1）所示。

（1）

式中：confidence值為目標覆蓋網(wǎng)格的準確度；pred（Obj）為預(yù)測邊框預(yù)測到某類目標Obj的概率，其取值有1和0，其中落在預(yù)測邊框內(nèi)時為1，否則為0；為預(yù)測邊框與真

實邊框間的交并比。

2.2 YOLOv5算法結(jié)構(gòu)

YOLOv5分為輸入端、Backbone網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)和輸出端4個部分。

輸入端完成圖形的預(yù)處理工作，包括縮放圖片為網(wǎng)絡(luò)輸入大小、數(shù)據(jù)歸一化以及數(shù)據(jù)增強等內(nèi)容。其中數(shù)據(jù)增強采用Mosaic方式，對圖像做隨機縮放、剪裁和排布后進行拼接。數(shù)據(jù)增強完成后計算自適應(yīng)錨框。

Backbone網(wǎng)絡(luò)負責圖像特征提取，提取圖像深度語言信息并供Neck網(wǎng)絡(luò)使用，公開Focus和CSP共2個結(jié)構(gòu)。其中，F(xiàn)ocus結(jié)構(gòu)用于圖像切片操作，以加快訓練速度，CSP結(jié)構(gòu)用于提高卷積神經(jīng)網(wǎng)絡(luò)學習能力，降低計算量。

Neck網(wǎng)絡(luò)負責對提取的特征進行深度融合，包括特征圖金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）和路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PAN）2個結(jié)構(gòu)。FPN將深層特征攜帶的語義信息傳遞給淺層特征，PAN將淺層特征的定位信息傳遞給深層，增加信息豐富性。

輸出端采用耦合式輸出。其中分類損失和置信度損失均采用BCE_Loss損失函數(shù)，如公式（2）所示，定位損失采用CIoU_Loss損失函數(shù)，如公式（3）所示。

BCE_Loss=-（ylog（p（x））+（1-y）log（1-p（x））） （2）

式中：p（x）為預(yù)測數(shù)值；y為真實數(shù)值。

（3）

式中：IoU為預(yù)測邊框與真實邊框間的交并比；ρ2（b，bgt）為預(yù)測框和真實框的中心點的歐式距離；c為預(yù)測框和真實框最小閉包區(qū)域的對角線距離；v為衡量長寬比的一致性的參數(shù)，如公式（4）所示；α為衡量參數(shù)，如公式（5）所示。

（4）

（5）

式中：arctan（·）為三角函數(shù)；wgt、w分別為預(yù)測框和真實框?qū)挾?；hgt、h分別為預(yù)測框和真實框高度。

2.3 試驗結(jié)果與分析

2.3.1 試驗設(shè)置

試驗基于Python的Keras框架構(gòu)建分割網(wǎng)絡(luò)，并進行訓練與測試。電腦配置如下：CPU為i7-12700 KF，GPU為Nvidia GeForce RTX 3060Ti。為減少其他干擾，同一設(shè)置訓練批次為16，訓練設(shè)置500epoch，初始學習率為0.01，利用SGD優(yōu)化器來更新網(wǎng)絡(luò)參數(shù)。

2.3.2 評價指標和數(shù)據(jù)集

為保證試驗的公平性和有效性，采用成熟的路面缺陷數(shù)據(jù)集NHA12D，包括448×448=9889幅，劃分訓練集8405幅，驗證集1484幅，包括12類路面缺陷。本文使用YOLOv5模型、YOLOX模型和Faster RCNN模型進行對比試驗。將Precision（精確率）、Recall（召回率）、AP（PR曲線下面積）、mAP（m個AP值的均值）和F1 score（值越大，表明模型效果越好）指標作為評價標準，各指標均可由Precision和Recall計算得出，AP值越大，表明模型效果越好，如公式（6）～公式（10）所示。

（6）

（7）

（8）

（9）

（10）

式中：TP為交并比大于閾值的檢測框數(shù)；FP為小于閾值的檢測框數(shù)；FN為沒有檢測到的真實框數(shù)；M為某一類別目標總數(shù)；N為類別數(shù)。

2.3.3 試驗結(jié)果分析

使用3種網(wǎng)絡(luò)對NHA12D數(shù)據(jù)集進行訓練和測評。本文以縱向裂縫、橫向裂縫、車轍、坑洞、網(wǎng)狀裂縫和井蓋為例，設(shè)置標簽L1～L6，3種網(wǎng)絡(luò)在NHA12D數(shù)據(jù)集合中的測試結(jié)果見表1。

由表1可以發(fā)現(xiàn)，F(xiàn)aster RCNN模型收斂速度最快，約在80代mAP值為80%后逐步收斂；YOLOv5模型約在200代mAP值為90%后逐步收斂；YOLOX模型約在400代mAP值為88%后逐步收斂。根據(jù)訓練結(jié)果可知，YOLOv5模型的訓練速度較快，訓練結(jié)果最好；Faster RCNN模型訓練速度快，但訓練效果較差；YOLOX模型訓練效果較好，但訓練速度過慢，因此YOLOv5模型總體效果最優(yōu)。

從表1可以發(fā)現(xiàn)，不同模型的mAP指標均超過80%，效果良好。對于不同類別的缺陷，YOLOv5均取得了優(yōu)異效果，尤其是縱向裂縫、橫向裂縫、車轍和網(wǎng)狀裂縫等裂縫類型的目標，AP值均為最高?？佣春途w類目標的AP值僅次于YOLOX模型。綜上所述，YOLOv5模型訓練和測試效果最優(yōu)，其次為YOLOX模型。

3 路面缺陷圖像分割

路面缺陷圖像分割是缺陷量化的關(guān)鍵，U-Net模型為該領(lǐng)域關(guān)鍵模型，U-MDN為該模型的變體。

3.1 U-Net和U-MDM模塊

U-Net的網(wǎng)絡(luò)結(jié)構(gòu)是含有下采樣圖像壓縮路徑（Contracting Path）和上采樣圖像擴展路徑（Expanding Path）的對稱“U”形結(jié)構(gòu)。U-Net將路面缺陷圖像經(jīng)過下采樣展現(xiàn)環(huán)境信息，并將下采樣各層信息和上采樣輸入信息相結(jié)合來還原細節(jié)信息，進而逐步還原圖像精度，最終得到缺陷的二值圖像。U-Net中使用了3種不同數(shù)量的卷積模塊，并在每個卷積模塊的卷積層和激活函數(shù)間加入批歸一化來避免梯度消失問題，其中激活函數(shù)使用了ReLU函數(shù)和Sigmoid函數(shù)，如公式（11）、公式（12）所示。

（11）

（12）

式中：x為經(jīng)過卷積處理的數(shù)據(jù)值；ReLU函數(shù)和Sigmoid函數(shù)均為激活函數(shù)。

基于U-Net模塊的“U”形多尺度擴張模塊（U-Multiscale Dilated Network，U-MDM）網(wǎng)絡(luò)結(jié)構(gòu)，該模塊融合4種不同尺度深度特征信息。

U-MDM模塊并非將U-Net模塊下采樣后獲得的特征層直接進行融合，而是經(jīng)歷16、8、4、2共4種不同尺度的最大池化操作后再進行卷積操作，并在卷積模塊和ReLU激活函數(shù)間進行批歸一化操作，最后將下采樣特征信息輸入U-Net上采樣結(jié)構(gòu)進行融合，以便進一步提取更深層次的特征。

3.2 U-MDN網(wǎng)絡(luò)

U-MDN網(wǎng)絡(luò)是在U-MDM模塊嵌入U-Net的上采樣階段中形成的。該網(wǎng)絡(luò)以U-Net模型為主干提取多尺度特征，利用U-MDM進一步提取深層特征，將淺層特征和深層特征進行有效融合后得出最終預(yù)測結(jié)果。該網(wǎng)絡(luò)由3種卷積模塊組成，其輸入圖像類型為256×256×3（寬256像素，高256像素，3個通道），輸出特征類型為256×256×2的路面缺陷檢測圖像，均為黑白兩值圖像，分為缺陷區(qū)域和背景區(qū)域，其中白色區(qū)域代表缺陷，黑色區(qū)域代表背景。

3.3 試驗結(jié)果與分析

3.3.1 試驗設(shè)置

試驗基于Python的Keras框架構(gòu)建分割網(wǎng)絡(luò)并進行訓練與測試，電腦配置如下：CPU為i7-12700 KF，GPU為Nvidia GeForce RTX 3060Ti。為減少其他干擾，同一設(shè)置訓練批次為16，訓練設(shè)置200epoch，初始學習率為0.001，利用Adam優(yōu)化器來更新網(wǎng)絡(luò)參數(shù)。

3.3.2 評價指標和數(shù)據(jù)集

為保證試驗的公平性和有效性，采用成熟的路面缺陷數(shù)據(jù)集CrackForest和CNRDD，數(shù)據(jù)集具體情況見表2。本文將裂縫分為裂縫和非裂縫類型，為二分類問題，將Precision、Recall和F1 score指標作為評價標準，如公式（6）～公式（8）所示。

3.3.3 試驗結(jié)果分析

為驗證本方法的有效性，與目標分割領(lǐng)域常見的U-Net模型和U-MDM模型進行比較和分析。不同模型、不同背景下的識別結(jié)果如圖2所示。圖2中的（1）～（3）為CrackForest數(shù)據(jù)集部分數(shù)據(jù)測試結(jié)果，圖像中裂縫纖細且存在椒鹽噪聲干擾。（4）～（6）為CNRDD數(shù)據(jù)集部分數(shù)據(jù)測試結(jié)果，背景較復雜，分別為陰影、車道線和雨雪異物。圖2中的（a）為測試原圖，（b）為Ground truth，（c）為U-MDN模型測試結(jié)果，（d）為U-MDM模型測試結(jié)果，（e）為U-Net模型測試結(jié)果。不同模型不同指標的分析結(jié)果見表3。

由圖2可知，U-MDN模型對纖細裂縫的識別效果更好，復雜背景下的干擾能力更強，在陰影背景下對顏色較淺的裂縫識別較好，能夠克服車道線、雨雪等異物帶來的干擾并有效識別裂縫。

3種網(wǎng)絡(luò)從2個數(shù)據(jù)集中得到的各種評價指標結(jié)果見表3。與其他網(wǎng)絡(luò)相比，U-MDN在不同數(shù)據(jù)集中的Recall和F1 score方面表現(xiàn)最優(yōu)，Precision也僅次于U-MDM模型，說明U-MDN模型的裂縫區(qū)分能力更強，對抗復雜背景干擾的能力更強，模型更穩(wěn)健。

4 結(jié)論

本文提出了一種基于深度學習的路面缺陷檢測方法。該方法通過YOLOv5模型進行目標檢測，并通過U-MDN模型進行圖像分割。本文利用目標檢測集和圖形分割集合驗證模型有效性，結(jié)果表明，該方法充分考慮了目標檢測和圖像分割問題，比其他方法精準性更高，運行速度更快，抗干擾能力更強，提升了路面缺陷檢測的實時性和準確性，可為后續(xù)的路面缺陷等級評定提供依據(jù)。

參考文獻

[1]交通運輸部.2020年我國交通運輸行業(yè)發(fā)展統(tǒng)計公報發(fā)布[J].隧道建設(shè)，2021，41（6）：963-963.

[2]劉新海，聶憶華，彭小林，等.廢瓷磚再生砂摻配率對砂漿強度的影響及機理分析[J].廣東公路交通，2020，46（2）：1-5.