烏日娜，白 云，韓建峰

(內(nèi)蒙古工業(yè)大學(xué)，內(nèi)蒙古 呼和浩特010051)

1 引言

隨著公路交通的快速發(fā)展，公路網(wǎng)的搭建趨于完善，維護(hù)公路路面的健康從而延長其使用年限的工作變得至關(guān)重要。公路路面的病害主要以路面裂縫為主，能及時發(fā)現(xiàn)路面裂縫并進(jìn)行修復(fù)，是保持路面健康狀態(tài)的一項重要工作[1]。目前，對于公路路面裂縫圖像的的檢測主要采取CCD攝像機(jī)獲取路面圖像，如澳大利亞公路研究所開發(fā)的檢測車系統(tǒng)，澳大利亞CRISO公司和新南威爾士交通局開發(fā)的道路裂縫自動檢測車等，這些系統(tǒng)均已應(yīng)用于各種路面破損的檢測中[2]。由于公路路面的裂縫往往形態(tài)多樣且復(fù)雜交錯，而基于檢測車的圖像采集方式對于路面破損圖像的拍攝具有片面性和主觀性，難以采集到路面裂縫的全貌，這對下一步路面裂縫的識別分類有極大的影響。

自從2012年在ImageNet計算機(jī)視覺挑戰(zhàn)賽上，Hinton領(lǐng)導(dǎo)的深度學(xué)習(xí)小組使用AlexNet網(wǎng)絡(luò)以15.3%的錯誤率遠(yuǎn)超第二名拿下冠軍后，深度學(xué)習(xí)就正式進(jìn)入了百花齊放的時代，各類優(yōu)秀的網(wǎng)絡(luò)模型相繼被提出，圖像識別和分類算法也越加成熟[3]。英紅等使用BP神經(jīng)網(wǎng)絡(luò)來檢測路面裂縫該方法對裂縫的識別率為90%以上，但缺少對裂縫進(jìn)行具體的分類[4]；張磊等使用深度學(xué)習(xí)的方法對智能手機(jī)采集的路面裂縫進(jìn)行檢測，但不涉及裂縫的分類和參數(shù)計算[5]；Xianglong Wang等使用CNN來檢測裂縫的存在，通過主成分分析(PCA)計算裂縫骨架的特征向量和相應(yīng)的特征值來實現(xiàn)裂縫的分類，過程相對比較繁瑣[6]。PAN Yifan等利用支持向量機(jī)、人工神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林等機(jī)器學(xué)習(xí)算法，從無人機(jī)MSI中對裂縫、坑洼、非破損路面進(jìn)行檢測分類，但其無法捕捉寬度小于13.54 mm的裂縫[7]；Rui Fan等使用深度學(xué)習(xí)和自適應(yīng)閾值圖像分割算法來提取路面裂縫，但算法受圖像中噪聲影響較大[8]。鄒秦等提出了一種基于裂縫的高級特征來進(jìn)行自動檢測的深度裂縫網(wǎng)絡(luò)，通過多尺度深度卷積融合特征進(jìn)行裂縫的檢測與識別，但沒有進(jìn)行裂縫的分類研究[9]；Kasthurirangan Gopalakrishnan等人使用預(yù)先訓(xùn)練好的深度學(xué)習(xí)模型進(jìn)行無人機(jī)路面裂縫檢測，雖然實現(xiàn)了90%以上的裂縫檢測精度，但是訓(xùn)練的數(shù)據(jù)量較少，缺乏普遍適用性[10]；Luqman Ali等人提出基于卷積神經(jīng)網(wǎng)絡(luò)的裂縫自動檢測算法來檢測無人機(jī)路面裂縫，雖熱檢測精度較高但缺乏對裂縫的識別功能[11]；J. Senthilnath等使用一種基于集成分類器的深度遷移學(xué)習(xí)(Deep TEC)來檢測無人機(jī)道路圖像，這對于路面裂縫的提取有一定的借鑒意義[12]。

上述的方法雖然在一定程度上實現(xiàn)了對路面破損的檢測或識別，但是依舊存在一些難以忽視的問題：①對于路面裂縫的檢測提取基于裂縫本身特征，特別是在進(jìn)行多個特征融合時步驟繁瑣，計算費(fèi)時費(fèi)力無法達(dá)到普及效果；②基于深度學(xué)習(xí)的算法對于裂縫的識別分類還不成熟，多數(shù)算法只單一檢測裂縫，或只提取裂縫形態(tài)，而無法直接對裂縫進(jìn)行檢測識別和分類；③實際的路面裂縫復(fù)雜多樣，現(xiàn)存的網(wǎng)絡(luò)數(shù)據(jù)集大多數(shù)拍攝角度和精度不一，使用這樣的數(shù)據(jù)集無疑加大了訓(xùn)練的難度。針對上述問題和可以改進(jìn)的地方，先根據(jù)瀝青路面破損的形態(tài)和特征新建一個路面破損的專項數(shù)據(jù)集，之后提出一種基于深度學(xué)習(xí)的公路路面破損檢測識別方法，在檢測路面破損的同時又能對路面的裂縫進(jìn)行自動識別和分類，達(dá)到在路面破損檢測時精度與效率并存的效果。

2 數(shù)據(jù)集構(gòu)建

公路路面按照結(jié)構(gòu)形式分為瀝青路面和水泥路面，瀝青路面因其行車舒適性高，成為高速、一級公路路面結(jié)構(gòu)的首選。因此本文采集的路面圖片皆基于瀝青路面[13]。瀝青路面病害主要為路面裂縫，但是路面裂縫通常不單獨(dú)出現(xiàn)，往往是縱橫交錯、形態(tài)多樣。通過考察城市的一級公路和快速路，結(jié)合公路技術(shù)狀況評定標(biāo)準(zhǔn)，本文主要的分類識別對象為橫向裂縫、縱向裂縫、塊狀裂縫和斜向裂縫[14]。為了提高算法模型的實用性和真實性，觀察了大量公路路面的裂縫，采取智能手機(jī)和無人機(jī)兩種拍攝方式進(jìn)行數(shù)據(jù)集的采集制作。其中使用智能手機(jī)拍攝圖像6000張，圖片大小為3104×3104，在不影響圖像檢測識別質(zhì)量的情況下將圖像大小批量處理為512×512。

無人機(jī)采集數(shù)據(jù)使用的是大疆御MAVIC 2 PRO，云臺相機(jī)為哈蘇HASSELBLAD，相機(jī)參數(shù)：1英寸CMOS，焦距28，分辨率為2000萬有效像素，光圈調(diào)節(jié)范圍：F2.8-F11，自動對焦范圍大于1m，視頻拍攝格式為MP4和MOV。采集數(shù)據(jù)地點選擇為城市多條公路和快速路，時間為上午10：30-12：00、下午15：00-17：00，拍攝當(dāng)天天氣晴朗，風(fēng)力小于4級，飛行過程中無明顯遮擋物。最終整理匯總獲得無人機(jī)拍攝路面裂縫圖像共4000張。

圖1 智能手機(jī)拍攝路面裂縫圖像

數(shù)據(jù)集共10000張瀝青路面破損圖像，且每張圖片中裂縫的數(shù)量較多，裂縫類型也從一種到四種不等。對比網(wǎng)絡(luò)數(shù)據(jù)集中每張路面圖像中只有一種裂縫或一條裂縫，本文采集的路面破損圖像更加多樣復(fù)雜，這無疑對后續(xù)的識別和檢測加劇了難度，但是檢測的結(jié)果和效果卻更具真實性和實用性。

圖2 無人機(jī)拍攝路面裂縫圖像

3 破損檢測識別模型

為了在檢測到路面破損的同時能將每類裂縫精確定位和分類，將采取綜合模型的方式先對路面裂縫進(jìn)行檢測分類，之后提取每條裂縫進(jìn)行準(zhǔn)確的定位，最后將二者的優(yōu)勢結(jié)合起來達(dá)到綜合模型的檢測效果。

3.1 檢測分類網(wǎng)絡(luò)

根據(jù)本文采集到的路面破損圖像的特征分析，首先選取了Yolo系列算法中的最新算法Yolov5s，由于Yolo本身不是專門為土木工程或道路養(yǎng)護(hù)而開發(fā)，同時yolov5算法基本沒有應(yīng)用在路面破損檢測中，其結(jié)構(gòu)和參數(shù)不能滿足自動路面裂縫檢測的要求，因此根據(jù)路面裂縫的特殊特征，對該方法的參數(shù)設(shè)置進(jìn)行了修改[15]。采用labelimg軟件對數(shù)據(jù)集進(jìn)行集中準(zhǔn)確的標(biāo)記，將標(biāo)記后的XML文件進(jìn)行隨機(jī)地訓(xùn)練集、驗證集和測試集分類，按照8：1：1的比例分配。由于數(shù)據(jù)集圖片分別由不同尺寸大小的圖片組成，所以需要進(jìn)行多次訓(xùn)練。為了進(jìn)一步觀察模型對于路面破損圖像的檢測識別效果，將訓(xùn)練初期和最后訓(xùn)練的mAP值單獨(dú)對比如圖3。由圖可知在不斷調(diào)整各項參數(shù)進(jìn)行多次訓(xùn)練后，路面所有破損類別的平均精度逐漸提高，由初期訓(xùn)練的75%提高至最后訓(xùn)練的95%。

隨機(jī)選取不同類型破損圖片進(jìn)行識別測試，由圖4可知在圖中同時存在各樣類別的破損的情況下，給出的路面裂縫類別置信度均較高。其中圖a)為智能手機(jī)所拍，圖b)為無人機(jī)所拍。

圖3 破損檢測分類模型訓(xùn)練mAP曲線

圖4 破損檢測分類模型識別路面裂縫效果圖

3.2 分割提取網(wǎng)絡(luò)

進(jìn)一步的裂縫分割提取采用U-net網(wǎng)絡(luò)[16]。為了使網(wǎng)絡(luò)適用于路面裂縫的分割，在U-net原始架構(gòu)基礎(chǔ)上進(jìn)行了改進(jìn)。如圖5所示。將結(jié)構(gòu)中的卷積層全部替換為更深層的ResNet殘差模塊，加入殘差模塊后的 U-net 網(wǎng)絡(luò)層次更深，訓(xùn)練參數(shù)也增多，解決了一部分 U-net網(wǎng)絡(luò)不夠深的問題，而殘差模塊的特性也彌補(bǔ)了在極深度條件下深度卷積神經(jīng)網(wǎng)絡(luò)性能退化的問題[17]。

通過labelme對數(shù)據(jù)集進(jìn)行集中標(biāo)注，總共標(biāo)注1000張路面破損圖像，數(shù)據(jù)集劃分按照7：2：1。使用Sigmoid激活函數(shù)和二分類交叉熵?fù)p失函數(shù)計算損失，損失計算公式如下[18]

圖5 改進(jìn)后的U-net網(wǎng)絡(luò)架構(gòu)圖

l(x，y)=L={l1，…，lN}T

(1)

ln=-wn[yn·logσ(xn)+(1-yn)·(1-σ(xn))]

(2)

其中N為訓(xùn)練批次，y為目標(biāo)值，x為模型輸出的值，σ為Sigmoid運(yùn)算。

如下圖6為分割模型訓(xùn)練迭代50次的損失曲線，由圖可知模型在迭代50次左右損失值基本穩(wěn)定，此時網(wǎng)絡(luò)可將圖像中的裂縫區(qū)域分別分割出來。

圖7為改進(jìn)前后分割網(wǎng)絡(luò)對路面破損圖像的分割情況，由對比圖可知，改進(jìn)前分割的裂縫不完整不連續(xù)，改進(jìn)后的分割圖較完整的還原了原圖像的裂縫信息。

圖6 路面破損分割模型訓(xùn)練損失曲線

圖7 分割模型改進(jìn)前后效果對比

3.3 綜合模型設(shè)計

由上述兩種網(wǎng)絡(luò)的特點可知，檢測分類網(wǎng)絡(luò)可對路面破損進(jìn)行精確檢測與分類，而分割提取網(wǎng)絡(luò)可以提取每條裂縫的信息。將這兩種網(wǎng)絡(luò)的優(yōu)點融合提出一種路面破損檢測識別綜合模型，可以直接對路面破損進(jìn)行檢測和分類，并精確定位到路面的各條裂縫。

綜合模型的具體工作流程如圖8所示。首先，將路面破損圖像輸入路面破損檢測識別網(wǎng)絡(luò)進(jìn)行檢測和分類，判斷輸入圖像中是否存在破損，如果存在則對裂縫定位和類別信息輸出；之后，將裂縫圖像及其類別信息傳輸?shù)椒指钐崛【W(wǎng)絡(luò)中，通過分割將破損圖像中所有的裂縫進(jìn)行精確定位和提取。最后將模型所得的檢測識別和分割結(jié)果信息綜合匯總，輸出到相應(yīng)的原始破損圖像中顯示，最終得到了路面破損檢測識別的結(jié)果。

圖8 綜合模型工作流程圖

4 模型識別效果

為了驗證破損檢測識別綜合模型的識別效果，選取沒有經(jīng)過訓(xùn)練的8張無人機(jī)拍攝的路面破損圖像進(jìn)行檢測識別測試，識別效果如下圖9。由圖中識別結(jié)果可知，在將路面破損檢測識別網(wǎng)絡(luò)與分割網(wǎng)絡(luò)綜合后，對于無人機(jī)采集的路面破損圖像可以進(jìn)行準(zhǔn)確的檢測與分類，并且可將分割后更精確的裂縫信息反饋到原路面破損中，這也提高了路面破損檢測和識別的直觀性。

進(jìn)一步為了說明此模型對于無人機(jī)所拍路面圖片的識別效果，重新選取了200張沒有經(jīng)過訓(xùn)練的無人機(jī)所拍路面圖片，每張圖片的裂縫數(shù)量均為3-8條不等，200張圖片總共存在957項破損。將定位正確定義為正確框選裂縫；分類正確定義正確分類裂縫類別且置信度為0.6以上。表1為這兩項評價指標(biāo)各自所得的分?jǐn)?shù)。

圖9 路面破損檢測識別效果圖

表1 模型定位、分類評價指標(biāo)結(jié)果

由上表可得，在957項裂縫破損識別中，共有929項破損定位正確，正確率為97%；共有884項破損分類正確，正確率為92.4%。比較之下定位比分類的正確率更高，說明模型對于分類的準(zhǔn)確率還有提高的空間。

5 結(jié)語

為了提高算法模型對于現(xiàn)實條件中路面破損檢測的實用性，前期通過智能手機(jī)和無人機(jī)拍攝瀝青路面破損圖像，匯總整理成全新的路面破損圖像數(shù)據(jù)集，不僅增加了數(shù)據(jù)訓(xùn)練的多樣性和復(fù)雜性，也使提高了最后模型檢測識別的實用性。

針對路面破損檢測識別算法的單一性，提出了一種路面破損綜合檢測識別模型。使用Yolov5網(wǎng)絡(luò)作為檢測分類網(wǎng)絡(luò)，改進(jìn)的U-net網(wǎng)絡(luò)作為分割網(wǎng)絡(luò)，在檢測識別的基礎(chǔ)上對定位好的裂縫進(jìn)行分割提取。經(jīng)過調(diào)整參數(shù)進(jìn)行多次訓(xùn)練實驗后，檢測識別網(wǎng)絡(luò)的mAP值提高了20%，改進(jìn)后的分割效果也比原模型更好。最后，綜合模型檢測的無人機(jī)破損圖像定位和分類正確率分別為97%和92.4%，還有進(jìn)一步的提升空間。

綜上所述，提出的路面破損檢測識別綜合模型在路面破損識別和分類領(lǐng)域更具優(yōu)越性和實用性，為未來公路路面實現(xiàn)自動健康檢測和維護(hù)提供了一定的參考價值。