章天杰，王洋洋,，韓海航，羅 雪

(1.浙江省交通運(yùn)輸科學(xué)研究院，浙江 杭州 310012；2.浙江省道橋檢測與養(yǎng)護(hù)技術(shù)研究重點(diǎn)試驗(yàn)室，浙江 杭州 310012；3.浙江大學(xué)，浙江 杭州 310012)

0 引言

隨著公路使用年限的增長，瀝青路面裂縫已經(jīng)成為公路的最主要病害之一，嚴(yán)重影響著路面的使用壽命，同時(shí)增加了瀝青路面養(yǎng)護(hù)的難度[1]。這需要各地市公路局定期檢測裂縫并分析成因，及時(shí)開展養(yǎng)護(hù)工作[2]。但是傳統(tǒng)的瀝青路面裂縫檢測方法效率低下，基于智能算法進(jìn)行路面圖像的裂縫識(shí)別是大勢所趨。

機(jī)器學(xué)習(xí)被廣泛地應(yīng)用于瀝青路面裂縫識(shí)別領(lǐng)域，其核心在于通過對(duì)瀝青路面裂縫特征的學(xué)習(xí)，提煉出特征，從而預(yù)測未知數(shù)據(jù)。支持向量機(jī)，K-Means算法等，已被廣泛應(yīng)用于瀝青路面裂縫圖像的分類識(shí)別中[3-4]。如琚曉輝等[5]提出的SVM-Adaboost裂縫圖像分類算法，其通過支持向量機(jī)分類器對(duì)內(nèi)部參數(shù)進(jìn)行動(dòng)態(tài)優(yōu)化，以此實(shí)現(xiàn)瀝青道路裂縫的分類檢測。Ai等[6]基于多鄰域信息的裂縫像素級(jí)分割，其算法基于精確率和召回率計(jì)算得到的F1值能達(dá)到0.8。Wissam等[7]提出的基于改進(jìn)最小路徑法的裂縫圖像分割算法，其準(zhǔn)確率已經(jīng)能達(dá)到75%左右。張采芳等[8]提出的基于幾何特征分析的裂縫檢測方法，最終的裂縫檢測準(zhǔn)確率能達(dá)到90%。

但是機(jī)器學(xué)習(xí)方法存在需要人工提取圖像特征的缺點(diǎn)，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)方法，因其能夠?qū)D像進(jìn)行像素級(jí)學(xué)習(xí)，開始逐步被應(yīng)用于道路裂縫識(shí)別中[9-10]。大量的工作集中于裂縫的識(shí)別分類領(lǐng)域，如孫朝云等[11]通過VGG16和Faster R-CNN結(jié)合的模型對(duì)路面灌封進(jìn)行目標(biāo)檢測，模型精度達(dá)到了90%。Seongdeok等[12]將基于遷移學(xué)習(xí)的ResNet-152用于通過相機(jī)采集的圖像進(jìn)行裂縫識(shí)別，最終模型的精確率和召回率分別為77.68%和71.98%。Dung等[13]設(shè)計(jì)了一種基于全卷積神經(jīng)網(wǎng)絡(luò)FCN的裂縫識(shí)別算法，檢測結(jié)果的平均精確率達(dá)到90%。

相比于瀝青路面裂縫識(shí)別分類，如何提取出裂縫的長度、面積等參數(shù)成為道路裂縫識(shí)別領(lǐng)域的一個(gè)重點(diǎn)和難點(diǎn)。其結(jié)果能有效地用于公路性能評(píng)價(jià)，最終為公路養(yǎng)護(hù)提供有效參考。雖然在裂縫識(shí)別分類方面已有大量研究，但在裂縫分割及參數(shù)自動(dòng)提取方面的工作并不多。Liu等[14]通過將YOLO v3和U-Net結(jié)合的方式對(duì)路面裂縫進(jìn)行分割，達(dá)到了較高的準(zhǔn)確率，但是其并沒有使用U-Net對(duì)YOLO v3檢測出的區(qū)域進(jìn)行分割，實(shí)際上并沒有評(píng)價(jià)整個(gè)模型的性能，也沒有基于裂縫分割結(jié)果提取相關(guān)參數(shù)。

鑒于此，本研究提出了一種兩步式瀝青路面裂縫幾何信息提取法。首先，采用了卷積注意力模塊進(jìn)行改進(jìn)的殘差神經(jīng)網(wǎng)絡(luò)(Residual Neural Network，Resnet)對(duì)大量原始瀝青路面圖像進(jìn)行數(shù)據(jù)清洗，隨后再次使用卷積注意力模塊對(duì)圖像語義分割網(wǎng)絡(luò)U-Net進(jìn)行改進(jìn)，對(duì)第1步中篩選出的圖像進(jìn)行裂縫語義分割和裂縫幾何信息提取，最后評(píng)價(jià)了該兩步式方法的結(jié)果。

1 方法與原理

本研究提出的兩步式瀝青路面裂縫幾何信息提取法的主要目的是從瀝青路面圖像中抽取出包含裂縫的像素，以此實(shí)現(xiàn)裂縫的分割和裂縫長度、面積等信息的提取，具體流程如圖1所示。首先人工篩選出1 800張用于路面圖像分類算法訓(xùn)練的數(shù)據(jù)，然后訓(xùn)練基于卷積注意力模塊改進(jìn)的ResNet50模型，并以此算法對(duì)原始圖像集開展清洗工作，通過清洗、標(biāo)注、圖像數(shù)據(jù)增廣等方式準(zhǔn)備好用于第2步模型的訓(xùn)練集和測試集后，使用基于卷積注意力模塊改進(jìn)U-Net的圖像語義分割模型進(jìn)行訓(xùn)練，最后實(shí)現(xiàn)裂縫的語義分割和裂縫長度、面積信息的提取。該方法第1步的清洗結(jié)果主要為第2步裂縫幾何信息的提取服務(wù)，可有效降低整個(gè)裂縫信息提取流程的工作量。

圖1 兩步式瀝青路面裂縫信息提取法流程圖

數(shù)據(jù)處理、模型訓(xùn)練和評(píng)估通過深度學(xué)習(xí)開源框架Tensorflow實(shí)現(xiàn)，模型所采用的計(jì)算機(jī)環(huán)境主要為Linux和windows系統(tǒng)，卷積神經(jīng)網(wǎng)絡(luò)的所用軟件為python 3.6。

1.1 數(shù)據(jù)采集

本研究所采用的路面圖像數(shù)據(jù)主要來源于浙江省部分瀝青路面的巡檢結(jié)果，其中包括8條國道，13條省道，30條縣道，48條鄉(xiāng)道和215條村道。全部由浙江省交通運(yùn)輸科學(xué)研究院的道路綜合檢測車Pathrunner采集獲得。

原始圖像直接從綜合檢測車配套的軟件中導(dǎo)出，尺寸為272×272像素，可直接用于本模型的輸入。

1.2 卷積注意力模塊介紹

卷積注意力模塊模塊由Woo等[15]在2018年的ECCV會(huì)議中最先提出。CBAM模塊作為一個(gè)輕量級(jí)模塊，可以方便地融入到其他神經(jīng)網(wǎng)絡(luò)模型中，以提升模型性能，其在遙感圖像、建筑物破損等背景信息多，目標(biāo)信息占比少的案例中都得到了較好的應(yīng)用[16-17]。

本研究算法中的CBAM 模塊作用的原理如下：首先，進(jìn)行通道注意力提取。將瀝青路面裂縫輸入的特征圖通過兩種不同的池化操作得到2個(gè)一維矢量，實(shí)現(xiàn)在空間維度上的壓縮；并將2個(gè)一維矢量轉(zhuǎn)發(fā)至1個(gè)多層感知網(wǎng)絡(luò)，進(jìn)行通道重要性分析并得到各通道層的權(quán)重矢量；隨后利用權(quán)重矢量對(duì)瀝青路面裂縫輸入的特征圖再進(jìn)行1次加權(quán)，完成在通道域上對(duì)瀝青路面裂縫特征的加強(qiáng)。其次，需要進(jìn)行空間注意力的提取。將瀝青路面裂縫特征沿著通道軸進(jìn)行兩種池化操作得到2個(gè)疊加的二維平面向量，以此實(shí)現(xiàn)在通道維度上的壓縮。最后，將這兩個(gè)提取的信息通過卷積網(wǎng)絡(luò)進(jìn)行分析得到相應(yīng)權(quán)重，利用此權(quán)重向量對(duì)裂縫特征進(jìn)行再一次加權(quán)，以此提高對(duì)瀝青路面裂縫特征的關(guān)注程度。

1.3 性能評(píng)價(jià)指標(biāo)

對(duì)于瀝青道路路面裂縫圖像進(jìn)行分類識(shí)別，其算法的效果一般采用F1值(F1-score)進(jìn)行評(píng)價(jià)。F1值是對(duì)算法精確率(Precision)和召回率(Recall)的優(yōu)化調(diào)和，能夠保證算法在精確率和召回率上都有一定的準(zhǔn)度。其中精確率、召回率和F1值的公式如下所示：

(1)

(2)

(3)

式中，TP為將瀝青路面裂縫正確預(yù)測為裂縫的數(shù)量；TN為將正常路面正確預(yù)測為正常的數(shù)量；FP為將正常瀝青路面錯(cuò)誤預(yù)測為裂縫的數(shù)量；FN為將瀝青路面裂縫錯(cuò)誤預(yù)測為正常路面的數(shù)量。

對(duì)于裂縫圖像語義分割模型的評(píng)價(jià)，本研究采用交并比(Intersection over Union，IoU)、均交并比(Mean Intersection over Union，MIoU)等方式評(píng)價(jià)。IoU的計(jì)算示意圖如圖2所示。

圖2 IoU計(jì)算示意圖

由圖2可知，IoU是2個(gè)區(qū)域重疊的部分除以2個(gè)區(qū)域的集合部分得出的結(jié)果，其是圖像語義分割算法中能判斷算法模型好壞的重要指標(biāo)之一。MIoU可通過計(jì)算所有分類的IoU平均值得到。

2 路面圖像分類算法

2.1 圖像集準(zhǔn)備

本次試驗(yàn)共計(jì)采集的路面圖像樣本為41萬張。分析Pathrunner道路綜合檢測車檢測得到的部分瀝青路面圖像，發(fā)現(xiàn)瀝青路面樣本可分為無病害樣本、失真樣本和可能存在病害樣本3種類別，如圖3所示。

圖3 綜合檢測車采集的瀝青路面圖像

從圖3可以發(fā)現(xiàn)，其中無病害樣本(除地標(biāo)線外無任何干擾物)占70%以上，失真樣本占約10%，而可能存在病害的樣本(包含真實(shí)裂縫，也包含伸縮縫、污漬、光照不均導(dǎo)致的干擾圖像等)僅占全部的20%左右。為了提高瀝青路面裂縫病害的標(biāo)注速度，同時(shí)也為了減小瀝青路面樣本的不均衡性，例如正常路面圖片過多，需對(duì)瀝青道路路面圖像數(shù)據(jù)進(jìn)行清洗工作，篩選掉正常瀝青路面樣本即無病害樣本，同時(shí)對(duì)由于檢測車自身原因?qū)е碌氖д鏄颖具M(jìn)行刪除。

瀝青路面裂縫圖像數(shù)據(jù)的清洗工作采用了人工清洗與模型清洗相結(jié)合的方式進(jìn)行。先由人工挑選出無病害樣本、失真樣本、可能存在病害樣本各600張(共1 800張)，其中每類525張作為訓(xùn)練樣本，75張作為測試樣本，以此作為清洗模型的輸入。

2.2 模型訓(xùn)練

本次清洗模型采用何凱明[18]提出的殘差神經(jīng)網(wǎng)絡(luò)ResNet50，其采用殘差學(xué)習(xí)來解決深度神經(jīng)網(wǎng)絡(luò)退化的問題，具有層數(shù)更深、參數(shù)量更少、收斂更快和精度更高的優(yōu)點(diǎn)。本研究所采用的ResNet50卷積神經(jīng)網(wǎng)絡(luò)中包含4個(gè)大的block，本研究采用的模型共有3+4+6+3=16個(gè)bottleneck，最后采用全連接操作完成瀝青路面圖像清洗任務(wù)，共計(jì)50個(gè)卷積層，模型總體結(jié)構(gòu)如圖4所示。

圖4 Resnet50結(jié)構(gòu)

本模型輸入尺寸設(shè)置為272×272×3；輸出分類數(shù)為3，分別對(duì)應(yīng)無病害樣本、失真樣本、可能存在病害樣本3種情況；模型中的激活函數(shù)采用LeakRelu函數(shù)代替原模型中的Relu函數(shù)，確保激活函數(shù)非線性同時(shí)避免梯度彌散；網(wǎng)絡(luò)損失函數(shù)采用softmax交叉熵；優(yōu)化器采用Adam優(yōu)化器并使用默認(rèn)參數(shù)；在第1個(gè)卷積層與池化層間增加1個(gè)CBAM模塊，增加該模塊能使整個(gè)網(wǎng)絡(luò)更注重目標(biāo)物體的識(shí)別。本研究采用的清洗模型總共對(duì)所有的瀝青路面圖像進(jìn)行訓(xùn)練共500次，模型的初始學(xué)習(xí)率預(yù)先設(shè)置為0.005，隨后每20次訓(xùn)練進(jìn)行1次學(xué)習(xí)率的衰減，衰減比率為0.9。

2.3 模型評(píng)價(jià)

對(duì)本研究清洗模型的結(jié)果進(jìn)行評(píng)價(jià)，模型的精確率，召回率和F1值的結(jié)果可見圖5。

圖5 路面圖像清洗算法的評(píng)價(jià)結(jié)果

圖5分別從無病害樣本、失真樣本、可能存在病害樣本和總體4方面的精確率、召回率、F1值對(duì)路面圖像清洗模型進(jìn)行了評(píng)價(jià)。從圖中可以看出，總體瀝青路面病害圖像的精確率、召回率和F1值都已經(jīng)超過95%，其中F1值已經(jīng)達(dá)到了96.8%，高于其他路面裂縫識(shí)別算法，如琚曉輝等[5]提出的SVM-Adaboost(91.86%)和張采芳等[8]提出的基于幾何特征分析的裂縫檢測方法(90%)等，說明本模型已具備良好的瀝青路面裂縫圖像清洗功能。

3 裂縫語義分割模型

3.1 圖像集準(zhǔn)備

通過數(shù)據(jù)清洗后可以從采集的41萬張圖像中篩選出約5 000張路面可能存在的病害樣本。為進(jìn)行準(zhǔn)確的裂縫信息提取，需要將這5 000張路面圖像中的非裂縫圖像進(jìn)行剔除，因此對(duì)該路面圖像數(shù)據(jù)再次進(jìn)行人工篩選，剔除伸縮縫、窨井蓋、污漬等非裂縫病害，精選出1 650 張瀝青路面圖像進(jìn)行人工分割標(biāo)注，標(biāo)注的類別為瀝青路面4大類型裂縫，即橫向裂縫、縱向裂縫、龜裂、塊狀裂縫，以及正常非裂縫路面。進(jìn)行一張路面的分割標(biāo)注耗時(shí)約15 min，完成數(shù)據(jù)集內(nèi)1 650張圖像共耗時(shí)約400 h。標(biāo)注完成后，將標(biāo)注的力氣路面圖像數(shù)據(jù)集按照10∶1的比例分成訓(xùn)練集和測試集。訓(xùn)練樣本和測試樣本中各類別的數(shù)量分布如圖6所示。

圖6 裂縫語義分割模型數(shù)據(jù)集分布

針對(duì)圖像樣本存在著一圖多病害、樣本數(shù)量不均衡等問題，同時(shí)為了減少人為及客觀原因?qū)α芽p檢測效果的影響，保障圖像更利于模型訓(xùn)練，需要對(duì)裂縫圖像樣本進(jìn)行數(shù)據(jù)增廣。本研究采用的圖像樣本增廣方式主要為傳統(tǒng)圖像增廣方式，包括圖像翻轉(zhuǎn)、圖像對(duì)比度修改、圖像亮度修改、圖像以一定角度旋轉(zhuǎn)、圖像裁剪與縮放等等，傳統(tǒng)圖像數(shù)據(jù)增廣方法在瀝青路面圖像中的應(yīng)用效果圖如圖7所示。

圖7 數(shù)據(jù)增廣方式

對(duì)瀝青路面裂縫圖像進(jìn)行數(shù)據(jù)增廣，一方面通過增加圖片數(shù)據(jù)量，增加了路面裂縫圖片數(shù)據(jù)集的豐富性；另一方面，由于通過數(shù)據(jù)擴(kuò)充方式處理的圖片和原圖是不同的輸入，因此可以減少模型過擬合現(xiàn)象的產(chǎn)生，增加模型泛化能力。

3.2 模型訓(xùn)練

圖像語義分割算法能夠在像素級(jí)別上進(jìn)行分類，即對(duì)屬于同一類(如橫向裂縫)的像素會(huì)被歸為一類，以此來對(duì)瀝青路面中的各種裂縫進(jìn)行分割提取。因此，本研究能夠得到各類別裂縫病害數(shù)量、裂縫長度、面積、病害處于圖中具體位置等計(jì)量信息，有助于為后續(xù)公路維養(yǎng)方案提供數(shù)據(jù)參考。

本研究采用U-Net實(shí)現(xiàn)路面圖像分割。U-Net屬于 Encoder-Decoder 結(jié)構(gòu)，Encoder負(fù)責(zé)特征提取，Decoder負(fù)責(zé)解析特征并恢復(fù)瀝青路面裂縫分割圖到原始分辨率，其網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。Encoder部分包含有4個(gè)子模塊，其中每個(gè)子模塊包含2個(gè)卷積和1個(gè)下采樣模塊。本模型輸入圖像的分辨率是272×272的灰度圖，在模型中，第1～4個(gè)模塊的分辨率分別是272×272，136×136，68×68，34×34，4個(gè)模塊通道數(shù)分別為64，128，256，512。相應(yīng)的Decoder的4個(gè)模塊分辨率分別為34×34，68×68，136×136，272×272，同時(shí)通道數(shù)分別為512，256，128，64。同時(shí)U-net對(duì)不同層進(jìn)行了連接以提升模型的精確度。此外，本研究在U-Net模型的第1個(gè)池化層前增加了1個(gè)卷積注意力模塊，以使整個(gè)模型更加注重于裂縫的識(shí)別。模型的損失函數(shù)采用Dice_loss函數(shù)，用于解決裂縫在整個(gè)瀝青路面圖像中占比太小的問題。

圖8 U-Net結(jié)構(gòu)

(4)

式中，X為目標(biāo)像素，Y為預(yù)測像素。

本研究的改進(jìn)U-net模型設(shè)置的最大訓(xùn)練次數(shù)為500 輪，初始學(xué)習(xí)率的設(shè)置以及每輪訓(xùn)練后學(xué)習(xí)率的衰減比率與前述分類模型相同。當(dāng)模型訓(xùn)練到?jīng)]有辦法通過降低模型學(xué)習(xí)率來減少模型訓(xùn)練的損失值時(shí)，停止本模型的訓(xùn)練或者直到模型達(dá)到最大訓(xùn)練次數(shù)。

3.3 模型評(píng)價(jià)

將訓(xùn)練好的模型對(duì)測試集中的路面圖像進(jìn)行分割，部分裂縫語義分割結(jié)果如圖9所示。

圖9 裂縫語義分割部分測試結(jié)果

圖9展示了裂縫語義分割模型的部分測試結(jié)果。從圖中可以看出，模型的預(yù)測結(jié)果基本能同人工識(shí)別結(jié)果相對(duì)應(yīng)。具體的重合程度需要通過IoU和MIoU 2個(gè)指標(biāo)進(jìn)行控制。因此對(duì)本模型的IoU和MIoU進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果列于見表1。

表1 裂縫語義分割結(jié)果

表1展示了橫向裂縫、縱向裂縫、龜裂和塊狀裂縫的模型測試結(jié)果。從表中可以看出，龜裂的最終IoU達(dá)到了0.608 5，高于其他類型的IoU指標(biāo)。塊狀裂縫的IoU僅為0.336 6，低于其他類型裂縫的IoU指標(biāo)，這主要是因?yàn)閴K狀裂縫在總體樣本中占 13%左右，所占比例較小，訓(xùn)練數(shù)據(jù)不足導(dǎo)致偏差較大。整個(gè)模型的平均交并比MIoU達(dá)到了0.5左右。同樣針對(duì)裂縫圖像進(jìn)行分割任務(wù)的SPPNet[19]、Deeplabv3[20]等模型的試驗(yàn)結(jié)果如表2所示。

表2 裂縫語義分割模型對(duì)比

表2展示了SPPNet，Deeplabv3，F(xiàn)CN-8s，DilatedNet，PSPNet以及本研究模型的MIoU值，本研究模型相較于其他模型高了近0.5～2個(gè)點(diǎn)，整體表現(xiàn)更好。

在裂縫信息提取方面，針對(duì)裂縫長度、面積信息提取結(jié)果的準(zhǔn)確性，本研究進(jìn)行了統(tǒng)計(jì)分析，統(tǒng)計(jì)結(jié)果見表3。

表3 裂縫信息提取結(jié)果

②裂縫面積：通過像素面積換算得到。

表3展示了對(duì)路面圖像進(jìn)行語義分割后的裂縫長度及面積信息提取結(jié)果。從表中可以看出，在裂縫長度信息提取上，橫向裂縫的誤差為12.18%，縱向裂縫的誤差僅為3.88%。裂縫面積通過裂縫在路面圖像中所占像素，并根據(jù)圖像尺寸與實(shí)際尺寸比例尺換算得到，在裂縫面積的信息提取中，除了橫向裂縫誤差較小(僅為0.58%)外，其他裂縫的面積統(tǒng)計(jì)誤差均在11%～13%之間。

4 結(jié)論

瀝青路面裂縫自動(dòng)識(shí)別與信息提取是實(shí)現(xiàn)路面養(yǎng)護(hù)的重要技術(shù)支撐與數(shù)據(jù)保障。本研究提出了一種基于深度學(xué)習(xí)的兩步式瀝青路面裂縫信息提取法用于實(shí)現(xiàn)瀝青路面裂縫智能檢測與信息自動(dòng)提取。主要得到以下結(jié)論：

(1)融合了基于CBAM改進(jìn)的ResNet50和U-Net算法，構(gòu)建了用于瀝青路面裂縫幾何信息提取的兩步式方法。

(2)本研究提出的基于改進(jìn)ResNet50的圖像分類算法對(duì)于總體樣本清洗結(jié)果的精確率、召回率和F1值均已超過95%，其中F1值已經(jīng)達(dá)到了96.8%。

(3)本研究提出的兩步式模型最終的MIoU達(dá)到了0.496 7，其中橫向裂縫、縱向裂縫、龜裂的IoU分別為0.495 1，0.546 7，0.608 5，塊狀裂縫由于樣本數(shù)量少的原因，其IoU值較低，僅為0.336 6。

(4)在裂縫長度和面積提取中，縱向裂縫的長度預(yù)測誤差為3.88%，橫向裂縫的長度預(yù)測誤差為12.18%；橫向裂縫的面積預(yù)測誤差僅為0.58%，其他裂縫的面積統(tǒng)計(jì)誤差均在11%～13%之間。