郎 洪 溫 添 陸 鍵 丁 朔 陳圣迪

(1 同濟大學道路與交通工程教育部重點實驗室，上海 201804)(2 上海海事大學交通運輸學院，上海 201306)

路面裂縫是評價路面質量最重要的參數(shù)之一，是大部分病害的早期表現(xiàn)形式，直接影響公路使用壽命和行車安全.隨著路面自動化檢測技術的進步和發(fā)展，在大面積公路養(yǎng)護作業(yè)中，借助數(shù)字圖像處理方式對路面裂縫快速識別和分類，將顯著提高人工式或半自動式的病害檢測效率.因此，路面裂縫自動檢測已成為路面工程研究領域和道路養(yǎng)護管理部門的關注焦點[1].

我國道路檢測普遍使用二維圖像攝像測量技術，從采集的路面原始數(shù)據(jù)而言，檢測系統(tǒng)大多能夠獲得路面高清灰度數(shù)據(jù)，但該技術對路面油污、陰影及光照不均等干擾因素較為敏感且難以給出精確的路面裂縫高程信息，一直制約著路面病害智能化管理水平.近年來，基于三維激光的掃描技術因其可測量出路表面的高程變化，較大程度上減少上述干擾因素的影響等優(yōu)點越來越受到國內外學者的關注[2].其中，應用在路面檢測中的三維數(shù)據(jù)獲取方法有三維結構光掃描技術[3]、激光掃描儀技術[4]、雙目視覺立體成像技術[5]、對焦測距[6]、散焦測距[7]、干涉測量法[8]等，但因三維激光掃描技術具有更強的環(huán)境適應性和更高的識別精度，激光掃描技術研究占主導地位[9].現(xiàn)有基于三維路面數(shù)據(jù)的裂縫檢測方法通常是先找到高程較低的像素點，然后通過后處理過程去除噪聲，如Jahanshahi等[10]設計的高程識別方法，Zhang等[11]提出的交互式裂縫檢測方法，Sollazzo等[12]提出的混合裂紋檢測進程，以及Zhang等[13]搭建的三維陰影模型.這些裂縫自動檢測方法大多是基于簡單的像素假設和傳統(tǒng)的圖像處理方法，因此對于復雜路況如路面紋理顆粒的大小、道橋接縫、標線邊緣等干擾的影響，應用局限性較大[14].

深度學習，特別是卷積神經網(wǎng)絡在圖像辨識、視頻跟蹤、語音識別等領域取得了巨大成功.但經典的深度學習模型主要是針對較大尺寸、整體目標的分類模型或者識別模型，如AlexNet[15]、GoogLeNet[16]、Faster R-CNN[17]模型等.由于裂縫形態(tài)各異，且具有線性拓撲結構，如果直接將這些深度學習模型用于路面裂縫面元檢測，極易造成漏檢和誤判.Li等[18]基于路面三維圖像提出了一種卷積神經網(wǎng)絡模型，該模型能將路面面元分類為無裂縫、橫向裂縫、縱向裂縫、網(wǎng)狀裂縫或龜裂.Zhang等[19]提出了一種卷積神經網(wǎng)絡模型用來判斷小尺寸二維路面圖像中是否存在裂縫，并將其與傳統(tǒng)的機器學習方法SVM、Boost進行對比，結果表明卷積神經網(wǎng)絡更適用于裂縫檢測.Cha等[20]提出了一種結合卷積神經網(wǎng)絡模型與滑動窗口的裂縫檢測方法，將路面二維圖像劃分為若干面元分別輸入模型并將結果合并.實驗結果表明，該模型受圖像局部的光點、陰影、模糊等因素影響較小，但在復雜路況下算法的魯棒性有待驗證.

本文考慮路面復雜場景，對采集的不同區(qū)域路面三維圖像建立數(shù)據(jù)集，提出一種基于深度學習的路面裂縫類病害檢測方法，對自動識別到的裂縫面元和裂縫輪廓提取模型的準確度進行試驗，并通過與人工數(shù)據(jù)對比評估了測試方法的有效性.

1 路面數(shù)據(jù)集

使用深度學習中的卷積神經網(wǎng)絡進行路面裂縫檢測，需準備大量帶類別標簽的路面裂縫數(shù)據(jù).為確保數(shù)據(jù)集中的裂縫具有多樣性，本文所使用的路面三維數(shù)據(jù)采集自山西G20高速、上海市境內和浙江省嘉興市境內的多條國道路段，共篩選出1×104張路面三維裂縫圖像，并制作了人工標記數(shù)據(jù).

圖像均在正午強光下獲取，試驗環(huán)境按照公路技術狀況評定標準[21]設立，每張圖像的分辨率為2048×2048像素，橫向覆蓋路面2 m，縱向采樣間隔1 mm，檢測時速在30～100 km/h之間.所建立的路面數(shù)據(jù)集包含了裂縫和路面表面紋理的多種變化，任何2張圖像之間沒有重疊，且來自同一路段的圖像不超過100張.另外，所選用圖像包含裂縫的多種類型，如龜裂、塊狀裂縫、縱向裂縫和橫向裂縫等，還包含一些非裂縫類型如橋接縫和灌縫等.

為確保裂縫面元在像素級上是準確的，對人工標記數(shù)據(jù)進行了3輪檢查：①幾名訓練有素的操作員在提供的全分辨率三維路面圖像上手動標記裂縫面元；②其他幾名訓練有素的操作人員檢查和復核裂縫面元，以減少數(shù)據(jù)標記的主觀性；③專家對裂縫面元進一步檢驗，保證裂縫寬度和長度的標記誤差在3 mm以內，并仔細檢查裂縫的連續(xù)性，如果裂縫中斷部分不超過10 mm, 則將其也標記為裂縫面元，否則視其為背景面元.在連續(xù)一年多數(shù)據(jù)制作的基礎上，完成了裂縫面元和背景面元的制備全過程.圖1展示了幾個具有代表性的三維路面圖像和相對應的人工標記數(shù)據(jù).

從數(shù)據(jù)集中選取5000張路面三維圖像，用于模型訓練和測試.這些瀝青表面圖像代表不同的紋理和不同的混合料類，以高速公路和國省干道為主，包括熱拌瀝青(HMA)和溫拌瀝青(WMA).從5000張圖像中隨機選取200張作為測試數(shù)據(jù)，500張作為驗證數(shù)據(jù)，其余4300張作為訓練數(shù)據(jù).

(a) 路面三維圖像

(b) 人工標記的裂縫面元和背景面元

2 基于CNN深度學習的PCCNet分類模型及構建

2.1 三維數(shù)據(jù)預處理

預處理包括圖像池化和高程校準2個步驟.為了減少計算開銷，本文采用最小池化技術[14]將原始路面三維圖像尺寸2048×2048像素縮小到512×512像素，池化后的三維圖像仍能清晰地看到細微的裂縫，其中單個像素的高程值對應于原始三維圖像的4×4像素子塊.利用本文方法對5000張原始圖像的裂縫進行了檢測，并對其池化處理后的圖像進行識別，裂縫面元識別的準確率大于92%，說明池化過程對檢測精度沒有明顯影響.

在測量過程中，路面復雜程度、傳感器性能、測試系統(tǒng)的機械震動以及人為因素都可能導致某些激光點不能反射回攝像機，從而造成橫斷面數(shù)據(jù)缺失[22].此外，三維路面表面可能不平整，從而導致不同橫斷面的高程整體水平呈現(xiàn)出較大差異.由于在卷積層使用共享權重來計算局部值的加權和，因此當三維表面不均勻時，不同位置的相似裂縫可能產生完全不同的響應，即網(wǎng)絡在不平整的路面上學習局部特征將更加困難[14].因此，需要對三維圖像進行高程校準.預處理過程如下：令采集的一組橫斷面高程向量X={X1,X2,…,Xn}，其在三維圖像上對應的像素向量Y={Y1,Y2,…,Yn}，Yi=0 (i=1,2,…,n)屬于激光異常點，Yi≠0 (i=1,2,…,n)不屬于激光異常點.對于篩選出的異常值采用其左鄰正常值或右鄰正常值的插值進行修正，即

(1)

式中，n為橫斷面高程點個數(shù)；Xi為篩選出的異常值；Xi-1為異常值的左鄰正常值；Xi+1為異常值的右鄰正常值.

對激光點修正后的三維圖像進行高程校準,步驟如下：

①計算三維圖像(M×N)每行高程值均值，得到圖像高程分布特征值，即大小為M×1的向量H，并通過計算行高程值H的均值，得到高程分布的整體水平Havg.

②計算高程分布特征值偏離整體水平的程度，得到高程校正系數(shù)矩陣W，即

(2)

③將圖像中第x行第y列的像素點高程值Eorigin(x,y)校正為Enew(x,y)，即

(3)

式中，W(x)為第x個高程校正系數(shù).

2.2 PCCNet模型的建立

本文提出一種新的卷積神經網(wǎng)絡來進行面元圖像分類.該網(wǎng)絡的前幾層采用VGG(visual geometry group)網(wǎng)絡結構，卷積核數(shù)量依次翻倍，所有卷積層都使用小尺寸的3×3卷積核.與VGG等傳統(tǒng)分類模型不同的是，PCCNet將VGG中的全連接層改為卷積層，每個面元的分類結果與全局特征無關，使得網(wǎng)絡成為一個全卷積結構，在捕獲面元局部特征的同時，極大地減少了模型的參數(shù)量，提高了模型運行效率.現(xiàn)有的裂縫分類模型均利用滑動窗口將圖像分割為若干子塊，再逐一將子塊輸入模型得到分類結果，而PCCNet直接以整張圖像作為輸入，輸出8×8的面元分類結果，分類效率更高，并且能夠充分利用相鄰面元的特征信息.

如圖2所示，本文提出的PCCNet模型網(wǎng)絡是一種7層全卷積網(wǎng)絡，由7層卷積層(C1～C7)和6層池化層(P1～P6)組成，每個卷積層后面都有一個激活函數(shù)(ReLU).傳統(tǒng)的深度學習模型在輸出神經元之前會進行全連接，即將池化后的特征與正交編碼后的目標類別矩陣建立映射關系，但針對裂縫這類目標其具有局部、線性拓撲結構，使用全連接將引入更多可能的特征映射組，增加了目標識別的復雜度，因此本文采用最后一層卷積層來代替全連接操作[14].PCCNet模型的輸入是經過池化和高程校準的三維圖像，尺寸為512×512像素，卷積層C1～C7均使用3×3卷積核.卷積層C1有32個卷積核，卷積層C2、C3、C4的卷積核數(shù)逐層翻倍，卷積層C5、C6保持256個卷積核，卷積層C7的卷積核數(shù)降為2.池化層P1～P6皆為2×2的最大池化層.采用Softmax激活函數(shù)計算路面裂縫面元和背景面元對應的識別概率值，argmax函數(shù)作為求參數(shù)集合的函數(shù)輸出面元分類結果.

2.3 模型加速及優(yōu)化

本研究的計算平臺為一臺移動計算工作站，利用NVIDIA GeForce GTX 1070 GPU對該模型進行加速訓練.模型基于Python語言實現(xiàn)，采用PyTorch的深度學習框架，利用CUDA平臺進行并行計算，并使用基于訓練數(shù)據(jù)迭代更新神經網(wǎng)絡權重的Adam優(yōu)化方法.

所使用的驗證集和測試集均不參與模型訓練，從而可以在訓練完成后更好地觀察模型泛化能力.

PCCNet模型采用多分類方法，在樣本標記階段，將裂縫面元和背景面元分別標為1和0，并利用交叉熵損失函數(shù)，對預測值和真值之間的差異進行測量[14].

(4)

式中，Uloss為損失值；yc,ac分別為第c個面元的真值和預測值；q為一張圖像上的面元總數(shù)，取64.

2.4 訓練結果

準確率和召回率是評價裂縫檢測方法的2個重要指標[23].準確率P是在預測裂縫面元時預測正確的比例，而召回率R為預測正確的裂縫面元占總裂縫面元的比例.既有圖像檢測研究常用F值評價模型優(yōu)劣，F(xiàn)值越大模型越優(yōu).其計算公式為

(5)

(6)

(7)

式中，TP為正確檢測出的有裂縫面元數(shù)目；FP為背景面元被判別為有裂縫面元的數(shù)目；FN為裂縫面元被誤判為背景面元的數(shù)目.

試驗中模型訓練的部分超參數(shù)設置為：訓練集遍歷期數(shù)為30，批量大小為16，學習率設置為0.001.每迭代50次，對完整的驗證集進行一次測試，計算損失函數(shù)、準確率、召回率和F值.訓練結果如圖3所示.由圖可知，模型訓練共進行了7500次迭代，損失函數(shù)隨著迭代次數(shù)的增加呈下降趨勢，F(xiàn)值呈上升趨勢.經過3850次迭代之后，驗證集損失不再明顯下降，且F值達到最大，為92.9%，即圖3(b)中圓形標記所在位置.但隨著迭代次數(shù)的增加，訓練集損失仍在下降，因此當?shù)笥?850次時，模型出現(xiàn)過擬合現(xiàn)象，本文保留迭代3850次時的模型訓練結果.

(a) 損失函數(shù)

(b) 評價指標

為進行對比研究，結合PCCNet模型訓練了3個備選網(wǎng)絡PCCNet-A、PCCNet-B、PCCNet-C，這些網(wǎng)絡的架構與PCCNet模型相同，但在每個卷積層使用不同大小和數(shù)量的卷積核.表1給出了用于3個備選網(wǎng)絡的卷積核參數(shù).備選網(wǎng)絡的訓練方法與PCCNet模型相同，均經過7500次迭代.圖4顯示出模型對裂縫面元識別的F值隨迭代次數(shù)的變化情況.結果表明，迭代次數(shù)大于2500次后，PCCNet-A相比PCCNet在F值曲線上呈現(xiàn)下降趨勢.

此外，與PCCNet和PCCNet-A相比，PCCNet-B和PCCNet-C檢測性能顯著降低，意味著增大卷積核尺寸會導致檢測性能下降，F(xiàn)值曲線呈現(xiàn)一定程度的振蕩，但經過3 500次迭代后也趨于穩(wěn)定.綜上所述，本文PCCNet模型由于使用的卷積核尺寸小、數(shù)量多，能更好地感知裂縫局部區(qū)域特征，在驗證集上具有最高的F值.

圖4 4種模型對裂縫面元識別的F值

表1 備選網(wǎng)絡的卷積核參數(shù)設置

3 基于高程檢查的裂縫輪廓提取方法

PCCNet深度學習模型實現(xiàn)了針對64×64像素較小尺寸的路面裂縫面元圖像及路面背景面元圖像的分類識別，排除了具有高程特征但為非裂縫面元的圖像，如修補邊緣、標線等.為了進一步提取裂縫面元內裂縫的完整輪廓，還需考慮三維圖像中裂縫的像素級鄰域特征.

本文在觀察大量實際工程路面三維圖像基礎上，發(fā)現(xiàn)路面裂縫處的橫斷面高程曲線具有較大的階躍，裂縫表現(xiàn)出較為明顯的輪廓邊緣，并且其高程與相鄰非裂縫區(qū)域的高程差別較大.此外，裂縫種子具有較強的方向性，在特定的拓撲結構上呈現(xiàn)出較為連續(xù)的形態(tài).因此，為了最終檢測出路面裂縫的完整輪廓，本文方法還需要在PCCNet模型基礎上，結合裂縫高程檢查提取裂縫邊緣輪廓，具體過程如下：

①對預處理修正后的像素值進行高程驗證，在中心像素(i,j)兩側r個像素的鄰域內，裂縫種子點應滿足

(8)

E(i,j)≤KsEavg

(9)

式中，Eavg為中心像素兩側r個像素的鄰域內所有高程值的平均值；(x,y)為像素坐標；E(i,j)為鄰域內中心像素的高程值；Ks為動態(tài)閾值參數(shù).

②為了驗證裂縫種子的方向性，在中心像素的0°、45°、90°和135°共4個方向計算兩側r個像素的高程均值，若有顯著跳躍，則種子方向性較強.

(10)

Mmax=max(Qv)

(11)

Mmin=min(Qv)

(12)

Mmax-Mmin≥T

(13)

式中，v=1,2,3,4，分別表示0°、45°、90°和135°四個方向；E(d)為第d個像素的高程值；fv為方向v的2r+1個像素中的最低深度值；Mmax,Mmin分別為最大、最小高程變化值；T為經驗閾值參數(shù)，本文設置為4.

③通過PCCNet模型確定疑似裂縫區(qū)域和疑似裂縫相鄰區(qū)域，利用步驟①和②，分別計算上述2個區(qū)域中的裂縫種子點數(shù)，隨著Ks的增大，裂縫占比L也隨之減小，因此本文利用二分方法[23]自動搜索Ks的最優(yōu)解.

(14)

L≤Lk

(15)

式中，Ninside為疑似裂縫區(qū)域中裂縫點總數(shù)；Naround為疑似裂縫相鄰區(qū)域中裂縫點總數(shù)；Lk為經驗閾值參數(shù)，本文設置為0.9.

4 試驗結果與分析

4.1 裂縫種子檢測性能

為了更好地評估本文方法，將已訓練好的PCCNet模型結合裂縫高程檢查方法應用于測試集的三維圖像.本文選取4個具有代表性的樣本，如圖5(a)所示，1#樣本中三維圖像左側有豎直標線，2#樣本中路面紋理顆粒較大，3#樣本中存在高程變化區(qū)域但為非裂縫類病害，4#樣本中包含橋接縫.圖5(b)為PCCNet模型的識別結果，藍色方框為自動識別的裂縫面元，黃色方框為裂縫面元相鄰區(qū)域，其余區(qū)域為背景面元.圖5(c)為裂縫高程檢查方法檢測結果，藍色為已識別的裂縫輪廓，黃色為疑似的裂縫輪廓，紅色為背景誤差.將背景誤差去除，融合PCCNet模型和裂縫高程檢查識別結果，獲得最終裂縫圖像，如圖5(d)所示.

從試驗過程可發(fā)現(xiàn)，PCCNet模型對裂縫面元定位準確，有效地剔除了可能具有干擾因素的背景面元，單獨依靠裂縫的高程檢查方法對路面標線

(a) 路面三維圖像

(b) PCCNet模型檢測結果

(c) 裂縫高程檢查方法檢測結果

(d) 融合結果

邊緣、路面紋理顆粒、高程變化區(qū)域和橋接縫的干擾因素較為敏感，會將這些非裂縫類病害誤識別為裂縫.因此將PCCNet模型與裂縫高程檢查方法結合，可有效地避免誤判，提高方法的準確性.

4.2 方法驗證

為了評估裂縫識別的準確性，分別應用本文方法、種子識別方法[23]和改進的Canny方法[24]對測試集所有200張路面三維圖像進行裂縫識別，以裂縫單元格為處理單元，通過與人工描點結果進行對比.表2列出了這3種方法的準確率、召回率和F值，圖6展示了3種方法在測試集上的對比結果.從圖6(a)可看出，本文方法準確率最高(均值為87.8%)，種子識別方法和改進Canny方法準確率稍低(均值分別為66.5%和63.4%).圖6(b)表明

表2 3種方法評價指標統(tǒng)計結果

(a) 準確率

(b) 召回率

(c) F值

本文方法召回率最高(均值為90.1%)，種子識別方法召回率稍低(均值為79.4%)，改進Canny方法召回率最低(均值為44.7%).從圖6(c)可看出，本文方法的F值均值為88.9%，而種子識別方法和改進Canny方法的F值均值分別為72.4%和52.4%.可見，本文方法優(yōu)于種子識別方法和改進Canny方法.

圖7給出了改進Canny方法、種子識別方法和本文方法在4個代表性樣本(5#～8#樣本)的測試圖像上的裂縫識別結果.其中，5#樣本包含縱向裂縫，縫隙較寬，三維圖像整體比較平滑；6#樣本裂縫類型為龜裂，圖像左側有局部噪聲；7#樣本裂縫特征表現(xiàn)為縱向和橫向交叉且裂紋較細；8#樣本中包含塊狀裂縫.研究發(fā)現(xiàn)，改進Canny方法識別出的裂縫種子存在大量的漏檢，方法對裂紋寬度較為敏感，如圖7(c)中7#和8#樣本，較細的裂縫種子無法捕獲，這種漏檢解釋了改進Canny方法召回率相對較低的原因.種子識別方法提高了召回率，但對局部噪聲敏感，如圖7(d) 中6#樣本左側區(qū)域出現(xiàn)的誤判.與改進Canny方法和種子識別方法相比，本文方法在抑制噪聲和檢測細小裂紋方面具有更強的魯棒性.

(a) 路面三維圖像

(b) 人工標記結果

(c) 改進Canny方法檢測結果

(d) 種子識別方法檢測結果

(e) 本文方法檢測結果

5 結論

1) 針對目前傳統(tǒng)的圖像處理和經典深度學習模型不能很好地檢測路面裂縫的問題，本文采用卷積神經網(wǎng)絡技術，提出了一種路面裂縫面元分類模型即PCCNet模型，并結合裂縫高程檢查方法用于裂縫的自動識別.

2) 通過訓練集4 300張高精度三維圖像的訓練，模型在3850次迭代之后出現(xiàn)過擬合，PCCNet模型在驗證集上的總體F值最大，為92.9%，表明建立的網(wǎng)絡能較好地區(qū)分裂縫類病害和非裂縫類病害.

3)將本文方法應用在測試集的200張三維圖像上，準確率和召回率分別為87.8%和90.1%.與改進Canny方法和種子識別方法對比，本文方法在抑制噪聲和檢測細小裂紋方面具有更強的魯棒性.在未來的研究中，該方法將用來解決更復雜的問題，如水泥路面破碎板和板角斷裂等病害的識別.