彭 博, 黃大榮,郭 黎, 蔡曉禹, 李少博

(1. 重慶交通大學(xué) 交通運輸學(xué)院, 重慶 400074; 2. 湖北民族學(xué)院 信息工程學(xué)院, 湖北 恩施 445000)

0 引 言

裂縫是路面的主要破損形式之一，它嚴(yán)重影響路面質(zhì)量、服務(wù)性能與使用壽命，需要對其進(jìn)行及時有效的檢測分析，以評估路面性能、輔助養(yǎng)護(hù)管理決策、改善路面結(jié)構(gòu)和材料設(shè)計。自1988年中國建成第一條高速公路以來，我國高等級公路經(jīng)歷了近30年的快速建設(shè)期，至今相關(guān)規(guī)劃建設(shè)工作依舊如火如荼地展開。在新建、改擴(kuò)建公路特別是高等級公路的同時，路面養(yǎng)護(hù)管理的緊迫性和重要性也日漸凸顯出來。因此，路面裂縫自動檢測與分析已然成為路面工程研究領(lǐng)域和道路養(yǎng)護(hù)管理部門的關(guān)注焦點。

為此，國內(nèi)外學(xué)者對路面破損檢測技術(shù)進(jìn)行了長期研究，如效率低、勞動強(qiáng)度高的人眼觀測法、錄像測度法，能檢測路面厚度、裂縫、空洞的探地雷達(dá)法[1]，能全面地采集路面裂縫、松散、坑槽等信息且具有直觀觀察優(yōu)勢的攝像測量法[2]。其中，攝像測量法得到了長足的發(fā)展，自20世紀(jì)70年代以來，出現(xiàn)許多基于攝像測量技術(shù)的路面破損檢測系統(tǒng)，如日本的Komatsu系統(tǒng)[3]、瑞典的PAVUE系統(tǒng)[4]、美國的PCES系統(tǒng)[4]和DHDV系統(tǒng)[5]、中國的CiCs系統(tǒng)等。從采集的路面原始數(shù)據(jù)而言，大多檢測系統(tǒng)可獲取路面高清灰度圖像(如PCES系統(tǒng)、CiCs系統(tǒng))，隨著激光攝像技術(shù)的發(fā)展，近年來少部分系統(tǒng)可獲得路面高精三維深度圖像(如第三代DHDV系統(tǒng)可獲取1 mm精度的路面三維圖像)。

對于路面裂縫識別，在路面高精三維圖像出現(xiàn)以前，研究人員基于路面灰度圖像提出了許多識別算法，如閾值分割算法[6-7]、邊緣識別算法[8-9]、種子識別算法[10-11]、頻域變換算法[7,12]、紋理分析方法[13]、機(jī)器學(xué)習(xí)算法[14]等。由于灰度圖像容易受到車道標(biāo)線、陰影及油污等影響，會降低路面圖像質(zhì)量、增加裂縫檢測難度，而路面三維深度圖像真實體現(xiàn)了路面深度信息與形態(tài)輪廓，可有效規(guī)避灰度圖像的缺陷。于是，隨著路面高精三維圖像的出現(xiàn)，部分人員開始研究基于三維圖像的裂縫自動識別算法，提出了種子生長法[15-16]、各向異性測度算法[17]、匹配濾波法[18]、光影模型法[19]等，一些既有的灰度圖像處理理論與方法也被融合到了三維圖像裂縫識別過程中。

然而，盡管算法眾多，由于路面狀況的復(fù)雜多樣性，各個算法通常具有較苛刻的適用條件，無法普遍適用于各類復(fù)雜路面的裂縫識別，準(zhǔn)確快速識別完整的路面裂縫圖像仍然是一項挑戰(zhàn)。

為了進(jìn)一步推動路面裂縫的高精快速自動識別，區(qū)別于既有算法利用像素級或子塊級(q像素×q像素區(qū)域視為一個子塊)圖像信息提取裂縫，筆者基于像素-亞像素級圖像信息融合和圖像骨架-區(qū)域形態(tài)分析，提出了路面高精三維圖像的裂縫自動識別算法。然后，編程實現(xiàn)該算法。最后，基于同一路面圖像集，對本文算法和另外5種既有算法進(jìn)行了性能測試分析，探討了算法適用性。

1 算法簡介

本文算法以融合邊緣檢測和區(qū)域生長圖像為基礎(chǔ)，基于候選目標(biāo)圖像的骨架形態(tài)特征和連通域形態(tài)特征進(jìn)行裂縫自動識別。數(shù)據(jù)來源于DHDV系統(tǒng)和國內(nèi)某公司采集的1 mm/像素路面三維圖像(992像素×992像素，像素值代表深度)，如圖1。算法開發(fā)和測試環(huán)境為Microsoft Visual Studio 2010+OpenCV2.4.9+Halcon11.0。

圖1 1 mm/像素路面三維圖像Fig. 1 3D pavement image of 1mm/pixel

算法基本流程如圖2。

圖2 方法總流程Fig. 2 Overall procedures of the proposed method

算法主要步驟如下：

1)圖像分割。分別應(yīng)用邊緣檢測和區(qū)域生長分割方法提取候選目標(biāo)圖像，并進(jìn)行融合處理，獲得分割圖像。

2)圖像骨架分析與處理。提取分割圖像的亞像素級骨架圖像和像素級骨架圖像，然后分別展開圖像骨架重構(gòu)分析。該步驟生成重構(gòu)的骨架圖像，可增強(qiáng)候選目標(biāo)圖像的連續(xù)性和完整性。

3)基于形態(tài)分析的裂縫自動識別。利用形態(tài)學(xué)操作和連通域輪廓長度、面積、圓度、外接圓半徑、等效橢圓軸長等形態(tài)特征，融合骨架圖像、識別路面裂縫。

2 圖像分割

2.1 Canny邊緣檢測

對于圖像目標(biāo)識別而言，邊緣檢測可大幅度地減少數(shù)據(jù)量，剔除大量不相關(guān)或弱相關(guān)信息，因此，許多研究均以邊緣特征進(jìn)行目標(biāo)識別。

1986年，J. CANNY[8]提出了一種至今仍廣泛應(yīng)用的經(jīng)典邊緣檢測算法，該算法主要思想和步驟為：①應(yīng)用高斯濾波消除圖像噪聲；②通過Sobel算子卷積獲得圖像梯度強(qiáng)度與方向；③應(yīng)用非極大抑制技術(shù)(Non-maximum suppression)保留每個像素點上梯度強(qiáng)度的極大值，而刪掉其他的值；④通過雙閾值技術(shù)界定弱邊界和強(qiáng)邊界，并進(jìn)行邊緣連接處理、形成邊緣圖像。

對圖1進(jìn)行Canny邊緣檢測，獲得邊緣強(qiáng)度圖像；然后利用簡單閾值分割法或OTSU分割法[6]，得到二值邊緣圖像E1，如圖3。

圖3 邊緣檢測圖E1Fig. 3 Edge detection image, E1

2.2 區(qū)域生長分割

圖像分割是數(shù)字圖像處理中的關(guān)鍵技術(shù)之一，它是根據(jù)圖像的灰度、空間紋理、幾何形狀等特征把圖像劃分成若干個不互相交的區(qū)域，使得這些特征在同一區(qū)域內(nèi)，表現(xiàn)出一致性或相似性，而在不同區(qū)域之間表現(xiàn)出明顯的不同。

區(qū)域生長[20]是一種常用的圖像分割方法，其基本思想是將具有相似性質(zhì)(如灰度值)的像素集合起來構(gòu)成區(qū)域，區(qū)域生長的首要任務(wù)是選擇有意義的特征和確定相似性準(zhǔn)則。一般可以像素灰度值為特征，以灰度值之差衡量相似性。

以任意兩個相鄰n像素×n像素矩形為例，令兩個矩形的特征值(可以是中心像素灰度值，亦或n×n個像素灰度均值)分別為g1和g2，若滿足以下條件，則兩個矩形合并為一個區(qū)域：

|g1-g2|

(1)

式中:T為閾值參數(shù)。

對圖1進(jìn)行區(qū)域生長分割，得到區(qū)域生長圖E2，見圖4。

圖4 區(qū)域生長圖E2Fig. 4 Region growing image, E2

2.3 圖像融合

Canny邊緣檢測與區(qū)域生長基于不同的思想獲得了候選目標(biāo)圖像，為了充分利用它們提取的目標(biāo)信息、增強(qiáng)目標(biāo)圖像的完整性，將E1、E2進(jìn)行融合處理(即取并集)，得到融合分割圖像G，如圖5。

(2)

圖5 融合分割圖GFig. 5 Fused segmentation image, G

3 圖像骨架分析與處理

圖像骨架指圖像目標(biāo)的中軸，可以有效反映出原物體形狀的連通性和拓?fù)浣Y(jié)構(gòu)。本文算法基于圖像分割結(jié)果，提取和重構(gòu)圖像骨架(包括像素級和亞像素級骨架圖像)，為裂縫識別奠定基礎(chǔ)。

3.1 像素級圖像骨架分析

基于融合分割圖像G，利用圖像細(xì)化算法[21]獲取像素級骨架圖像G1。然后分兩步進(jìn)行膨脹處理，其目的是增強(qiáng)圖像的連續(xù)性和完整性：①對G1進(jìn)行膨脹處理，并再次提取像素級骨架圖像G2；②對G2中所有長度大于L1(筆者取L1=40像素)的骨架曲線進(jìn)行膨脹處理，得到圖像G3，如圖6。

圖6 像素級圖像骨架處理結(jié)果G3Fig. 6 Processing result of pixel level image skeleton, G3

3.2 亞像素級圖像骨架分析

3.2.1 亞像素級圖像骨架生成

亞像素(Subpixel)[22]的概念如圖7，每個物理像素可以分為m×m個亞像素，用數(shù)學(xué)插值算法可計算每個亞像素值，通過亞像素圖像處理可更大限度利用圖像信息。

圖7 亞像素Fig. 7 Subpixel

基于寬度為1像素的像素級骨架圖像G1，每個像素的中心亞像素相連即可構(gòu)成亞像素骨架G4。以G1的局部圖像為例，亞像素骨架生成如圖8。

圖8 亞像素骨架生成Fig. 8 Generation of subpixel skeleton

3.2.2 亞像素級圖像骨架重構(gòu)

對于亞像素級骨架圖像G4的骨架曲線，分兩步進(jìn)行連接處理。①對于任意相鄰骨架曲線，若其端點距離小于閾值d1(筆者取d1=2像素)，則連接這兩個端點；②對于所有長度大于L2(筆者取L2=20像素)的骨架曲線，若其端點距離小于閾值d2(筆者取d2=10像素)，則連接這兩個端點。

以圖8亞像素骨架圖像為例，連接結(jié)果見圖9。由圖9可以看出，骨架連接處理能有效增強(qiáng)目標(biāo)圖像結(jié)構(gòu)的封閉性、連續(xù)性和完整性，有助于裂縫識別。由于骨架連接結(jié)果仍為亞像素級圖像，為便于開展后續(xù)識別工作并降低運算成本，還需將其還原為像素級圖像，如圖9。

圖9 骨架重構(gòu)過程Fig. 9 Skeleton reconstruction process

通過步驟①、②處理后進(jìn)一步生成像素級骨架圖像G5，如圖10。

圖10 骨架重構(gòu)圖像G5Fig. 10 Reconstructed skeleton image, G5

4 基于形態(tài)分析的裂縫自動識別

主要利用形態(tài)學(xué)運算(膨脹和閉運算)，同時結(jié)合連通域的輪廓長度、面積、圓度、最小外接圓半徑、等效橢圓長短軸、扁平率等多種形態(tài)特征，對骨架圖像進(jìn)行融合處理，提取裂縫目標(biāo)。

4.1 形態(tài)學(xué)算子簡介——膨脹和閉運算

膨脹是利用t×t的結(jié)構(gòu)元素，將與前景物體接觸的所有背景點合并到該物體中，使邊界向外部擴(kuò)張，可以用來填補(bǔ)物體中的部分空隙。腐蝕則與膨脹相反，是利用t×t的結(jié)構(gòu)元素使邊界向內(nèi)部收縮，可以用來消除小且無意義的物體。先膨脹后腐蝕的過程稱為閉運算，可用來填補(bǔ)物體內(nèi)細(xì)小空洞、連接鄰近物體、平滑其邊界。如圖11，左圖為右圖的腐蝕效果，反之，右圖為左圖的膨脹效果。閉運算效果如圖12。

圖11 腐蝕和膨脹Fig. 11 Erosion and dilation

圖12 閉運算Fig. 12 Closed operation

4.2 連通域形態(tài)特征

在圖像中，最小的單位是像素，每個像素周圍有8個鄰接像素，常見的鄰接關(guān)系有2種：四鄰接與八鄰接。四鄰接一共4個點，即上下左右；八鄰接的點一共有8個，包括了對角線位置的點，如圖13。

圖13 四鄰接與八鄰接Fig. 13 4-neighbourhood and 8-neighbourhood

根據(jù)四鄰接或八鄰接關(guān)系，彼此連通的像素點形成的區(qū)域稱為連通域。在圖像處理中，常常對連通域展開計算分析，以達(dá)到圖像分割、噪聲去除和目標(biāo)識別等目的。筆者基于八鄰接關(guān)系建立連通域，并展開長度、面積、圓度和等效橢圓長短軸等形態(tài)特征計算分析。

1)輪廓長度L：連通域輪廓邊緣所含像素總數(shù)。

2)面積S：連通域面域所含像素總數(shù)。

3)圓度R[23]：接近理論圓的程度，連通域棱角越多越尖銳則圓度越差，反之棱角圓滑，圓度就高。

4)最小外接圓半徑r。

5)等效橢圓[24]長短軸：每個連通域可求得一個對應(yīng)的橢圓，其方程與連通域的轉(zhuǎn)動慣量形式一致。假定這個橢圓區(qū)域是均質(zhì)的且橢圓與連通域的轉(zhuǎn)動慣量相同，那么橢圓的參數(shù)就能反映區(qū)域的特性，這個橢圓稱為等效橢圓。據(jù)此可求得等效橢圓長軸ra和短軸rb。見圖14。

圖14 連通域等效橢圓Fig. 14 Equivalent ellipse of connected component

6)扁平率w：裂縫一般呈現(xiàn)為狹長的帶狀，定義扁平率計算公式如式(3)?？梢?，w越大，連通域越狹長。

(3)

4.3 圖像骨架融合

對像素級圖像骨架分析結(jié)果G3和亞像素級圖像骨架重構(gòu)圖像G5進(jìn)行融合，其主要思想是通過設(shè)置輪廓長度、面積、最小外接圓半徑和圓度閾值，保留輪廓長度、面積和最小外接圓半徑較大且圓度較小的曲線對象。通過合理設(shè)置閾值，可保留大型目標(biāo)、剔除尺寸明顯較小的曲線對象，避免誤刪較小的路面裂縫。

融合結(jié)果為G6，如圖15。

圖15 骨架融合圖像G6Fig. 15 Fused skeleton image, G6

融合處理算法偽代碼如下。

算法1 圖像骨架融合處理算法(“←”表示賦值)

1：intN1,N2←骨架圖像G3和G5的曲線數(shù)量

2：FOR inti=1 toN1

3：G3[i] ←G3第i個骨架曲線

4：L3[i] ←G3[i]的輪廓長度

5：IFL3[i]

6：DELETEL3[i] // 刪除曲線L3[i]

7：END IF

8：END FOR // 得到骨架圖像G3’

9：FOR inti=1 toN2

10：G5[i] ←G5第i個骨架曲線

11：L5[i],S5[i]←G5[i]的輪廓長度，面積

12：R5[i],r5[i]←G5[i]的圓度，最小外接圓半徑

13：IFL5[i]R0 ORr5[i]

14：DELETEL5[i]// 刪除曲線L5[i]

15：END IF

16：END FOR//得到骨架圖像G5’

17：G6←∪{G3′,G5′}//取G3′和G5′并集，得到融合圖像G6

4.4 裂縫識別

裂縫識別主要包括2個步驟：①對骨架融合圖像G6進(jìn)行閉運算和膨脹操作，獲得連通域圖像如圖16。②應(yīng)用輪廓長度、面積、圓度等形態(tài)學(xué)特征篩選滿足要求的連通域，最終裂縫識別結(jié)果見圖17。

圖16 連通域圖像Fig. 16 Connected component image

圖17 裂縫二值圖Fig. 17 Binary crack image

裂縫識別算法偽代碼如下。

算法2 基于形態(tài)分析的裂縫識別算法(“←”表示賦值)

1：Image0←G6閉運算和膨脹操作結(jié)果，見圖16

2：M←Image0的連通域個數(shù)

3：C[i]←Image0的第i個連通域

4：L[i],S[i] ←C[i]的輪廓長度，面積

5：R[i],r[i] ←C[i]的圓度，最小外接圓半徑

6：ra[i],w[i] ←C[i]的等效橢圓的長軸長度，扁平率

7：FOR inti=1 toM

8：IFL[i]

9：DELETEC[i] //移除連通域C[i]

10：END IF

11： IFR[i]>R1 ORr[i]

12：DELETEC[i] // 移除連通域C[i]

13：END IF

14： IFra[i]

15：DELETEC[i] // 移除連通域C[i]

16：END IF

17：END FOR // 獲得裂縫識別結(jié)果二值圖，如圖17

5 算法性能測試

5.1 測試方法

為了客觀定量地評價算法性能，首先，基于150張1 mm/像素路面三維圖像(992像素×992像素)手動標(biāo)注出真實裂縫圖像，以此作為測試基準(zhǔn)圖像庫。然后，分別應(yīng)用各向異性測度算法[17]、Canny邊緣檢測算法[8]、種子并行生長算法[16]、GAVILN算法[11]、OTSU分割方法[6]和本文算法對上述150張圖像進(jìn)行裂縫檢測。最后，對比檢測結(jié)果和人工繪制的真實裂縫圖像，計算裂縫識別的準(zhǔn)確率(Pr，Precision，反映檢測結(jié)果的準(zhǔn)確程度)、召回率(Re，Recall，反映檢測結(jié)果的全面性)和F值，據(jù)此評價算法性能優(yōu)劣[15-16]。

(4)

5.2 測試結(jié)果分析

圖18展示了上述6個算法準(zhǔn)確率、召回率和F值的累計頻率分布曲線(150張圖像的測試結(jié)果)。

圖18 算法性能對比Fig. 18 Comparison of algorithm performance

從圖18(a)可以看出，本文算法準(zhǔn)確率較高，均值達(dá)90.45%，其余算法準(zhǔn)確率由高到低依次為種子并行生長算法(均值44.34%)、各向異性測度算法(均值37.62%)、GAVILN算法(均值37.42%)、Canny檢測(均值21.37%)和OTSU(均值3.95%)。

從圖18(b)可以看出，本文算法召回率較高，均值為96.49%，其余算法召回率由高到低依次為Canny檢測(均值56.41%)、種子并行生長算法(均值41.92%)、OTSU(均值40.30%)、GAVILN算法(均值38.75%)和各向異性測度算法(均值30.74%)。

F值綜合考慮了準(zhǔn)確率和召回率，其分布曲線如圖18(c)，可以看出，F(xiàn)均值排序為：本文算法(均值90.72%)>種子并行生長算法(均值39.65%)>GAVILN算法(均值33.46%)>各向異性測度算法(均值30.32%)>Canny檢測(均值25.85%)>OTSU(均值5.85%)。

對于本文算法的準(zhǔn)確率和召回率，分布范圍均為0～100%，其中，約有10%的樣本準(zhǔn)確率低于0.8、召回率低于0.9。換言之，絕大部分圖像裂縫識別的準(zhǔn)確率和召回率都能獲得較高的水平?；诒疚幕鶞?zhǔn)圖像庫對6種算法的測試結(jié)果顯示，本文算法F值最高，表明它能準(zhǔn)確而全面地識別路面裂縫。

圖19為裂縫檢測實例(寬992像素×高992像素的路面圖像，實際覆蓋范圍約為1平方米)。OTSU分割方法將深度值較低的線性特征和區(qū)域均判為裂縫，因此召回率較高而準(zhǔn)確率較低。Canny能檢測深度階躍變化的邊緣特征并將其視為裂縫，召回率較高，但噪聲干擾較多，準(zhǔn)確率下降。通常而言，OTSU和Canny可作為裂縫識別算法中的一個環(huán)節(jié)。種子并行生長算法和GAVILN算法都是基于種子生長的裂縫識別方法，將原始路面圖像劃分為若干個y像素×y像素的正方形子塊(y一般取4或8，每個小方塊將被識別為裂縫種子或非裂縫子塊)，然后進(jìn)行裂縫種子識別與連接，因此，這兩種算法識別的裂縫最小單位為子塊級，容易漏檢細(xì)小的裂縫，如圖18(d)、圖18(e)第3～6張圖；此外，由于種子并行算法具有并行融合機(jī)制，檢測結(jié)果總體上優(yōu)于GAVILN算法。各向異性測度算法融入了像素級與子塊級裂縫檢測信息，不過基于圖像子塊進(jìn)行了去噪處理，導(dǎo)致許多細(xì)小裂縫和裂縫片段被濾除，因此漏檢情況較嚴(yán)重。

圖19 裂縫識別結(jié)果對比Fig. 19 Comparison of crack detection results

綜合來看，本文算法之所以檢測效果優(yōu)于種子并行生長算法、GAVILN算法和各向異性測度算法，主要有兩方面原因：①本文算法融合了像素級和亞像素級圖像信息，適用于檢測較細(xì)小的裂縫目標(biāo)；而后三種算法融合了像素級與子塊級圖像信息，更適合于檢測較粗較明顯的裂縫目標(biāo)；②本文測試圖像含有較多細(xì)小裂縫。因此，算法評測的優(yōu)劣較大程度上受到測試圖像的影響，在開發(fā)裂縫自動識別算法的同時還需要分析其適用條件，明確適用范圍。

6 結(jié) 語

筆者針對1 mm/像素的路面深度圖像提出了基于像素-亞像素級形態(tài)分析的裂縫自動識別算法，主要包括了圖像分割、像素級和亞像素級圖像骨架分析、圖像骨架融合與形態(tài)學(xué)分析處理等步驟。測試分析表明：本文算法融合了像素級和亞像素級圖像信息，對于細(xì)小裂縫較多的路面圖像，識別效果良好，優(yōu)于經(jīng)典的OTSU分割方法和Canny邊緣檢測，優(yōu)于種子并行生長算法、GAVILN算法和各向異性測度算法。

裂縫自動識別是道路基礎(chǔ)設(shè)施智慧養(yǎng)護(hù)與管理的重要基礎(chǔ)，由于路面狀況的復(fù)雜多樣性，各種算法檢測結(jié)果仍有準(zhǔn)確率和召回率很低的情況，準(zhǔn)確穩(wěn)定地識別裂縫破損依然是一項挑戰(zhàn)。由于裂縫識別算法均有特定的適用條件，因此，有必要對不同特性的路面圖像開發(fā)針對性的算法，進(jìn)而形成路面裂縫檢測的算法庫。同時，算法開發(fā)過程中，還需有效結(jié)合路面二維和三維特征，引入人工智能和深度學(xué)習(xí)理論方法，以提高裂縫識別的自動化與智慧化水平。