湯青洲， 張德津,2， 王墨川， 胡成雪， 陶 健

(1 湖北工業(yè)大學(xué)電氣與電子工程學(xué)院，湖北 武漢 430068;2 深圳大學(xué)廣東省城市空間信息工程重點(diǎn)實(shí)驗(yàn)室,深圳 518060)

裂縫是瀝青路面病害最常見的表現(xiàn)形式之一，識(shí)別路面裂縫是路面養(yǎng)護(hù)的重要前提?，F(xiàn)有的裂縫識(shí)別方法主要有閾值法、邊緣檢測(cè)、形態(tài)學(xué)和深度學(xué)習(xí)方法等。閾值法在裂縫灰度值區(qū)間跨度大或存在較多點(diǎn)狀噪聲的情況下，難以實(shí)現(xiàn)背景紋理與裂縫的有效分割[1]。邊緣檢測(cè)方法在噪聲較為敏感且在低對(duì)比度的情況下難以獲取準(zhǔn)確的裂縫區(qū)域[2]。形態(tài)學(xué)方法如最小路徑法和基于種子方法，其局限性在于算法參數(shù)較多[3-5]。深度學(xué)習(xí)也被應(yīng)用于解決裂縫識(shí)別問(wèn)題，這類方法利用大量數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，解決了傳統(tǒng)算法泛化能力差和精度不夠的問(wèn)題[6-7]。CNN中的卷積與池化可以自動(dòng)提取圖像不同尺度不同維度的特征，被廣泛應(yīng)用，但難以處理圖像中目標(biāo)的旋轉(zhuǎn)、縮放和缺失等變化。為此，學(xué)者們提出了限定裂縫檢測(cè)的任務(wù)與場(chǎng)景的方法，如基于子塊分類法，即將輸入圖像分成重疊的子塊，然后對(duì)子塊圖像分類[8-10]?；谧訅K分類的裂縫檢測(cè)方法通常采用均勻分割模式，優(yōu)點(diǎn)是效率較高，缺點(diǎn)是由于部分裂縫子塊中裂縫段位于子塊邊緣，導(dǎo)致使用CNN識(shí)別的準(zhǔn)確率較低。

本文提出了一種基于超像素分割與Inception網(wǎng)絡(luò)的瀝青路面裂縫檢測(cè)方法[11]。為解決路面圖像中存在大量點(diǎn)狀噪聲的問(wèn)題，引入超像素分割方法，將圖像分割為勻質(zhì)超像素，并以其質(zhì)心為中心點(diǎn)劃分子塊，得到子塊樣本集；再將樣本集分為裂縫子塊與背景子塊，并結(jié)合像素級(jí)形態(tài)學(xué)方法實(shí)現(xiàn)路面圖像中裂縫的準(zhǔn)確定位和主干提??；進(jìn)一步，針對(duì)裂縫不連續(xù)的特點(diǎn)，采用超像素級(jí)形態(tài)學(xué)方法獲取裂縫的完整形態(tài)。

1 技術(shù)路線

基于InceptionV3網(wǎng)絡(luò)和超像素的路面裂縫識(shí)別方法，本文所提方法技術(shù)路線如圖1所示。先利用 SLIC超像素分割方法將裂縫區(qū)域與背景分離，然后使用Inception V3提取子塊圖像特征并裂縫和背景子塊進(jìn)行二分類，再采用像素級(jí)與超像素級(jí)形態(tài)學(xué)方法得到完整裂縫形態(tài)。

圖 1 技術(shù)路線

2 超像素和Inception網(wǎng)絡(luò)圖像定位

2.1 SLIC的超像素分割方法

基于子塊分類的裂縫檢測(cè)方法通常采用效率較高的均勻分割模式，然而裂縫呈線狀且多為橫向或縱向裂縫，使得裂縫段大多位于裂縫子塊邊緣，導(dǎo)致識(shí)別準(zhǔn)確率較低。因此本文以超像素分割對(duì)象質(zhì)心為中心獲取子塊并對(duì)其進(jìn)行分類，有效避免裂縫子塊中裂縫位于邊緣。且超像素分割對(duì)象具有相似的大小和形狀，更有利于InceptionV3網(wǎng)絡(luò)對(duì)其進(jìn)行特征提取。

超像素分割是指根據(jù)像素的顏色差異、紋理特征等將相似的相鄰像素點(diǎn)聚集起來(lái)，用少量超像素代替原有像素點(diǎn)，生成一系列具有一定視覺(jué)意義的不規(guī)則像素集，有效減少處理對(duì)象數(shù)量，同時(shí)剔除一部分異常點(diǎn)。超像素分割方法主要分為基于圖論與基于梯度下降兩種，其中簡(jiǎn)單線性迭代聚類算法(SLIC)具有速度快、邊緣貼合度高、且生成超像素形狀規(guī)則大小均勻的優(yōu)勢(shì)[12]。其處理彩色圖像的基本思想為基于Lab色彩空間構(gòu)造的距離度量標(biāo)準(zhǔn)在局部范圍內(nèi)對(duì)像素點(diǎn)進(jìn)行K-means聚類。為此，在本文中被用于對(duì)圖像進(jìn)行初始分割，由于本文路面圖像為灰度圖，根據(jù)向量Gi=[gixiyi]T構(gòu)造距離度量標(biāo)準(zhǔn)，其中g(shù)i為像素灰度值設(shè)置距離度量，SLIC算法應(yīng)用于路面灰度圖像具體步驟如下：

1)SLIC第一步隨機(jī)選取K個(gè)種子點(diǎn)作為初始聚類中心；

2)采用K-means算法在初始種子點(diǎn)的s×s鄰域內(nèi)為像素點(diǎn)分配標(biāo)簽；

3)將像素點(diǎn)灰度值結(jié)合坐標(biāo)生成三維向量Gi=[gixiyi]T，并據(jù)此向量設(shè)置像素點(diǎn)與聚類中心的距離度量D′；距離度量公式如下：

(1)

(2)

(3)

式(1)中dg表灰度值分量，式(2)中ds表示距離分量，距離度量D'如式(3)。式(3)中，m衡量灰度相似性與空間鄰近性，m較大時(shí)，空間鄰近性在距離度量中占更大比重，且生成的超像素更緊湊；當(dāng)m較小時(shí)，灰度相似性所占比重更大，超像素更貼合邊緣。

4)迭代優(yōu)化直至誤差收斂。

2.2 InceptionV3網(wǎng)絡(luò)實(shí)現(xiàn)圖像定位

為滿足InceptionV3網(wǎng)絡(luò)格式的要求，必須將超像素轉(zhuǎn)換為方形圖像塊，對(duì)每個(gè)超像素提取與其共享質(zhì)心的子塊圖像。超像素的區(qū)域類別與其對(duì)應(yīng)的子塊圖像構(gòu)成了標(biāo)簽及訓(xùn)練樣本集，將標(biāo)簽與樣本集引入InceptionV3網(wǎng)絡(luò)，用于網(wǎng)絡(luò)訓(xùn)練和超像素分類。

大量標(biāo)記訓(xùn)練數(shù)據(jù)對(duì)網(wǎng)絡(luò)訓(xùn)練過(guò)程中特征提取過(guò)程至關(guān)重要，直接影響最終分類結(jié)果準(zhǔn)確性。同時(shí)，過(guò)少訓(xùn)練數(shù)據(jù)會(huì)導(dǎo)致模型訓(xùn)練過(guò)擬合，并造成測(cè)試樣本上泛化性能較差。然而與大量自然圖像數(shù)據(jù)相比，公開路面圖像數(shù)據(jù)集較少，無(wú)法充分訓(xùn)練網(wǎng)絡(luò)參數(shù)。本文采用預(yù)訓(xùn)練網(wǎng)絡(luò)改善模型的泛化性能。

圖 2 InceptionV3網(wǎng)絡(luò)結(jié)構(gòu)

InceptionV3預(yù)訓(xùn)練網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖2所示，在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練后具有良好的目標(biāo)分類能力，InceptionV3采用不同大小卷積核，獲取局部感受野，實(shí)現(xiàn)不同尺度特征融合。首先通過(guò)卷積和池化提取特征， 3個(gè)連續(xù)Inception模塊分別采用卷積池化并行，其中底層卷積塊提取各類不同目標(biāo)的通用底層特征，頂層卷積塊包含具有針對(duì)性高層次特征。由于真實(shí)路面裂縫圖像與公開數(shù)據(jù)集相比自有特征更加明顯，且本文分類為針對(duì)裂縫子塊和背景子塊二分類任務(wù)，凍結(jié)底層卷積層保持其在公開數(shù)據(jù)集中學(xué)到通用特征，同時(shí)解凍頂層卷積塊，利用裂縫與背景樣本訓(xùn)練解凍部分的權(quán)重以適應(yīng)本文分類任務(wù)。分類器對(duì)應(yīng)損失函數(shù)如下：

(4)

圖 3 InceptionV3網(wǎng)絡(luò)訓(xùn)練過(guò)程

3 像素與超像素融合的裂縫提取

基于上述超像素與InceptionV3網(wǎng)絡(luò)組合方法，裂縫大致區(qū)域已經(jīng)能夠準(zhǔn)確定位，但裂縫區(qū)域仍會(huì)存在部分?jǐn)嗔眩疚囊胂袼丶?jí)與超像素級(jí)形態(tài)學(xué)方法還原裂縫主要形態(tài)，提取完整的裂縫。

3.1 像素級(jí)裂縫提取

1)裂縫骨架提取 裂縫主體區(qū)域存在少量斷裂，破壞了裂縫區(qū)域完整性。因此本文利用不同結(jié)構(gòu)元素分別對(duì)粗分割區(qū)域進(jìn)行膨脹和腐蝕操作，采用最小外接矩形的長(zhǎng)寬比表示區(qū)域線性度，并進(jìn)行線性篩選(圖4a)。根據(jù)裂縫的灰度特征和線性特征，分別基于列或行最小原則對(duì)每個(gè)連通域提取裂縫骨架(圖4b)。

2)裂縫主干提取 骨架采取膨脹操作，擴(kuò)展寬度到包含裂縫所有部分，進(jìn)行面積和線性度篩選，獲得精細(xì)化裂縫局部(圖4c)。并采用最大類間方差法求取閾值對(duì)目標(biāo)進(jìn)行分割，此方法在全局范圍內(nèi)取閾值，避免了點(diǎn)狀噪聲的干擾，最大程度分離了背景與裂縫[13]；再對(duì)其進(jìn)行線性度篩選和面積濾波，裂縫主干見圖4d。

圖 4 裂縫主干

3.2 超像素級(jí)生長(zhǎng)還原提取完整裂縫

采用模板匹配法對(duì)裂縫的微小斷裂處進(jìn)行連接，匹配模板如圖5a所示。對(duì)于符合圖5a所示模板的像素，計(jì)算其與裂縫主干平均灰度之間差值，若小于設(shè)定閾值，則將其加入。圖中×表示已有的裂縫像素，○為需要加入的像素。圖5b為圖像處理后的效果，圖中白色區(qū)域?yàn)橐延械牧芽p，紅色點(diǎn)為根據(jù)此模板匹配法增加的區(qū)域。以超像素為基本處理單元，確定裂縫的生長(zhǎng)方向并連接，如圖5c所示。首先，對(duì)以超像素為基本單元的裂縫主干區(qū)域，提取每個(gè)裂縫段的端點(diǎn)超像素。其次，以裂縫段的主要方向中心分別向兩邊擴(kuò)展90°得到角度為180°的范圍，在此范圍內(nèi)搜索末端超像素。然后以超像素對(duì)的相對(duì)方向作為生長(zhǎng)方向，以較小灰度值為生長(zhǎng)準(zhǔn)則。當(dāng)搜索不到時(shí)則停止生長(zhǎng)。生長(zhǎng)方向如圖5d所示，黑色箭頭夾角即為生長(zhǎng)的角度范圍。

圖 5 裂縫生長(zhǎng)還原

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)參數(shù)設(shè)置

此次實(shí)驗(yàn)中InceptionV3網(wǎng)絡(luò)訓(xùn)練過(guò)程在Tensorflow框架下實(shí)現(xiàn)，形態(tài)學(xué)處理基于Matlab平臺(tái)實(shí)現(xiàn)。為驗(yàn)證超像素?cái)?shù)量K與子塊尺度S對(duì)InceptionV3網(wǎng)絡(luò)分類結(jié)果的重要性，以及實(shí)現(xiàn)路面圖像中裂縫的準(zhǔn)確定位，本文設(shè)置以下實(shí)驗(yàn)對(duì)參數(shù)K和S進(jìn)行對(duì)比分析并根據(jù)裂縫定位需求選擇最優(yōu)值。

SLIC超像素分割效果主要受兩個(gè)參數(shù)的影響：緊湊度N和分割數(shù)量K。本文使用典型值N=1.0作為SLIC算法的緊湊度參數(shù)。分別選擇K值為1000、2000和3000，通過(guò)實(shí)驗(yàn)比較分析知：K=2000時(shí)，分割邊界貼合裂縫邊緣且裂縫與背景大小均勻，因此選擇K值為2000。

不同的子塊尺度S會(huì)影響識(shí)別的準(zhǔn)確率，對(duì)于裂縫超像素，S過(guò)大時(shí)則會(huì)引入過(guò)多紋理噪聲；S越小則裂縫與背景間的對(duì)比特征越少，導(dǎo)致分類準(zhǔn)確率降低。本文選取最具代表性的尺度的子塊，分別為30，40和50，對(duì)其在實(shí)際路面圖像上對(duì)裂縫的定位效果進(jìn)行對(duì)比分析，采用FPR和Recall兩個(gè)指標(biāo)對(duì)其進(jìn)行評(píng)價(jià)。FPR表示分類結(jié)果中被錯(cuò)分為正樣本的真實(shí)負(fù)樣本在所有真實(shí)負(fù)樣本中所占的比例，主要展示了去除背景噪聲的效果。Recall為在分類結(jié)果的正樣本中正確分類的真實(shí)正樣本在所有真實(shí)正樣本中所占的比例。對(duì)比實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同尺度子塊分類結(jié)果

由表1可知，當(dāng)S=40時(shí)，真實(shí)裂縫中被誤分類的結(jié)果比S=30時(shí)少，召回率也相對(duì)較高。因此本文選取S=40時(shí)的分類結(jié)果。總裂縫樣本數(shù)為4500，背景樣本數(shù)為10 500，將所有樣本分為訓(xùn)練集與驗(yàn)證集，比例設(shè)為8∶2。訓(xùn)練集用于訓(xùn)練網(wǎng)絡(luò)中的權(quán)重，驗(yàn)證集用于自動(dòng)調(diào)整網(wǎng)絡(luò)超參數(shù)。所有訓(xùn)練集數(shù)據(jù)迭代50次(Epoches)，最終識(shí)別率達(dá)到96%。

4.2 識(shí)別結(jié)果分析

在模式識(shí)別與計(jì)算機(jī)視覺(jué)領(lǐng)域中，常以完成度指數(shù)(精確率)Precision和正確度指數(shù)(召回率)Recall作為實(shí)驗(yàn)結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn)。為了對(duì)裂縫提取實(shí)驗(yàn)結(jié)果進(jìn)行量化分析和評(píng)價(jià)，本文也采用Precision和Recall作為評(píng)價(jià)標(biāo)準(zhǔn)。Precision表示在判定為Positive的樣本中，判斷正確的數(shù)目所占的比例，即檢測(cè)結(jié)果中正確檢測(cè)到的裂縫數(shù)目占所有檢測(cè)結(jié)果數(shù)目的比例；Recall表示在真實(shí)的Positive樣本中，判斷正確的數(shù)目所占的比例，即檢測(cè)結(jié)果中判斷正確的裂縫數(shù)目占路面上實(shí)際存在的裂縫數(shù)目。一般來(lái)說(shuō)，當(dāng)Precision與Recall都比較大時(shí)，檢測(cè)結(jié)果較好，因此本文引入了綜合評(píng)價(jià)指標(biāo)F-measure。

(5)

其中，F(xiàn)-measure值越大，識(shí)別效果越好。實(shí)驗(yàn)采用100幅路面影像對(duì)本文提出的方法進(jìn)行評(píng)價(jià)，圖像尺寸統(tǒng)一為500×500，圖像中許多裂縫存在不連續(xù)，對(duì)比度低，被大量噪聲干擾的情況。手工標(biāo)注的裂縫精確到像素級(jí)，但仍然存在一定的主觀因素，造成裂縫存在寬度誤差等。因此，本文將識(shí)別的裂縫圖像與標(biāo)注圖像劃分成互不重疊的單元格，每個(gè)含有裂縫的單元格都代表一個(gè)裂縫區(qū)域，統(tǒng)計(jì)含有裂縫的單元格數(shù)目。觀察大量裂縫樣本后取單元格大小為3×3。最終得到Precision、Recall和F-measure分別為90.2%，91.6%，91.8%。圖6為本文方法展示了識(shí)別效果與其方法識(shí)別的效果。圖中第一列為路面原圖像，第二列為手工標(biāo)注的原圖像，第三列為本文方法識(shí)別結(jié)果，第四列為采用均勻劃分網(wǎng)格的方式獲取樣本得到的結(jié)果，第五列為將局部自適應(yīng)閾值法應(yīng)用于全局的效果[14]。本文方法效果相對(duì)較好，而其他方法難以準(zhǔn)確識(shí)別出完整裂縫，同時(shí)也驗(yàn)證了采用超像素方法獲取子圖像樣本對(duì)于準(zhǔn)確定位裂縫的優(yōu)勢(shì)。與其它方法相比，本文方法有效降低了提取裂縫區(qū)域誤差，完成裂縫快速且準(zhǔn)確的定位，且無(wú)需手動(dòng)提取裂縫塊與背景塊的特征。

圖 6 識(shí)別效果對(duì)比

5 結(jié)論

通過(guò)結(jié)合超像素分割與InceptionV3網(wǎng)絡(luò)去除了路面圖像中大量點(diǎn)狀噪聲，實(shí)現(xiàn)對(duì)路面圖像中裂縫的快速定位，并融合像素級(jí)與超像素級(jí)形態(tài)學(xué)方法提取裂縫主干并連接不連續(xù)裂縫，得到裂縫的完整形態(tài)，給裂縫識(shí)別方法提供了新思路，為路面病害自動(dòng)檢測(cè)提供參考。本文數(shù)據(jù)集與傳統(tǒng)方法對(duì)比實(shí)驗(yàn)表明，本文方法可以自動(dòng)提取裂縫塊與背景塊的特征，實(shí)現(xiàn)裂縫區(qū)域的準(zhǔn)確定位及裂縫形態(tài)的提取。