譚 啟

(安徽工業(yè)經(jīng)濟(jì)職業(yè)技術(shù)學(xué)院地質(zhì)與建筑工程學(xué)院,安徽合肥 230051)

0 引 言

找到一種能夠根據(jù)道路圖像精確檢測(cè)出裂縫區(qū)域的道路裂縫自動(dòng)檢測(cè)技術(shù),對(duì)道路養(yǎng)護(hù)有著重大意義。目前的道路裂縫自動(dòng)檢測(cè)技術(shù)多采用基于形態(tài)學(xué)的處理方法,但該方法的檢測(cè)精度低、要求高,因此已逐漸無(wú)法滿足需求[1]。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)具有識(shí)別精度高、速度快等優(yōu)點(diǎn),因此在圖像識(shí)別領(lǐng)域被廣泛應(yīng)用。研究提出了一種融合卷積神經(jīng)網(wǎng)絡(luò)的端到端智能檢測(cè)辦法,提高檢測(cè)精度和效率,為道路裂縫檢測(cè)提供了一種新的思路。

1 端到端的深度卷積神經(jīng)網(wǎng)絡(luò)

1.1 道路裂縫圖像紋理特征提取

道路裂縫前景和背景圖像具有不同的紋理特征。因此需要對(duì)道路裂縫圖像的紋理特征進(jìn)行提取和匹配,以保證裂縫圖像的精確度。使用傳統(tǒng)的局部二值模式(Local Binary Patterns,LBP)法對(duì)裂縫道路裂縫圖像進(jìn)行處理。提取過(guò)程可分為兩步進(jìn)行,第一是對(duì)裂縫圖像進(jìn)行全局特征抽取,得到裂縫圖像的輪廓信息灰度直方圖。裂縫的灰度直方圖描述了圖像的整體灰度分布。不同的像素具有不同的圖像特征,使用閾值劃分灰度值區(qū)間提取裂縫圖像的輪廓信息使用閾值劃分灰度值區(qū)間,將接近相似像素的灰度值映射到對(duì)應(yīng)的區(qū)間[2]。

對(duì)于清晰度為NP 的圖像f,其輪廓信息計(jì)算公式如公式(1)所示。

公式(1)當(dāng)中,j(m,n)表示像素坐標(biāo)(m,n)的灰度值,uf為被處理圖像中第f 個(gè)臨界值。f*為變換后的圖像,f 代表原始圖像,其中f*局部區(qū)域中心像素灰度值的計(jì)算公式如公式(2)所示。

這里需要說(shuō)明的是,公式(2)SSP 最終計(jì)算得到的值只需要保留整數(shù),li為圍繞中心像素的像素?cái)?shù)量,Wf為第f 個(gè)鄰域灰度值。通過(guò)計(jì)算規(guī)則可知,中心像素灰度SSP 最小值為li,最大值為（δ -1）×li,由此可以得出,裂縫圖像特征的灰度直方圖計(jì)算公式,如公式(3)所示。

式(3)中M ,N 為圖片像素總長(zhǎng)與寬,滿足NP =M ×N。當(dāng)m =n 時(shí)j(m,n)=1其他情況均為0,通過(guò)上述方式就能夠獲取裂縫圖像的全局特征。第二步就是通過(guò)細(xì)分局部二進(jìn)制模式進(jìn)行裂縫圖像局部特征的獲取,計(jì)算公式如式(4)所示。

通過(guò)量化GMI(m,n)后就能得到直方圖。根據(jù)上述內(nèi)容,即可實(shí)現(xiàn)圖像的無(wú)縫融合,進(jìn)而方便模型對(duì)道路裂縫進(jìn)行識(shí)別和檢測(cè)。

1.2 針對(duì)道路裂縫檢測(cè)的CNN 網(wǎng)絡(luò)框架

基于CNN 的道路裂縫檢測(cè)方法較傳統(tǒng)的檢測(cè)方式大大降低了檢測(cè)難度[3-4]。因此研究基于CNN 構(gòu)建道路裂縫檢測(cè)模型。首先在原有CNN的網(wǎng)絡(luò)結(jié)構(gòu)上,設(shè)計(jì)出編碼器-解碼器結(jié)構(gòu)的網(wǎng)絡(luò)框架,模型的整個(gè)系統(tǒng)可以分為三個(gè)板塊,上下采樣路徑模塊、密集卷積塊以及瓶頸結(jié)構(gòu)。上下采樣路徑模塊的主要負(fù)責(zé)對(duì)道路裂縫特征圖進(jìn)行處理。卷積神經(jīng)網(wǎng)絡(luò)的下采樣本質(zhì)上就是池化過(guò)程,池化可以通過(guò)兩種方式進(jìn)行,即平均池化和最大池化,兩種方式都能起到壓縮圖像的目的。將道路裂縫圖像進(jìn)行轉(zhuǎn)置卷積操作稱(chēng)為上采樣,在這個(gè)當(dāng)中,視閾由窄逐漸變廣,直到圖像達(dá)到原始比例識(shí)別結(jié)束,目的在于得到詳細(xì)的道路裂縫圖像語(yǔ)義分割結(jié)果。第二大板塊為密集卷積塊,該部分為整個(gè)系統(tǒng)的核心計(jì)算模塊。淺層卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)單級(jí)聯(lián)方式不同,深層卷積神經(jīng)網(wǎng)絡(luò)需要將網(wǎng)絡(luò)上一層的輸出特征圖與經(jīng)過(guò)卷積運(yùn)算輸出特征特的矢量相加,以此來(lái)提高模型擬合能力,增加運(yùn)算的精度,層與層之間矢量計(jì)算公式如公式(5)所示。

公式(5)中,F為卷積運(yùn)算層,x為卷積神經(jīng)網(wǎng)絡(luò)l層的輸出,xl-1為l層上一層輸出。在深層卷積網(wǎng)絡(luò)當(dāng)中,利用密集聯(lián)級(jí)模式,增加前層信息的重復(fù)利用率,具體表現(xiàn)為模塊下一層的輸入數(shù)據(jù)需要將該前層的輸出在通道維度上串聯(lián)疊加的形式輸入,即x1=F(［x0,x1,…,xl-1］)[5-6]。設(shè)卷積神經(jīng)每一層輸出的特征圖數(shù)目即輸出維度為。經(jīng)過(guò)多次試驗(yàn)得出,將k數(shù)值設(shè)為16,模型參數(shù)能夠達(dá)到最精簡(jiǎn),提高整個(gè)網(wǎng)絡(luò)的深層監(jiān)督性能。最后一個(gè)版塊為系統(tǒng)的瓶頸結(jié)構(gòu),與密集卷積塊結(jié)構(gòu)相仿,但是在數(shù)量上瓶頸結(jié)構(gòu)更占優(yōu)勢(shì),在道路裂縫特征圖識(shí)別當(dāng)中,設(shè)瓶頸結(jié)構(gòu)中卷積模塊為15,瓶頸結(jié)構(gòu)的輸出計(jì)算公式如公式(6)所示。

式(6)中Xbottleneck為瓶頸結(jié)構(gòu)輸出。根據(jù)以上內(nèi)容,即可構(gòu)建基于CNN 的道路裂縫檢測(cè)模型[7-8]。但CNN 算法需要對(duì)圖像進(jìn)行預(yù)處理,算法的復(fù)雜度較高,對(duì)道路裂縫圖像的檢測(cè)時(shí)間較長(zhǎng),因此還需要對(duì)模型進(jìn)一步優(yōu)化。為簡(jiǎn)化基于CNN 的裂縫檢測(cè)模型的復(fù)雜度,實(shí)現(xiàn)端到端的自動(dòng)道路裂縫檢測(cè),在模型中融入端到端模型(endto-end learning,ETEL),構(gòu)建出ETEL-CNN道路裂縫智能檢測(cè)模型。首先在ETEL 中引入空節(jié)點(diǎn),這些節(jié)點(diǎn)不需要與圖片像素點(diǎn)完全對(duì)應(yīng)。ETEL作為softmax層的目標(biāo)函數(shù),起到度量模型和數(shù)據(jù)之間的相似度的作用,ETEL結(jié)構(gòu)的最大似然函數(shù)計(jì)算公式如公式(7)所示。

公式(7)中,p(z|x)表示輸入x時(shí)輸出z的概率,x為訓(xùn)練集,當(dāng)輸入端確定之后,ETEL 負(fù)責(zé)從輸入序列中找出最大概率的輸出序列,最后再結(jié)合卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

2 卷積神經(jīng)網(wǎng)絡(luò)裂縫檢測(cè)性能分析

2.1 模型輸出與實(shí)際值似然度分析

測(cè)試服務(wù)器CPU 為Intel E5-2667,GPU 為一張GTX TITAN X 顯卡,語(yǔ)言平臺(tái)選用Python語(yǔ)言開(kāi)發(fā)平臺(tái)。實(shí)驗(yàn)以道路裂縫的二維圖像為參照,對(duì)比模型輸出的裂縫數(shù)據(jù)與真實(shí)值之間的差別,端到端卷積神經(jīng)網(wǎng)絡(luò)用ETEL-CNN 表示。首先對(duì)裂縫的走向與長(zhǎng)度進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如圖1所示。

圖1 模型預(yù)測(cè)裂縫與真實(shí)數(shù)據(jù)數(shù)據(jù)對(duì)比

從圖1(a)中可以看出,模型輸出的道路裂縫 與實(shí)際圖片中的裂縫之間的差距極小,兩者之間的匹配程度都在90%以上,最大偏差為5%,平均偏差為1%,模型在預(yù)測(cè)裂縫整體走向、長(zhǎng)度與分布的準(zhǔn)確率達(dá)到最高99%。

2.2 自然道路CFD 數(shù)據(jù)集測(cè)試模型性能

試驗(yàn)引入自然環(huán)境下道路裂縫數(shù)據(jù)集(the Crack Forest dataset,CFD),該數(shù)據(jù)集包含21000張自然場(chǎng)景下道路裂縫圖,色彩模式均為RGB 三色顯示,清晰度為480p,其中10000張為模型的訓(xùn)練集,剩下的作為測(cè)試集。將構(gòu)建的模型與CannyCrack Tree,Crack ITFFACrack Forest四種算法進(jìn)行識(shí)別準(zhǔn)確率,F1和召喚率對(duì)比。實(shí)驗(yàn)結(jié)果如圖2所示。

圖2 CFD數(shù)據(jù)測(cè)試結(jié)果

如圖2所示,ETEL-CNN-5p模型擁有98.41%準(zhǔn)確率、99.27%召回率與98.83的F1值,性能上遠(yuǎn)遠(yuǎn)超過(guò)FFAcannycrack IT 及Crack Tree四種算法,證明該模型具有良好的學(xué)習(xí)能力。通過(guò)實(shí)驗(yàn)數(shù)據(jù)的分析可以得知,研究構(gòu)建的模型性能優(yōu)于現(xiàn)階段的優(yōu)秀算法,在道路裂縫檢測(cè)實(shí)驗(yàn)中,表現(xiàn)出的效果大幅領(lǐng)先其他算法。

2.3 瀝青路面TITS數(shù)據(jù)集測(cè)試模型性能

TITS數(shù)據(jù)集由采集自瀝青道路數(shù)據(jù),其中包含16000張圖片,數(shù)據(jù)集當(dāng)中大部分?jǐn)?shù)據(jù)未經(jīng)標(biāo)注,實(shí)驗(yàn)條件設(shè)為兩個(gè)像素的模糊寬度,將研究構(gòu)建的道路裂縫卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)模型與其它種算法進(jìn)行性能比較,同樣以準(zhǔn)確率、召回率和F1 值作為實(shí)驗(yàn)對(duì)照指標(biāo),結(jié)果如圖3所示。

從圖3可以看出,ETEL-CNN 道路裂縫檢測(cè)模型性能均優(yōu)于其他算法,其中準(zhǔn)確率,召回率和F1值遠(yuǎn)超GCM1M2算法。除此之外,經(jīng)過(guò)擴(kuò)增數(shù)據(jù)的訓(xùn)練,ETEL-CNN 在原本的基礎(chǔ)上交并比提升了3.5%,準(zhǔn)確率提升了2.42%,召回率提升4.08且F1值提高了0.68。上述的數(shù)據(jù)足以證明ETEL-CNN 模型的性能,相較其他算法,ETEL-CNN 模型為該階段下道路裂縫檢測(cè)效果最好的算法,同時(shí)該模型具備深度學(xué)習(xí)能力,在經(jīng)過(guò)大量數(shù)據(jù)訓(xùn)練之后,模型的性能進(jìn)一步提升。

圖3 TITS數(shù)據(jù)集測(cè)試結(jié)果

3 結(jié) 論

研究將卷積神經(jīng)網(wǎng)絡(luò)與端到端ETEL 結(jié)構(gòu)的有機(jī)結(jié)合,構(gòu)建出ETEL-CNN 道路裂縫智能檢測(cè)模型。該模型在單一裂縫檢測(cè)中,對(duì)裂縫走向及長(zhǎng)度的預(yù)測(cè)具有99%的準(zhǔn)確率,對(duì)裂縫寬度的檢測(cè)具有86%的準(zhǔn)確率。在對(duì)24000張自然道路裂縫圖像進(jìn)行檢測(cè)時(shí),模型整體檢測(cè)準(zhǔn)確率為98.4%,對(duì)瀝青路面進(jìn)行裂縫檢測(cè)時(shí)具有98.28%的準(zhǔn)確率。同時(shí)與傳統(tǒng)的檢測(cè)方式如GC,M1,M2等相比,模型具有更高的召回率與F1值。綜上所述,ETEL-CNN道路裂縫檢測(cè)模型性能優(yōu)異。實(shí)驗(yàn)中的圖片清晰度是統(tǒng)一的,與實(shí)際檢測(cè)不符,因此如何對(duì)圖片進(jìn)行智能預(yù)處理是接下來(lái)的研究方向。