英 紅,羅宏偉,談至明,程 景
(1.同濟(jì)大學(xué) 道路與交通工程教育部重點(diǎn)實(shí)驗(yàn)室,上海 201804;2.桂林電子科技大學(xué) 建筑與交通工程學(xué)院,廣西 桂林 541004;3.廣西交通投資集團(tuán)有限公司,廣西 南寧 530028)
近年來,隨著道路圖像采集裝備的快速發(fā)展,利用圖像技術(shù)對路網(wǎng)中的裂縫進(jìn)行管理逐步受到人們的青睞.將水泥混凝土路面裂縫按照是否已進(jìn)行維修,分為修補(bǔ)裂縫和新生裂縫.新生裂縫識別是日常管理養(yǎng)護(hù)中最有價(jià)值的部分,它的意義在于及時(shí)發(fā)現(xiàn)新裂縫、告訴養(yǎng)護(hù)人員裂縫發(fā)生在哪塊板上、提示管理人員路段中還有多少新生裂縫沒有及時(shí)處理,以及提供對養(yǎng)護(hù)人員的工作考評依據(jù).
盡管管養(yǎng)單位希望通過圖像處理的方法實(shí)現(xiàn)上述管理養(yǎng)護(hù)模式,但現(xiàn)實(shí)中,新生裂縫寬度非常小,在高分辨率圖像中,也只有1~2個(gè)像素的寬度,而對其造成巨大干擾的刻槽圖像一般有5個(gè)像素的寬度,噪聲的強(qiáng)度超過了裂縫的圖像強(qiáng)度.路面刻槽非常密集,相鄰刻槽間的寬度只有20個(gè)像素,裂縫被這些強(qiáng)噪聲分割為高度不足20個(gè)像素的小段(相當(dāng)于實(shí)際路面尺寸20mm),在復(fù)雜的強(qiáng)噪聲中提取這些小片段非常困難.當(dāng)前道路圖像識別技術(shù)主要集中于瀝青路面[1-7],而這些方法對水泥路面并不適用,因此研究高效、準(zhǔn)確的水泥路面新生裂縫圖像識別技術(shù)十分必要,它將大大減少養(yǎng)護(hù)人員日常巡查的工作量,為管理者提供最新、最快、最有價(jià)值的路況信息,從而為高速公路網(wǎng)的管養(yǎng)工作帶來巨大經(jīng)濟(jì)和社會效益.
針對刻槽對水泥路面裂縫識別的干擾,采用傅里葉變換(FFT)在頻域中消除刻槽,并通過同態(tài)濾波增強(qiáng)裂縫對比度,在空域中,使用自適應(yīng)方向的LoG算法增強(qiáng)裂縫,利用Otsu對全局圖像進(jìn)行二值化,并采用方格法提取裂縫片段,最后由曲線累加變向法實(shí)現(xiàn)“瀝青拉絲”的剔除.
與瀝青路面相比,刻槽是水泥路面新生裂縫識別中最大的干擾因素,難點(diǎn)在于:①抑制或消除刻槽的過程中,不可避免地降低了裂縫與背景的對比度,同時(shí)弱化了刻槽處的裂縫,破壞了裂縫的連通性,大量短小的裂縫片段與噪聲混雜在一起;②水泥路面中存在大量酷似裂縫的“瀝青拉絲”需要剔除,它也同樣被刻槽分割為若干不連通的小段.針對這些難題,設(shè)計(jì)了如圖1所示的處理流程.首先由小波變換將原圖像分解為高、低分辨率圖像,修補(bǔ)裂縫能清晰地顯示在低分辨率圖像中,而新生裂縫只存在于高分辨率圖像,因此在低分辨率圖像中對修補(bǔ)裂縫進(jìn)行識別;新生裂縫的識別工作放在高分辨率圖像中,并且需要在二值化后的高分辨率圖像中屏蔽修補(bǔ)裂縫識別結(jié)果.新生裂縫識別大致可分為四個(gè)步驟:
步驟1:頻域?yàn)V波.包括使用FFT抑制刻槽和使用同態(tài)濾波增強(qiáng)裂縫對比度.
步驟2:空域增強(qiáng).由自適應(yīng)方向的LoG算子對步驟1中的處理結(jié)果在空域中進(jìn)行裂縫增強(qiáng).
步驟3:方格法裂縫拼接.對步驟2的處理結(jié)果,先用Otsu法進(jìn)行二值化,在高分辨率圖像中屏蔽修補(bǔ)裂縫,然后使用方格法對裂縫片段進(jìn)行拼接.
步驟4:剔除酷似新生裂縫的“瀝青拉絲”.
圖1 處理流程圖Fig.1 Flowchart of the algorithm
水泥路面刻槽圖像具有周期性,利用刻槽的周期性,在頻域內(nèi)消除或抑制它是非常典型的條紋去除方法.潘玉利等[8]據(jù)此提出了基于FFT的水泥混凝土路面刻槽消除方法,并申請了發(fā)明專利.針對FFT方法計(jì)算量大、運(yùn)算速度慢的缺點(diǎn),推薦使用FFTW (the Faster Fourier Transform in the West)庫[9]對高分辨率圖像做傅里葉變換處理.此外,需要注意的是,該算法對橫向裂縫有弱化作用,消除刻槽的同時(shí),裂縫的橫向部分也弱化了,增加了裂縫片段的不連續(xù)性.
裂縫屬于高頻分量,可以使用頻域的同態(tài)濾波[10]增強(qiáng)裂縫與背景的對比度,如圖2所示.圖2b為FFT抑制刻槽的效果,圖2d為在圖2b的基礎(chǔ)上使用同態(tài)濾波的效果,從識別后的效果看,已消除了刻槽的影響,且使用同態(tài)濾波后增強(qiáng)了裂縫的連貫性.
通過頻域的刻槽抑制及同態(tài)濾波增強(qiáng)裂縫對比度后,仍需對裂縫這種具有“線狀”特征的邊緣型目標(biāo)進(jìn)行空域增強(qiáng)處理.裂縫圖像處于灰度“谷值”處,LoG算法非常適用這種情況.LoG算法是由Marr等[11]提出的,它是在二階導(dǎo)數(shù)的零交叉算法的基礎(chǔ)上結(jié)合高斯濾波求圖像邊緣的算法,又稱為墨西哥草帽算法.通過對高斯濾波器進(jìn)行旋轉(zhuǎn),構(gòu)造各向異性的濾波器,適用于裂縫的邊緣方向多變性.
二維高斯分布函數(shù)定義為
高斯-拉普拉斯算子2G定義為
式中:σ是表示平滑程度的空間常數(shù),決定平滑模板尺寸N.試驗(yàn)表明,當(dāng)N =2+1時(shí),能夠得到較好的檢測效果.
各向異性的LoG濾波器可以簡寫為
式中:σx和σy分別為在x軸和y軸方向的標(biāo)準(zhǔn)差,對應(yīng)著x方向和y方向的尺度.對x方向求偏導(dǎo)可得
式中g(shù)的下標(biāo)x表示函數(shù)沿x軸方向的導(dǎo)數(shù),濾波器順時(shí)針旋轉(zhuǎn)一個(gè)角度θ后得到
根據(jù)裂縫片段的局部方向,自適應(yīng)地選用這一方向的LoG模板進(jìn)行增強(qiáng),這就需要檢測當(dāng)前像素點(diǎn)的邊緣方向,然后利用導(dǎo)數(shù)算子(如Prewitt算子、Sobel算子)進(jìn)行粗略計(jì)算,找到當(dāng)前點(diǎn)圖像灰度沿著x軸和y軸兩個(gè)方向的偏導(dǎo)數(shù)Gx,Gy,并求出其梯度大?。麲|及梯度方向α.
|G|反映了圖像上當(dāng)前點(diǎn)的邊緣強(qiáng)度,用此值控制計(jì)算量,即對|G|值過小的點(diǎn)不做處理;α是圖像當(dāng)前點(diǎn)的法向矢量(正交于邊緣方向).得到α后,就可求得當(dāng)前點(diǎn)的邊緣方向:θ=90°-α.
圖3a為原圖,圖中包含兩條新生裂縫,圖3b為頻域?yàn)V波后,使用本節(jié)所述的自適應(yīng)方向LoG算子對裂縫這種“線狀”目標(biāo)進(jìn)行了增強(qiáng)的效果,圖3c為裂縫片段的識別效果.從圖中可以看出,通過空域增強(qiáng)后,兩條新生裂縫已能從噪聲中凸顯出來.
圖像增強(qiáng)后,可使用Otsu法,對全局圖像進(jìn)行二值化處理,并結(jié)合低分辨率圖像中修補(bǔ)裂縫的識別結(jié)果,對高分辨率圖像中的修補(bǔ)裂縫進(jìn)行屏蔽處理,此時(shí)可得到若干不連續(xù)的裂縫片段圖像,如圖4a所示.為了顯示方便,圖4a是從大尺寸圖3c中裁剪下來的.它含有一條縱向新生裂縫,圖中方框?yàn)槊總€(gè)片段的外接矩形框,圖中含有數(shù)百個(gè)片段,除裂縫片段外,仍有大量噪聲片段,且裂縫片段并不連續(xù),需要將裂縫片段拼接起來.
裂縫片段拼接歷來都是裂縫圖像識別的難點(diǎn),通常使用幾何法、方格法、形態(tài)學(xué)法[12].方格法是一種簡單易行的裂縫片段拼接、提取的方法,它的基本思路是:首先將片段圖像方格化,每個(gè)方格初始化為“0”,遍歷圖像中所有片段像素,對該像素所屬的方格進(jìn)行“投票”;遍歷完成后,計(jì)算每個(gè)方格所得的“票”數(shù),超過一定閾值,就將方格標(biāo)記為“1”;利用四鄰域或八鄰域法計(jì)算標(biāo)記為“1”的所有方格的連通性,如果標(biāo)記為“1”的方格連通數(shù)目超過一定閾值就判斷此連通區(qū)域?yàn)榱芽p.圖4b為方格法裂縫片段提取結(jié)果,圖中方格是標(biāo)記為“1”的較大連通區(qū),在此基礎(chǔ)上,需刪除圖4b中方框處的短小分支[10],可得裂縫區(qū)域.
水泥混凝土路面在養(yǎng)護(hù)過程中,由于養(yǎng)護(hù)工人疏忽,造成養(yǎng)護(hù)材料滴漏在路面上,如瀝青材料滴漏在路面上,拉出一條“細(xì)絲”.在圖像中,它的形狀、顏色與新生裂縫非常相近,而這種“瀝青拉絲”的數(shù)量遠(yuǎn)遠(yuǎn)大于新生裂縫的數(shù)量,個(gè)別路段“瀝青拉絲”的現(xiàn)象幾乎出現(xiàn)在每塊板上.因此在新生裂縫識別中,必須要剔除“瀝青拉絲”.它與新生裂縫處主要區(qū)別在于線條的光滑度.
曲率是一種度量線條光滑程度的方法[13],圖像中常用的曲率計(jì)算方法稱為三點(diǎn)法,該法用圖像曲線相鄰的三個(gè)點(diǎn)的差分代替微分得到近似曲率值.雖然這種方法簡單易行,但三點(diǎn)法在計(jì)算曲率時(shí)容易受到噪聲影響,使得結(jié)果偏差過大.使用較大支撐區(qū)間的曲率計(jì)算方法[14],雖然有一定抑制噪聲效果,但裂縫曲線中的小突起可能會被淹沒.
曲線的累加變向是指曲線上每個(gè)點(diǎn)切線角度變化的累加量,為簡單起見,使用定長小線段擬合,計(jì)算這些相鄰線段夾角,并將其絕對值累加起來.曲線的累加變向值可近似表示為
式中:γi為第i個(gè)擬合小線段的傾角.
圖5a為裂縫的曲線累加變向計(jì)算示意圖,圖5b為“瀝青拉絲”的曲線累加變向計(jì)算示意圖.兩圖對比發(fā)現(xiàn),裂縫的片段內(nèi)曲線累加變向值明顯比“瀝青拉絲”要大,利用該方法進(jìn)行“瀝青拉絲”圖像剔除是可行的.裂縫片段拼接完畢后,其仍是不連通的,僅僅是將裂縫片段從所有片段中篩選出來,因此剔除“瀝青拉絲”時(shí),曲線累加變向計(jì)算要按以下三步進(jìn)行:
第一步,計(jì)算每個(gè)裂縫片段的曲線累加變向值,如圖5a.圖中對每個(gè)片段的最高點(diǎn)和最低點(diǎn)用圓圈進(jìn)行標(biāo)識,為了清晰顯示,沒有標(biāo)記最右點(diǎn)和最左點(diǎn).每個(gè)片段都有若干個(gè)定長擬合線段.由上文可知,圖4b的方格區(qū)域?yàn)榱芽p區(qū)域,將該區(qū)域的片段曲線累加變向值求和,可得到這些片段內(nèi)部的累加變向βcurve_in.
第二步,計(jì)算方格區(qū)域內(nèi)的每個(gè)相鄰片段的方向夾角,即片段間的夾角.從圖5a中可看到,對于縱向裂縫,每個(gè)片段存在一個(gè)最高點(diǎn)和一個(gè)最低點(diǎn),取當(dāng)前片段的最高點(diǎn)和與它最鄰近的上一個(gè)片段的最低點(diǎn),計(jì)算這兩點(diǎn)所在擬合線段的夾角,將所有片段間的夾角累加起來,得到片段間夾角累加和βcurve_out.
第三步,計(jì)算βcurve_in和βcurve_out之和,通過閾值Tcurve將“瀝青拉絲”剔除.
“瀝青拉絲”曲線光滑,累加變向較小,βcurve值偏小,裂縫曲線的累加變向較大,βcurve值偏大.因此,可通過設(shè)置閾值Tcurve加以剔除.對廣西GA80高速公路的K584~K603段約18.2km共9102張圖像進(jìn)行識別,將“瀝青拉絲”和新生裂縫數(shù)目按βcurve值進(jìn)行分類匯總(見表1).為保證新生裂縫不被漏識別,建議Tcurve取300,單位為(°).從表1中可知,通過設(shè)置閾值,Tcurve仍有8.0%的“瀝青拉絲”被錯(cuò)誤識別,需要人工作進(jìn)一步剔除.
表1 試驗(yàn)路段“瀝青拉絲”與新生裂縫βcurve值的分布Tab.1 βcurvedistribution of“asphalt drawing”and the newborn crack on the testroad
(1)提出了一種基于刻槽消除的水泥混凝土路面新生裂縫識別方法,它由頻域?yàn)V波、空域裂縫圖像增強(qiáng)、裂縫片段拼接和“瀝青拉絲”剔除四個(gè)主要步驟實(shí)現(xiàn).
(2)頻域?yàn)V波是通過FFT實(shí)現(xiàn)抑制刻槽,并使用同態(tài)濾波技術(shù)增強(qiáng)裂縫的對比度.
(3)在空域圖像中,首先通過邊緣方向檢測算子檢測當(dāng)前像素方向,然后通過構(gòu)造該方向的LoG增強(qiáng)算子實(shí)現(xiàn)自適應(yīng)方向的裂縫增強(qiáng).
(4)針對二值化后,裂縫不連續(xù)的問題,使用方格法將裂縫片段拼接起來,實(shí)現(xiàn)整條裂縫的提取.
(5)針對“瀝青拉絲”與裂縫難于區(qū)別的問題,使用曲線累加變向法計(jì)算目標(biāo)光滑程度,以此實(shí)現(xiàn)“瀝青拉絲”的剔除.
[1]伯紹波,閆茂德,孫國軍,等.瀝青路面裂縫檢測圖像處理算法研究 [J].微計(jì)算機(jī)信息,2007,23(5x):280.BO Shaobo,YAN Maode,SUN Guojun,et al.Research on crack detection image processing algorithm for asphalt pavement surface[J].Microcomputer Information,2007,23(5x):280.
[2]李晉惠.用圖像處理的方法檢測公路路面裂縫類病害 [J].長安大學(xué)學(xué)報(bào):自然科學(xué)版,2004,24(3):51.LI Jinhui.Pavement crack diseases detecting by image processing algorithm [J].Journal of Chang’an University:Natural Science Edition,2004,24(3):51.
[3]李莉,陳長,孫立軍.改進(jìn)的路面圖像背景校正算法 [J].同濟(jì)大學(xué)學(xué)報(bào):自然科學(xué)版,2011,39(1):79.LI Li,CHEN Zhang,SUN Lijun. Modified background correction algorithms for pavement images [J].Journal of Tongji University:Natural Science,2011,39(1):79.
[4]Tsai Y C,Kaul V,Mersereau R.Critical assessment of pavement distress segmentation methods [J].Journal of Transportation Engineering,ASCE,2010,136(1):11.
[5]Kaul V,Tsai J,Mersereau R.A quantitative performance evaluation of pavements distress segmentation methods[R].Atlanta:Georgia Institue of Technology,2008.
[6]Wang K C P,Li Q,Gong W.Wavelet-based pavement distress image edge detection with “A Trous”algorithm[C]//TRB,Washington D C:Transportation Research Board,2007:73-81.
[7]Alekseychuk O.Detection of crack-like indications in digital radiography by global optimization of a probabilistic estimation function[D].Dresden:Dresden University of Technology,2006.
[8]潘玉利,趙懷志.基于二維傅里葉變換的水泥路面圖像刻槽去除的方法:中國,200810186635.X[P].2009.PAN Yuli,ZHAO Huaizhi.Groove denoise method of cement concrete pavement based on Fourier tansform,200810186635.X[P].2009.
[9]Frigo M,Johnson S.FFTW[EB/OL].[2011-08-25].http://www.fftw.org/download.html.
[10]Gonzalez R C.The digital image processing[M].Beijing:Publishing House of Electronics Industry,2003.
[11]Marr D,Hildreth E.Theory of edge detection[J].Proceeding of the Royal Society of London:Biological Sciences,1980,207(1167):187.
[12]Sun Y,Salari E,Chou E.Automated pavement distress detection using advanced image processing techniques [C]//Proceedings of 2009 IEEE International Conference on Electro/Information Technology.Windsor:Windsor University,2009:373-377.
[13]Chau C P,Siu W C.New dominant point detection for image recognition[C]∥Proceedings of the 1999 IEEE International Symposium on Circuits and Systems.Orlando:IEEE,1999:102-105.
[14]王英惠,吳維勇,趙汝嘉.平面輪廓的分段與識別技術(shù)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2002,14(12):1142.WANG Yinghui,WU Weiyong,ZHAO Rujia.Segmentation and recognition techniques for planar contour[J].Journal of Computer-aided Design &Computer Graphics,2002,14(12):1142.