陳滿余,苑瑋琦
(1.沈陽工業(yè)大學(xué)視覺檢測技術(shù)研究所,沈陽 110870;2.遼寧省機器視覺重點實驗室,沈陽 110870)
早期的路面裂縫檢測主要以人工目檢為主。隨著數(shù)字圖像處理和深度學(xué)習(xí)技術(shù)的發(fā)展,許多經(jīng)典方法和深度學(xué)習(xí)方法被應(yīng)用于路面裂縫檢測。經(jīng)典方法方面,文獻[1]提出了一種改進的加權(quán)鄰域像素分割的路面裂縫檢測算法;文獻[2]提出了一種多閾值潛在裂縫區(qū)域檢測方法;文獻[3]提出了一種局部二值模式(LBP)和支持向量機(SVM)的路面裂縫檢測方法,通過人為設(shè)計特征讓機器學(xué)習(xí)自主學(xué)習(xí)特征成為了可能;文獻[4]提出了隨機結(jié)構(gòu)森林的路面裂縫檢測框架CrackForest。近年來隨著硬件設(shè)備的迅猛發(fā)展,深度學(xué)習(xí)方法在路面裂縫檢測中的應(yīng)用得到了十分廣泛的研究,文獻[5]提出了一種特征金字塔和分層增強網(wǎng)絡(luò)(FPHBN)的路面裂縫檢測算法;文獻[6]提出了一種無監(jiān)督多尺度融合的路面裂縫檢測算法;文獻[7]提出了DeepLabv3+的路面裂縫檢測網(wǎng)絡(luò)及像素級裂縫量化算法。由于強調(diào)獲得更精確的結(jié)果和維護上下文信息,研究越來越傾向于端到端的深度學(xué)習(xí)過程,文獻[8]提出了DenseNet 和反卷積網(wǎng)絡(luò)的裂縫像素級檢測方法;文獻[9]提出的深度卷積網(wǎng)絡(luò)CrackU-net 避免了假陽性的檢測問題,但巨大的參數(shù)量增加了時間成本;文獻[10]提出了基于層次特征融合和連接注意機構(gòu)的路面裂縫檢測方法。基于文獻調(diào)研,在此提出一種基于灰度極小值的路面裂縫檢測算法。
路面在長期使用過程中受車輛載荷和自然環(huán)境等因素影響,會出現(xiàn)裂縫、車轍、凹槽、結(jié)構(gòu)層破壞等病害,對交通安全構(gòu)成潛在的隱患。這些病害最初以裂縫的形式出現(xiàn),后期導(dǎo)致結(jié)構(gòu)層破壞等更嚴重的病害。路面裂縫主要分為橫向、縱向、塊狀、網(wǎng)狀四種類型,不同類型路面裂縫如圖1 所示。
圖1 路面裂縫類型
裂縫灰度圖像及分布情況分析如圖2 所示。路面灰度圖像中裂縫區(qū)域與其它區(qū)域相比亮度較低。在圖2(a)可見裂縫在圖中呈現(xiàn)暗區(qū)域。在圖2(b)給出的路面裂縫灰度剖面分布曲線中,橫坐標代表像素點位置,縱坐標代表像素點位置的灰度值。
圖2 裂縫灰度分布
可見裂縫暗區(qū)域的灰度分布曲線呈山谷狀(圖中BCD 區(qū)域),將其定義為凹線段;凹線段的底部代表裂縫中心點(C 點)。凹線段定義如下所述:
若灰度剖面分布曲線上任意像素點P 的灰度值為F(P),其相鄰兩點對應(yīng)的灰度值分別為F(P-1)和F(P+1),若P 同時滿足如下二式:
則P 為極小值點,對應(yīng)于圖中的A 點和C 點。
若P 同時滿足如下二式:
則P 為極大值點,對應(yīng)于圖中的B 點和D 點。
將灰度剖面分布曲線中A、B、C 三點組成的線段定義為凸線段,B、C、D 三點組成的線段定義為凹線段。路面裂縫灰度圖像的灰度分布曲線由許多相鄰的此類凹凸線段組成。由分析可知裂縫區(qū)域的灰度分布為凹線段,且凹線段底部的灰度極小值點為裂縫的中心點,滿足條件的灰度極小值點的集合即構(gòu)成整條裂縫。
此外,同一條裂縫的對比度也存在變化,如圖3所示。高對比度裂縫標記為H,低對比度裂縫標記為L,由灰度分布曲線可知高對比度裂縫的凹線段灰度極小值點與背景存在明顯的灰階差,而低對比度裂縫凹線段灰度極小值點與背景之間的差異不大。
圖3 同一裂縫對比度差異及灰度分布分析
2.2.1 路面裂縫特征分析
按照從左到右、從下到上的方向遍歷裂縫圖像,計算并標記整幅圖像凹線段灰度極小值點的坐標和灰度值信息,以直方圖的方式進行統(tǒng)計。統(tǒng)計結(jié)果如圖4 所示,觀察灰度值出現(xiàn)頻數(shù)隨凹線段極小值點灰度值的變化情況,可見其符合正態(tài)分布。
圖4 整幅圖像灰度極小值點直方圖
2.2.2 路面裂縫病害異常數(shù)據(jù)提取
若一組樣本數(shù)據(jù)在等精度重復(fù)有限次測量的基礎(chǔ)上滿足正態(tài)分布,則可利用3σ 準則分析異常值。σ 是指當(dāng)前樣本數(shù)據(jù)的標準差,數(shù)據(jù)落在±3σ 范圍內(nèi)的概率為99.73%,落在±3σ 范圍外的概率僅為0.27%??芍谟邢薮螖?shù)據(jù)測量中落在±3σ 范圍之外的概率是小概率事件,因此通常將等于3σ 的誤差定義為極限誤差。若樣本數(shù)據(jù)中某個數(shù)據(jù)殘余誤差的絕對值大于3σ,則為異常數(shù)據(jù),應(yīng)剔除。根據(jù)路面裂縫整幅圖像凹線段灰度極小值點滿足正態(tài)分布的特點,采用準則提取裂縫異常數(shù)據(jù),過程如下:
式中,Xi代表第i 個極小值點灰度值;n 代表極小值點個數(shù);μ 和σ 分別代表灰度極小值的期望和標準偏差。將圖4 的極小值點帶入,可算出圖3 中的點H滿足XH-μ>3σ;點L 滿足XL-μ>σ。因此可采用3σ高低閾值提取裂縫特征,其中高閾值TH=μ-3σ,低閾值TL=μ-σ,數(shù)學(xué)模型如下:
2.2.3 多方向裂縫24 鄰域激活重構(gòu)算法
對介于高、低閾值之間的特征點進行分析,可知兩者的區(qū)別是低對比度裂縫特征點的24 鄰域,原理如圖5 所示,其存在高閾值特征點;而背景干擾點的24 鄰域無高閾值裂縫特征點。
圖5 正轉(zhuǎn)時碼盤相位波形
基于上述分析,所提方法是基于雙閾值多方向激活限制特征裂縫線條生成,其原理是掃描介于高、低閾值特征點之間(圖5 中P 點)的24 鄰域內(nèi)的高閾值個數(shù)PNum,數(shù)學(xué)模型如下:
若PNum≥1,將其當(dāng)作裂縫特征點激活,反之將其當(dāng)作背景干擾點去除。不同掃描方向激活結(jié)果不同,且第n+1 次的激活結(jié)果依賴于第n 次的激活結(jié)果,所以將掃描起始點分別設(shè)為路面裂縫圖像的四個頂點,進行多方向掃描激活,并將四個方向的激活結(jié)果按照最大原則合并后作為裂縫特征激活重構(gòu)結(jié)果。
不同類型裂縫的特征提取激活重構(gòu)結(jié)果如圖6所示。可知在裂縫特征被完整提取的前提下,保留的偽裂縫處于分散狀態(tài),為了使最終的檢測結(jié)果更加符合裂縫的真實損害程度,需要設(shè)計專用于去除偽裂縫的算法。
圖6 裂縫特征多方向激活重構(gòu)結(jié)果
為保證提取到足夠多的裂縫細節(jié)信息以實現(xiàn)不同對比度裂縫的激活重構(gòu),將不可避免保留部分噪聲干擾,形成偽裂縫。對其特征做多方向激活重構(gòu),結(jié)果如圖7 所示。偽裂縫通常是由路面中的凹坑、沙礫、油斑污漬以及路面環(huán)境的自然材料等形成的。從人眼角度看,偽裂縫與裂縫在圖像中呈現(xiàn)相同的暗區(qū)域特點。雖然偽裂縫凹線段極小值點灰度值和裂縫的差異不大,但偽裂縫呈雜散狀,不具備較好的線條連續(xù)性。而相比之下,裂縫在線條連續(xù)性方面具有較好的特異性。
圖7 裂縫特征多方向激活重構(gòu)結(jié)果
基于上述分析,在保證裂縫被完整檢測的前提下,基于裂縫連續(xù)性設(shè)計偽裂縫去除算法。算法原理是設(shè)計大小為M×N 的滑動窗口遍歷裂縫激活重構(gòu)結(jié)果。由于裂縫具有連續(xù)性,窗口鄰域內(nèi)存在裂縫特征點;而偽裂縫不具備連續(xù)性,窗口鄰域內(nèi)不存在裂縫特征點?;瑒哟翱趻呙枋疽鈭D如圖8 所示?;瑒哟翱诘某叽缡顷P(guān)鍵問題,如果設(shè)置為固定值,那么采集環(huán)境的變化可能會導(dǎo)致算法不再適用。
圖8 滑動窗口掃描示意圖
鑒于偽裂縫是路面中的凹坑、沙礫、油斑污漬等,在路面破損圖像中呈雜散態(tài)分布。圖像的寬度和高度對應(yīng)目標物體的長度和寬度,因此只需確定偽裂縫長度與圖像寬度之間的關(guān)系即可確定滑動窗口的尺寸。通過對大量偽裂縫數(shù)據(jù)分析發(fā)現(xiàn)其有效長度不超過路面破損圖像寬度的5%。圖8 (c)是M×N=5%×長×寬×5%時滑動窗口的偽裂縫去除結(jié)果,可見在裂縫被完整檢測的同時偽裂縫已被去除。
依照中華人民共和國交通運輸部發(fā)布的現(xiàn)行《公路路面技術(shù)狀況自動化檢測規(guī)程》(JTG/T E61-2014)行業(yè)標準中的路面裂縫自動檢測方法,選用檢測識別準確率(Recognition Accuracy,RA)作為評估指標,計算公式為:
式中,CN(Correct Number)代表正確檢測的路面裂縫圖像個數(shù);TN(Total Number)代表路面裂縫數(shù)據(jù)集的總個數(shù)。
算法實驗使用的軟件平臺為Visual Studio C++2022。處理器Intel?CoreTMi7-12700H(2.70 GHz)。選用64 位Windows11 操作系統(tǒng),并在公共數(shù)據(jù)集CFD[6]中進行算法評估。CFD 數(shù)據(jù)集采集了中國北京的城市路面狀況,包括路面中常見的油斑和水漬等噪聲,圖像的分辨率為480×320 像素,共有118 張。實驗得到不同類型的路面裂縫的檢測結(jié)果,如圖9所示。
圖9 不同類型裂縫檢測結(jié)果
不同檢測方法在CFD 數(shù)據(jù)集中的評估結(jié)果在表1 中匯總給出。
表1 CFD 數(shù)據(jù)集測試結(jié)果
由表1 可知,所提方法在CFD 數(shù)據(jù)中的檢測識別準確率有所提高。然而當(dāng)路面存在大面積重油污干擾時,由于重油污區(qū)域的灰度值小于裂縫區(qū)域,將導(dǎo)致裂縫區(qū)域的凹線段極小值點灰度值不滿足特征提取條件,發(fā)生重油污相關(guān)裂縫的漏檢。對于大面積重油污干擾等復(fù)雜環(huán)境裂縫檢測的問題,還有待在未來進一步研究解決。
本研究深入探索了路面不同類型裂縫的檢測。在對路面裂縫灰度圖像不做預(yù)處理和標注訓(xùn)練的前提下,通過統(tǒng)計分析凹線段灰度極小值點直方圖,提出了一種基于灰度極小值的路面裂縫檢測方法,在公共數(shù)據(jù)集CFD 上進行了算法的有效性驗證。驗證結(jié)果表明,所提方法能夠有效檢測橫向、縱向、塊狀和網(wǎng)狀裂縫,對于路面裂縫的在線檢測具有一定的實際應(yīng)用價值。