凌小康,詹 杰,麻建飛

(1.中水珠江規(guī)劃勘測設(shè)計(jì)有限公司,廣東 廣州 510610;2.北京交通大學(xué)土木建筑工程學(xué)院,北京 100044)

裂縫是指結(jié)構(gòu)在荷載或溫度作用下發(fā)生開裂的現(xiàn)象[1]。結(jié)構(gòu)開裂是造成如交通、水利水電、建筑等工程安全隱患的直接原因,對工程的建設(shè)、運(yùn)維產(chǎn)生不利影響[2-3]。如混凝土大壩病害[4-5]、隧洞襯砌病害[6-7]都與結(jié)構(gòu)開裂有關(guān)。因此,開展裂縫識(shí)別方法研究對掌握結(jié)構(gòu)損傷狀態(tài),科學(xué)地評(píng)價(jià)結(jié)構(gòu)在施工運(yùn)維過程中安全性具有重要的意義。

目前,工程中普遍采用的裂縫識(shí)別方法仍然是人工檢測。人工檢測具有很大的局限性,在面對大區(qū)域裂縫識(shí)別效率低下、主觀性強(qiáng),而且在如道路、大壩等特殊建構(gòu)筑物的檢測工作過程中存在安全隱患[8]。近年來,隨著機(jī)器視覺和圖像處理技術(shù)的不斷發(fā)展,利用數(shù)字圖像進(jìn)行裂縫識(shí)別已經(jīng)成為裂縫檢測領(lǐng)域常用的方法。與傳統(tǒng)的人工檢測方法相比,該方法具有效率高、準(zhǔn)確度高、穩(wěn)定等優(yōu)點(diǎn),可以實(shí)現(xiàn)裂縫及裂縫特征參數(shù)地自動(dòng)化識(shí)別[9]。

利用數(shù)字圖像進(jìn)行裂縫識(shí)別是根據(jù)圖像中裂縫特征信息對裂縫進(jìn)行識(shí)別和提取的一種方法[10]。國內(nèi)外學(xué)者們開展了大量研究工作,可分為兩大類。一類是基于裂縫圖像的特征描述的裂縫識(shí)別方法,這類方法是基于裂縫圖像的各類特征進(jìn)行裂縫識(shí)別,常用的有閾值分割[11]、邊緣檢測[12]、最大類間差法[13]等方法,此類方法對簡單的裂縫圖像有較好地識(shí)別精度,但是對圖像背景信息的魯棒性不強(qiáng),當(dāng)圖像背景信息較復(fù)雜時(shí)識(shí)別精度易受影響[14]。另一類是基于深度學(xué)習(xí)的裂縫識(shí)別方法,這類方法是基于大量裂縫數(shù)據(jù)集學(xué)習(xí)的裂縫識(shí)別方法,常用的方法有機(jī)器學(xué)習(xí)[15]、神經(jīng)網(wǎng)絡(luò)[16]、深度學(xué)習(xí)[17]等方法。此類方法不僅需要采集大量裂縫的原始數(shù)據(jù)集,而且需要對大量原始數(shù)據(jù)集需要逐一進(jìn)行標(biāo)記工作,這就極大地降低了該方法的普適性。因此,基于裂縫圖像的特征描述進(jìn)行裂縫識(shí)別仍然是主要的研究方向,區(qū)域生長方法具有較強(qiáng)的魯棒性和較高的識(shí)別效率,針對裂縫識(shí)別這種高精度區(qū)域識(shí)別具有較好的效果。但是目前在裂縫識(shí)別應(yīng)用中還存在以下2個(gè)關(guān)鍵問題沒有得到很好解決:一是區(qū)域生長方法需要人為選定生長點(diǎn),無法滿足自動(dòng)化檢測的需求;二是區(qū)域生長方法的識(shí)別結(jié)果受判斷閾值的影響,針對復(fù)雜背景的圖像無法保持較高的識(shí)別精度。

本文針對裂縫圖像的識(shí)別問題,提出了一種融合注意力機(jī)制和區(qū)域生長的裂縫識(shí)別方法,通過區(qū)域生長方法獲取不同閾值下的裂縫結(jié)果,引入注意力機(jī)制,根據(jù)動(dòng)態(tài)閾值下裂縫識(shí)別結(jié)果為圖像各像素點(diǎn)賦予不同的權(quán)重系數(shù),得到較準(zhǔn)確的裂縫識(shí)別結(jié)果,然后通過裂縫骨架長度和裂縫區(qū)域所占面積確定裂縫的特征信息,即裂縫長度和裂縫平均寬度。最后通過現(xiàn)場裂縫圖像驗(yàn)證了該方法的可行性和有效性,為裂縫識(shí)別提供了一種新的方法。

1 裂縫識(shí)別算法研究

1.1 區(qū)域生長方法

區(qū)域生長方法是指將圖像上具有相似性質(zhì)的像素點(diǎn)合并到同一區(qū)域中,是計(jì)算機(jī)圖形學(xué)的一種方法[18]。對于某一個(gè)區(qū)域,首先需要在區(qū)域內(nèi)指定生長點(diǎn)作為區(qū)域生長的起點(diǎn),然后按照一定的搜索原則進(jìn)行搜索,將滿足搜索原則的點(diǎn)合并到生長點(diǎn)這個(gè)區(qū)域中,最終得到與生長點(diǎn)具有相似性質(zhì)的一個(gè)區(qū)域。區(qū)域生長方法相較于傳統(tǒng)的邊緣檢測、閾值分割等方法具有更強(qiáng)的魯棒性。區(qū)域生長方法原理見圖1。

a)生長點(diǎn)

1.2 注意力機(jī)制

注意力機(jī)制是人工神經(jīng)網(wǎng)絡(luò)中模仿人類認(rèn)知注意力的方法。在人類認(rèn)知注意力中,人類的注意力是有限的,不可能關(guān)注到所有信息,而是有選擇地關(guān)注一部分人類認(rèn)為重要的信息,這種機(jī)制就是注意力機(jī)制[19]。注意力機(jī)制主要有2個(gè)關(guān)鍵的步驟:一個(gè)是判斷需要重點(diǎn)關(guān)注哪一部分信息,另一個(gè)是將有限的注意力處理這部分關(guān)鍵信息。注意力機(jī)制原理見圖2。

圖2 注意力機(jī)制原理

1.3 裂縫識(shí)別算法流程設(shè)計(jì)

裂縫區(qū)域與圖像背景區(qū)域存在較大的灰度值差異,見圖3。從圖3c、3d中可以看出,大部分裂縫區(qū)域灰度值在50以下,相較于背景區(qū)域大于100的灰度值存在較大的差異。因此,只要保證生長點(diǎn)位于裂縫區(qū)域內(nèi),就能通過區(qū)域生長方法較完整地識(shí)別出整條裂縫。但是從圖3d中可以看出背景區(qū)域也存在灰度值極小的像素點(diǎn),從而影響裂縫識(shí)別精度。所以,本文引入注意力機(jī)制對區(qū)域生長識(shí)別出的裂縫結(jié)果進(jìn)行處理,得到較準(zhǔn)確的裂縫識(shí)別結(jié)果。

a)裂縫灰度圖像 b)圖像子區(qū)

基于區(qū)域生長方法和注意力機(jī)制,提出并在Matlab中編程實(shí)現(xiàn)了裂縫識(shí)別算法。裂縫檢測程序識(shí)別流程主要包括圖像讀取、圖像預(yù)處理、裂縫識(shí)別、結(jié)果顯示4個(gè)部分,見圖4。

圖4 裂縫識(shí)別算法流程

圖像的預(yù)處理是指對采集到的圖像進(jìn)行灰度化處理的過程。通常采集到的圖像是RGB三通道圖像,需要通過圖像灰度化處理將RGB圖像轉(zhuǎn)為灰度圖像,在保留裂縫信息的基礎(chǔ)上,可以簡化矩陣,提高裂縫識(shí)別算法的效率?；叶然幚硪娛?1):

Gray=0.299R+0.587G+0.114B

(1)

式中 Gray——圖像灰度值;R——圖像在紅色通道的值;G——圖像在綠色通道的值;B——圖像在藍(lán)色通道的值。

裂縫識(shí)別是指對預(yù)處理過后的圖像進(jìn)行裂縫識(shí)別的過程。采用區(qū)域生長方法,獲取動(dòng)態(tài)閾值下裂縫識(shí)別結(jié)果,引入注意力機(jī)制,根據(jù)動(dòng)態(tài)閾值下識(shí)別結(jié)果為圖像各像素點(diǎn)賦予不同的權(quán)重系數(shù),經(jīng)過一次閾值判斷,得到較為準(zhǔn)確的裂縫識(shí)別結(jié)果。

結(jié)果顯示模塊是以原始彩色圖像為底圖,設(shè)置識(shí)別出裂縫區(qū)域的顯示顏色和透明度,將識(shí)別出的裂縫區(qū)域和原始彩色圖像顯示在同一個(gè)圖像上。

2 裂縫識(shí)別算法

2.1 生長點(diǎn)的確定

傳統(tǒng)的區(qū)域生長方法需要人工選定生長點(diǎn),無法滿足自動(dòng)化檢測的需求。圖像中裂縫區(qū)域的灰度值與背景區(qū)域的灰度值會(huì)有差異,并且裂縫區(qū)域通常是連續(xù)的。因此,確定的生長點(diǎn)就需要在裂縫區(qū)域內(nèi),再根據(jù)區(qū)域生長方法將生長點(diǎn)周圍具有相似性質(zhì)的區(qū)域識(shí)別出來。

具體的生長點(diǎn)確定步驟如下:首先將預(yù)處理后圖像中灰度較低的點(diǎn)識(shí)別出來,記錄其灰度值和位置信息。該步驟的關(guān)鍵在于確定在裂縫區(qū)域內(nèi)的生長點(diǎn)和確定合適的生長點(diǎn)數(shù)量。如果生長點(diǎn)數(shù)量過少,就會(huì)導(dǎo)致所有生長點(diǎn)位于圖像背景區(qū)域中,不能正確識(shí)別出圖像裂縫信息;如果生長點(diǎn)數(shù)量過多,就會(huì)影響區(qū)域生長的識(shí)別效率。因此確定合適的生長點(diǎn)數(shù)量是準(zhǔn)確識(shí)別裂縫的關(guān)鍵因素之一,通常工業(yè)相機(jī)采集的圖像分辨率為1 600×1 200 pixel,共216萬個(gè)像素點(diǎn),在滿足裂縫識(shí)別準(zhǔn)確度的前提下,盡可能地保證裂縫識(shí)別的效率。不同生長點(diǎn)數(shù)量下裂縫識(shí)別的準(zhǔn)確度和時(shí)間見圖5。從圖中看出生長點(diǎn)數(shù)量越多,裂縫識(shí)別的準(zhǔn)確度先增加,然后在一定的范圍內(nèi)波動(dòng);而生長點(diǎn)數(shù)量越多,其裂縫識(shí)別的時(shí)間越長。經(jīng)過比選最終確定生長點(diǎn)數(shù)量為像素點(diǎn)總數(shù)的0.01%。

圖5 不同生長點(diǎn)數(shù)量下裂縫識(shí)別結(jié)果

2.2 搜索方法

搜索方法是指在確定生長點(diǎn)后,對生長點(diǎn)周圍區(qū)域的搜索方法。常用的區(qū)域生長搜索方法有2種:四鄰域搜索和八鄰域搜索,見圖6。其中四鄰域就是搜索某個(gè)點(diǎn)的4個(gè)方向(上、下、左、右)4個(gè)點(diǎn),八領(lǐng)域就是搜素某個(gè)點(diǎn)周圍所有方向(上、下、左、右、左上、右上、右下、左下)8個(gè)點(diǎn)。

FTFTATFTF

圖7為不同搜索方法的裂縫識(shí)別結(jié)果。從圖7b中可以看出,四鄰域搜索方法下裂縫識(shí)別的結(jié)果存在誤差,即圖中紅色區(qū)域部分未能識(shí)別為裂縫區(qū)域;而八鄰域搜索方法下裂縫識(shí)別的結(jié)果較四鄰域搜索方法下裂縫識(shí)別結(jié)果更加完整,表明八鄰域搜索方法具有更好的魯棒性,因此,本文采用八鄰域搜索方法。

a)裂縫區(qū)域

2.3 區(qū)域生長判斷準(zhǔn)則

(2)

(3)

(4)

2.4 注意力機(jī)制

根據(jù)區(qū)域生長原則可知,動(dòng)態(tài)閾值的值越小時(shí),根據(jù)區(qū)域生長得到的裂縫信息越全面,同時(shí)背景區(qū)域的誤識(shí)別信息也越多,因此本文建立多個(gè)動(dòng)態(tài)閾值識(shí)別裂縫信息,然后通過注意力機(jī)制處理背景區(qū)域誤識(shí)別信息,提高裂縫區(qū)域識(shí)別精度。

具體步驟如下:采用不同的動(dòng)態(tài)閾值進(jìn)行區(qū)域生長計(jì)算,獲得不同動(dòng)態(tài)閾值下裂縫區(qū)域的識(shí)別結(jié)果(二值化矩陣),以動(dòng)態(tài)閾值取值最小時(shí)識(shí)別出的裂縫區(qū)域?yàn)槌跏剂芽p區(qū)域,獲取初始裂縫的水平坐標(biāo)范圍和豎直坐標(biāo)范圍,即初始裂縫再圖像中的范圍Z,在這個(gè)范圍內(nèi)如果同時(shí)被所有動(dòng)態(tài)閾值識(shí)別為裂縫的位置賦予最高的權(quán)重,即認(rèn)為這個(gè)位置就是裂縫位置;但是如果只被某些動(dòng)態(tài)閾值識(shí)別為裂縫的位置,那么就相應(yīng)降低這個(gè)權(quán)重值;如果這個(gè)位置在所有動(dòng)態(tài)閾值下都被識(shí)別為非裂縫區(qū)域,那么對該位置賦予最低的權(quán)重,權(quán)重取值見式(4)。最后,將權(quán)重系數(shù)矩陣乘以圖像灰度矩陣,然后通過一次閾值判斷,當(dāng)像素值小于閾值時(shí),判斷其為最終裂縫區(qū)域,當(dāng)像素值大于閾值時(shí),判斷其為非裂縫區(qū)域,注意力機(jī)制可表示為式(5):

(5)

式中w——權(quán)重系數(shù)。

3 裂縫識(shí)別結(jié)果及分析

3.1 裂縫識(shí)別結(jié)果

根據(jù)本文提出的裂縫識(shí)別方法,選取現(xiàn)場裂縫圖像進(jìn)行裂縫提取,現(xiàn)場裂縫圖像見圖8。不同動(dòng)態(tài)閾值下裂縫的提取結(jié)果見圖9,可以看出動(dòng)態(tài)閾值的值越小時(shí),根據(jù)區(qū)域生長得到的裂縫信息越全面,同時(shí)背景區(qū)域的誤識(shí)別信息也越多。圖10為裂縫的最終識(shí)別結(jié)果,可以看出原始圖像中絕大部分裂縫信息都被準(zhǔn)確地識(shí)別。

圖8 原始裂縫圖像

a)動(dòng)態(tài)閾值=0.02

圖10 裂縫最終識(shí)別結(jié)果

3.2 裂縫識(shí)別結(jié)果分析

獲得裂縫最終識(shí)別結(jié)果后(二值圖),通過結(jié)果顯示模塊,以原始裂縫圖像為底圖,設(shè)置識(shí)別出的裂縫區(qū)域顯示顏色為紅色,透明度為60%,將識(shí)別出的裂縫區(qū)域和原始裂縫圖像顯示在同一個(gè)圖像上,見圖11。從圖中可以看出,裂縫識(shí)別的結(jié)果較為準(zhǔn)確,原始裂縫圖像中的一條主裂縫和一條次裂縫都被準(zhǔn)確地識(shí)別出來,但是在裂縫的端部區(qū)域,存在小區(qū)域的裂縫未被識(shí)別,綜合來看,裂縫識(shí)別的結(jié)果較為理想。選擇不同背景和不同裂縫形狀的圖像進(jìn)行裂縫識(shí)別,識(shí)別結(jié)果見圖12。可以看出,在不同背景和不同裂縫形狀下,本文算法的識(shí)別結(jié)果均較為準(zhǔn)確,證明了本文算法的魯棒性。

圖11 裂縫結(jié)果顯示

a)裂縫1識(shí)別結(jié)果

為了定性地描述裂縫信息,在獲得裂縫識(shí)別結(jié)果后,計(jì)算出裂縫的特征信息(裂縫長度和裂縫平均寬度),其中裂縫長度確定方法為:提取出裂縫的骨架線,以骨架線所占的像素個(gè)數(shù)為裂縫長度。裂縫平均寬度由裂縫區(qū)域所占的像素個(gè)數(shù)除以裂縫長度確定。裂縫特征信息見表1。從表1中可以看出,本文提取裂縫的長度和平均寬度與實(shí)際結(jié)果相差不大,誤差在10%左右,基本滿足工程上裂縫識(shí)別的要求,表明本文融合注意力機(jī)制和區(qū)域生長的裂縫識(shí)別方法的準(zhǔn)確性和可行性。

表1 裂縫特征信息

4 結(jié)論

裂縫識(shí)別是一個(gè)復(fù)雜的圖像處理問題。本文提出了一種融合注意力機(jī)制和區(qū)域生長的裂縫識(shí)別方法,以不同的動(dòng)態(tài)閾值進(jìn)行區(qū)域生長計(jì)算,獲得不同動(dòng)態(tài)閾值下裂縫識(shí)別結(jié)果,引入注意力機(jī)制,賦予裂縫區(qū)域更大的權(quán)重系數(shù),最終得到較準(zhǔn)確的裂縫識(shí)別結(jié)果。主要結(jié)論如下:①針對區(qū)域生長中不同閾值對裂縫識(shí)別精度的影響,引入注意力機(jī)制,融合多組閾值下裂縫識(shí)別結(jié)果,結(jié)果表明,融合注意力機(jī)制和區(qū)域生長的裂縫識(shí)別方法具有較強(qiáng)的魯棒性和識(shí)別準(zhǔn)確度;②現(xiàn)場圖像裂縫識(shí)別結(jié)果表明,本文提出的融合注意力機(jī)制和區(qū)域生長的裂縫識(shí)別方法對較復(fù)雜的裂縫圖像仍有較強(qiáng)的識(shí)別能力,且裂縫識(shí)別精度可靠,可為工程健康監(jiān)測提供支持。