王 超

(遼寧省交通規(guī)劃設(shè)計(jì)院有限責(zé)任公司技術(shù)研發(fā)中心,遼寧 沈陽 110111)

1 概 述

隨著我國國民經(jīng)濟(jì)的發(fā)展,交通運(yùn)輸也得到了突飛猛進(jìn)的發(fā)展,橋梁數(shù)量不斷增加,截至2021年末,全國公路橋梁83.25萬座、總長度73 802.1 km;其中,遼寧省公路橋梁達(dá)到4.99萬座、累計(jì)長度2 045.7 km。在道路橋梁快速建設(shè)和發(fā)展的過程中,由于客觀因素和人為因素的影響,出現(xiàn)了一些問題:路橋運(yùn)營中超限超載造成設(shè)施疲勞老化;自然災(zāi)害造成橋梁損傷;橋梁自然劣化等。無論是什么樣的問題導(dǎo)致道路橋梁出現(xiàn)安全事故,帶來的損失都是無法估量的。為了確保橋梁完好,預(yù)防重大橋梁安全事件的發(fā)生,需要做好橋梁檢測(cè)工作,找準(zhǔn)問題,采取必要措施,排除大橋安全隱患。

如何提高橋梁檢測(cè)的效率一直是橋梁人努力的方向:在實(shí)際的橋梁檢測(cè)工程中,從最初的人工肉眼觀測(cè),到使用橋梁檢測(cè)車,再到各種結(jié)構(gòu)的無損檢測(cè),都是在實(shí)際的應(yīng)用與實(shí)踐中,逐步地發(fā)現(xiàn)問題,探究對(duì)策,最后提出新方法、新思路提高橋梁檢測(cè)的效率和專業(yè)化程度。現(xiàn)階段橋梁檢查工作存在如下的問題:公路橋梁的檢測(cè)大多通過人工觀測(cè),這種靠肉眼觀測(cè)和借助工具測(cè)量的方法效率低且無法保證檢測(cè)結(jié)果的可靠性,已遠(yuǎn)遠(yuǎn)不能滿足現(xiàn)代化質(zhì)量檢測(cè)的標(biāo)準(zhǔn),急需可以提升作業(yè)效率和檢查質(zhì)量的檢測(cè)手段和設(shè)備。

機(jī)器視覺(MachineVision),用計(jì)算機(jī)來模擬人的視覺功能,從圖像中提取信息,進(jìn)行處理,多用于檢測(cè)、測(cè)量和控制。機(jī)器視覺因具有的高精度、不需接觸被測(cè)物體表面和高可靠性等特點(diǎn),在國內(nèi)外工業(yè)領(lǐng)域應(yīng)用十分廣泛,在土木工程行業(yè),機(jī)器視覺技術(shù)也慢慢開始使用。課題組基于機(jī)器視覺技術(shù),利用單反相機(jī)、兩軸電動(dòng)云臺(tái)等設(shè)備集成了橋梁表觀病害自動(dòng)采集系統(tǒng)。

根據(jù)統(tǒng)計(jì)結(jié)果可知,對(duì)結(jié)構(gòu)影響較大的裂縫接近病害數(shù)量的1/10,是橋梁中最主要的病害之一,而且裂縫產(chǎn)生后,鋼筋銹蝕等病害也會(huì)緊隨其后。高寒地區(qū)為了保持道路暢通,在雪天會(huì)通過撒鹽等方式進(jìn)行除雪,帶有氯離子的溶液會(huì)滲入到混凝土的孔隙中,與鋼筋接觸,加速鋼筋銹蝕,橋梁整體強(qiáng)度下降。另據(jù)統(tǒng)計(jì),我國混凝土橋梁的病害有80%以上都是由裂縫造成的。因此,對(duì)橋梁的健康檢測(cè)主要是對(duì)橋梁表觀裂縫進(jìn)行檢測(cè)與測(cè)量錯(cuò)誤[1]。開展針對(duì)裂縫的自動(dòng)識(shí)別算法的研究工作,是橋梁檢測(cè)效率提升、檢測(cè)質(zhì)量提升的重頭戲。

2 裂縫病害識(shí)別算法

為了提高識(shí)別效率,在保證圖像質(zhì)量的前提下對(duì)圖像進(jìn)行縮放處理。常用的影像縮放方法主要有最鄰近插值、雙線性插值、雙立方插值等。雙線性插值縮放后畫質(zhì)較高,克服了灰階不連續(xù)等不足,所以使用雙線性插值法對(duì)原始尺寸圖像進(jìn)行縮小,并在識(shí)別結(jié)束后使用該方法對(duì)圖像進(jìn)行放大。

縮放后的圖像進(jìn)行病害識(shí)別前,還需要進(jìn)行一系列的預(yù)處理,包括灰階轉(zhuǎn)換、數(shù)據(jù)增強(qiáng)、數(shù)據(jù)濾波等環(huán)節(jié)。

因?yàn)椴杉降膱D像為彩色圖像,為了方便后續(xù)辨識(shí)處理,先將影像灰度轉(zhuǎn)換,使用心理學(xué)灰度公式,對(duì)彩色圖像的B(藍(lán))、G(綠)、R(紅)三個(gè)通道使用不同權(quán)值進(jìn)行加權(quán)計(jì)算,得到對(duì)應(yīng)的灰度值,如公式(1)

Gray=0.30·R+0.59·G+0.11·B

(1)

由于裂縫區(qū)域相對(duì)橋體面積較小,為了突出病害區(qū)域,對(duì)灰度圖進(jìn)行圖像增強(qiáng),以增強(qiáng)系統(tǒng)判讀和識(shí)別效果。為了凸顯出圖像中的裂縫區(qū)域,本系統(tǒng)使用直方圖均衡化的方法增強(qiáng)圖像的對(duì)比度。直方圖均衡化通常用來增加圖像的全局對(duì)比度錯(cuò)誤[2],特別是當(dāng)圖像中有興趣灰度值比較接近時(shí),通過這種方法可以在直方圖上更好地分布亮度。這樣就可以在不影響整體對(duì)比度的情況下,用來增強(qiáng)局部的對(duì)比度。

圖像預(yù)處理后,就可以進(jìn)行圖像分割,圖像分割是把圖像分成若干個(gè)特定的、具有獨(dú)特性質(zhì)的區(qū)域并提出感興趣目標(biāo)的過程。

為了提取圖像中的裂縫區(qū)域,首先對(duì)灰度圖像進(jìn)行閾值分割,將灰度圖轉(zhuǎn)化為二值圖,由于橋體本身并不光滑,使得二值圖像中隨機(jī)離散的雜訊非常多。利用中值濾鏡對(duì)畫面進(jìn)行降噪處理。

通過濾波后的圖像能夠看出,裂縫區(qū)域在二值圖像中存在斷續(xù)的現(xiàn)象,因此使用相干增強(qiáng)濾波的方法將斷續(xù)部分進(jìn)行連接。

相干增強(qiáng)濾波法,對(duì)圖像進(jìn)行定位,確定圖像中最強(qiáng)烈的相干性方向,并對(duì)邊緣進(jìn)行探測(cè),判斷圖像中的終止位置可能會(huì)發(fā)生反射,最終對(duì)圖像進(jìn)行濾波處理。非線性相干增強(qiáng)擴(kuò)散方程的基礎(chǔ)是線性擴(kuò)散方程,加上結(jié)構(gòu)張量,可以分析定位,使之結(jié)合成擴(kuò)散張量的等式。對(duì)于裂隙病害這種方向連續(xù)的圖像,非線性相干增強(qiáng)擴(kuò)散可以過濾相干性較強(qiáng)的地方,對(duì)圖像的線性結(jié)構(gòu)有良好的保護(hù)作用。

非線性相干增強(qiáng)擴(kuò)散方程為

(2)

式中:D為擴(kuò)散矩陣;▽u是圖像的梯度。

由結(jié)構(gòu)張量形成擴(kuò)散張量,通過圖像梯度形成積數(shù)

(3)

式中:▽為圖像梯度運(yùn)算;T代表轉(zhuǎn)置運(yùn)算。

通過標(biāo)準(zhǔn)偏差可得出一個(gè)結(jié)構(gòu)張量,這個(gè)張量是ρmatrix函數(shù)與矩陣的卷積

(4)

式中:λ1和λ2為其張量特征值,由Sp的較小的特征值對(duì)應(yīng)的特征向量來決定圖像結(jié)構(gòu)紋理的方向,根據(jù)結(jié)構(gòu)張量的出擴(kuò)散張量D

(5)

上面公式(5)中分別為擴(kuò)張向量的特征值,擴(kuò)散張量的特征向量和結(jié)構(gòu)張量是一樣的,因此

(6)

(7)

(8)

(9)

相干濾波增強(qiáng)擴(kuò)散方法在處理圖像時(shí),圖像的各個(gè)像素點(diǎn)沿著相干方向平滑擴(kuò)散,在圖像線狀結(jié)構(gòu)處有效抑制雜訊,同時(shí)也使圖像邊緣不受影響,防止邊緣部分的模糊。

對(duì)濾波后的圖像進(jìn)行相干增強(qiáng)濾波操作后,消除了圖像中零散點(diǎn)的干擾,對(duì)斷續(xù)的區(qū)域進(jìn)行了連通,保留了裂縫區(qū)域在圖像中的連續(xù)性。

區(qū)域生長是指從某個(gè)像素出發(fā),按照一定的準(zhǔn)則,逐步加入鄰近像素,當(dāng)滿足一定的條件時(shí),終止區(qū)域生長[3]。經(jīng)過區(qū)域生長后的圖像將距離相近的部分進(jìn)行了連通,但圖像中除了裂縫區(qū)域,還包括其他噪聲干擾,因此,還需提取圖像中的目標(biāo)區(qū)域的連通域,計(jì)算目標(biāo)區(qū)域連通域的面積、長度、寬度及長寬比,根據(jù)目標(biāo)區(qū)域連通域的尺寸信息對(duì)連通域進(jìn)行篩選,保留病害區(qū)域,并在原圖像中進(jìn)行標(biāo)示。

3 系統(tǒng)實(shí)現(xiàn)

系統(tǒng)主界面的上部,是功能菜單模塊,從功能菜單中可以看出本系統(tǒng)分為四大業(yè)務(wù)模塊,分別為圖像采集、圖像管理、云臺(tái)控制和圖像識(shí)別。

圖像采集子模塊主要是控制采集設(shè)備進(jìn)行橋梁圖像的采集工作,包含了拍攝預(yù)覽、拍攝畫面實(shí)時(shí)監(jiān)測(cè)、拍攝準(zhǔn)備和采集等功能。系統(tǒng)提供了自動(dòng)采集和手動(dòng)補(bǔ)拍兩種模式,進(jìn)行橋梁圖像采集時(shí),輸入拍攝的矩陣,云臺(tái)根據(jù)設(shè)定的參數(shù)自動(dòng)轉(zhuǎn)動(dòng),進(jìn)行圖像的采集工作,系統(tǒng)還提供了手動(dòng)補(bǔ)拍的功能,在拍攝一些圖像失敗時(shí)手動(dòng)進(jìn)行采集。

圖片管理子模塊可對(duì)相機(jī)中的圖像進(jìn)行相關(guān)的管理操作。通過列表的形式對(duì)采集的照片進(jìn)行加載和展示,還可以對(duì)單張圖片進(jìn)行瀏覽和查看,將圖片下載到本地或者刪除等。

云臺(tái)控制子模塊實(shí)現(xiàn)云臺(tái)參數(shù)的配置及調(diào)節(jié)轉(zhuǎn)動(dòng)工作,為相機(jī)采集做好準(zhǔn)備工作。“云臺(tái)頁面”主要包括串口數(shù)據(jù)接收窗口、串口設(shè)置面板窗口、云臺(tái)指令窗口和測(cè)距儀指令窗口。

圖像識(shí)別子模塊實(shí)現(xiàn)對(duì)橋梁病害的自動(dòng)識(shí)別工作,包含橋梁病害識(shí)別與導(dǎo)出識(shí)別結(jié)果等功能。系統(tǒng)需要首先加載待識(shí)別圖像文件,待識(shí)別的文件可以是圖像采集子模塊采集的圖像,也可以是通過其他設(shè)備采集的橋梁病害圖像。加載成功后,系統(tǒng)將采集信息顯示在右側(cè)“病害總體描述”窗口,其中包括圖像采集日期、采集圖像的范圍大小即矩陣行數(shù)和列數(shù),將原圖像縮略圖顯示在窗口“相片列表”內(nèi)。圖像加載完,需要對(duì)設(shè)備采集的圖像進(jìn)行拼接,將多張圖片拼接成一張大圖,拼接動(dòng)作完成后,系統(tǒng)后臺(tái)啟動(dòng)對(duì)圖像的畸變矯正。由于橋體的高度、位置等因素,相機(jī)在拍攝時(shí)會(huì)偏轉(zhuǎn)一定角度,這會(huì)使圖像發(fā)生擠壓、伸展、偏移和扭曲等變形,使圖像的幾何位置、尺寸、形狀、方位等發(fā)生改變,畸變校正就是把采集到的圖像校正到正面拍攝的效果。

經(jīng)過上述一系列的預(yù)處理,就可以對(duì)圖像中的病害進(jìn)行識(shí)別,系統(tǒng)在后臺(tái)調(diào)用裂縫識(shí)別算法,圖片已經(jīng)通過畸變轉(zhuǎn)換成正面拍攝的效果,根據(jù)激光測(cè)距儀得到距離信息,進(jìn)而計(jì)算出裂縫參數(shù)信息,包含裂縫的長度和寬度等關(guān)鍵信息。識(shí)別完成后,將識(shí)別結(jié)果進(jìn)行展示,包括橋梁代碼、部件號(hào)、部件編號(hào)、病害類型、病害等級(jí)、檢測(cè)時(shí)間及裂縫方向、尺寸等。

識(shí)別出病害結(jié)果后,可以通過導(dǎo)出識(shí)別結(jié)果功能將識(shí)別結(jié)果導(dǎo)出,導(dǎo)出的文件是csv格式,導(dǎo)出的病害表格格式與橋梁檢測(cè)報(bào)告中的內(nèi)容一致,直接放入檢測(cè)報(bào)告中。

4 系統(tǒng)實(shí)驗(yàn)測(cè)試

系統(tǒng)開發(fā)完成后,課題組挑選了遼寧沈海高速上的鞍山小橋9等4座橋梁對(duì)進(jìn)行了依托工程驗(yàn)證工作,通過橋梁檢測(cè)人員現(xiàn)場(chǎng)使用來對(duì)病害檢測(cè)系統(tǒng)的病害識(shí)別率進(jìn)行判斷和評(píng)價(jià)。課題組確定的病害識(shí)別率判斷的方法是:通過橋梁病害檢測(cè)系統(tǒng)采集的照片,橋梁檢測(cè)人員人工判斷病害的位置與大小,使用病害檢測(cè)系統(tǒng)進(jìn)行病害的識(shí)別,通過兩者的對(duì)比,兩者的相似度超過75%,則認(rèn)為病害正確識(shí)別。裂縫病害識(shí)別率統(tǒng)計(jì)見表1。

表1 裂縫病害識(shí)別率

實(shí)驗(yàn)共采集了71張照片,對(duì)所有的照片進(jìn)行了病害的識(shí)別,裂縫病害的識(shí)別正確率73.24%。從結(jié)果上看,裂縫的識(shí)別算法識(shí)別效果較為一般,原因是裂縫病害雖然病害特征較為單一,但病害的干擾因素比較多,例如幾乎所有的裂縫旁邊都會(huì)被檢測(cè)人員使用油筆沿裂縫走向畫上一條線,對(duì)裂縫識(shí)別造成的干擾比較大。對(duì)于橋梁病害來說,不同的背景噪聲及不同的拍攝角度下,同一類別病害特征存在一定差異形,特征很難歸納,傳統(tǒng)的識(shí)別算法難以適應(yīng)。另一方面,隨著檢測(cè)次數(shù)與數(shù)量的增加,病害樣本數(shù)據(jù)庫不斷擴(kuò)充,考慮更好地利用已經(jīng)識(shí)別的病害樣本數(shù)據(jù)庫識(shí)別,對(duì)于已經(jīng)識(shí)別的病害進(jìn)行統(tǒng)計(jì)和學(xué)習(xí),可通過深度學(xué)習(xí)的方式提高系統(tǒng)適應(yīng)不同采集條件獲取圖像和新樣本的能力,后續(xù)課題組會(huì)繼續(xù)通過深度學(xué)習(xí)的方式來提升病害的識(shí)別率。

5 結(jié)束語

針對(duì)遼寧省內(nèi)公路橋梁病害現(xiàn)狀,將“互聯(lián)網(wǎng)+”運(yùn)用到現(xiàn)實(shí)管養(yǎng)工作中,提出基于圖像識(shí)別的橋梁表觀病害檢測(cè)技術(shù),并據(jù)此開發(fā)橋梁病害檢測(cè)系統(tǒng),基于混凝土橋梁病害主要是裂縫的狀況,采用雙線性插值法縮小圖像。圖像通過直方圖均衡化的方式增強(qiáng),然后用中值濾鏡對(duì)畫面進(jìn)行降噪處理,利用相干增強(qiáng)濾波器和區(qū)域生長法處理影像,保持病害區(qū)域的完整,然后提取連通域,計(jì)算形狀特征來進(jìn)行裂縫病害的識(shí)別。通過對(duì)病害的自動(dòng)識(shí)別,及時(shí)發(fā)現(xiàn)結(jié)構(gòu)的主要病害及破損程度,對(duì)大橋的總體技術(shù)狀況有系統(tǒng)的了解和掌握。提高橋梁檢測(cè)效率和自動(dòng)化水平。