楊杰文，章光，陳西江，班亞

基于深度學(xué)習(xí)的較復(fù)雜背景下橋梁裂縫檢測(cè)

楊杰文1，章光1，陳西江1，班亞2

(1. 武漢理工大學(xué) 安全與應(yīng)急管理學(xué)院，湖北 武漢 430079；2. 重慶市計(jì)量質(zhì)量檢測(cè)研究院，重慶 404100)

橋梁的定期裂縫檢測(cè)對(duì)于確保橋梁的安全運(yùn)行至關(guān)重要，而目前的人工檢測(cè)方法不僅耗時(shí)費(fèi)力，還存在諸多不安全因素。而橋梁裂縫還具有多種噪聲模式，因此，針對(duì)橋梁裂縫的高效檢測(cè)成為了橋梁健康檢測(cè)的研究熱點(diǎn)和難點(diǎn)。為了實(shí)現(xiàn)對(duì)較復(fù)雜背景下的橋梁裂縫的精確和高效的識(shí)別，提出一種結(jié)合U-net和Haar-like算法的卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法。通過與DenseNet，ResNet，GoogleNet和VGGNet網(wǎng)絡(luò)的比較，證明了該算法的有效性。同時(shí)，該算法還可以對(duì)裂縫的面積、長(zhǎng)度和平均寬度進(jìn)行定量計(jì)算，檢測(cè)精度高于97%。研究結(jié)果表明：該算法適用于橋梁裂縫圖像的高效檢測(cè)。

橋梁安全；裂縫檢測(cè)；較復(fù)雜背景下；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；定量計(jì)算

目前，我國(guó)橋梁建設(shè)的水平已達(dá)頂尖層次，但橋梁的安全檢測(cè)技術(shù)卻比較落后。當(dāng)前我國(guó)主要的裂縫檢測(cè)方法還是以人工檢測(cè)為主，這樣不僅不能保證檢測(cè)的效率，還容易引發(fā)安全問題。因此，如何耗費(fèi)最少的成本對(duì)橋梁進(jìn)行連續(xù)自動(dòng)的檢測(cè)已成為重要的研究方向。2017年，ZHANG等[1]建立了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的有效架構(gòu)，可以在像素級(jí)檢測(cè)3D瀝青表面裂縫，但它沒有輪詢層。苑瑋琦等[2]采用灰度值閾值分割法并結(jié)合基于二值圖與灰度圖結(jié)合的干擾剔除對(duì)裂隙進(jìn)行識(shí)別，但不適合于裂縫與背景差異不明顯的情況。阮小麗等[3]則引入了將裂縫區(qū)域當(dāng)作連通區(qū)域來對(duì)待的思想，根據(jù)裂縫的特征參數(shù)過濾掉非裂縫，能識(shí)別較小裂縫的寬度，但仍受限于灰度差異。而CHA等[4]建立的裂縫識(shí)別卷積網(wǎng)絡(luò)只能用于裂縫分類，不能用于裂縫分割。2018年，YANG等[5]引入了全卷積網(wǎng)絡(luò)(FCN)來同時(shí)解決識(shí)別和測(cè)量不同的裂縫問題，但是測(cè)量誤差較大。王森等[6]構(gòu)建了一種新型的Crack FCN模型，實(shí)現(xiàn)了較復(fù)雜背景下的裂縫的高精檢測(cè)及降低錯(cuò)誤標(biāo)記，但是處理效率仍不夠高。2019年，周穎等[7]將裂縫碎片拼接和圖像處理方法相結(jié)合，實(shí)現(xiàn)了對(duì)裂縫寬度的高精度測(cè)量，但是針對(duì)更復(fù)雜背景下的裂縫的識(shí)別有待提升?；谝陨戏椒ǎ疚慕Y(jié)合U-net[8]和Haar-like[9]，提出了一種融合的UH-Net深度學(xué)習(xí)網(wǎng)絡(luò)，它可以更準(zhǔn)確，更快速地從背景中分割裂縫，并能實(shí)現(xiàn)對(duì)較復(fù)雜背景下的橋梁裂縫的有效語(yǔ)義分割。

1 UH-Net總體架構(gòu)

本文提出的UH-Net網(wǎng)絡(luò)模型總體框架圖如圖1所示，該框架由收縮路徑和擴(kuò)展路徑(如U-net)組成。在U-net的基礎(chǔ)上，提出的模型使用特征提取塊(Feature extraction block)代替普通的卷積層，并減少了下采樣操作的數(shù)量。提出的框架的3個(gè)主要組成部分是特征提取塊，向下過渡層和向上過渡層。鑒于裂縫的邊緣和線段特征在復(fù)雜背景的情況下，所以每個(gè)特征提取塊采用Haar-like提取算法，其中Haar-like算法自身特征模板只有黑色和白色2種矩形，和裂縫實(shí)際采集的圖片特征相符合。利用Haar-like的線性特征和邊緣特征這兩屬性對(duì)輸入圖像進(jìn)行圖像特征提取，網(wǎng)絡(luò)中有2個(gè)向下過渡層和2個(gè)向上過渡層，最后一層的輸出大小與輸入圖像相同。在上采樣路徑中，每個(gè)塊輸出的特征不僅會(huì)傳輸?shù)较乱粚?，而且還會(huì)保留用于對(duì)稱下采樣過程中的特征融合，從而獲得更好的預(yù)測(cè)結(jié)果和特征提取效果，其中各層參數(shù)如表1所示。

圖1 UH-Net總體框架圖

表1 參數(shù)詳情

在計(jì)算Haar特征值時(shí)，每次都遍歷矩形特征區(qū)域，將會(huì)造成大量重復(fù)計(jì)算，嚴(yán)重浪費(fèi)時(shí)間。而積分圖正是一種快速計(jì)算矩形特征的方法，其主要思想是將圖像起始像素點(diǎn)到每一個(gè)像素點(diǎn)之間所形成的矩形區(qū)域的像素值的和，作為一個(gè)元素保存下來，也就是將原始圖像轉(zhuǎn)換為積分圖(或者求和圖)，這樣在求某一矩形區(qū)域的像素和時(shí)，只需索引矩形區(qū)域4個(gè)角點(diǎn)在積分圖中的取值，進(jìn)行普通的加減運(yùn)算，即可求得Haar特征值，整個(gè)過程只需遍歷一次圖像，計(jì)算特征的時(shí)間復(fù)雜度為常數(shù)，因此可以大大提升計(jì)算效率。

構(gòu)建好積分圖后，圖像中任何矩形區(qū)域的像素值累加和都可以通過簡(jiǎn)單的加減運(yùn)算快速得到。而為了降低計(jì)算Haar-Like特征的計(jì)算成本同時(shí)提高算法的性能，引入2種積分圖像來快速計(jì)算特征。對(duì)于水平的矩形，其積分圖像素總和積分公式如式(1)所示。

而對(duì)于傾斜45°的矩形，其積分圖(如圖2所示)像素總和積分公式如式(2)所示。

(2)

2 數(shù)據(jù)集制作

本文構(gòu)建了如圖3所示的裂縫采集機(jī)制獲得裂縫圖片及其原始尺寸以制作數(shù)據(jù)集。利用無人機(jī)搭載的CCD工業(yè)相機(jī)(Basler aca1300-30gm)采集200張?jiān)紙D像，其中大多以較復(fù)雜背景下的裂縫圖片(例如帶粗糙面、青苔、凸起、凹陷和污漬等的裂縫圖片)為主，每張圖像由于拍攝條件的不同，均有所差異。收集的原始圖像大小為4 896×3 672像素，太大而無法直接輸入，所以以248為步長(zhǎng)將其切割為512×512的子圖像，將200張?jiān)紙D像分割為46 000個(gè)子圖像。同時(shí)為了更有效地檢測(cè)出裂縫并消除噪聲，對(duì)一些子圖像采取旋轉(zhuǎn)操作，最終的數(shù)據(jù)集包含58 000個(gè)子圖像，其中48 000個(gè)用于訓(xùn)練，10 000個(gè)用于測(cè)試和驗(yàn)證網(wǎng)絡(luò)的有效性。

圖3 裂縫采集機(jī)制

3 性能評(píng)價(jià)指標(biāo)

對(duì)于語(yǔ)義分割，有3種最常用的評(píng)價(jià)指標(biāo)[10]：像素精度(PA)、平均像素精度(MPA)和平均相交度(MIoU)，其中像素精度為標(biāo)記正確的像素占總像素的比例，平均像素精度為每個(gè)類內(nèi)被正確分類像素?cái)?shù)的比例再求得的所有類的平均，平均相交度為真實(shí)值和預(yù)測(cè)值2個(gè)集合的交集和并集之比。而針對(duì)機(jī)器學(xué)習(xí)，還常用到另外3種指標(biāo)[11]精度(Precision)、召回率(Recall)和F1值，其中精度代表實(shí)際裂縫像素在預(yù)測(cè)裂縫像素中的比例，召回率代表正確預(yù)測(cè)的裂縫像素在真實(shí)裂縫像素中的比例，F(xiàn)1值同時(shí)考慮了精度和召回率，可以將其視為精度和召回率的加權(quán)平均值。各指標(biāo)表達(dá)示如下：

式中： 真正值(TP)是被正確識(shí)別為裂縫的像素?cái)?shù)；假正值(FP)表示被錯(cuò)誤識(shí)別為裂縫的像素?cái)?shù)；假負(fù)值(FN)是被錯(cuò)誤識(shí)別為非裂縫的像素?cái)?shù)；真負(fù)值(TN)是正確識(shí)別為無裂縫的像素?cái)?shù)。

4 實(shí)驗(yàn)結(jié)果

4.1 算法性能對(duì)比

基于本文的數(shù)據(jù)集進(jìn)行算法性能測(cè)試，將UH-Net與性能較好且近年來熱點(diǎn)使用的DenseNet[12]，ResNet[13]，GoogleNet[14]和VGGNet[15]4種算法進(jìn)行性能對(duì)比，表2列出了這5種算法的各項(xiàng)性能指標(biāo)。由表2可知，DenseNet，ResNet和GoogleNet各指標(biāo)均在90%以上，而VGGNet的性能則稍差，F(xiàn)1值僅為0.893 8；而UH-Net的各指標(biāo)均不低于90%的同時(shí)，一直保持高于其他四類算法。因此，在基于本文的數(shù)據(jù)集的基礎(chǔ)上，UH-Net的算法性能要優(yōu)于上述4種算法。

表2 5種算法性能對(duì)比

4.2 算法識(shí)別效果對(duì)比

基于本文采集的較復(fù)雜背景下的裂縫圖像，抽取部分裂縫圖片作為示例，將以上4種算法中評(píng)價(jià)指標(biāo)較高的DenseNet和ResNet與UH-Net進(jìn)行識(shí)別效果對(duì)比，對(duì)比效果如表4所示。

由表4可知，針對(duì)示例中帶有青苔、粗糙面和凸起的裂縫圖片，DenseNet和ResNet雖然均能識(shí)別并分割裂縫，但是噪聲去除效果遠(yuǎn)不如UH-Net；而UH-Net則能夠較好地去除噪聲并且完整且精確地識(shí)別并分割出裂縫骨架。

4.3 裂縫量化識(shí)別

為了對(duì)裂縫圖像進(jìn)行定量計(jì)算，需要對(duì)其進(jìn)行標(biāo)識(shí)。因此，基于本文數(shù)據(jù)集，選取部分裂縫作為原圖像進(jìn)行標(biāo)識(shí)流程實(shí)例，如表4所示。

再結(jié)合公式(7)即可實(shí)現(xiàn)對(duì)裂縫的物理尺寸的換算。

式中：P為裂縫的實(shí)際物理尺寸，單位為mm2；P為裂縫的像素尺寸，單位為pixel2；為裂縫在圖像中的縮放比例，單位為mm2/pixel2。

表3 3種算法效果對(duì)比

而為了更加精確地對(duì)本文方法的精度進(jìn)行驗(yàn)證，從數(shù)據(jù)集中隨機(jī)抽取部分圖像，將這部分圖像分成10類，每一類選取一幅具有代表性得圖像，如圖4所示。對(duì)這10幅裂縫圖像進(jìn)行標(biāo)識(shí)以及量化識(shí)別的結(jié)果進(jìn)行統(tǒng)計(jì)，并與裂縫測(cè)量?jī)x所測(cè)平均寬度、整體長(zhǎng)度和面積進(jìn)行對(duì)比，其統(tǒng)計(jì)以及對(duì)比結(jié)果如表5所示，精度直方圖如圖5所示。

表4 標(biāo)識(shí)示例

圖4 用于量化計(jì)算的裂縫原始圖像

表5 統(tǒng)計(jì)結(jié)果對(duì)比

50.780.800.02200.65205.024.37206.40202.623.78 60.810.800.01210.60207.682.92212.11208.193.92 70.760.780.02204.19200.343.85201.96197.934.03 80.800.780.02197.57201.223.65195.80199.023.22 90.800.820.02207.03210.753.72217.81213.784.03 100.910.930.02247.73243.684.05279.35284.485.13

圖5 統(tǒng)計(jì)結(jié)果精度對(duì)比

由圖5可知，基于與裂縫測(cè)量?jī)x測(cè)得的裂縫平均寬度(Average width)，總長(zhǎng)度(Overall length)和面積(Area)的對(duì)比，本文提出的量化識(shí)別方法檢測(cè)精度極高，最低均不低于97%，最高趨近于99%。

5 工程應(yīng)用價(jià)值

本文裂縫識(shí)別的總體框架：由搭載工業(yè)級(jí)照相機(jī)的無人機(jī)組成的圖像采集系統(tǒng)，以及基于UH-Net的裂縫圖像處理系統(tǒng)。在無人機(jī)的輔助下，檢測(cè)人員可以大量采集橋梁底部的裂縫圖像，然后將采集到的圖像上傳到電腦，通過裂縫圖像處理系統(tǒng)，完成對(duì)橋梁裂縫缺陷的檢測(cè)、統(tǒng)計(jì)和分析。

具體工程意義：針對(duì)人工檢測(cè)需要近距離采集，且存在危險(xiǎn)因素、檢測(cè)費(fèi)時(shí)和費(fèi)力的弊端，本文提出的方法只需檢測(cè)人員遠(yuǎn)程操控?zé)o人機(jī)對(duì)橋梁結(jié)構(gòu)上的裂縫進(jìn)行采集，然后將采集到的圖像上傳到電腦，通過裂縫圖像處理系統(tǒng)就可實(shí)現(xiàn)對(duì)裂縫圖像的高效分割和量化識(shí)別，最終得到誤差極小的被測(cè)裂縫的相關(guān)數(shù)據(jù)。

6 結(jié)論

1) 融合了U-net和Haar-like算法，并且采用了積分圖對(duì)特征進(jìn)行快速提取，構(gòu)建了能夠?qū)蛄毫芽p進(jìn)精確識(shí)別的UH-Net裂縫識(shí)別卷積神經(jīng)網(wǎng)絡(luò)。

2) 基于本文數(shù)據(jù)集，將UH-Net與DenseNet，ResNet，GoogleNet和VGGNet 4種算法進(jìn)行了對(duì)比，證明了UH-Net具有更好的去噪能力和裂縫骨架提取能力。

3) 基于UH-Net，結(jié)合裂縫物理尺寸轉(zhuǎn)換公式，實(shí)現(xiàn)了對(duì)橋梁裂縫的量化識(shí)別，并且將量化識(shí)別結(jié)果與裂縫測(cè)量?jī)x測(cè)量結(jié)果進(jìn)行了對(duì)比，得出本文識(shí)別方法的識(shí)別精度不低于97%，能夠?qū)崿F(xiàn)較復(fù)雜背景下的橋梁裂縫的有效檢測(cè)。

[1] ZHANG A, WANG K C P, LI B X, et al. Automated pixel-level pavement crack detection on 3D asphalt surfaces using a deep-learning network[J]. Computer- aided Civil and Infrastructure Engineering, 2017, 32(10): 805-819.

[2] 苑瑋琦, 薛丹. 基于機(jī)器視覺的隧道襯砌裂縫檢測(cè)算法綜述[J]. 儀器儀表學(xué)報(bào), 2017, 38 (12): 3100-3111. YUAN Weiqi, XUE Dan. Overview of detection algorithms for tunnel lining cracks based on machine vision[J]. Journal of Instrumentation, 2017, 38(12): 3100-3111.

[3] 阮小麗, 王波, 荊國(guó)強(qiáng), 等. 橋梁混凝土結(jié)構(gòu)表面裂縫自動(dòng)識(shí)別技術(shù)研究[J]. 世界橋梁, 2017, 45(6): 55-59. RUAN Xiaoli, WANG Bo, JING Guoqiang, et al. Research on automatic identification technology of surface cracks in bridge concrete structures[J]. World Bridge, 2017, 45(6): 55-59.

[4] CHA Y J, CHOI W. Deep learning-based crack damage detection using convolutional neural networks[J]. Computer-Aided Civil & Infrastructure Engineering, 2017, 32(5): 361-378.

[5] YANG X C, LI H, YU Y T, et al. Automatic pixel-level crack detection and measurement using fully convolutional network[J]. Computer-Aided Civil and Infrastructure Engineering, 2018, 33(12): 1090-1109.

[6] 王森, 伍星, 張印輝, 等. 基于深度學(xué)習(xí)的全卷積網(wǎng)絡(luò)圖像裂縫檢測(cè)[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2018, 30(5): 859-867. WANG Sen, WU Xing, ZHANG Yinhui, et al. Image crack detection in full convolution network based on deep learning[J]. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(5): 859-867.

[7] 周穎, 劉彤. 基于計(jì)算機(jī)視覺的混凝土裂縫識(shí)別[J]. 同濟(jì)大學(xué)學(xué)報(bào)(自然科學(xué)版), 2019, 47(9): 1277-1285. ZHOU Ying, LIU Tong. Recognition of concrete cracks based on computer vision[J]. Journal of Tongji University (Natural Science), 2019, 47(9): 1277-1285.

[8] FAN C J, WANG Z J, LI G, et al. A novel 3D U-net deep network with paralleling structure for stroke lesion image segmentation[J]. Journal of Medical Imaging and Health Informatics, 2020, 10(3): 724-730.

[9] 羅瑞奇, 鐘忺, 鐘珞, 等. 一種改進(jìn)Haar-like特征的車輛識(shí)別算法[J]. 武漢大學(xué)學(xué)報(bào)(理學(xué)版), 2018, 64(3): 244-248. LUO Ruiqi, ZHONG Xian, ZHONG Luo, et al. An improved vehicle recognition algorithm with Haar-like features[J]. Journal of Wuhan University (Science Edition), 2018, 64(3): 244-248.

[10] Garcia G A, Orts E S, Oprea S, et al. A survey on deep learning techniques for image and video semantic segmentation[J]. Asian Pacific Journal of Cancer Prevention, 2017(70): 41-65.

[11] Geetha V, Aprameya K S, Hinduja D M. Dental caries diagnosis in digital radiographs using back- propagation neural network[J]. Biomedical Signal Processing and Control, 2020, 8(1): 8.

[12] Khaled S, Mohammed H, Saeid N. Spatio-temporal denseNet for real-time intent prediction of pedestrians in urban traffic environments[J]. Neurocomputing, 2019(386): 317-324.

[13] Ayad S A, Hakan K. Automatic identification for field butterflies by convolutional neural networks[J]. Engineering Science and Technology, an International Journal, 2020, 23(1): 189-195 .

[14] Kim J H, Seo S Y, SONG C G, et al. Assessment of electrocardiogram rhythms by googleNet deep neural network architecture[J]. Journal of Healthcare Engineering, 2019, 3(1):1-8.

[15] LIU K H, ZHONG P S, ZHENG Y, et al. P_VggNet: A convolutional neural network (CNN) with pixel-based attention map[J]. PloS One, 2018, 13(12):13-19.

Research on bridge crack detection based on deep learning under complex background

YANG Jiewen1, ZHANG Guang1, CHEN Xijiang1, BAN Ya2

(1. School of Safety & Emergency Management, Wuhan University of Technology, Wuhan 430079, China;2. Chongqing Measurement Quality Examination Research Institute, Chongqing 404100, China)

The regular crack detection of bridges is very important to ensure the safe operation of the bridge, and the current manual detection methods not only are time consuming and need great effort but also are not very safe. And bridge cracks have multiple noise modes, so the effective detection of bridge cracks is becoming a hot and difficult research topic in bridge health maintenance. In order to achieve accurate and efficient identification of bridge cracks in more complex backgrounds, a deep learning algorithm combined with U-net and Haar-like algorithm was proposed. The comparison with DenseNet, ResNet, GoogleNet and VGGNet proves the effectiveness of the kind of algorithm. The algorithm can also achieve quantitative calculation of the area, length and average width of cracks, and detection accuracy maintains 97%. The results show that the algorithm is suitable for efficient detection of bridge crack images.

bridge safety; crack detection; under complex background; convolutional neural network; deep learning; quantitative calculation

X947

A

1672 - 7029(2020)11 - 2722 - 07

10.19713/j.cnki.43-1423/u.T20200107

2020-02-13

國(guó)家自然基金青年科學(xué)基金資助項(xiàng)目(41501502)；重慶市質(zhì)量技術(shù)監(jiān)督局科研計(jì)劃項(xiàng)目(CQZJKY2018004)；重慶市技術(shù)創(chuàng)新與應(yīng)用發(fā)展專項(xiàng)面上項(xiàng)目(cstc2019jscx-msxmX0051)；長(zhǎng)江科學(xué)院開放研究基金資助項(xiàng)目(CKWV2019758/KY)

陳西江(1985-)，男，安徽淮南人，副教授，博士，從事點(diǎn)云數(shù)據(jù)和目標(biāo)識(shí)別方面的研究；E-mail：cxj_Q421@163.com

(編輯 蔣學(xué)東)