趙雪峰+李生元+歐進(jìn)萍

摘 要：近年來(lái)，伴隨著互聯(lián)網(wǎng)技術(shù)的不斷提高及相關(guān)硬件的支持，人工智能技術(shù)得到快速發(fā)展，也為大數(shù)據(jù)處理和應(yīng)用提供了基礎(chǔ)。同時(shí)，智能手機(jī)的普及也為采用眾包模式進(jìn)行大數(shù)據(jù)收集提供了極大的便利?；诖?，文中提出了將人工智能與智能手機(jī)相結(jié)合，利用智能手機(jī)進(jìn)行混凝土裂紋圖片收集，再利用人工智能深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖片中的裂紋識(shí)別和定位，達(dá)到裂紋檢測(cè)的目的。最后提出了基于人工智能與智能手機(jī)的混凝土裂紋檢測(cè)的眾包模式，調(diào)動(dòng)公眾來(lái)收集混凝土裂紋圖片大數(shù)據(jù)，充分利用智能手機(jī)與人工智能技術(shù)的優(yōu)勢(shì)，使得混凝土裂紋圖片大數(shù)據(jù)的收集與裂紋檢測(cè)成為可能。

關(guān)鍵詞：人工智能；智能手機(jī)；卷積神經(jīng)網(wǎng)絡(luò)；裂紋；眾包

中圖分類號(hào)：TP368.5；TU317 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2017）08-00-04

0 引 言

在混凝土結(jié)構(gòu)的服役過程中，裂紋是一種常見的損傷形態(tài)[1]。目前，在實(shí)際工程中，混凝土裂紋主要還是依靠專業(yè)人員定期到現(xiàn)場(chǎng)進(jìn)行人工測(cè)量，費(fèi)時(shí)費(fèi)力。因此，發(fā)展基于裂紋圖片處理的裂紋損傷檢測(cè)方法十分必要。國(guó)內(nèi)外許多學(xué)者也進(jìn)行了相關(guān)研究，主要采用圖像處理的方法。主要的研究結(jié)果可以分為兩類，一類是對(duì)于圖片中的裂紋進(jìn)行識(shí)別，即將圖片中的裂紋從背景中分離出來(lái)，這需要較好的圖片預(yù)處理技術(shù)[2]，有的則利用邊緣檢測(cè)等技術(shù)[3-5]，在真實(shí)混凝土上進(jìn)行了驗(yàn)證[6]，而無(wú)人機(jī)也被應(yīng)用于混凝土裂紋照片的采集[7]。另一類是對(duì)圖片中裂紋寬度、角度等特征進(jìn)行提取，這些方法分為全自動(dòng)[8-11]與需要人工參與[12]。但均利用特定的技術(shù)，對(duì)特定圖片背景中的混凝土裂紋進(jìn)行識(shí)別和特征提取。然而，由于圖像處理方法是針對(duì)圖像像素的操作，圖片中的背景，尤其是光照和噪聲的干擾，將會(huì)很大程度上影響裂紋的識(shí)別效果，因此發(fā)展其它混凝土裂紋檢測(cè)方法十分必要。

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)，面對(duì)海量數(shù)據(jù)，人工智能也越來(lái)越受到人們的重視。深度學(xué)習(xí)作為人工智能的一個(gè)分支[13]，近年來(lái)取得了很大進(jìn)展。深度學(xué)習(xí)的一個(gè)重要應(yīng)用是利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖片分類[14]。卷積神經(jīng)網(wǎng)絡(luò)與普通人工神經(jīng)網(wǎng)絡(luò)的最大區(qū)別在于具有進(jìn)行卷積操作的卷積層，利用卷積操作實(shí)現(xiàn)圖片的特征提取。

智能手機(jī)已成為當(dāng)前最為普遍的通訊工具，其軟件和硬件已經(jīng)十分成熟，同時(shí)智能手機(jī)也內(nèi)置了存儲(chǔ)、傳感、通訊及計(jì)算等功能。目前，智能手機(jī)已應(yīng)用在人體健康監(jiān)測(cè)[15]、軍事[16]、交通[17]及結(jié)構(gòu)健康監(jiān)測(cè)[18]等領(lǐng)域。選擇智能手機(jī)，采用眾包模式進(jìn)行混凝土裂紋圖片大數(shù)據(jù)的收集完全可行。

1 利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行混凝土裂紋檢測(cè)概述

在利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行混凝土裂紋檢測(cè)時(shí)的流程圖如圖1所示。首先對(duì)智能手機(jī)收集到的原始圖片進(jìn)行人工分割，將分割之后的小圖片分為無(wú)裂紋和有裂紋兩類，將這些分好類的小圖片作為訓(xùn)練樣本來(lái)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，之后利用訓(xùn)練好的分類器以及一種窗口滑移技術(shù)，將一張大的混凝土表面圖片中的裂紋識(shí)別并定位出來(lái)。

2 卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)混凝土裂紋實(shí)驗(yàn)

本文采用經(jīng)典的深度學(xué)習(xí)框架——Caffe來(lái)完成模型的訓(xùn)練[19]，使用Caffe中的AlexNet模型[20]對(duì)其進(jìn)行微調(diào)，修改輸出類別，將訓(xùn)練分類結(jié)果改為兩類。

2.1 整體架構(gòu)

圖2所示為混凝土裂紋檢測(cè)卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的流程，修改后的模型共有8層，前5層是卷積層，后3層是全連接層。模型中選用了非線性激活函數(shù)ReLU，池化操作時(shí)采用最大池化 （MAX pooling），同時(shí)進(jìn)行了局部響應(yīng)歸一化（LRN）操作以及避免過擬合的Dropout技術(shù)。卷積層中的1、2層依次進(jìn)行卷積、池化以及歸一化操作，3、4卷積層則只進(jìn)行卷積操作，第5個(gè)卷積層進(jìn)行卷積和池化操作，第6、7層在全連接后進(jìn)行了Dropout操作，第8層進(jìn)行全連接，然后輸出為融合了分類標(biāo)簽的Softmax。

卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，輸入圖片經(jīng)過卷積、池化等一系列操作后，數(shù)據(jù)的尺寸也會(huì)發(fā)生變化，在訓(xùn)練時(shí)，設(shè)置caffe中的crop_size為227，將圖片進(jìn)行裁剪后作為模型的輸入數(shù)據(jù)。表1列出了輸入數(shù)據(jù)在本文卷積神經(jīng)網(wǎng)絡(luò)中訓(xùn)練時(shí)的尺寸變化。表2所列為各卷積、池化時(shí)的操作參數(shù)。

2.2 卷積

卷積是卷積神經(jīng)網(wǎng)絡(luò)中較為核心的操作，它是指將輸入圖像中的像素在小區(qū)域中進(jìn)行加權(quán)平均，然后在對(duì)應(yīng)的位置輸出，該小區(qū)域叫做卷積核或?yàn)V波器。卷積核的大小決定了進(jìn)行卷積操作時(shí)的區(qū)域大小，卷積核中的參數(shù)稱為權(quán)值，權(quán)值大小決定了卷積核覆蓋的圖像區(qū)域?qū)?yīng)的像素點(diǎn)對(duì)卷積結(jié)果的貢獻(xiàn)大小，權(quán)值越大，貢獻(xiàn)越大。圖3表示了輸入圖像大小為5×5，卷積核大小為3×3，步長(zhǎng)為1，偏置為0的一個(gè)卷積過程。

2.3 池化

輸入的圖片經(jīng)卷積操作以及ReLU激活函數(shù)之后，輸出圖像的每一個(gè)像素點(diǎn)都包括了對(duì)應(yīng)的原始輸入圖片一部分區(qū)域的信息，這使得信息產(chǎn)生冗余，也增加了計(jì)算量。為了提高算法性能，減少運(yùn)算數(shù)據(jù)量，需要對(duì)卷積結(jié)果進(jìn)行池化操作來(lái)降低維度，保留有效信息，這也在一定程度上避免了過擬合。圖4表示池化操作時(shí)輸入的圖像大小為6×6，池化區(qū)域大小為2×2，采用最大區(qū)域池化策略，進(jìn)行無(wú)重疊區(qū)域池化，即滑動(dòng)步長(zhǎng)為2的池化過程。

2.4 Softmax

對(duì)于輸入數(shù)據(jù)，需要有一個(gè)操作來(lái)將數(shù)據(jù)進(jìn)行分類。將給定的測(cè)試輸入記為x，針對(duì)每一個(gè)類別j估算出概率值p（y（i）=j（i）|x（i）；W），其中W是權(quán)重參數(shù)。即需要估計(jì)x的每一種分類結(jié)果出現(xiàn)的概率。因此，需要輸出一個(gè)k維的向量（向量元素的和為1）來(lái)表示k個(gè)估計(jì)的概率值。具體地說，用于輸入圖片分類概率計(jì)算的形式見式（1）。式中 這一項(xiàng)對(duì)概率分布進(jìn)行歸一化，使得所有概率之和為1。

（1）endprint

3 訓(xùn)練用于混凝土裂紋檢測(cè)的卷積神經(jīng)網(wǎng)絡(luò)分類器

對(duì)于混凝土裂紋檢測(cè)來(lái)說，主要依賴于能夠?qū)⒂辛鸭y圖片與無(wú)裂紋圖片進(jìn)行分類的分類器。本文所做的工作均在一臺(tái)配置了GPU的工作站上完成（CPU：Intel（R） Xeon（R） CPU E5-2630 v4 @ 2.20 GHz， RAM： 32.0 GB， GPU： GeForce GTX 1080 Ti）。

3.1 圖片預(yù)處理

本文中智能手機(jī)拍攝的混凝土裂紋圖片的像素大小為4160×3 120，將智能手機(jī)拍攝的混凝土裂紋照片切割成256×256大小，并對(duì)這些圖片按照有裂紋和無(wú)裂紋兩種情形進(jìn)行分類并設(shè)置標(biāo)簽，如圖5所示。將它們分為訓(xùn)練集和驗(yàn)證集兩部分，由于切割后的小圖片中無(wú)裂紋的圖片數(shù)量遠(yuǎn)遠(yuǎn)多于有裂紋的圖片，因此人工隨機(jī)刪除一些無(wú)裂紋的圖片，使得有裂紋圖片數(shù)量與無(wú)裂紋圖片數(shù)量的比例為1∶1。最終訓(xùn)練集圖片共21 000張，其中有裂紋圖片10 500張，無(wú)裂紋圖片10 500張，驗(yàn)證集圖片共4 200張，其中有裂紋圖片2 100張，無(wú)裂紋圖片2 100張。此外還計(jì)算了所有訓(xùn)練集圖片的平均值，所有圖片的每個(gè)像素都減去該平均值。

3.2 模型訓(xùn)練

采用隨機(jī)梯度下降法（SGD）訓(xùn)練模型，設(shè)置基礎(chǔ)學(xué)習(xí)率為0.001，學(xué)習(xí)策略為“step”，批處理大小為64，動(dòng)量為0.9，權(quán)重衰減為0.000 5，過擬合丟棄率為0.5?？偟螖?shù)設(shè)置為10 000次，圖6所示為訓(xùn)練損失loss與迭代次數(shù)的關(guān)系曲線，圖7所示為精度與迭代次數(shù)的關(guān)系。

圖6、圖7所示為卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果，隨著訓(xùn)練迭代次數(shù)的增加，loss快速減小，最終接近于0，而精度也快速提高，最高精度為98.904 8%，為第1 700次迭代的訓(xùn)練結(jié)果，最終精度穩(wěn)定在98.666 7%，取精度穩(wěn)定后的第10 000次訓(xùn)練結(jié)果作為本研究后期應(yīng)用的混凝土裂紋檢測(cè)模型。

4 窗口滑移技術(shù)

由于圖片中的裂紋分布位置隨機(jī)，所以無(wú)法對(duì)圖片中的裂紋進(jìn)行定位掃描。本文采用圖8所示的窗口技術(shù)[21]。對(duì)于一張如圖9（a）所示的4 120×3 160像素大小的手機(jī)照片，窗口大小設(shè)置為128×128，水平方向和豎直方向的滑動(dòng)步長(zhǎng)均設(shè)置為64，從圖片的左上角開始，窗口從左到右、從上到下進(jìn)行掃描，當(dāng)掃描到一個(gè)位置時(shí)，先將該位置的小圖片放大到227×227，同時(shí)利用得到的模型訓(xùn)練結(jié)果對(duì)窗口所在位置的小圖片進(jìn)行分類，保留分類結(jié)果為有裂紋的小圖片，直至掃描完成整張手機(jī)圖片，掃描結(jié)果如圖9（b）所示。

從圖9中可以看出，經(jīng)過窗口滑移技術(shù)掃描之后的圖片，去掉了圖片中的無(wú)裂紋部分，達(dá)到了混凝土表面裂紋檢測(cè)定位的目的。此外，在圖9（b）中還可以看出，在窗口滑移進(jìn)行混凝土裂紋檢測(cè)的過程中，有三個(gè)位置的小窗口圖片被錯(cuò)誤分類，本來(lái)屬于無(wú)裂紋的類，但被分成了有裂紋類，并保留了下來(lái)。圖10將這三個(gè)位置的圖片放大，可以看出這三個(gè)位置的小圖片中的混凝土表面均存在小孔洞瑕疵，因此訓(xùn)練好的分類器誤認(rèn)為它們是有裂紋的圖片而將它們保留了下來(lái)，這種情況可以采用擴(kuò)大模型訓(xùn)練數(shù)據(jù)集的方法來(lái)解決。

5 基于人工智能與智能手機(jī)的混凝土裂紋檢測(cè)的眾包模式

智能手機(jī)的普及為人們的生活帶來(lái)了極大的便利，同時(shí)也為大數(shù)據(jù)收集提供了契機(jī)。如圖11所示，通過眾包模式，裂紋圖片收集工作無(wú)需依賴專業(yè)檢測(cè)人員，普通大眾人員也可以通過智能手機(jī)拍攝混凝土裂紋圖片并將其切割分類之后再上傳到服務(wù)器，以此來(lái)不斷擴(kuò)大混凝土裂紋圖片庫(kù)。有了數(shù)量眾多的圖片，就可以利用這些圖片訓(xùn)練出擁有更高精度、更好檢測(cè)效果的混凝土裂紋檢測(cè)模型。公眾可以通過智能手機(jī)調(diào)用訓(xùn)練好的模型來(lái)進(jìn)行混凝土裂紋檢測(cè)?；谌斯ぶ悄芘c智能手機(jī)的混凝土裂紋檢測(cè)的眾包模式可以充分利用智能手機(jī)讓公眾參與到快速收集圖片大數(shù)據(jù)的活動(dòng)中來(lái)，體驗(yàn)人工智能強(qiáng)大的大數(shù)據(jù)處理優(yōu)勢(shì)。

6 結(jié) 語(yǔ)

本文提出了一種基于人工智能與智能手機(jī)的混凝土裂紋檢測(cè)方法，利用智能手機(jī)拍攝混凝土裂紋圖片作為數(shù)據(jù)集，訓(xùn)練人工智能卷積神經(jīng)網(wǎng)絡(luò)模型，得到用于混凝土裂紋檢測(cè)的圖片分類器，最后利用這一圖片分類器和窗口滑移技術(shù)進(jìn)行混凝土裂紋的檢測(cè)和定位。同時(shí)提出了基于人工智能與智能手機(jī)的混凝土裂紋檢測(cè)眾包模式。該方法使得公眾參與收集混凝土裂紋圖片大數(shù)據(jù)成為可能，同時(shí)人工智能強(qiáng)大的大數(shù)據(jù)處理能力也使該方法具有很大的發(fā)展?jié)摿Α?/p>

參考文獻(xiàn)

[1] Ba?ant Z P， Xiang Y. Crack growth and lifetime of concrete under long time loading[J].Journal of Engineering Mechanics， 1997， 123（4）： 350-358.

[2] Fujita Y， Mitani Y， Hamamoto Y. A method for crack detection on a concrete structure[C].Pattern Recognition， 2006. ICPR 2006. 18th International Conference on. IEEE， 2006.

[3] Abdel-Qader I， Abudayyeh O， Kelly M E. Analysis of edge-detection techniques for crack identification in bridges[J].Journal of Computing in Civil Engineering， 2003， 17（4）： 255-263.

[4] Nishikawa T， Yoshida J， Sugiyama T， et al. Concrete crack detection by multiple sequential image filtering[J]. Computer‐Aided Civil and Infrastructure Engineering， 2012， 27（1）： 29-47.endprint

[5] Yamaguchi T， Hashimoto S. Fast crack detection method for large-size concrete surface images using percolation-based image processing[J].Machine Vision and Applications， 2010， 21（5）： 797-809.

[6] Yamaguchi T， Nakamura S， Saegusa R， et al. Image Based Crack Detection for Real Concrete Surfaces[J].IEEE Transactions on Electrical and Electronic Engineering， 2010，3（1）： 128-135.

[7] Kim J W， Kim S B， Park J C， et al. Development of Crack Detection System with Unmanned Aerial Vehicles and Digital Image Processing[Z].Advances in structural engineering and mechanics （ASEM15）， 2015.

[8] Fujita Y， Hamamoto Y. A robust automatic crack detection method from noisy concrete surfaces[J].Machine Vision and Applications， 2011， 22（2）： 245-254.

[9] Ito A， Aoki Y， Hashimoto S. Accurate extraction and measurement of fine cracks from concrete block surface image[C].IECON 02 [Industrial Electronics Society， IEEE 2002 28th Annual Conference of the.IEEE， 2002.

[10] Sohn H G， Lim Y M， Yun K H， et al.Monitoring crack changes in concrete structures[J].Computer‐Aided Civil and Infrastructure Engineering， 2010， 20（1）： 52-61.

[11] Lee B Y， Kim Y Y， Yi S T， et al.Automated image processing technique for detecting and analysing concrete surface cracks[J].Structure and Infrastructure Engineering， 2013， 9（6）： 567-577.

[12] Dare P， Hanley H， Fraser C， et al. An operational application of automatic feature extraction： the measurement of cracks in concrete structures[J].The Photogrammetric Record， 2002， 17（99）： 453-464.

[13] LeCun Y， Bengio Y， Hinton G. Deep learning[J].Nature， 2015： 436-444.

[14] Le Cun Y， Bottou L， Bengio Y， et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[15]王婧婷， 王園園， 沈閔， 等.白血病移動(dòng)健康智能手機(jī)應(yīng)用程序的可用性評(píng)價(jià)[J].中華護(hù)理雜志， 2015， 50（4）： 485-490.

[16]鐘亮，呂萍.淺析智能手機(jī)的軍事應(yīng)用前景[J].微型機(jī)與應(yīng)用， 2016， 35（2）： 4-5.

[17]柏叢，彭仲仁，孫健.基于智能手機(jī)應(yīng)用的公交車數(shù)據(jù)采集與分析[J].科學(xué)技術(shù)與工程，2014，14（21）： 293-296.

[18] Zhao X， Han R， Yu Y， et al. Smartphone-Based Mobile Testing Technique for Quick Bridge Cable–Force Measurement[J].Journal of Bridge Engineering，2016.

[19] Jia Y， Shelhamer E， Donahue J， et al. Caffe： Convolutional architecture for fast feature embedding[C].Proceedings of the 22nd ACM international conference on Multimedia. ACM， 2014.

[20] Krizhevsky A， Sutskever I， Hinton G E.Imagenet classification with deep convolutional neural networks[C].Advances in neural information processing systems，2012.

[21] Cha Y J， Choi W， Buyukozturk O.Deep learning-based crack damage detection using convolutional neural network[J].Computer-Aided Civil and Infrastructure Engineering， 2017， 32（5）： 2013-2014.endprint