盧佳祁 姚志東 劉業(yè)森 王罡

摘要：隨著計算機視覺與機器學(xué)習(xí)技術(shù)的發(fā)展，自動化檢測技術(shù)在建筑工程檢測領(lǐng)域揮著重要的作用。采用無人設(shè)備進行圖像數(shù)據(jù)采集，然后用機器學(xué)習(xí)對圖像數(shù)據(jù)進行分析，成為當(dāng)前智能檢測技術(shù)的通用方法。深度學(xué)習(xí)作為主要的機器學(xué)習(xí)方法，因其魯棒性較高而普遍應(yīng)用在圖像分析中。本文首先通過顯著性檢測方法選取待檢測螺栓感興趣區(qū)域，再使用ResNet-18卷積神經(jīng)網(wǎng)絡(luò)對感興趣區(qū)域進行螺栓缺陷的識別與分類。并以某鋼結(jié)構(gòu)橋梁上的螺栓為例，利用該方法對無人機采集的螺栓外觀圖像進行了識別。結(jié)果表明，該方法可有效識別螺栓缺陷與類別，識別準確率高。

關(guān)鍵詞：計算機視覺;高強螺栓;深度學(xué)習(xí);顯著性檢測;缺陷檢測

引言

鋼結(jié)構(gòu)螺栓連接在加工制作和安裝方面具有明顯的優(yōu)越性，在國內(nèi)外鋼框架結(jié)構(gòu)中被大量采用，尤其是橋梁等大型鋼結(jié)構(gòu)設(shè)施的主要連接方式之一[1]。隨著我國鋼結(jié)構(gòu)橋梁建設(shè)的高速發(fā)展，高強螺栓的應(yīng)用越來越廣泛。但隨著橋梁的運行，螺栓聯(lián)接結(jié)構(gòu)長期承受振動、沖擊和疲勞，導(dǎo)致螺栓出現(xiàn)松動甚至脫落，影響整個結(jié)構(gòu)的安全。因此，螺栓狀態(tài)的實時檢測，具有重要的工程意義。當(dāng)前螺栓外觀檢測方式，主要依靠人工現(xiàn)場以手持數(shù)碼相機或手持裂縫觀測儀人工操作為主。隨著技術(shù)的發(fā)展，也逐漸采用輔助機械伸展臂搭載攝像頭采集圖像進行人機交互分析的檢測手段[2]，但其深度、廣度及自動化水平普遍不高。隨著我國鋼結(jié)構(gòu)橋梁施工工藝的發(fā)展，建筑規(guī)模逐年增大，結(jié)構(gòu)上所使用的螺栓也隨之增加。如港珠澳大橋，全橋總長55公里，使用高強螺栓80多萬套，而且分布在橋體結(jié)構(gòu)的各個角落，傳統(tǒng)的人工檢測方式已無法應(yīng)對海量螺栓的外觀檢測，而且檢測過程中對安全性及時效性要求較高。因此，螺栓外觀檢測亟待需要采用智能化的檢測技術(shù)，與目標精確定位、圖像矯正、高精度識別等先進技術(shù)深入融合，提高檢測技術(shù)自動化水平。

近幾年，隨著無人機技術(shù)的發(fā)展，搭載攝像設(shè)備的無人機在地圖測繪、建筑安全檢測、資源調(diào)查、交通規(guī)劃等各領(lǐng)域都有重要的應(yīng)用，該技術(shù)也可以同樣適用于鋼結(jié)構(gòu)橋梁螺栓外觀檢測上，通過對無人機采集的螺栓影像數(shù)據(jù)的分析、識別、判斷，感知被檢測螺栓的狀態(tài)，進而做出應(yīng)對措施。因此，對采集的圖像數(shù)據(jù)的分析、判斷和識別，是基于無人機的螺栓檢測中重要的技術(shù)。

深度學(xué)習(xí)是當(dāng)前圖像識別的主流技術(shù)，該方法通過大量的圖像樣本，提取、學(xué)習(xí)圖像特征，并進行識別，從而判斷被檢測目標圖像樣本的類別和狀態(tài)[3]。

本文將深度學(xué)習(xí)算法引入到螺栓的智能檢測中。首先采用圖像顯著性檢測方法[4]檢測待識別的感興趣區(qū)域，在使用ResNet-18[5]卷積神經(jīng)網(wǎng)絡(luò)判斷待檢測螺栓是否存在缺陷已經(jīng)缺陷的類別，該方法可以對無人機傳輸回來的影像數(shù)據(jù)進行快速、有效的識別和判斷，從而對螺栓外觀狀態(tài)進行判定，輔助工作人員做出應(yīng)對措施，經(jīng)計算，識別準確率較高，可以滿足螺栓日常安全檢測需要。

1?方法和流程

首先通過無人機對螺栓樣本進行采集，并對采集回來的圖像樣本進行自動清洗、甄別、矯正和裁剪，并進行分類和標注，得到學(xué)習(xí)樣本庫。識別時，首先使用顯著性檢測法提取待識別螺栓的感興趣區(qū)域，并將感興趣區(qū)域圖像輸入到分類卷積神經(jīng)網(wǎng)絡(luò)中進行分析判斷。具體的流程圖如圖1所示：

1.1?學(xué)習(xí)樣本集構(gòu)建

本文選取某座鋼結(jié)構(gòu)橋梁作為目標，利用無人機對橋梁上各部位的螺栓進行拍照，樣本采集。

圖像樣本經(jīng)過以上算法處理后，再以被標識出來的螺栓為中心，將該圖像樣本自動裁剪成64×64分辨率大小的單一螺栓樣本，并對其類別逐一標注，作為訓(xùn)練正樣本。

由于受采集對象限制，脫落、缺失、銹蝕的螺栓樣本數(shù)據(jù)嚴重缺失，為了保證樣本庫的多樣性，本文多渠道收集螺栓樣本，獲取了脫落、缺失、銹蝕的螺栓樣本圖片，經(jīng)過同樣的數(shù)據(jù)處理方法，裁剪成64×64分辨率大小的單一螺栓樣本，并對其狀態(tài)逐一標注，作為訓(xùn)練負樣本，并對采集到的樣本通過放大、縮小、顏色空間變換、旋轉(zhuǎn)、翻轉(zhuǎn)等操作，對數(shù)據(jù)進行擴充，以提高后續(xù)模型的泛化性能。

1.2?感興趣區(qū)域檢測

采用顯著性檢測法對螺栓待檢測感興趣區(qū)域進行提取，顯著性檢測算法與目標檢測算法不同，顯著性檢測算法，是無差別地檢測圖中有邊界且顯著的目標區(qū)域。這類模型旨在預(yù)測人眼的顯著目標觀察方式，顯著性檢測算法是很多計算機視覺任務(wù)的第一步，將顯著性區(qū)域作為感興趣區(qū)域，并針對這些顯著性區(qū)域進行進一步判斷和預(yù)測。顯著性檢測算法通常檢測速度較快，深度學(xué)習(xí)的圖像分類算法，可以只在顯著性區(qū)域上運行，以縮小檢測范圍，加快檢測速度，提高檢測精度。這里選擇文獻[15]的方法進行顯著性感興趣區(qū)域檢測，該算法先計算出一批的建議框，這些建議框為待檢測螺栓可能存在的區(qū)域，再通過非極大值抑制剔除多余的建議框。無論螺栓連接節(jié)點是否存在缺陷，都會在螺栓節(jié)點板上留下明顯痕跡，因此可以通過顯著性檢測法提取出來。實現(xiàn)該算法時可以通過調(diào)用OpenCV的saliency.ObjectnessBING_ create（）模塊實現(xiàn)。

1.3?螺栓缺陷分類模型

許多不同結(jié)構(gòu)的知名卷積神經(jīng)網(wǎng)絡(luò)可以用于特征提取，如AlexNet、MobileNets、GoogleNet。其中，ResNet-18的模型效率強且易于優(yōu)化。ResNet-18有17個卷積層和8個跳躍連接，然后是一個全局平均池化層、一個全連接層和一個Sigmoid層。該網(wǎng)絡(luò)的輸入大小為64×64×3，使用ImageNet[6]進行預(yù)訓(xùn)練，有利于提高模型的識別精度。

2?計算案例

本文以某鋼結(jié)構(gòu)橋梁上的高強螺栓為例，通過無人機進行螺栓樣本采集，經(jīng)過數(shù)據(jù)標準化處理，形成螺栓樣本庫，再利用本文介紹的方法，進行識別和判定。該鋼結(jié)構(gòu)橋梁為某跨河鐵路橋，形式為鉚接鋼桁梁橋，采用具備定位復(fù)拍功能的大疆M300無人機進行圖像數(shù)據(jù)采集，采集到130張清晰的螺栓圖像。

將無人機所采集的原始圖像樣本進行數(shù)據(jù)標準化處理，前景突出，目標清晰，然后利用本文的感興趣區(qū)域提取法，可以自動識別出影像中螺栓的形狀和位置，并用紅框標識出來，如圖3所示。在此基礎(chǔ)上，自動處理成64×64分辨率的學(xué)習(xí)樣本，形成待檢測樣本。

但是在圖像的前處理過程中，對于部分圖像樣本在定位和識別時出現(xiàn)了誤差較大的情況，如圖4所示：（a）圖中，受圖像采集時光線的影響，拍攝的圖像樣本中，螺栓的影子明顯，對螺栓形狀的判斷造成了干擾;（b）圖中，拍攝角度是仰角拍攝，圖像采集設(shè)備沒有正對螺栓，導(dǎo)致螺栓影像發(fā)生變形和偏移，而且影像樣本背景復(fù)雜，不僅識別出了螺栓，還識別出圖背景中的相似的形狀。這些因素都導(dǎo)致了樣本圖片中，螺栓的誤標識。因此，在利用無人機進行圖像樣本采集時，需要對巡航路線、拍照時間、拍照角度等等提前規(guī)劃，采集高質(zhì)量的螺栓樣本圖片，以減少圖像樣本中螺栓形狀的誤判，提高識別準確率。

學(xué)習(xí)樣本構(gòu)建好以后，利用本文的識別方法，對無人機新采集的螺栓圖像樣本進行了識別，識別率如表1所示，識別結(jié)果如圖5、圖6所示。

如表1所示，本方法對于外觀正常的螺栓識別率較高達到了91.34%，對脫落螺栓和偏移螺栓的識別，準確率分別為82.16%和87.56%，而對于銹蝕螺栓的識別準確率較低，僅為78.14%。

圖7是對各外觀螺栓的正確的識別結(jié)果，圖8是誤識別的螺栓樣本。分析造成誤識別的主要原因是，螺栓的銹蝕負樣本非常少，對于新采集的表面銹蝕的螺栓樣本，因此，可通過多補充螺栓負樣本，擴充學(xué)習(xí)樣本庫，增加樣本庫的多樣性的方式，提高螺栓識別的準確性。樣本越豐富，越多樣化，模型越智能，識別的準確性越高。

3?結(jié)論

本文提出的識別方法，可以很好的完成識別的任務(wù)。而且本方法對新樣本識別速度快，在0.1s之內(nèi)就可以完成新樣本的處理、裁剪及識別，對無人機嵌入系統(tǒng)的性能要求不高，可實時傳送識別結(jié)果，可作為螺栓外觀日常檢測方法。

圖像樣本的拍攝質(zhì)量，直接影響最終的識別結(jié)果，無人機拍攝時的光照條件、拍攝角度、拍攝位置等因素都會影響圖像樣本中螺栓形狀的定位和判斷。因此，在利用無人機進行圖像樣本采集時，需要對巡航路線、拍照時間、拍照角度等提前規(guī)劃，采集高質(zhì)量的螺栓樣本圖片，減少圖像樣本中螺栓形狀的誤判，提高螺栓樣本的識別率。

從識別結(jié)果可以看出，本算法對于樣本數(shù)量相對較多的螺栓，識別準確率較高，本文采集到的正常狀態(tài)的螺栓樣本數(shù)最多，因此其識別準確率最高。由于當(dāng)前鋼結(jié)構(gòu)橋梁的日常維護工作較好，脫落、偏移以及銹蝕的螺栓樣本較少，學(xué)習(xí)樣本庫中負樣本相對缺乏，其中銹蝕螺栓學(xué)習(xí)樣本個數(shù)最少，因此對其表面紋理識別的誤差較大，對于銹蝕等螺栓的識別準確率最低?？赏ㄟ^多方采集的方式，補充負樣本，充實、完善學(xué)習(xí)樣本庫，提高螺栓識別的準確率。

參考文獻

[1]陶曉燕，沈家華，史志強.我國鋼橋高強度螺栓連接的發(fā)展歷程及展望[J].鐵道建筑，2017，57（9）：1-4.

[2]鐘繼衛(wèi)，王波，王翔，等.橋梁智能檢測技術(shù)研究與應(yīng)用[J].橋梁建設(shè)，2019，49（S1）：1-6.

[3]Qi Yang et al.Deep convolutional neural networks for rice grain yield estimation at the ripening stage using UAV-based remotely sensed images[J].Field Crops Research，2019，235：142-153.

[4]Ming-Ming Cheng，Yun Liu，Wen-Yan Lin，Ziming Zhang，Paul L.Rosin，Philip H.S.Torr.BING：Binarized normed gradients for objectness estimation at 300fps[J].Computational Visual Media，2019，5（1）.

[5]He K，Zhang X，Ren S，et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2016：770-778.

[6]J.Deng，W.Dong，R.Socher，L.Li，L.Kai，F(xiàn).-F.Li，ImageNet：A large-scale hierarchical image database，in：2009 IEEE Conference on Computer Vision and Pattern Recognition，2009.

*深圳市科技計劃項目（JSGG20201102173802006）