摘 要:PC軌道梁作為跨座式單軌交通系統(tǒng)的重要組成部分,其表面裂紋缺陷會直接威脅整個(gè)交通線的運(yùn)營安全。針對傳統(tǒng)PC軌道梁面裂紋檢測精度低、效率低等問題,提出一種基于改進(jìn)YOLOX的軌道梁面裂紋檢測方法。該方法通過在加強(qiáng)空間特征提取網(wǎng)絡(luò)中使用Ghost輕量化卷積提取目標(biāo)特征,以降低模型計(jì)算復(fù)雜度;將自適應(yīng)特征融合(adaptively spatial feature fusion,ASFF)模塊嵌入特征融合層,讓模型自適應(yīng)學(xué)習(xí)各個(gè)特征層間的聯(lián)系,加強(qiáng)網(wǎng)絡(luò)對裂紋區(qū)域的重視程度;使用雙三次插值法進(jìn)行上采樣,進(jìn)一步提升網(wǎng)絡(luò)檢測性能。實(shí)驗(yàn)結(jié)果表明,改進(jìn)后模型相較于原基準(zhǔn)模型平均檢測精度提升4.40 %,在參數(shù)量上比原模型下降25.08%,每秒檢測裂紋圖像數(shù)量為119幀,說明模型在準(zhǔn)確性和實(shí)時(shí)性方面符合實(shí)際工程需求。
關(guān)鍵詞:PC軌道梁;裂紋缺陷檢測;自適應(yīng)特征融合;雙三次插值法
中圖分類號:TP391.41
文獻(xiàn)標(biāo)志碼:A
Improving the method of straddle monorail PC track beam surface crack detection based on YOLOX
HUANG Wei SHANG Zhengyang LING Ji
(1. School of Mechanical and Automotive Engineering, Anhui Polytechnic University, Wuhu 241000, China;
2. School of Energy and Power Engineering, Jiangsu University, Zhenjiang 212000, China; 3. Yamp;C Engine Co., Ltd., Wuhu 241000, China; 4. Anhui Conch Kawasaki Engineering Co., Ltd., Wuhu 241070, China)
Abstract: PC rail beam is an important part of the straddle monorail transit system, and its surface cracks directly threaten the safety of the entire traffic line. To address the problems of low accuracy and poor efficiency in traditional PC track beam surface crack detection, a track beam surface crack detection method based on an improved YOLOX was proposed. In the method, Ghost lightweight convolution was applied to extract target features in the enhanced feature extraction network, thereby reducing the models computational complexity. The adaptively spatial feature fusion (ASFF) module was embedded in the feature fusion layer, allowing the model to adaptively learn the relationships between each feature layer, and the network paid more attention to the crack regions. Bicubic interpolation method was used for up-sampling to further improve the performance of network detection. The results of the experiment on the self-made track beam surface crack dataset show that compared with the original one, the average detection accuracy of the improved model increased by 4.40%, while the number of parameters decreased by 25.08%, and 119 frames of crack images were detected per second, indicating that the model meets the accuracy and real-time demands of practical engineering.
Key words: PC track beam; crack defect detection; adaptively spatial feature fusion (ASFF); bicubic interpolation method
PC軌道梁作為跨座式單軌[1]系統(tǒng)的關(guān)鍵組成部分,其表面裂紋缺陷會直接影響整個(gè)軌道交通[2]的安全運(yùn)行。目前,人工巡檢仍是PC軌道梁[3]面裂紋檢測的主流方法,工作人員需在高架的軌道梁橋上對裂紋缺陷進(jìn)行拍照記錄,并統(tǒng)一反饋給運(yùn)維中心。人工現(xiàn)場檢測存在風(fēng)險(xiǎn)高、效率低以及檢測結(jié)果不精確的弊端。因此,針對軌道梁面裂紋缺陷區(qū)域的精準(zhǔn)實(shí)時(shí)智能化檢測顯得尤為重要。
近年來,數(shù)字圖像處理技術(shù)[4]逐漸取代人工巡檢,廣泛應(yīng)用于裂紋缺陷檢測[5]中。杜清超等[6]基于Otsu算法進(jìn)行軌道梁面裂紋區(qū)域提取和亞像素邊緣檢測等步驟,該算法能夠達(dá)到實(shí)際工程要求下的軌道梁裂紋檢測效果。熊玲玲等[7]在改進(jìn)后的Otsu算法上構(gòu)建出一種新的橋梁裂紋檢測方法,實(shí)現(xiàn)自適應(yīng)的裂紋檢測。郭運(yùn)沖等[8]基于Canny邊緣檢測算法結(jié)合多種改進(jìn)措施,進(jìn)一步增強(qiáng)算子對裂紋圖像邊緣信息的提取能力。
與傳統(tǒng)的數(shù)字圖像處理技術(shù)相比,深度學(xué)習(xí)[9]算法不僅能夠提供更高的準(zhǔn)確性,還能夠適應(yīng)多變的環(huán)境條件,從而在實(shí)際裂紋缺陷檢測任務(wù)中發(fā)揮出更為優(yōu)越的檢測性能。李藝強(qiáng)[10]采用基于卷積神經(jīng)網(wǎng)絡(luò)的塊分類方法進(jìn)行軌道梁面裂紋檢測,在精度保持不變的前提下模型速度提高了34.73%。許貴陽等[11]在改進(jìn)Faster R-CNN算法的軌道板裂紋檢測方面取得進(jìn)展,為相關(guān)領(lǐng)域的應(yīng)用提供重要技術(shù)支持。雙階段目標(biāo)檢測算法[12]在檢測裂紋缺陷方面展現(xiàn)出較高的效率,針對需要精準(zhǔn)快速檢測PC軌道梁面裂紋的工業(yè)場景,通常會優(yōu)先選擇泛化能力更好且執(zhí)行速度更快的單階段目標(biāo)檢測算法[13]。王燕華等[14]為解決裂紋識別算法在復(fù)雜環(huán)境下性能不佳的問題,提出一種基于SSD算法的改進(jìn)方法。通過調(diào)整原始SSD算法中不同分辨率先驗(yàn)框數(shù)量的組合,實(shí)現(xiàn)對存在噪聲的裂紋圖像的高精度裂縫識別。DUAN等[15]提出一種改進(jìn)YOLOv5的實(shí)時(shí)隧道襯砌裂紋檢測模型,該模型在弱光、低對比度和高噪聲環(huán)境中裂紋檢測精度和準(zhǔn)確性較高。
為了在實(shí)際復(fù)雜背景干擾下的PC軌道梁面圖像中依舊能夠準(zhǔn)確、快速地識別出裂紋缺陷,實(shí)驗(yàn)結(jié)合現(xiàn)場檢測車采集的軌道梁面裂紋數(shù)據(jù)集所呈現(xiàn)的特點(diǎn),針對性地對YOLOX-S目標(biāo)檢測模型進(jìn)行相關(guān)優(yōu)化與改進(jìn)。
1 PC軌道梁面裂紋識別模型建立
1.1 PC軌道梁面裂紋缺陷
初期結(jié)合單軌試驗(yàn)基地現(xiàn)場調(diào)研,根據(jù)裂紋特征和具體形態(tài)將跨座式單軌列車PC軌道梁面裂紋缺陷細(xì)分為橫向裂紋、環(huán)向裂紋、斜向裂紋和銹蝕裂紋四大類,見圖1。不同類型的裂紋對軌道梁體結(jié)構(gòu)的安全性和穩(wěn)定性有著不同的影響,日常維保應(yīng)根據(jù)具體情況采取不同的監(jiān)測預(yù)警方法。
1.2 YOLOX-S模型框架
YOLOX經(jīng)過改良優(yōu)化衍生出眾多版本,按照網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)可分為X、L、M、S等規(guī)格。為方便模型能夠在實(shí)驗(yàn)設(shè)備上順利部署,選用參數(shù)量相對較少的YOLOX-S作為PC軌道梁面裂紋檢測任務(wù)的基礎(chǔ)模型。模型網(wǎng)絡(luò)結(jié)構(gòu)見圖2。
2 YOLOX-CRACK檢測算法
YOLOX-CRACK檢測算法主要是通過以下幾種思路來改進(jìn):全程上采樣使用雙三次插值法;使用常規(guī)卷積換成結(jié)構(gòu)更為輕量化的Ghost卷積;將ASFF模塊嵌入特征融合層;引入GIOU損失函數(shù)。改進(jìn)得到的YOLOX-CRACK軌道梁面裂紋檢測算法原理見圖3。
2.1 自適應(yīng)特征融合機(jī)制
YOLOX-S頸部層級(Neck)中將原有的單向多尺度特征融合轉(zhuǎn)變成更為全面的雙向融合。但該結(jié)構(gòu)在特征融合上采取的僅是維度發(fā)生簡易變化的張量拼接,而忽略了尺度不一的待檢裂紋目標(biāo)對于不同層級特征圖所側(cè)重的關(guān)注度也不一樣。針對此問題,引入一種自適應(yīng)空間特征融合的策略,實(shí)現(xiàn)每個(gè)空間位置上不同級別的特征自適應(yīng)融合。ASFF模塊能通過自身的機(jī)制在訓(xùn)練規(guī)律中找到最佳的特征融合方式,其具體實(shí)現(xiàn)原理見圖4。
2.2 Ghost卷積模塊
Ghost卷積模塊的核心設(shè)計(jì)理念并不煩瑣,其初始步驟是使用一個(gè)尺寸為1×1的卷積來減少輸入特征層的通道數(shù),從而實(shí)現(xiàn)符合需要的特征濃縮。接著通過逐層卷積的方式產(chǎn)生多個(gè)類似于特征濃縮的特征圖,根據(jù)規(guī)則把這些特征層與特征圖依次累加在一起,從而構(gòu)建出所需的輸出特征層。Ghost卷積模塊可以顯著減少模型的計(jì)算資源,同時(shí)也使得網(wǎng)絡(luò)訓(xùn)練變得更為簡單。普通卷積和Ghost輕量化卷積的工作原理對比參見圖5。
2.3 雙三次插值上采樣
裂紋圖片在輸入到網(wǎng)絡(luò)模型前會進(jìn)行相應(yīng)的幾何變換,以上一系列的處理依靠著插值算法來實(shí)現(xiàn)。在原有的YOLOX-S算法中采用了最鄰近插值的方法,這種插值方法只關(guān)注與待測采樣區(qū)域最接近的像素點(diǎn)的灰度值,而沒有考慮到其他相鄰區(qū)域的像素點(diǎn)。為保證上采樣操作后特征圖的綜合圖像質(zhì)量,最終選擇質(zhì)損程度較小的雙三次插值法來對圖像進(jìn)行上采樣。圖6為雙三次插值法對裂紋圖像進(jìn)行上采樣的流程圖。
2.4 損失函數(shù)優(yōu)化
該改進(jìn)算法對預(yù)測回歸邊界框損失函數(shù)進(jìn)行了優(yōu)化,其中傳統(tǒng)的IOU損失函數(shù)被相對更完善的GIOU[16]損失函數(shù)所替代。GIOU損失函數(shù)綜合考慮了重疊區(qū)域和非重疊區(qū)域,其還能夠處理預(yù)測框和真實(shí)框沒有重疊的情況,并且在網(wǎng)絡(luò)訓(xùn)練時(shí)對模型的收斂起到積極的作用。相關(guān)計(jì)算公式為:
3 實(shí)驗(yàn)方法與結(jié)果分析
3.1 實(shí)驗(yàn)構(gòu)建
實(shí)驗(yàn)所依托的硬件設(shè)備以及虛擬環(huán)境配置參數(shù)為:Ubuntu 18.04操作系統(tǒng),NVIDIA RTX3060顯卡,顯存6 G,Pytorch 1.11.0深度學(xué)習(xí)框架。數(shù)據(jù)集由檢測車沿著試驗(yàn)基地的PC軌道梁拍攝獲取,相關(guān)圖片均傳送至數(shù)據(jù)臺保存處理。工業(yè)相機(jī)被安裝在檢測車護(hù)欄前端,垂直距軌道梁面約20 cm處,且鏡頭平行于軌道梁面,數(shù)據(jù)集前期采集見圖7。數(shù)據(jù)集遵循預(yù)先設(shè)定好的7∶2∶1依次對訓(xùn)練集、驗(yàn)證集和測試集進(jìn)行統(tǒng)一劃分。將8 000張?jiān)紭訄D通過數(shù)據(jù)增廣的方法進(jìn)行處理,得到40 000張適用于PC軌道梁裂紋檢測的圖像,最終獲得跨座式單軌PC軌道梁面裂紋專用數(shù)據(jù)集“Track beam”,見圖8。
3.2 訓(xùn)練模型
YOLOX-CRACK網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置為選用Adam優(yōu)化器;訓(xùn)練批量大小設(shè)定為8;初始學(xué)習(xí)率調(diào)整為1e-3;優(yōu)化器內(nèi)部momentum參數(shù)設(shè)定為0.937。模型總共訓(xùn)練迭代300輪,其中前50輪采用凍結(jié)訓(xùn)練。如圖9所示,原YOLOX-S模型在第250個(gè)Epoch之后Loss曲線開始穩(wěn)定,曲線在第210個(gè)Epoch出現(xiàn)輕微震蕩。綜合對比前者,模型在第220個(gè)Epoch之后Loss曲線提前趨于穩(wěn)定,且模型訓(xùn)練過程更加高效、平穩(wěn)。
3.3 對比試驗(yàn)
為了驗(yàn)證改進(jìn)網(wǎng)絡(luò)模型的優(yōu)越性進(jìn)行了對比實(shí)驗(yàn),將YOLOX-CRACK算法與原始YOLOX-S算法、Faster R-CNN算法、SSD算法、YOLOv4算法、YOLOv5-S算法在相同數(shù)據(jù)集上進(jìn)行了測試,實(shí)驗(yàn)結(jié)果如表1所示。
實(shí)驗(yàn)結(jié)果表明,YOLOX-CRACK網(wǎng)絡(luò)模型相比于Faster R-CNN、SSD、YOLOv4、YOLOv5-S算法和YOLOX-S算法的MAP分別提升了9.6%、14.3%、9.2%、5.7%、4.4%,模型參數(shù)量相比于其他5個(gè)算法分別減少91.32%、64.61%、85.33%、80.26%、25.08%。改進(jìn)后的算法在有效提升檢測精度的同時(shí),并未顯著增加時(shí)間復(fù)雜度,從而證明其具備更優(yōu)越的性能。為了驗(yàn)證所提出改進(jìn)模塊對裂紋缺陷檢測的有效性,該節(jié)在“Track Beam”軌道梁面裂紋數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。在原始基線模型的基礎(chǔ)上,相繼添加了ASFF模塊、Ghost模塊、雙三次插值法以及GIOU損失函數(shù),具體實(shí)驗(yàn)結(jié)果見表2。
3.4 檢測效果分析
在檢測結(jié)果可視化對比圖10中,每個(gè)檢測文本框的左側(cè)與右側(cè)分別呈現(xiàn)的是預(yù)測目標(biāo)的種類和置信度。為了便于識別檢測結(jié)果,當(dāng)預(yù)測框的置信度大于或等于0.8時(shí),將其標(biāo)記為棕色;當(dāng)置信度不足0.8時(shí),則將其標(biāo)記為白色。在圖10中可以觀察到,YOLOX-CRACK算法在檢測PC軌道梁面裂紋方面展現(xiàn)出更精確的位置檢測和更高的置信度。YOLOX-CRACK算法在低照度和背景雜質(zhì)的干擾下,依然可以準(zhǔn)確地檢測出裂紋的位置,并且沒有出現(xiàn)漏檢的情況。由此可見,YOLOX-CRACK算法對PC軌道梁面裂紋具有良好的綜合檢測效果,更適合應(yīng)用于工程當(dāng)中。
4 結(jié)束語
針對跨座式單軌PC軌道梁面裂紋檢測任務(wù)提出一種YOLOX-CRACK算法。首先,在加強(qiáng)特征提取網(wǎng)絡(luò)中使用Ghost輕量化卷積提取目標(biāo)特征,以降低模型計(jì)算復(fù)雜度。其次,在特征融合層中嵌入ASFF模塊使模型自適應(yīng)學(xué)習(xí)不同特征層間的聯(lián)系,充分利用每個(gè)特征層的信息,提高網(wǎng)絡(luò)對裂紋目標(biāo)區(qū)域的關(guān)注度。同時(shí)引入GIOU損失函數(shù),進(jìn)一步加快模型收斂速度。最后,模型采用雙三次插值法進(jìn)行上采樣操作,更好地保持原始特征的清晰度和細(xì)節(jié)信息,從而提升網(wǎng)絡(luò)檢測性能。實(shí)驗(yàn)結(jié)果表明,YOLOX-CRACK算法在陰影以及雜質(zhì)背景干擾下的實(shí)際場景中對于PC軌道梁面裂紋的識別表現(xiàn)良好。改進(jìn)后模型相較于原基準(zhǔn)模型平均檢測精度提升4.40%,在參數(shù)量上比原模型下降25.08%,每秒檢測裂紋圖像數(shù)量為119幀。在保證推理速度的同時(shí),檢測準(zhǔn)確度也得到不小的提升,說明模型在準(zhǔn)確性和實(shí)時(shí)性方面符合實(shí)際工程需求。
參考文獻(xiàn):
[1]邱鵬, 趙曉峰. 跨座式單軌全自動運(yùn)行系統(tǒng)關(guān)鍵接口分析[J]. 鐵道通信信號, 2021, 57(9): 76-82.
[2]LUO J, PENG Q Y, WEN C, et al. Data-driven decision support for rail traffic control: a predictive approach[J]. Expert Systems with Applications, 2022, 207: 118050.
[3]張美玲, 羅永坤, 趙偉, 等. 跨座式PC軌道梁支座接觸應(yīng)力研究[J]. 鐵道標(biāo)準(zhǔn)設(shè)計(jì), 2018, 62(9): 94-99.
[4]HUANG J, LI J, LI Z M, et al. Detection of diseases using machine learning image recognition technology in artificial intelligence[J]. Computational Intelligence and Neuroscience, 2022, 2022: 5658641.
[5]韓鈺, 鄭金亮, 王磊, 等. 基于PPYOLO的電池片缺陷檢測[J]. 邵陽學(xué)院學(xué)報(bào)(自然科學(xué)版), 2023, 20(4): 8-16.
[6]杜清超, 鐘偉, 鄭佩瑩. 基于數(shù)字圖像處理的軌道梁裂縫檢測技術(shù)[J]. 四川建筑, 2019, 39(4): 95-97.
[7]熊鈴鈴, 錢慶平, 張世良. 基于改進(jìn)Otsu的橋梁裂縫檢測方法[J]. 半導(dǎo)體光電, 2023, 44(6): 965-971.
[8]郭運(yùn)沖, 李孟軍, 劉名果, 等. 基于Canny算子的建筑裂縫邊緣檢測改進(jìn)算法[J]. 計(jì)算機(jī)仿真, 2022, 39(11): 360-365, 410.
[9]WANG X Z, ZHAO Y X, POURPANAH F. Recent advances in deep learning[J].International Journal of Machine Learning and Cybernetics, 2020, 11(4): 747-750.
[10]李藝強(qiáng). 基于卷積神經(jīng)網(wǎng)絡(luò)的跨座式單軌軌道梁異常檢測方法研究[D]. 重慶: 重慶大學(xué), 2019.
[11]許貴陽, 張?jiān)娙?白堂博. 基于改進(jìn)Faster R-CNN的CRTSⅡ型軌道板裂縫檢測方法[J]. 中國鐵道科學(xué), 2023, 44(1): 106-113.
[12]DU L X, ZHANG R Y, WANG X T. Overview of two-stage object detection algorithms[J]. Journal of Physics: Conference Series, 2020, 1544(1): 012033.
[13]ZHANG Y F, LI X, WANG F Y, et al. A comprehensive review of one-stage networks for object detection[C]//2021 IEEE International Conference on Signal Processing, Communications and Computing (ICSPCC). August 17-19, 2021. Xi’an, China. IEEE, 2021: 1-6.
[14]王燕華, 何俊澤, 張明洲, 等. 基于SSD及剪枝神經(jīng)網(wǎng)絡(luò)的復(fù)雜環(huán)境下混凝土裂縫識別[J]. Journal of Southeast University (English Edition), 2023, 39(4): 393-399.
[15]DUAN S Q, ZHANG M H, QIU S L, et al. Tunnel lining crack detection model based on improved YOLOv5[J]. Tunnelling and Underground Space Technology, 2024, 147: 105713.
[16]謝有浩, 魏保良, 姜闊勝, 等. 嵌入自適應(yīng)注意力機(jī)制YOLOv3的類圓桿物計(jì)數(shù)方法研究[J]. 邵陽學(xué)院學(xué)報(bào)(自然科學(xué)版), 2023, 20(1): 24-31.