劉玉文,黃友銳,韓 濤
(1.安徽理工大學 人工智能學院,安徽 淮南 232001; 2.安徽理工大學 電氣與信息工程學院,安徽 淮南 232001;3.皖西學院 電氣與光電工程學院,安徽 六安 237012)
隨著車輛普及率的提高和道路使用頻次的上升,路面多種病害不斷顯現(xiàn)出來,急需提升道路養(yǎng)護管理效率.傳統(tǒng)的路面圖像信息獲取通過人工實地采集的方式,導致道路短時間地封閉,對交通管理造成很大影響.現(xiàn)今在路面分割方面,計算機視覺技術(shù)得到廣泛應用,其具有信息采集速度快、識別精度高的特點,能夠很好地解決傳統(tǒng)人工獲取信息導致道路短時間封閉的問題.并且道路養(yǎng)護管理決策的關(guān)鍵在于實現(xiàn)對路面病害圖像快速精準地分割,通過計算機視覺技術(shù)可以及時獲取路面圖像中路面病害的類型、數(shù)量、面積等信息,有助于道路養(yǎng)護部門精準高效地設計出相關(guān)道路養(yǎng)護方案.
實例分割作為一種像素級識別分割目標輪廓的目標檢測算法,最早在2014年被提出,之后陸續(xù)出現(xiàn)許多基于深度學習的實例分割算法.以DeepMask[1]、Mask-RCNN(mask regions convolutional neural networks)[2]、SharpMask[3]等為代表的雙階段實例分割方法分為自下而上的基于語義分割的方法和自上而下的基于檢測的方法.自上而下的實例分割方法先利用目標檢測方法確定實例區(qū)域,生成實例檢測框,然后在檢測框內(nèi)進行語義分割,每個分割結(jié)果都作為一個不同的實例輸出,但是該方法存在掩膜特征聯(lián)系丟失、特征提取表示冗余、下采樣導致位置信息丟失的問題.自下而上的實例分割方法,先進行像素級語義分割,再利用聚類、度量學習等手段區(qū)分不同實例,但是存在對密集分割質(zhì)量要求高、非最優(yōu)分割、類別多的復雜應用場景難以處理等問題.以YOLACT(you only look at coeffificients)[4]、PolarMask[5]、SOLO(segmenting objects by locations)[6]、Instance FCN(instance-sensitive fully convolutional networks)[7]為代表的單階段實例分割方法分為基于錨框算法和無錨框算法2種.基于錨框算法是利用錨框提取候選區(qū)域的特征信息,但是在訓練時目標框的標記不準確,導致樣本數(shù)據(jù)不平衡,檢測速度低.而無錨框算法能夠有效地解決這個問題,該算法通過關(guān)鍵點回歸目標類別、位置等,搭建網(wǎng)絡簡便,增強網(wǎng)絡泛化能力.
近年來,深度卷積神經(jīng)網(wǎng)絡學習性強的優(yōu)勢在路面病害檢測方面得到了廣泛應用.Zhang等[8]采用卷積神經(jīng)網(wǎng)絡并通過圖像局部塊信息判斷單幅圖像是否有裂縫存在.Cha等[9]先進行圖像分割,分割后生成的圖像局部塊利用卷積神經(jīng)網(wǎng)絡進行特征提取,最后通過裂縫病害特征進行分類.王勇[10]利用基于改進深度卷積神經(jīng)網(wǎng)絡的檢測算法,對路面圖像中的坑塘與裂縫進行檢測,該算法將YOLOv3(you only look once v3)中主干網(wǎng)絡Darknet替換為Inception v3模型,提高對路面圖像中病害的深度特征辨識度,有效精準檢測多尺度路面坑塘與裂縫等病害.蔡志興[11]提出了一種基于RetinaNet模型的路面病害自動識別算法,其利用聚類分析算法K-means生成路面病害檢測先驗框,通過ResNet(residual network)與特征金字塔(feature pyramid networks,FPN)進行病害多尺度特征圖的提取,之后利用全卷積神經(jīng)網(wǎng)絡(full convolution network,FCN)對目標框進行分類及位置回歸.張寧[12]針對提高裂縫及坑槽2類病害的檢測精度,提出一種基于Faster RCNN的公路路面病害檢測算法,該算法將非極大值抑制(non-maximum suppression,NMS)替換為Soft-NMS算法,減小檢測框冗余度,降低病害漏檢率.路面病害圖像存在拍攝環(huán)境復雜、分割目標尺寸存在差異、特征提取困難等問題,許多分割模型不斷進行優(yōu)化,以適應對路面病害進行分割,期望得到理想的分割效果.
道路養(yǎng)護的精準程度取決于養(yǎng)護單位對路面病害分割的精確度與速度.針對道路精準養(yǎng)護的需求,路面病害分割利用具有2個并行子網(wǎng)絡的YOLACT模型來實現(xiàn),YOLACT作為一種綜合性能優(yōu)越的實例分割算法,它在進行目標檢測任務的同時解決了語義分割問題,該模型作為單階段實例分割模型,能夠以降低微小分割精確度的代價換取分割速度較大地提升,很容易達到路面病害分割精確度高、具有實時性的效果.出于對分割路面病害圖像的實時性與精準性的需要,路面病害圖像分割選擇在YOLACT模型框架下進行.為進一步提高網(wǎng)絡對路面病害的分割效率,本文通過構(gòu)建深度過參數(shù)化卷積層結(jié)構(gòu)的主干網(wǎng)絡,加快網(wǎng)絡的收斂能力,利用注意力機制卷積層對圖像重要特征提速的優(yōu)點,增強網(wǎng)絡對路面病害信息的聚焦能力,提出了基于深度過參數(shù)化卷積的路面病害實例分割算法,具體來說,貢獻如下:
1) 針對道路精準養(yǎng)護對路面病害分割實時性的需要,進行模型特征壓縮結(jié)構(gòu)改進,通過Focus模塊[13]對圖像進行切片操作,減少圖像信息的丟失,提升模型對路面病害分割的準確性,并替換7×7卷積核為2層3×3卷積核,減小計算量,加快模型分割路面病害速度.
2) 將主干網(wǎng)絡ResNet50中3×3傳統(tǒng)二維卷積替換為深度過參數(shù)化卷積[14](depthwise over-parameterized convolutional layer,DO-Conv),在不增加網(wǎng)絡計算量的基礎上,提高網(wǎng)絡收斂能力和訓練速度,進而提升網(wǎng)絡對路面病害圖像的分割速度和精確度.
3) 針對路面病害圖像分割環(huán)境復雜、待分割目標小、特征易丟失等特點,通過在殘差網(wǎng)絡ResNet50中添加卷積塊狀注意力模塊[15](convolutional block attention module,CBAM),提升網(wǎng)絡對路面病害圖像信息的通道和空間聚焦能力,從而提高網(wǎng)絡分割路面病害圖像的精確度.
4) 通過拍攝實際路面視頻,自制路面病害數(shù)據(jù)集,進行改進YOLACT網(wǎng)絡與其他網(wǎng)絡的路面病害分割性能測試比較,并利用自制病害數(shù)據(jù)集進行改進YOLACT網(wǎng)絡的消融實驗評估,驗證改進YOLACT網(wǎng)絡在實際路面分割病害方面的準確性與實時性.
改進YOLACT模型是由改進后的主干網(wǎng)絡、預測頭網(wǎng)絡和原型網(wǎng)絡構(gòu)成,如圖1所示.通過改用Focus模塊進行輸入圖像切片操作完成特征壓縮,并將采樣所用的7×7卷積核降為替換2層3×3卷積核,以構(gòu)建深度過參數(shù)化卷積層結(jié)構(gòu)后的殘差網(wǎng)絡ResNet50加快網(wǎng)絡收斂能力,引入卷積塊狀注意力機制增強網(wǎng)絡特征信息聚集能力,結(jié)合FPN組成模型主干網(wǎng)絡,完成路面病害圖像多尺度特征提取.預測頭網(wǎng)絡主要通過提取的路面病害圖像特征生成檢測框,經(jīng)篩選后輸出每個錨框生成的掩膜系數(shù).原型網(wǎng)絡則是完成模型路面病害圖像分割任務生成原型腌膜,原型腌膜和腌膜系數(shù)線性組合,并對組合結(jié)果使用激活函數(shù)非線性化來獲得最終的路面圖像中每1個路面病害的腌膜,該過程可以用式(1)單個矩陣相乘的方法來高效實現(xiàn):
M=σ(PCT),
(1)
P是h×w×k大小的原型腌膜,h是原型腌膜的高,w是原型腌膜的寬.C是n×k大小的腌膜系數(shù),n是通過腌膜和閾值過濾后每個路面病害對應的k個掩模系數(shù).σ是原型腌膜與腌膜系數(shù)進行的線性組合.M是經(jīng)原型腌膜與腌膜系數(shù)線性組合后,生成的路面圖像中每1個路面病害的腌膜.
圖1 改進模型結(jié)構(gòu)Fig.1 Improved model structure diagram
圖2 改進模型特征壓縮結(jié)構(gòu)Fig.2 Improved model feature compression structure
最大池化層作為卷積神經(jīng)網(wǎng)絡中一種通過取鄰域中最大值特征點來代替鄰域多個特征點的層結(jié)構(gòu),用來實現(xiàn)壓縮特征維度、減小模型計算量、避免后續(xù)層參數(shù)過多造成過擬合.但是最大池化層存在丟失大量圖像信息的弊端,對于數(shù)據(jù)量大且復雜的數(shù)據(jù)集,會出現(xiàn)欠擬合問題.
原YOLACT模型中特征壓縮操作是通過尺寸為7×7卷積核對輸入圖像進行步長為2的降采樣,利用最大池化層進行通道數(shù)不變的特征維度壓縮,該壓縮方式使得輸入路面病害圖像信息大量丟失,降低了模型分割路面病害準確性.因此對YOLACT模型特征壓縮結(jié)構(gòu)進行改進,如圖2所示.首先通過Focus模塊對圖像進行切片操作將3通道512×512特征圖壓縮成12通道256×256的特征圖.在完成特征壓縮的同時,還保證圖像信息集中到通道空間沒有丟失,具體操作如圖3所示.對圖片中每隔1個像素取1個值,獲取4張相似的互補圖像并進行拼接,這樣將3個輸入通道擴充4倍變成12個通道,最后拼接得到的新圖像再經(jīng)過卷積操作,生成信息沒有丟失的2倍下采樣特征圖.然后利用步長為1的3×3卷積核與步長為2的3×3卷積核替換7×7卷積核,生成64通道維度為128×128特征圖,從而減小網(wǎng)絡計算量,提高模型對路面病害的分割速度.
在圖像實例分割任務中,卷積層是卷積神經(jīng)網(wǎng)絡(convolutional neural networks,CNN)的核心構(gòu)建模塊.網(wǎng)絡深度增加是通過增加CNN中線性層和非線性層的數(shù)量,提高網(wǎng)絡的性能.由于只增加CNN中的線性層會造成網(wǎng)絡過參數(shù)化,因此優(yōu)化網(wǎng)絡很少有人考慮只增加線性層.然而,過參數(shù)化有一個顯著的優(yōu)點值得被重視:過參數(shù)化使用的多個連續(xù)的線性層可以在訓練階段后折疊為一個參數(shù)更少的單層線性層.
圖3 Focus切片操作Fig.3 Focus slice operation
圖4 DO-Conv卷積Fig.4 DO-Convolution
圖5 深度過參數(shù)化卷積結(jié)構(gòu)Fig.5 Depthwise over-parameterized convolution structure
針對路面病害圖像分割精確度高、具有實時性的問題,改進YOLACT模型是通過在ResNet50殘差網(wǎng)絡普通卷積層中加入額外深度卷積操作來增強卷積層,構(gòu)成一個深度過參數(shù)化卷積層,對每個輸入通道進行單獨卷積運算.將ResNet50的卷積模塊中3×3傳統(tǒng)二維卷積替換為DO-Conv卷積,如圖4所示.在不增加網(wǎng)絡計算量的基礎上,加速網(wǎng)絡訓練過程,提高網(wǎng)絡收斂能力,效果明顯高于普通卷積層,模型對路面病害圖像分割速度和精確度得到了提升.深度過參數(shù)化卷積結(jié)構(gòu)如圖5所示,對于3通道的輸入特征I,先使用權(quán)重D∈R(M×N)×Dmul×Cin進行深度卷積,輸出12通道的中間變量I′,并進行權(quán)重為W∈RCout×Dmul×Cin、卷積核尺寸為1×1的普通卷積運算,生成最終的卷積結(jié)果O,上述運算可用式(2)表示為
O=(D?I)×W,
(2)
Cin是輸入卷積層特征圖,為3通道,Cout是輸出卷積層特征圖,為2通道,M×N是卷積核作用窗口,尺寸大小為2×2,?表示深度卷積操作,Dmul是單通道卷積核,個數(shù)為4,即單通道輸出特征數(shù)為4,且Dmul≥M×N.
路面病害圖像分割是在一個復雜的環(huán)境下進行的,路面車輛及路旁建筑物等都會對路面病害圖像分割的結(jié)果造成干擾,利用引入注意力機制的方式對YOLACT模型進行改進,注重模型對路面病害圖像信息的通道和空間聚焦能力,提升路面病害圖像分割模型的網(wǎng)絡性能.引入卷積塊狀注意力機制的特征提取網(wǎng)絡,如圖6所示,通過對ResNet50的特征融合階段中C3、C4、C5 殘差模塊添加卷積塊狀注意力模塊進行卷積層構(gòu)建,從而提升模型對實際路面病害分割的精準度.
圖6 引入卷積塊狀注意力機制的特征提取網(wǎng)絡Fig.6 Feature extraction network introduces convolutional block attention mechanism
在C3、C4、C5每個殘差模塊第2個1×1卷積層后串聯(lián)插入1個通道注意力和空間注意力模塊,輸入特征圖首先經(jīng)過全局最大池化層和平均池化層分別得到1個路面病害特征通道描述,隨后將這2個通道描述送入1個2層的共享全連接層,壓縮輸入特征圖的空間維數(shù),得到2個特征向量.通過逐元素累加的方式合并成1個特征向量,該特征向量經(jīng)激活函數(shù)生成通道注意力特征圖,與輸入特征圖逐元素相乘生成輸入空間注意力模塊的特征圖.對輸入空間注意力模塊的特征圖進行基于通道的全局最大池化層和全局平均池化層,然后將得到的2個1通道特征圖合并為1個2通道的特征圖,該特征圖卷積降維為1通道,經(jīng)激活函數(shù)獲取空間注意力特征圖,最后與空間注意力輸入特征圖逐元素相乘,得到最終生成的路面病害特征圖,如圖7所示.
路面病害分割實驗通過2組數(shù)據(jù)集進行路面病害分割精準性與實時性的評估,驗證改進YOLACT模型在道路精準養(yǎng)護方面的實用性.首先采用Kaggle官網(wǎng)中環(huán)境復雜的公開數(shù)據(jù)集potholes_and_road_damage_with_annotations進行驗證,其主要包含損壞、裂紋、坑洼以及含水的大、小坑洼5種類型路面病害.其次通過攝像頭實際拍攝道路路面現(xiàn)場視頻,進行視頻每幀圖像的提取并保存為同一格式,在保存圖像中挑選病害清晰圖像作為數(shù)據(jù)樣本集,評估改進YOLACT網(wǎng)絡的精準性與實時性.調(diào)整2組數(shù)據(jù)集圖像尺寸為模型輸入圖像尺寸512×512像素,減少模型的參數(shù)量.調(diào)整尺寸后的圖像使用Labelme標注工具對圖像中路面病害的輪廓進行多邊形標注,并按順序保存每張圖像對應的標注Json文件,將路面圖像與對應的標注Json文件轉(zhuǎn)化成COCO(common objects in context)數(shù)據(jù)集格式,制作成路面病害數(shù)據(jù)集.
路面病害分割實驗自制數(shù)據(jù)集選用路面坑洼、裂縫以及少量的正常路面共800張圖像,并以8∶1∶1進行隨機劃分.即640幅圖像作為路面病害訓練集,80幅圖像作為路面病害驗證集,剩余80幅圖像作為路面病害測試集.隨機劃分后的自制數(shù)據(jù)集路面病害分布如表1所示,含有路面病害的圖像主要分布在病害訓練集與驗證集.其中病害訓練集中含路面坑洼病害414個、路面裂縫病害302個,病害驗證集中含路面坑洼病害42個、路面裂縫病害50個,病害測試集中含剩余路面坑洼病害38個、路面裂縫病害29個.
圖7 ResNet50殘差模塊引入CBAM注意力機制Fig.7 ResNet50 residual module introduces CBAM attention mechanism
表1 自制數(shù)據(jù)集路面病害分布Tab.1 Pavement disease distribution of self-made data sets
路面病害分割實驗是在Windows 10系統(tǒng)下進行的,處理器采用Intel(R)Core(TM)i5-10600KF,顯卡為NVIDIA GeForce RTX 3060,硬盤1 TB,內(nèi)存16 GB;在Python3.8環(huán)境下選用Pytorch1.8.0框架進行模型訓練與測試.以ResNet預訓練網(wǎng)絡作為輸入的初始權(quán)重,采用隨機梯度下降法對路面病害圖像分割網(wǎng)絡進行訓練.學習率衰減區(qū)間設置為(30 000,60 000,90 000),訓練迭代次數(shù)設置為30 000,訓練批次設置為4,閾值設置為0.3.
路面病害分割實驗效果以分割速度(frames per second,FPS)和平均精度(average precision,AP)作為評價指標.在實驗中分割速度表示模型每秒分割圖像的幀數(shù),每秒幀數(shù)越多表示模型分割圖像的速度越快,以此對模型分割速度進行評估.在Microsoft COCO公開評估指標下的AP即是平均精度均值(mean average precision,mAP),是AP值在所有類別下的均值.AP的計算需要用到模型的精確度(precision,P)、召回率(recall,R)以及交并比(IoU)的計算.精確度是模型預測為正的樣本中真實正樣本所占比例;召回率表示所有真實樣本中正樣本被預測正確的占比,計算方法如下:
(3)
(4)
式中,NTP表示預測正確且判斷為正的樣本;NFP表示預測錯誤且判斷為正的樣本;NFN表示預測錯誤且判斷為負的樣本.
IoU是預測框(prediction bbox,Pb)和真實框(ground truth,Gt)的交叉面積與合并面積之比.在實例分割任務中,當模型生成的預測框與標注的真實框的IoU值大于設定閾值時,默認模型輸出預測框是正確的,式(5)如下:
(5)
在Microsoft COCO公開評估指標中,AP利用平滑處理后的PR曲線進行計算,PR曲線由橫坐標為召回率和縱坐標為精確率構(gòu)成.一般取處理后的PR曲線橫軸0到1之間的100等分點的精確率值,包括斷點共101個點,計算其平均值作為最終AP的值,計算方法如下:
(6)
(7)
路面病害分割實驗通過AP0.5、AP0.75、APall評估算法的路面病害分割精確度.AP0.5表示交并比閾值為0.5時的平均精度;AP0.75表示交并比閾值為0.75時的平均精度;APall表示交并比閾值在0.5至0.95之間每隔0.05計算一次AP值,對所有AP值求和并取其平均值,計算如下:
(8)
表2 不同模型在公開數(shù)據(jù)集對比實驗 Tab.2 Comparative experiments of different models in public data sets
表3 不同模型在自制數(shù)據(jù)集對比實驗Tab.3 Comparative experiment of different models in self-made data sets
2.4.1 分割性能實驗 路面病害分割性能實驗選用2種數(shù)據(jù)集:一是包含多種類、特征差異明顯、背景復雜、分割難度高的potholes_and_road_damage_with_annotations公開數(shù)據(jù)集;二是現(xiàn)場拍攝的背景簡單、含坑洼與裂縫2種病害的自制數(shù)據(jù)集.為檢驗改進后模型的性能,通過改進YOLACT模型與單階段實例分割模型FCIS[16]、PolarMask、SOLOv2[17]進行分割速度性能對比,與具有高準確性的雙階段實例分割模型Mask RCNN進行分割精準性的對比,從而測試改進后模型的實時性與精準性.
不同模型在公開數(shù)據(jù)集對比實驗如表2所示.由表2可知,改進YOLACT模型在公開數(shù)據(jù)集上分割平均精度達21.59%,分割速度達到31.33幀/s.改進YOLACT模型分割平均精度優(yōu)于FCIS、PolarMask、SOLOv2 單階段實例分割模型,分別提升了3.18%、2.23%、1.65%,僅比高準確性的Mask RCNN雙階段實例分割模型平均精度低0.24%,分割速度方面相較于FCIS、PolarMask、SOLOv2、Mask RCNN模型分別提高了2.96、0.68、3.19、10.64幀/s,表明改進YOLACT模型相比于其他模型在道路病害圖像分割中具有優(yōu)勢.
不同模型在實際現(xiàn)場采集的自制數(shù)據(jù)集分割性能對比實驗如表3所示.由于自制數(shù)據(jù)集相較于公開數(shù)據(jù)集背景簡單且種類少,改進YOLACT模型在自制數(shù)據(jù)集上分割平均精度均有很大提高.改進后模型分割平均精度達31.43%,優(yōu)于FCIS、PolarMask、SOLOv2模型,平均精度分別提升了3.91%、1.78%、2.02%,相較于具有高準確性的Mask RCNN模型平均精度減少了3.21%.改進YOLACT模型分割速度達到30.52幀/s,相較于FCIS、PolarMask、SOLOv2、Mask RCNN模型分別提高了2.81、1.06、0.59、10.41幀/s,表明改進YOLACT模型能夠滿足實際現(xiàn)場路面病害實時精確地分割.
2.4.2 消融實驗 通過對自制路面病害數(shù)據(jù)集進行消融實驗檢驗每個模塊對模型分割的提升效果,依次進行改進特征維度結(jié)構(gòu),引入CBAM注意力機制模塊,替換DO-Conv卷積模塊的實驗,如表4所示.由表4可知:① 采用ResNet50作為主干網(wǎng)絡,分割路面病害的AP0.5為42.73%,AP0.75為11.23%,APall為17.75%,分割速度為27.97幀/s;② 改進特征壓縮結(jié)構(gòu)的ResNet50網(wǎng)絡(ResNet50+Focus),模型的平均精度有較大提升,其AP0.5從42.73%提升至48.66%,AP0.75從11.23%略微降至9.98%,APall從17.75%提升至20.10%,而分割速度由27.97幀/s降至28.65幀/s,改進后的特征壓縮結(jié)構(gòu)減小了圖像信息丟失,提高了模型的分割精度;③ 在改進特征壓縮結(jié)構(gòu)的ResNet50網(wǎng)絡中添加注意力機制(ResNet50+Focus+CBAM),模型的平均精度有較大提升,其AP0.5從48.66%提升至51.22%,AP0.75從9.98%提升至11.64%,APall從20.10%提升至21.68%,而分割速度由28.65幀/s降至24.78幀/s,引入注意力機制使模型以小資源開銷換取性能顯著提升;④ 改進特征壓縮結(jié)構(gòu)的ResNet50網(wǎng)絡中添加注意力機制并將部分卷積層替換成深度過參數(shù)化卷積層(ResNet50+Focus+CBAM+DO-Conv),路面病害圖像分割平均精度AP0.5從51.22%提升至53.53%,AP0.75從11.64%提升至13.45%,APall從21.68%提升至31.43%,分割速度從24.78幀/s提升至30.52幀/s,表明模型性能較優(yōu)化前得到明顯提升,達到預期高精確度、實時性路面病害圖像分割需求.
表4 分割模型消融實驗Tab.4 Segmentation model ablation experiment
采用原YOLACT模型盡管能夠分割路面病害圖像,但隨著卷積網(wǎng)絡層數(shù)的疊加,路面病害圖像信息會逐漸模糊或丟失,如圖8所示.圖8(a)(b)中模型分割結(jié)果分別出現(xiàn)路面坑洼漏檢、路面裂縫漏檢;圖8(c)(d)中模型分割結(jié)果分別出現(xiàn)路面坑洼邊界分割不準確、路面裂縫邊界分割不準確.而構(gòu)建深度過參數(shù)化卷積層和引入注意力模塊能夠顯著提高模型的路面病害圖像分割精確度,并保留較為準確的邊界信息.改進YOLACT模型分割路面病害圖像,不僅能夠得到路面病害圖像的精準定位結(jié)果,還能夠保留其準確的邊界信息,從而顯著提升了模型對裂縫、坑洼等路面病害的分割精度,如圖8(e)~(h)所示.
圖8 改進前后模型分割效果 Fig.8 Model segmentation effect before and after improvement
針對道路養(yǎng)護單位進行道路精準養(yǎng)護過程中路面病害分割高準確性、實時性的需求,以實際現(xiàn)場的路面病害為研究對象,采用改進后的YOLACT模型進行路面病害圖像精確、快速地分割,通過改進模型特征壓縮結(jié)構(gòu),在殘差網(wǎng)絡ResNet50中構(gòu)建深度過參數(shù)化卷積層結(jié)構(gòu),引入卷積塊狀注意力機制增強網(wǎng)絡對特征聚焦能力,并與特征金字塔網(wǎng)絡相融合構(gòu)成改進后模型的主干網(wǎng)絡,完成圖像特征提取與融合,經(jīng)預測頭網(wǎng)絡和原型網(wǎng)絡實現(xiàn)路面圖像中路面病害分割.
路面病害分割實驗利用公開數(shù)據(jù)集與自制數(shù)據(jù)集進行不同模型與改進YOLACT模型的分割性能測試,并在自制數(shù)據(jù)集中驗證改進后模型與原YOLACT模型在實際道路的分割效果,改進后的模型在驗證集的平均精度AP0.5、AP0.75、APall分別為53.53%、13.45%和31.43%,其圖像分割平均精度與分割速度均有顯著提升,說明改進后模型可以實現(xiàn)實時精確的路面病害圖像分割,2組數(shù)據(jù)集評估改進YOLACT模型能夠很好完成路面病害的高精確性、實時性的分割任務.改進YOLACT模型雖然能夠滿足道路精準養(yǎng)護實時、精確的需求,但是還需要進一步提升模型對復雜道路環(huán)境多種多樣的路面病害分割性能.