王博，李齊，劉皎

（商洛學(xué)院電子信息與電氣工程學(xué)院/商洛市人工智能研究中心，陜西商洛 726000）

路面裂縫可能衍生出其他更為嚴(yán)重的次生病害，嚴(yán)重的可能會(huì)導(dǎo)致安全事故。因此，需要對(duì)路面裂縫進(jìn)行及時(shí)地發(fā)現(xiàn)和修復(fù)，從而防止危害進(jìn)一步擴(kuò)大。對(duì)路面裂縫進(jìn)行快速、準(zhǔn)確的檢測(cè)是路面養(yǎng)護(hù)工作中最為重要的任務(wù)之一。

在過去的幾十年里，許多研究人員一直致力于研究基于傳統(tǒng)非深度學(xué)習(xí)的傳統(tǒng)裂縫檢測(cè)方法[1-2]。這些方法主要分為五類：小波變換[3]、圖像閾值[4-5]、人工提取特征和分類[6-7]、基于邊緣檢測(cè)的方法[8]、基于最小路徑的方法[9]。這些方法在一定程度上實(shí)現(xiàn)了路面圖像中裂縫病害的識(shí)別，但仍然存在一些問題：多數(shù)算法仍然采用基于主動(dòng)特征提取的方式對(duì)裂縫信息進(jìn)行提取，提取的過程相對(duì)繁瑣；現(xiàn)有大部分基于圖像處理的算法，對(duì)于不同數(shù)據(jù)源得到的圖像，普適性較低，環(huán)境因素影響裂縫識(shí)別算法的穩(wěn)定性能。

近年來，國(guó)內(nèi)外一些學(xué)者嘗試將深度學(xué)習(xí)方法應(yīng)用到裂縫檢測(cè)任務(wù)中。目前基于深度學(xué)習(xí)的主流目標(biāo)檢測(cè)方法主要以Rcnn[10]、Faster-rcnn[11]和fasterRcnn[12]為代表的two-stage目標(biāo)檢測(cè)模型和以YOLO[13]和SSD[14]系列為代表的one-stage目標(biāo)檢測(cè)模型。Zhang等[15]提出了一種相對(duì)較淺的神經(jīng)網(wǎng)絡(luò)，由四個(gè)卷積層和兩個(gè)全連通層組成，對(duì)裂縫圖像進(jìn)行分類。將深度學(xué)習(xí)的方法與基于手工特征的方法進(jìn)行比較，證明了深度學(xué)習(xí)中特征提取的優(yōu)勢(shì)。Pauly[16]將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于裂縫和非裂縫圖像的分類，同時(shí)證明了深度神經(jīng)網(wǎng)絡(luò)的優(yōu)越性。同時(shí)，提出了動(dòng)態(tài)的學(xué)習(xí)方法，解決了標(biāo)簽資源有限的問題。Eisenbach等[17]提出了一種用于訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)的道路病害數(shù)據(jù)集，評(píng)估和分析了目前較為先進(jìn)的路面病害檢測(cè)方法。深度學(xué)習(xí)方法對(duì)于具體的裂縫檢測(cè)識(shí)別任務(wù)，效果明顯優(yōu)于傳統(tǒng)方法。主要存在的問題：道路裂縫數(shù)據(jù)集方面，目前已知公開的數(shù)據(jù)集數(shù)據(jù)規(guī)模較小，同時(shí)環(huán)境、背景較為簡(jiǎn)單[18-19]；網(wǎng)絡(luò)實(shí)時(shí)性問題，由于網(wǎng)絡(luò)較深，部分識(shí)別網(wǎng)絡(luò)在滿足精度的條件下，實(shí)時(shí)性指標(biāo)達(dá)不到[20]；大規(guī)模的網(wǎng)絡(luò)模型需要大量的運(yùn)算，在移動(dòng)或者嵌入式設(shè)備難以被應(yīng)用[21]。因此亟需提出一種輕量級(jí)、快速、準(zhǔn)確的裂縫識(shí)別方法。

為了解決上述問題，選擇one-stage目標(biāo)檢測(cè)算法中SSD目標(biāo)檢測(cè)模型為基本網(wǎng)絡(luò)，以此為基礎(chǔ)做了三方面工作。第一，采集并建立包含5 000張?jiān)紙D片的道路裂縫檢測(cè)數(shù)據(jù)集。第二，為了解決網(wǎng)絡(luò)模型臃腫難以部署在嵌入式移動(dòng)設(shè)備的弊端，將SSD網(wǎng)絡(luò)主干特征提取網(wǎng)絡(luò)改進(jìn)為輕量級(jí)MobileNet網(wǎng)絡(luò)，能夠大幅度降低模型的參數(shù)量和模型大小、同時(shí)提高了對(duì)象的檢測(cè)速度。第三，利用特征金字塔融合提取到的6個(gè)維度信息，能夠?qū)⒉煌S度信息進(jìn)行融合，如底層高分辨率和頂層高語義信息進(jìn)行融合，解決了輕量級(jí)網(wǎng)絡(luò)檢測(cè)精度低的問題。

1 道路裂縫檢測(cè)算法

1.1 SSD目標(biāo)檢測(cè)算法

SSD300采用VGG作為主干特征提取網(wǎng)絡(luò)，是一個(gè)基于回歸方法的目標(biāo)檢測(cè)算法。SSD網(wǎng)絡(luò)輸入圖像歸一化為300×300彩色裂縫圖像，以VGG為基本特征抽取網(wǎng)絡(luò)，選擇conv4-3、fc7、conv6-2、conv7-2、conv8-2、conv9-2 這六種有效特征層作為SSD回歸和分類的輸入，通過選擇六種尺度 38×38，19×19，10×10，5×5，3×3，1×1來獲取預(yù)測(cè)結(jié)果，對(duì)于每個(gè)有效特征層，分別進(jìn)行一次先驗(yàn)框數(shù)量Num*4的卷積操作和一次Num*分類數(shù)目的卷積，其中4代表預(yù)測(cè)框的四個(gè)調(diào)整參數(shù)。其基本架構(gòu)如圖1所示。

圖1 SSD算法模型

1.2 改進(jìn)的道路裂縫SSD識(shí)別算法

針對(duì)SSD算法的改進(jìn)：改進(jìn)特征提取網(wǎng)絡(luò)，降低模型大小，提高速度；將特征融合思想引入到算法中，再將高層次特征和低層次特征進(jìn)一步融合，提高特征層的檢測(cè)效果；在算法訓(xùn)練過程中，使用數(shù)據(jù)增廣策略，提高訓(xùn)練過程中的訓(xùn)練數(shù)據(jù)，提高魯棒性。整體算法模型如圖2所示。

圖2 改進(jìn)的SSD算法

1.2.1 主干特征提取網(wǎng)絡(luò)改進(jìn)

SSD目標(biāo)提取網(wǎng)絡(luò)的主干特征VGG網(wǎng)絡(luò)模型較大，在檢測(cè)速度上沒有優(yōu)勢(shì)，參考MobileNet思想引入深度可分離式卷積構(gòu)建主干特征提取網(wǎng)絡(luò)，不僅可以提升SSD的檢測(cè)效果，同時(shí)也使檢測(cè)速度有了質(zhì)的提升，而且模型大小也比原本SSD小了幾倍。相比VGG算法，特征抽取網(wǎng)絡(luò)的權(quán)重僅僅只有15 M左右，加上改進(jìn)的SSD高速識(shí)別模型，在保證整體精度的同時(shí)，盡量提高算法的速度。

圖1中，將原始的SSD模型中的VGG去掉，替換為MobileNet網(wǎng)絡(luò)，去掉MobileNet后面的softmax層及全連接層，隨后添加改進(jìn)的深度可分離卷積層*4?？煞蛛x卷積，其中深度卷積與1×1卷積結(jié)合替代傳統(tǒng)的卷積方式，可以大量減少模型參數(shù)。另外為解決SSD對(duì)小目標(biāo)及遮擋等復(fù)雜環(huán)境，引入多尺度特性，將不同層的特征進(jìn)行融合，避免池化層帶來的信息丟失，從而提高網(wǎng)絡(luò)檢測(cè)精度。

主干特征提取網(wǎng)絡(luò)類似VGG包含6個(gè)有效特征層，這些特征層的shape分別利用38×38，19×19，10×10，5×5，3×3，1×1的有效特征層進(jìn)行分類預(yù)測(cè)與回歸預(yù)測(cè)。涉及到的6個(gè)有效特征層，用來構(gòu)建特征金字塔，對(duì)獲取到的每一個(gè)有效特征層，分別對(duì)其進(jìn)行一次num_priors*4的卷積、一次num_priors×num_classes的卷積、并需要計(jì)算每一個(gè)有效特征層對(duì)應(yīng)的先驗(yàn)框。而num_priors指的是該特征層所擁有的先驗(yàn)框數(shù)量。

主干特征提取網(wǎng)絡(luò)減少參數(shù)的關(guān)鍵在引入深度可分離卷積，是將一個(gè)標(biāo)準(zhǔn)的卷積核分成深度卷積核和1×1的點(diǎn)卷積核，從而達(dá)到降低參數(shù)的目的。假設(shè)輸入為M個(gè)通道的feature map，卷積核大小為Dk×Dk，輸出通道為N，那么標(biāo)準(zhǔn)卷積核即為Dk×Dk×M×N。 與標(biāo)準(zhǔn)卷積核相比計(jì)算量比率為：

以 N=512，Dk×Dk=3×3 為例，深度可分離卷積可以節(jié)省參數(shù)約為原來的1/9。

1.2.2 圖像金字塔進(jìn)行多層特征融合

傳統(tǒng)SSD方法使用圖3（a）方法，直接利用VGG提取到的六個(gè)特征層進(jìn)行預(yù)測(cè)。本文方法利用FPN特征金字塔的思路，將MobileNet提取到的6個(gè)特征層進(jìn)行特征融合。低層高分辨率和高層高語義信息層，通過融合達(dá)到不同層信息融合，從而提高檢測(cè)效果。這樣可以在各種不同特征分辨率下識(shí)別目標(biāo)，而且提取的特征構(gòu)成來源于各個(gè)層級(jí)的相互融合。

圖3 特征金子塔特征融合

融合方法如圖3（b）所示，SSD所使用的6個(gè)有效特征層每一層和下一層都是2倍的關(guān)系。其中自上向下的路徑直接采用2倍的采樣完成，橫向連接在通過1×1卷積調(diào)整通道數(shù)的基礎(chǔ)上，通過疊加操作完成特征的融合。

1.2.3 數(shù)據(jù)增強(qiáng)策略

數(shù)據(jù)增強(qiáng)增加了樣本的個(gè)數(shù)，使得模型訓(xùn)練過程中可以接收更多樣本的學(xué)習(xí)內(nèi)容，能夠增強(qiáng)樣本的多樣性，使結(jié)果更加接近真實(shí)目標(biāo)，讓訓(xùn)練模型更加具有魯棒性。

2 道路裂縫檢測(cè)評(píng)價(jià)指標(biāo)

評(píng)價(jià)道路裂縫檢測(cè)算法的精度主要用F1值（F1_Score）、MAP指標(biāo)表征。算法的速度使用FPS指標(biāo)表征。

準(zhǔn)確率（Precision）：表征預(yù)測(cè)正例（真正例+假正例）中，真正例所占的比例。計(jì)算公式為：

其中真正例（TP），真負(fù)例（TN），假正例（FP）和假負(fù)例（FN）。

召回率（Recall）：表征所有實(shí)際的正例中，真正例所占的比例。計(jì)算公式為：

F1值（F1_Score）：?jiǎn)我坏挠脺?zhǔn)確率或者召回率，并不能完整地表征算法的準(zhǔn)確性，F(xiàn)1值用準(zhǔn)確率和召回率的調(diào)和平均來表征，是準(zhǔn)確率和召回率的綜合體現(xiàn)。計(jì)算公式為：

F1值的結(jié)果在 [0,1]，F(xiàn)1值越高表示算法具有越好的表現(xiàn)。

AP（Average precision）指標(biāo)：

式中，P代表準(zhǔn)確率，r代表recall值，實(shí)際意義表示為某種類的目標(biāo)P-R曲線的面積。AP的結(jié)果在[0,1]，AP越大表征算法效果越好。

由于實(shí)際過程中P（r）函數(shù)難以準(zhǔn)確確定，在計(jì)算過程中，將積分過程等效為求和過程。計(jì)算公式為：

式中，APEQ表示AP值的等效表達(dá)，M表示測(cè)試集中圖像數(shù)據(jù)的個(gè)數(shù)；K表示通過IOU的改變，能夠識(shí)別出的目標(biāo)的個(gè)數(shù)；P(K)表示通過IOU的改變能夠識(shí)別K個(gè)目標(biāo)時(shí)的Precision值?！鱮(k)表示能識(shí)別K個(gè)目標(biāo)時(shí)Recall值與能識(shí)別出K-1個(gè)目標(biāo)時(shí)Recall值的變化量。

MAP（均值平均精度），得到數(shù)據(jù)集中所有類精度的平均值，通常情況下MAP的計(jì)算公式：

式中，classes為識(shí)別目標(biāo)的總類別，在本文中算法中classes=3。

FPS指標(biāo)：算法的主要速度指標(biāo)。表示1 s內(nèi)識(shí)別的裂縫圖像數(shù)（幀數(shù)），F(xiàn)PS指標(biāo)越大表示單位時(shí)間內(nèi)處理速度越快，實(shí)時(shí)性更好。

3 路面裂縫檢測(cè)

路面裂縫檢測(cè)的整體流程如圖4所示，主要包括路面裂縫數(shù)據(jù)集、裂縫識(shí)別網(wǎng)絡(luò)訓(xùn)練調(diào)參等。

圖4 路面裂縫檢測(cè)的整體流程圖

3.1 數(shù)據(jù)集的準(zhǔn)備

試驗(yàn)中使用的數(shù)據(jù)集為2020年采集于西安市的城市道路圖片，建立適用于道路裂縫目標(biāo)識(shí)別的VOC數(shù)據(jù)集，包括5 226張道路裂縫圖像并對(duì)其進(jìn)行標(biāo)注，同時(shí)采集過程中應(yīng)注意采集多尺度、復(fù)雜場(chǎng)景下的道路圖片。路面圖像數(shù)據(jù)集主要為道路檢測(cè)車拍攝的路面視頻和智能手機(jī)拍攝的路面圖像，預(yù)期通過視頻采集車圖像和人工采集集合的方式采集路面裂縫圖像。主要分成橫向裂縫、縱向裂縫、網(wǎng)狀裂縫，三種裂縫總體以1：1：1的比例出現(xiàn)。

圖5中采集完后將圖像使用labelme工具進(jìn)行標(biāo)注，輸出格式為VOC2007。以8：1：1的比例將樣本數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，用于路面裂縫識(shí)別模型訓(xùn)練測(cè)試。

圖5 路面裂縫數(shù)據(jù)集的建立

不同光照、天氣、標(biāo)志標(biāo)線、油污、路面修補(bǔ)等背景下，均會(huì)對(duì)裂縫的識(shí)別帶來不利的影響。傳統(tǒng)的圖像處理方法會(huì)面臨各種困難，中值濾波可能濾除微弱目標(biāo)，閾值分割的實(shí)效，不能區(qū)分目標(biāo)和干擾等。面對(duì)這個(gè)問題，在建立數(shù)據(jù)集階段，應(yīng)盡量多地囊括多種復(fù)雜背景，從而讓識(shí)別網(wǎng)絡(luò)學(xué)習(xí)到更多的特征。

3.2 模型訓(xùn)練過程

模型訓(xùn)練流程如圖6所示，圖中左邊部分主要對(duì)網(wǎng)絡(luò)模型超參數(shù)的設(shè)定，圖中右邊部分為模型訓(xùn)練過程，首先通過預(yù)測(cè)值與真實(shí)值比較得到loss，判斷訓(xùn)練次數(shù)，當(dāng)次數(shù)小于設(shè)定的次數(shù)，再根據(jù)loss反向傳播更新模型參數(shù)。其中i表示當(dāng)前訓(xùn)練次數(shù)，Imax表示設(shè)置的最大訓(xùn)練次數(shù)。

圖6 模型訓(xùn)練流程

3.3 訓(xùn)練過程中超參數(shù)調(diào)整

訓(xùn)練的裂縫圖像統(tǒng)一重設(shè)大小為300×300的像素，訓(xùn)練平臺(tái)采用windows10操作系統(tǒng)，搭載12 G內(nèi)存，E5CPU，搭配4G顯卡。訓(xùn)練過程采用遷移學(xué)習(xí)策略，在MobileNet預(yù)訓(xùn)練權(quán)重的基礎(chǔ)上，冰凍其MobileNet部分，對(duì)SSD和特征金字塔部分進(jìn)行訓(xùn)練50輪，50輪后解凍MobileNet部分，降低 lr（學(xué)習(xí)率）=1×10-5對(duì)整體進(jìn)行微調(diào)。訓(xùn)練過程中解凍前l(fā)r=1×10-3，解凍后lr=5×10-5，動(dòng)量系數(shù)α設(shè)置為0.9。整個(gè)訓(xùn)練過程持續(xù)100輪，其中l(wèi)r通過回調(diào)函數(shù)，當(dāng)3輪loss不出現(xiàn)下降的時(shí)候動(dòng)態(tài)調(diào)整學(xué)習(xí)率為當(dāng)前的一半。

3.4 試驗(yàn)結(jié)果與分析

試驗(yàn)過程中抽取10%作為測(cè)試集，圖片總數(shù)為522張。測(cè)試集的相關(guān)情況如表1所示。從表1可見，本文算法中針對(duì)三種裂縫的TP數(shù)目均高于YOLOV3和SSD方法。

表1 檢測(cè)目標(biāo)數(shù)目對(duì)比

表1中對(duì)道路裂縫數(shù)據(jù)集，分別使用YOLO V3、SSD和本文算法進(jìn)行分析，三種裂縫不同類型的真正例統(tǒng)計(jì)結(jié)果，從表1可見，橫向裂縫檢測(cè)出184個(gè)真正例，比YOLO V3和SSD分別多出7個(gè)真正例和8個(gè)真正例。在縱向裂縫和網(wǎng)狀裂縫及檢測(cè)真正例總數(shù)上均高于YOLO V3和SSD方法，可以初步判斷本文算法優(yōu)于YOLO V3和SSD算法。

表2和圖7表示了三種裂縫中準(zhǔn)確率和召回率的比較，從表2中可以看出，本文算法的準(zhǔn)確率略低于YOLO V3算法，與SSD算法基本類似。本文算法的縱向裂縫和網(wǎng)狀裂縫的召回率表現(xiàn)均高于YOLO V3算法和SSD算法。圖7中展示了三種不同算法對(duì)應(yīng)的P-R曲線，縱坐標(biāo)P（準(zhǔn)確率），坐標(biāo)R（召回率）。通過面積可以得出不同算法的F1值。

表2 三種裂縫準(zhǔn)確率/召回率比較

圖7 F1—score圖

表3表示三種裂縫的AP和各個(gè)類別的AP值，結(jié)果反映本文算法的MAP為91.29，比SSD算法提高2.05%，比YOLO V3算法提高8.16%。各個(gè)分項(xiàng)類別中本文算法在縱向裂縫和網(wǎng)狀裂縫AP值均高于其它兩種算法，在橫向裂縫中略低于YOLO V3算法。本文算法的FPS為38.1比YOLO V3算法和SSD算法分別提高1.1倍和1.88倍。

表3 三種裂縫AP、FPS比較

由圖8可以看出，圖中黑色區(qū)域?yàn)橄闰?yàn)框、虛線部分為預(yù)測(cè)框。從結(jié)果上看，檢測(cè)準(zhǔn)確率較高，同時(shí)與標(biāo)簽的IOU也較大，能夠有檢測(cè)不同類型的裂縫。

圖8 道路裂縫檢測(cè)效果

4 結(jié)論

本文提出一種改進(jìn)的輕量級(jí)SSD道路裂縫目標(biāo)檢測(cè)算法。通過將SSD中骨干特征網(wǎng)絡(luò)，改進(jìn)為輕量級(jí)的mobileNet網(wǎng)絡(luò)，可以降低網(wǎng)絡(luò)參數(shù)量和模型大小，從而更快地對(duì)圖像裂縫進(jìn)行識(shí)別，試驗(yàn)結(jié)果表明，改進(jìn)算法FPS為38.1，比YOLO V3算法和SSD算法分別提高1.1倍和1.88倍，檢測(cè)單張圖片時(shí)間為0.026 s，大幅度提高了檢測(cè)速度。在SSD算法中使用金字塔結(jié)構(gòu)進(jìn)行特征融合，將底層高語義信息和高層高分辨率信息進(jìn)行融合，能夠保證在模型減小的情況下檢測(cè)精度不會(huì)下降，甚至略有提高。試驗(yàn)表明，本文算法的MAP為91.29，比SSD算法提高2.05%，比YOLO V3算法提高8.16%。

在此基礎(chǔ)上還需要進(jìn)一步擴(kuò)充數(shù)據(jù)集，在已經(jīng)建立好了數(shù)據(jù)集基礎(chǔ)上進(jìn)一步加大數(shù)據(jù)集樣本數(shù)量；對(duì)道路裂縫分割方法進(jìn)行進(jìn)一步研究，同時(shí)可以建立道路裂縫分割數(shù)據(jù)集；嘗試將VIT應(yīng)用到道路裂縫檢測(cè)領(lǐng)域，以便更能獲得更優(yōu)的參數(shù)指標(biāo)。