許煒婷

（廣東工業(yè)大學(xué)，廣東 廣州 510006）

0 引言

改革開放以來，經(jīng)過一代又一代公路建設(shè)人員的不懈奮斗，中國公路網(wǎng)絡(luò)基本形成。2021年，我國公路養(yǎng)護(hù)里程525.16 萬公里，占公路總里程的99.4%，接近100%。公路養(yǎng)護(hù)已由傳統(tǒng)的“搶修時(shí)代”過渡到“全面養(yǎng)護(hù)時(shí)代”，高效又智能的公路養(yǎng)護(hù)方式成為新時(shí)代提升道路服務(wù)水平的關(guān)鍵。

根據(jù)實(shí)地調(diào)研，目前公路破損的檢測(cè)方法仍以人工查看方式為主，即養(yǎng)護(hù)隊(duì)伍駕駛養(yǎng)護(hù)車輛行駛在管養(yǎng)路段，通過養(yǎng)護(hù)人員的眼睛和經(jīng)驗(yàn)判斷路況是否良好。該傳統(tǒng)方法相對(duì)落后，人工檢測(cè)整體覆蓋率小、精度差、誤差率高，容易受養(yǎng)護(hù)隊(duì)伍的工作認(rèn)真程度、精神狀態(tài)和專業(yè)養(yǎng)護(hù)經(jīng)驗(yàn)的影響。在新時(shí)代大趨勢(shì)下，若能用路面破損智能檢測(cè)方法代替人工查看，在裂縫形成初期就及時(shí)被發(fā)現(xiàn)并進(jìn)行養(yǎng)護(hù)處理，將大大提高公路養(yǎng)護(hù)成本和效率?；诰矸e神經(jīng)網(wǎng)絡(luò)的路面裂縫研究方法應(yīng)運(yùn)而生，該方法可大大提高養(yǎng)護(hù)效率，降低人工成本。本文從卷積神經(jīng)網(wǎng)絡(luò)的基本概念出發(fā)，對(duì)五種不同的卷積神經(jīng)網(wǎng)絡(luò)模型和兩種卷積神經(jīng)網(wǎng)絡(luò)框架進(jìn)行分析，最后探討4 種基于卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫識(shí)別模型。

1 卷積神經(jīng)網(wǎng)絡(luò)的基本概念

1.1 神經(jīng)元

神經(jīng)元即神經(jīng)元細(xì)胞，它分為細(xì)胞體和突起，是神經(jīng)系統(tǒng)最基本的結(jié)構(gòu)，突起分為樹突和軸突，神經(jīng)元A的樹突接受神經(jīng)元B 的軸突傳來的沖動(dòng)，并傳給神經(jīng)元A的細(xì)胞體，可以看出樹突有信息傳遞的功能。

1.2 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)從生物學(xué)的神經(jīng)元獲得靈感，將多個(gè)神經(jīng)元組合起來就構(gòu)成了神經(jīng)網(wǎng)絡(luò)，圖1（f 為激活函數(shù)）是一個(gè)前饋神經(jīng)網(wǎng)絡(luò)。前饋神經(jīng)網(wǎng)絡(luò)指的是信息數(shù)據(jù)從輸入層開始輸入，每一層都是接收上一層的輸出作為輸入，并將輸出結(jié)果作為下一層的輸入，整個(gè)網(wǎng)絡(luò)沒有循環(huán)。卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)前饋神經(jīng)網(wǎng)絡(luò)。

圖1 神經(jīng)網(wǎng)絡(luò)模型

1.3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)在1994 年被學(xué)者研究發(fā)現(xiàn)，它推動(dòng)了深度學(xué)習(xí)的發(fā)展。原始數(shù)據(jù)通過不同的濾波器進(jìn)行卷積，得到C1卷積層的三個(gè)特征映射圖。C1層得到的特征映射圖經(jīng)過加權(quán)值，加偏執(zhí)和激活函數(shù)（sigmoid）得到S2 層的特征映射圖，以此類推，得到S4 層。最終將S4 得到的像素值光柵化，輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，得到輸出，具體過程如圖2所示。

圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

深度指網(wǎng)絡(luò)層次數(shù)量，寬度指神經(jīng)元數(shù)量，提升卷積神經(jīng)網(wǎng)絡(luò)性能最直接的辦法是增加網(wǎng)絡(luò)深度和寬度，但需要把握好度，原因是網(wǎng)絡(luò)層數(shù)越多，梯度越來越彌散；網(wǎng)絡(luò)越大（神經(jīng)元數(shù)量越多），參數(shù)越多，計(jì)算難度大，會(huì)出現(xiàn)過擬合現(xiàn)象。針對(duì)過擬合現(xiàn)象，可以采用最大池采樣方法來解決。最大池化指的是取某個(gè)小區(qū)域中數(shù)值最大的點(diǎn)。最大池采樣可以降維，使降維后的圖像特征更容易分類。

2 卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)比分析

卷積神經(jīng)網(wǎng)絡(luò)模型一般由輸入層、隱藏層和輸出層構(gòu)成，隱藏層包括卷積層、池化層、全連接層等。卷積層進(jìn)行卷積運(yùn)算，類似濾波器，作用是提取特征；池化層用最大值或者平均值的方式對(duì)圖像進(jìn)行池化，作用是降低維數(shù)，減少計(jì)算量，使模型有抗噪能力；全連接層作用是對(duì)卷積層提取到的圖像特征進(jìn)行分類。

2.1 LeNet網(wǎng)絡(luò)模型

LeNet 網(wǎng)絡(luò)模型可以算是卷積神經(jīng)網(wǎng)絡(luò)的開端，LeNet-5和LeNet有一點(diǎn)差別，LeNet-5把tanh激活函數(shù)換成了ReLU。LeNet 網(wǎng)絡(luò)模型一共有6 層，3 層卷積層，2 層池化層，1 層全連接層，經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)LeNet結(jié)構(gòu)如圖3所示。

圖3 LeNet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型圖

2.2 AlexNet網(wǎng)絡(luò)模型

2.4 GoogleNet網(wǎng)絡(luò)模型

GoogLeNet 卷積神經(jīng)網(wǎng)絡(luò)模型的創(chuàng)新點(diǎn)有：一是將全連接變成稀疏連接，作用是可以減少參數(shù)。二是加入了Inception 結(jié)構(gòu)，與其他卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中卷積層與卷積層、卷積層和池化層之間都是串聯(lián)不同，GoogLeNet卷積神經(jīng)網(wǎng)絡(luò)中的卷積層和池化層是并聯(lián)。

AlexNet 網(wǎng)絡(luò)模型[1]一共有8 層，前5 層是卷積層，后3 層是全連接層，如圖4 所示。AlexNet 網(wǎng)絡(luò)模型用兩塊GPU 來運(yùn)算，可以提高運(yùn)算的效率。AlexNet網(wǎng)絡(luò)模型的創(chuàng)新點(diǎn)大致有四個(gè)：一是用線性整流函數(shù)（RELU）激活函數(shù)取代傳統(tǒng)激活函數(shù)，解決梯度發(fā)散的問題，可以減少計(jì)算量；二是局部響應(yīng)歸一化（Local Response Normalization），因?yàn)镽eLU激活函數(shù)得到的值域沒有區(qū)間，所以要對(duì)值域進(jìn)行歸一化；三是在第二個(gè)全連接層和第三個(gè)全連接層設(shè)置dropout，可以防止出現(xiàn)過擬合的情況；四是數(shù)據(jù)擴(kuò)張（data augmentation），通過對(duì)原始數(shù)據(jù)進(jìn)行適當(dāng)?shù)淖儞Q，得到差異更大的數(shù)據(jù)，和dropout 一樣，數(shù)據(jù)擴(kuò)張也是一種防止出現(xiàn)過擬合的方法。

圖4 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)模型圖

2.3 VGGNet網(wǎng)絡(luò)模型

VGGNet 卷積神經(jīng)網(wǎng)絡(luò)模型[3]和AlexNet 網(wǎng)絡(luò)模型一樣，有5 個(gè)卷積層，3 個(gè)全連接層，如圖5 所示。文章里VGGNet 嘗試了6 種不同的模型結(jié)構(gòu)，分別是VGG11、VGG11-LRN、VGG13、VGG16-1、VGG16-3 和VGG19（VGG11-LRN 表示第一層卷積采用了LRN，如圖6 中A-LRN 類所示；VGG16-1 表示后三組卷積塊中最后一層卷積采用卷積核尺寸為1 示后，如圖6 中C 類所示。因?yàn)榇蟛糠钟?jì)算機(jī)硬件只能優(yōu)化密集矩陣計(jì)算，同時(shí)大量實(shí)驗(yàn)證明：將稀疏矩陣聚類為較為密集的子矩陣可以提高計(jì)算性能，所以加入了Inception 結(jié)構(gòu)即可以減少計(jì)算量又可以提高計(jì)算性能。三是使用大量1 用大的卷積核進(jìn)行降維，修正relu 激活函數(shù)，減少計(jì)算量，如圖7 所示。四是加入2 個(gè)輔助分類器，用于向前傳導(dǎo)梯度，減輕梯度消失現(xiàn)象。

圖6 VGGNet卷積神經(jīng)網(wǎng)絡(luò)模型分類

圖7 加入1入助的卷積核后的Inception結(jié)構(gòu)模型圖

2.5 深度殘差網(wǎng)絡(luò)（ResNet）

2015 年，ResNet 提出將輸入信息直接傳給輸出的思想，將直接學(xué)習(xí)目標(biāo)值轉(zhuǎn)變?yōu)閷W(xué)習(xí)輸入值與輸出值的殘差。輸出h(x)=x＋f(x)，f（x)殘差=h(x)-f(x)?？梢妼W(xué)習(xí)目標(biāo)是f(x)，f(x)相比h(x)，更容易優(yōu)化。殘差單元由卷積層（Conv）、歸一化層（BN）、激活函數(shù)（ReLU）等組成。歸一化操作是將數(shù)據(jù)用某種算法處理后，一般對(duì)每一層網(wǎng)絡(luò)層都進(jìn)行歸一化處理，使每一層網(wǎng)絡(luò)層數(shù)據(jù)更加獨(dú)立。使激活函數(shù)對(duì)特征進(jìn)行非線性變換，使神經(jīng)網(wǎng)絡(luò)有更高的擬合性。殘差神經(jīng)網(wǎng)絡(luò)是由多個(gè)殘差單元組成，可以解決解決深度增加后，梯度消失或者是網(wǎng)絡(luò)退化的問題。殘差單元和殘差網(wǎng)絡(luò)的結(jié)構(gòu)對(duì)網(wǎng)絡(luò)的學(xué)習(xí)能力和泛化能力影響很大。

2.6 卷積神經(jīng)網(wǎng)絡(luò)模型的對(duì)比

表1 是常見的卷積神經(jīng)網(wǎng)絡(luò)模型的對(duì)比，模型相互之間有共同的地方，基本都有卷積層、池化層、全連接層，而深度殘差網(wǎng)絡(luò)（ResNet）則跳出原來的思維模式，將輸入信息直接傳給輸出，作為初始輸出結(jié)果，在實(shí)際應(yīng)用時(shí)，應(yīng)該根據(jù)實(shí)際問題選擇適合的網(wǎng)絡(luò)模型。

表1 卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)比

3 卷積神經(jīng)網(wǎng)絡(luò)框架

3.1 Caffe框架

Caffe 是快速特征嵌入的卷積結(jié)構(gòu)，完全開源的Caffe 框架的核心語言是C++，適合二維圖像數(shù)據(jù)的特征提取。Caffe 的核心模塊有三個(gè)，分別是 Blobs、Layers 和Nets。Blobs 模塊可以對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)、交互和處理，確定了數(shù)據(jù)內(nèi)存的接口。Layers 定義了許多層級(jí)結(jié)構(gòu)，它將Blobs 視為輸入輸出。Nets 是一系列Layers的集合，將這些層結(jié)構(gòu)形成一個(gè)網(wǎng)圖。

3.2 TensorFlow框架

TensorFlow 支持很多平臺(tái)，如GPU、CPU 等絕大多數(shù)平臺(tái)都可以。TensorFlow 相對(duì)Caffe 工作流程簡單、開源、框架具有高度靈活性、自動(dòng)求微分等優(yōu)點(diǎn)。

4 基于卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫識(shí)別模型

4.1 基于Caffe框架的改進(jìn)后的LeNet-5網(wǎng)絡(luò)模型

李楠[3]利用Caffe框架，對(duì)LeNet-5網(wǎng)絡(luò)模型進(jìn)行輕微調(diào)整后對(duì)圖像進(jìn)行裂縫有無識(shí)別，實(shí)驗(yàn)結(jié)果顯示，將激活函數(shù)Sigmoid 換成Relu 的LeNet-5 網(wǎng)絡(luò)模型能較好的識(shí)別裂縫。該網(wǎng)絡(luò)由兩個(gè)卷積層，兩個(gè)池化層和兩個(gè)全連接層。李楠一共用900 張瀝青路面的圖像，其中750 張用于訓(xùn)練（350 張有裂縫，400 張無裂縫），150 張用于測(cè)試（75 張有裂縫，75 張無裂縫）。作者首先對(duì)圖像進(jìn)行歸一化和勻光處理，然后再采用lmdb 格式的Caffe 框架上對(duì)圖像進(jìn)行歸一化均值處理。經(jīng)過超過500 次迭代后卷積神經(jīng)網(wǎng)絡(luò)已收斂，可以較好的對(duì)裂縫圖像和完好圖像進(jìn)行分類，實(shí)驗(yàn)結(jié)果準(zhǔn)確率可達(dá)到0.92。

4.2 基于Caffe框架的改進(jìn)的AlexNet網(wǎng)絡(luò)模型

車艷麗[4]研究的是將AlexNet網(wǎng)絡(luò)模型改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)，改進(jìn)后網(wǎng)絡(luò)層數(shù)更少、計(jì)算參數(shù)更少、模型訓(xùn)練速度更快，識(shí)別精度更高。作者用20000 張圖像作為訓(xùn)練集，10000 張作為測(cè)試集，這30000 張圖像可以分為裂縫圖像和無裂縫圖像。

首先她對(duì)圖像預(yù)處理，目的是降低圖像的噪聲，讓圖像的裂縫與圖像的背景形成比較強(qiáng)的對(duì)比度。她用到的方法有用Canny 算子檢測(cè)邊緣，用改進(jìn)的Ostu 算法閾值分割，用高斯濾波平滑紋理獲取圖像背景，用改進(jìn)后的亮度高程模型進(jìn)行勻光處理。她采用的是Caffe平臺(tái)框架，因?yàn)樾枰葘?duì)瀝青裂縫圖像進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，作者選擇用LMDB 數(shù)據(jù)格式，因?yàn)樵摂?shù)據(jù)格式精簡、高效和省內(nèi)存，如圖8 所示是作者改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)。

圖8 優(yōu)化后的AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

4.3 基于Caffe框架的改進(jìn)后的VGGNet網(wǎng)絡(luò)模型

趙珊珊等[5]基于Caffe 框架，對(duì)3000 張大小為2400×3150像素的圖像進(jìn)行研究。首先對(duì)圖像進(jìn)行預(yù)處理，用的方法是強(qiáng)度歸一化（去除路面光照不均帶來的影響）和像素飽和化。然后對(duì)VGGNet網(wǎng)絡(luò)模型進(jìn)行改進(jìn)：一是把原始網(wǎng)絡(luò)convl_l,conv2_2,conv3_3,conv4_3直接與最后一個(gè)卷積層連接；二是去掉原始網(wǎng)絡(luò)的第5個(gè)卷積層、第5 個(gè)池化層和全連接層，因?yàn)樽髡哒J(rèn)為第5 個(gè)卷積層、第5 個(gè)池化層會(huì)生成小又模糊的特征圖，影響結(jié)果；全連接層計(jì)算耗時(shí)長，去掉可以減少訓(xùn)練時(shí)間。該方法對(duì)有明顯裂縫的路面圖像識(shí)別效果好，但對(duì)復(fù)雜的破損圖像難識(shí)別，該模型可用于簡單的裂縫識(shí)別。

4.4 基于Tensorflow 框架的改進(jìn)后的VGGNet 網(wǎng)絡(luò)模型

王丹等[6]基于Tensorflow 框架，對(duì)1006 張圖像進(jìn)行研究。首先對(duì)圖像采用旋轉(zhuǎn)、鏡像、隨機(jī)裁剪等方式進(jìn)行數(shù)據(jù)增強(qiáng)，將原有的1006 張圖像增加到8048 張。然后對(duì)VGGNet網(wǎng)絡(luò)模型進(jìn)行改進(jìn)：一是將原有的三個(gè)全連接層全部替換成卷積層，變成全卷積神經(jīng)網(wǎng)絡(luò)（FCN）；二是利用相對(duì)深層的網(wǎng)絡(luò)特征感受野大但容易丟失細(xì)節(jié)，相對(duì)淺層的網(wǎng)絡(luò)特征感受野小但能突出細(xì)節(jié)的規(guī)律，作者將淺層網(wǎng)絡(luò)特征和深層網(wǎng)絡(luò)特征融合，這樣即能提高改進(jìn)后的網(wǎng)絡(luò)模型對(duì)細(xì)節(jié)的提取能力。三是用空洞卷積代替池化層，保留圖像細(xì)節(jié)，作者用的是改進(jìn)后（三個(gè)并行通道）的多尺度空洞卷積。

5 結(jié)束語

綜上所述，卷積神經(jīng)網(wǎng)絡(luò)模型種類多，卷積神經(jīng)網(wǎng)絡(luò)框架各有優(yōu)缺點(diǎn)，可派生出多種瀝青路面裂縫識(shí)別模型。本文對(duì)這些模型分析后的結(jié)論是：應(yīng)用基于卷積神經(jīng)網(wǎng)絡(luò)的瀝青路面裂縫識(shí)別模型時(shí)，在實(shí)際收集路面裂縫圖像過程中，容易受到標(biāo)線、井蓋、路面垃圾等雜物的影響。如何去除雜物對(duì)裂縫圖像處理的影響，是未來的路面破損圖像處理的重要研究課題，也是提高路面裂縫檢測(cè)精度的關(guān)鍵。研究者需要選擇合適的算法、合適的網(wǎng)絡(luò)模型以及合適的網(wǎng)絡(luò)框架。隨著計(jì)算機(jī)技術(shù)的發(fā)展，希望能開發(fā)對(duì)全過程路面病害進(jìn)行智能監(jiān)測(cè)和識(shí)別的一體機(jī)，實(shí)現(xiàn)智能檢測(cè)。