鄒斌，王思信，顏莉蓉，劉裕

(1.現(xiàn)代汽車零部件技術(shù)湖北省重點實驗室(武漢理工大學)，湖北武漢430070;2.汽車零部件技術(shù)湖北省協(xié)同創(chuàng)新中心， 湖北武漢430070)

0 引言

近年來，隨著軟硬件的進步，無人駕駛技術(shù)飛速發(fā)展。對于無人駕駛車輛來說，對障礙物的準確檢測對車輛安全行駛至關(guān)重要[1]。隨著深層卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，語義分割技術(shù)在無人駕駛環(huán)境感知領(lǐng)域特別是障礙物檢測的應(yīng)用越來越廣泛[2]。對無人駕駛車輛而言，道路上的行人、車輛、騎自行車的人都可以看作是“障礙物”，它們對無人車的安全行駛有著巨大的影響?；诰矸e神經(jīng)網(wǎng)絡(luò)的語義分割技術(shù)可以對這些障礙物進行像素級的檢測識別，可以為無人車的決策、規(guī)劃及控制提供環(huán)境信息。

基于卷積神經(jīng)網(wǎng)絡(luò)的語義分割主體框架主要有VGGNet和ResNet兩種框架，基于VGGNet的語義分割模型有FCN、SegNet[3]、U-Net[4]、DeepLab[5]等，基于ResNet的語義分割模型有PSPNet[6]、ICNet[7]、DeepLab V3++[8]等。鑒于ResNet網(wǎng)絡(luò)的結(jié)構(gòu)特點，基于ResNet框架的語義分割網(wǎng)絡(luò)層數(shù)較多，網(wǎng)絡(luò)結(jié)構(gòu)復雜，對硬件設(shè)施的性能要求較高?；赩GGNet框架的語義分割網(wǎng)絡(luò)相比基于ResNet框架的語義分割網(wǎng)絡(luò)要簡單得多，但往往還是達不到實時性的要求。對于無人駕駛汽車來說，系統(tǒng)的實時性至關(guān)重要，同時還要兼顧分割結(jié)果的準確性。

本文受上述語義分割模型的啟發(fā)，同時為滿足無人車對實時性和準確性的要求，提出了一種輕量級語義分割模型用于進行障礙物檢測。該模型在下采樣階段可以大大減少模型計算量，同時還能有效的提取圖像特征。在上采樣階段，本文所提出的輕量級語義分割模型融合了多級原始下采樣特征，使得分割模型在精度上得以提高，將提取到的圖像特征恢復到原始圖像尺寸大小并按照圖像語義進行像素級的分割。

圖1 特征提取塊結(jié)構(gòu)Fig.1 Feature extraction block

1 相關(guān)工作

1.1 特征提取塊

常見的深層卷積神經(jīng)網(wǎng)絡(luò)大多直接使用3×3大小的卷積核進行卷積特征提取操作，這會導致模型參數(shù)量較多，影響模型的執(zhí)行速度和內(nèi)存開銷[9]。同時，隨著網(wǎng)絡(luò)深度的增加，在訓練模型時將出現(xiàn)梯度消失的問題，使得反向傳播時淺層網(wǎng)絡(luò)的權(quán)重很難更新，導致模型的性能降低。本文借鑒ResNet[10]殘差模塊和GoogleNet[11]中的Inception模塊，提出了特征提取塊(feature extraction block)用于提取圖像特征，特征提取塊結(jié)構(gòu)如圖1所示。

1.2 深度可分離卷積

深度可分離卷積廣泛用于很多高效的卷積神經(jīng)網(wǎng)絡(luò)[12-13]中，其基本思想是將標準卷積運算分解為深度卷積和逐點卷積。輸入圖片大小為(hi×wi×ni)，原卷積操作用的卷積(k×k×ni×nj)，卷積核大小為k×k，卷積核通道數(shù)為ni，卷積核數(shù)量為nj，卷積步長為1，不使用零填充，輸出特征圖大小為(hj×wj×nj)。對于深度可分離卷積，將卷積核(k×k×ni×nj)分解為(k×k×1×ni)卷積核和(1×1×ni×nj)卷積核。首先用(k×k×1×ni)卷積核與輸入圖片進行深度卷積部分，作用在輸入的每個通道上，得到輸出特征圖F1；再將特征圖F1與(1×1×ni×nj)卷積核進行逐點卷積，得到最終輸出F2，其結(jié)構(gòu)如圖2所示。

圖2 深度可分離卷積示意圖Fig.2 Depthwise separable convolution

深度可分離卷積的參數(shù)量為：

P1=ni(k2+nj)。

(1)

標準卷積的參數(shù)量為：

P2=k×k×ni×nj。

(2)

由此可以看出，深度可分離卷積有效地減少了參數(shù)量，進而大大減少了計算量。將深度可分離卷積應(yīng)用于本文所構(gòu)建的特征提取塊中，既能有效地進行特征提取，還可以增加運算速度，提高模型效率。

1.3 膨脹卷積

膨脹卷積在標準卷積的基礎(chǔ)上引入了一個稱為膨脹率的超參數(shù)，膨脹率表示卷積核之間的間隔數(shù)，標準卷積的卷積核間隔數(shù)為1，也就是說標準卷積的膨脹率為1。膨脹率擴大，卷積核之間的空白間隔用0來填充，。膨脹卷積感受野大小計算公式如下所示。

Fi=(2i+1-1)2，

(3)

其中，F(xiàn)i表示膨脹卷積感受野的大小，i表示膨脹率大小。

圖3為膨脹卷積示意圖。圖3(a)是標準卷積操作；圖3(b)是一個膨脹率為2的3×3膨脹卷積，其感受野大小F2=7×7，與卷積核為7×7的標準卷積的感受野大小相同，但是僅需要9個權(quán)重參數(shù)需要學習；圖3(c)是一個膨脹率為3的3×3膨脹卷積，其感受野大小F3=15×15，其要學習的參數(shù)也只有9個。圖3中紅色框所包含的區(qū)域表示了感受野大小隨膨脹率增大的變化規(guī)律。通過設(shè)置膨脹率的大小就可以得到不同感受野大小的濾波器，增加了網(wǎng)絡(luò)對多尺度物體的適應(yīng)性，而且濾波器參數(shù)數(shù)量保持不變，進而能捕捉特征圖上的多尺度物體信息，還能有效的控制特征圖的分辨率[14]。

建設(shè)銀行云南省分行圍繞云南省資源稟賦、依托金融科技，支持“云花”產(chǎn)業(yè)取得新突破，構(gòu)建移動支付+便捷支付+融資場景，利用大數(shù)據(jù)技術(shù)，為花拍中心會員量身定制全線上信用類融資產(chǎn)品“云花貸”，滿足交易各方的融資需求，實現(xiàn)了云南花卉產(chǎn)業(yè)全鏈條金融服務(wù)閉環(huán)。開發(fā)全流程線上融資產(chǎn)品“小微快貸”，截至9月末，累計為6000多戶小微企業(yè)提供50多億元資金支持。

(a) 標準卷積

(b) 膨脹率為2的3×3膨脹卷積

(c) 膨脹率為3的3×3膨脹卷積

2 語義分割模型結(jié)構(gòu)

在深層卷積神經(jīng)網(wǎng)絡(luò)中，由于池化層的存在，將導致特征圖的分辨率逐層遞減，還會引起特征圖信息的丟失。本文所提出的語義分割模型通過步長的變化進行下采樣，并采用膨脹卷積，進而產(chǎn)生更稠密的特征圖。本文所提出的輕量級語義分割模型如圖4所示。

圖4 語義分割模型Fig.4 Semantic Segmentation Model

攝像頭采集的原始RGB彩色圖像作為本文所提出的輕量級語義分割模型的輸入。用深度可分離卷積代替標準卷積操作，即圖4中的conv2d模塊。conv2d模塊提取圖像特征，并在每個卷積層后使用批歸一化層(BN層)來增強模型的泛化能力，并使用ReLU激活函數(shù)，這組成了本文所提語義分割模型的基本模塊——CBR。如圖4所示，使用特征提取塊進行特征圖下采樣，降低圖像2D尺寸，增加通道數(shù)量，提取圖像特征。在特征提取塊中先用1×1大小的卷積核進行卷積來降低特征圖通道數(shù)，然后用3×3大小的卷積核進行卷積特征提取，再使用1×1大小的卷積核進行卷積來提升特征圖通道數(shù)，這樣可以保證在提取特征的同時大幅度減少計算量，提高模型的整體運行速度。特征提取塊借鑒了ResNet[10]殘差模塊和GoogleNet[11]中的Inception模塊，有效緩解了梯度消失的影響。同時在該特征提取塊中使用步長為2的卷積代替了池化層，即達到了圖像在2D尺寸上降維的目的，同時使得提取到的圖像特征更加精確，較好地提高了模型對邊界的處理能力。在經(jīng)過3個特征提取塊提取特征后，在用一個1×1卷積進一步提高特征圖的通道數(shù)量，以獲得更精細的特征。

在獲得足夠稠密的特征圖后，再使用4個并聯(lián)的、膨脹率分別為r=6，12，18，24的膨脹卷積來提取不同尺度的特征。用膨脹卷積替代之前的普通卷積，并且將卷積的步長設(shè)置為1，使得圖像不再縮小，同時可以保證卷積感受野不變。接著對膨脹卷積得到4個特征圖采用1×1卷積進行通道融合，融合后的特征圖使用線性插值的方法進行上采樣，再和原圖下采樣得到的特征圖進行連接，將粗的高層的信息與細的底層信息結(jié)合起來。

對連接后的特征圖使用3×3大小的卷積核進行卷積融合，之后再次使用線性插值的方法對其進行上采樣，直到恢復原始圖像大小。此時，圖像特征通道數(shù)為分類的類別數(shù)。最后，通過Softmax分類器計算每個像素屬于不同類別的概率，輸出分割結(jié)果，從而完成語義分割任務(wù)。

3 實驗與結(jié)果分析

3.1 實驗環(huán)境與數(shù)據(jù)集

本文語義分割模型使用TensorFlow[15]深度學習框架搭建，機器軟硬件配置見表1。

表1 實驗配置Tab.1 Experiment configuration

數(shù)據(jù)集的選擇對模型訓練的好壞有至關(guān)重要的影響，為了使得所訓練出的語義分割模型可以適應(yīng)各種復雜的現(xiàn)實環(huán)境，以實現(xiàn)對車輛、行人等障礙物的準確檢測，選擇國內(nèi)由百度Apollo推出的ApolloScape[16]數(shù)據(jù)集和國外奔馳公司推動發(fā)布的Cityscapes[17]數(shù)據(jù)集對模型進行訓練。

3.2 模型訓練

為了充分發(fā)揮所選用數(shù)據(jù)集的優(yōu)勢，訓練模型分為兩個階段。第一個階段在國外Cityscapes數(shù)據(jù)集上進行訓練，主要獲取模型初步擬合的權(quán)重參數(shù)數(shù)據(jù)和語義特征信息。第二個階段在國內(nèi)ApolloScape數(shù)據(jù)集上進行訓練，調(diào)整和優(yōu)化第一個階段擬合的權(quán)重參數(shù)，使模型更加適應(yīng)國內(nèi)交通環(huán)境，獲得更加精確的語義分割結(jié)果。

模型使用的Softmax函數(shù)計算公式如下所示：

(4)

其中，x為特征圖上的像素位置，ak(x)表示網(wǎng)絡(luò)最后輸出層中像素x對應(yīng)的第k個通道的值，pk(x)表示像素x屬于k類的概率。

損失函數(shù)使用的是負類交叉熵：

(5)

其中，pl(x)(x)表示像素x在真實標簽所在通道上的輸出概率，w(x)表示像素x在真實標簽中屬于的類別概率，取值為0或1。

圖5 損失函數(shù)對比曲線Fig.5 Loss function contrast curve

本文訓練模型采用動量梯度下降法，初始動量設(shè)置為9，學習率設(shè)為0.001，權(quán)重衰減系數(shù)設(shè)為0.000 5，批處理數(shù)據(jù)量設(shè)為1，對整個訓練樣本數(shù)據(jù)學習10輪。模型訓練過程中的損失值隨迭代次數(shù)的關(guān)系曲線如圖5所示。對訓練樣本數(shù)據(jù)進行了10輪迭代，權(quán)重參數(shù)更新了10萬次。圖5中紅色曲線表示第一階段在國外Cityscapes數(shù)據(jù)集上進行預訓練，黑色曲線表示第二階段在國內(nèi)ApolloScape數(shù)據(jù)集上進行再訓練。從圖5可以看出，在預訓練的基礎(chǔ)上再次訓練，其損失函數(shù)收斂的更快，且損失值幾乎接近0，在測試集上表現(xiàn)的效果要更好一些，對障礙物的檢測精度更高。

3.3 實驗結(jié)果分析

基于所提出的語義分割模型分割識別行人、騎行的人、汽車和二輪車(自行車、電動車、摩托車)4種目標障礙物，分別在圖片上用粉紅色、紅色、藍色和紫紅色表示。本文訓練出的語義分割模型在測試集上的測試效果如圖6所示，由圖6可以看出該模型可以有效的檢測出車輛、行人等目標障礙物。用無人駕駛研究平臺采集實際道路圖像，并用訓練好的語義分割模型檢測障礙物，障礙物檢測結(jié)果如圖7所示。從圖7可以看出，所訓練好的語義分割模型對真實場景中的車輛、騎行的人等障礙物有較準確的檢測結(jié)果。

語義分割模型在精度上常使用的評價指標是平均像素交疊率mIoU，可以有效地衡量模型對目標障礙物分割性能的好壞。測試數(shù)據(jù)集選用1 000張圖片，分別為500張國內(nèi)道路圖片和500張國外道路圖片數(shù)據(jù),國內(nèi)道路圖片來自國內(nèi)ApolloScape數(shù)據(jù)集，國外道路圖片來自國外Cityscapes數(shù)據(jù)集。本文所搭建的語義分割模型性能如表2所示。

圖6 障礙物語義分割結(jié)果Fig.6 Obstacle semantic segmentation results

圖7 真實道路場景檢測結(jié)果Fig.7 Real road scene detection results

表2 語義分割模型性能Tab.2 Semantic segmentation model performance

本文模型在測試集上對車輛、行人、騎行的人等障礙物的的語義分割平均精度達到了85.7 %，就檢測和分割的總體效果而言，所設(shè)計和搭建的模型檢測分割精度較好。在對單張圖像的目標檢測分割中，時間的開銷為30 ms左右，平均達到33 FPS。就檢測和識別所消耗的時間而言，該模型已經(jīng)達到了目標物體分割實時性的要求。模型大小為11.3 Mb，內(nèi)存占用率低，滿足車載計算端模型的使用要求。

4 結(jié)論

本文構(gòu)建了一種輕量級語義分割網(wǎng)絡(luò)來進行障礙物檢測，為滿足車載端對實時性及障礙物檢測精度的要求，采用特征提取塊、深度可分離卷積及膨脹卷積構(gòu)建一種輕量級語義分割模型。特征提取塊借鑒了殘差模塊的結(jié)構(gòu)，跳躍層結(jié)構(gòu)將低層級特征與高層級特征相融合可以細化邊界信息。深度可分離卷積有效地減少了模型的參數(shù)量和計算量，不同膨脹率的膨脹卷積操作可以提取多尺度目標信息，使得語義信息更加豐富。通過在實驗驗證，本文所提出的輕量級語義分割模型對目標障礙物分割精度較好，能夠滿足車載計算端實時性要求。