吳玉婷 范淙坤 吳啟超 羅森森 梁 鵬

（1.廣東郵電職業(yè)技術(shù)學院，廣東 廣州 510630；2.廣東技術(shù)師范大學，廣東 廣州 510665）

車道線是路面上的一種標記，用于指示車輛行駛的方向和限制車輛行駛區(qū)域。國內(nèi)外車道線檢測方法研究主要分為2 種方法：基于傳統(tǒng)圖像處理技術(shù)的方法和基于深度學習的方法。

基于傳統(tǒng)圖像處理技術(shù)的車道線檢測方法如下：先對圖像進行預(yù)處理，例如進行灰度處理、濾波、二值化等操作，然后通過提取邊緣、霍夫變換等技術(shù)來檢測車道線?；谏疃葘W習的車道線檢測方法利用深度學習網(wǎng)絡(luò)進行特征提取和車道線檢測。其中，基于行分類的方法將車道檢測任務(wù)制定為多個行的分類任務(wù)，這種分而治之的策略[1]能夠顯著減少模型的大小和計算量，同時保持高精確度。行分類方法[2]很好地利用形狀先驗，在訓練階段通過每行的位置約束來實現(xiàn)對整體線形狀的約束。

現(xiàn)有算法在識別車道線上依舊存在一個問題：只關(guān)注高層次特征，缺少對高層次特征和低層次特征的融合利用。車道線是一個細長的目標，其在圖像中的特征通常不明顯，而且易受噪聲影響。因此，對車道線進行精確地識別不僅需要高層次特征，而且需要低層次特征中的局部定位信息。

1 基于多尺度信息融合的車道線檢測方法

基于多尺度信息融合的車道線檢測方法主要分為3 個部分，分別是特征提取模塊、多尺度信息融合模塊和分類模塊，如圖1所示。特征提取模塊使用殘差網(wǎng)絡(luò)對車道線圖像進行多層次的特征提取，然后將特征提取模塊的輸出送入多尺度信息融合模塊，最后將融合多層次語義信息和位置信息的特征輸入分類模塊，經(jīng)過池化層、扁平化以及多層感知機等，完成車道線檢測。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖

1.1 特征提取模塊

特征提取模塊由殘差網(wǎng)絡(luò)組成，用來提取不同層級的特征。在特征提取中使用殘差網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)主要有以下3個優(yōu)點：1）解決梯度消失問題。殘差網(wǎng)絡(luò)通過引入殘差塊，改善了訓練過程中的信息流動，使信息可以更直接地傳遞到網(wǎng)絡(luò)的后續(xù)層次，解決梯度消失的問題，幫助優(yōu)化算法更快地收斂，使模型可以更好地訓練。2）提高模型的表達能力。由于殘差網(wǎng)絡(luò)的結(jié)構(gòu)特點，使模型的表達能力更強大，可以更好地提取高級別的語義特征，因此這對圖像分類等計算機視覺任務(wù)是非常重要的。3）減少參數(shù)數(shù)量。殘差網(wǎng)絡(luò)還具有較少的參數(shù)量和計算量，它能夠更快地進行訓練和推理，并適合在計算資源有限的情況下使用。

在特征提取部分中，首先，殘差網(wǎng)絡(luò)對輸入數(shù)據(jù)的初步處理是由一個卷積層和一個最大池化層構(gòu)成的。卷積層的卷積核大小為7×7，輸出通道為64，步長為2，其次，卷積層結(jié)構(gòu)是一個3×3 的最大池化層，步長也為2。Stage 1、2、3、4 分別表示由殘差塊連接而成的模塊，不同模塊的卷積層所設(shè)置的卷積核大小相同，卷積層輸出通道數(shù)不同。卷積核大小都是3×3，卷積層輸出通道數(shù)分別是64、128、256 和512。隨著層數(shù)加深，輸出通道數(shù)也以2 的冪次倍數(shù)進行增長，表示網(wǎng)絡(luò)提取更深層次、更抽象的特征。ResNet-18 結(jié)構(gòu)相對簡單，每個模塊只包括2 個殘差塊。

1.2 多尺度信息融合

在特征融合部分，構(gòu)建上下文信息融合模塊，包括自頂向下和自底向上2 個模塊，分別從不同方向?qū)Χ喑叨忍卣鬟M行融合。4 個不同尺度的特征{S1，S2，S3，S4}作為特征融合模塊的輸入，主要目的是對不同分辨率下的特征進行聚合，增強整個特征層次的信息，縮短最下層與最上層特征之間的信息路徑，增強對低層次信息的響應(yīng)，提高網(wǎng)絡(luò)的性能。如圖2 所示，將殘差網(wǎng)絡(luò)每個階段的最后一個殘差塊輸出的結(jié)果為{S1，S2，S3，S4}，再通過多尺度信息融合模塊對特征提取模塊的各層次輸出進行雙向特征增強，自上而下的模塊輸出結(jié)果為{P1，P2，P3，P4}，自下而上的模塊分別輸出{N1，N2，N3，N4}。

圖2 多尺度信息融合

圖3 TuSimple 數(shù)據(jù)集中特征融合前后對比的可視化結(jié)果

首先，從上到下進行特征融合，對特征提取模塊輸出的{S1，S2，S3，S4}進行橫向連接操作，即1×1 卷積重采樣，在不改變輸出圖像大小的前提下，將輸出通道數(shù)調(diào)整為64，減少冗余通道。然后按照從上到下的方向，對S4進行橫向連接得到P4，再對P4進行2 倍上采樣，并且和S3橫向連接的結(jié)果進行相加合并；再將該層合并映射的特征進行2 倍上采樣，類似地和S2橫向連接的結(jié)果進行相加合并。以此類推，實現(xiàn)自上而下地特征融合過程。為減少上采樣的混疊效應(yīng)，在每個合并結(jié)果后附加1 個3×3 的卷積來生成最終的特征映射。假設(shè)輸入圖像的尺寸為W×H×3 的彩色圖像，那么{S1，S2，S3，S4}各層次特征的尺寸分別為（W/2）×（H/2）×64、（W/4）×（H/4）×128、（W/8）×（H/8）×256、（W/16）×（H/16）×512。

Pi與Si之間的關(guān)系如公式（1）所示。

Ni與Pi之間的關(guān)系如公式（2）所示。

式中：conv（～）為3×3 卷積操作；l（～）為橫向連接操作，即1×1 卷積操作；up（～）為上采樣操作，即2 倍雙線性插值上采樣操作；Si為特征提取模塊提取的第i層特征，Pi為第i層特征橫向連接操作后的結(jié)果。

1.3 損失函數(shù)

焦點損失函數(shù)在解決不平衡數(shù)據(jù)集分類問題的過程中表現(xiàn)良好。在傳統(tǒng)的交叉熵損失函數(shù)中，每個類別的權(quán)重都是相同的，這說明在存在類別不平衡的情況下，網(wǎng)絡(luò)更容易將多數(shù)類別（如背景）分類正確，而忽略少數(shù)類別（如車道線）。這會導(dǎo)致模型對少數(shù)類別的分類精度較低。焦點損失函數(shù)通過引入一個附加的可調(diào)參數(shù)，改變了交叉熵損失函數(shù)中易分類樣本的權(quán)重，減少了易分類樣本的權(quán)重，增加了困難樣本的權(quán)重。這說明在存在類別不平衡的情況下，模型將更關(guān)注困難樣本分類，從而提高少數(shù)類別的分類精度。這種調(diào)整樣本權(quán)重的方法可以幫助模型更好地處理類別不平衡問題。首先，在每行圖像上劃分w個網(wǎng)格，待檢測的車道線有C條，用X表示圖像的全局特征，f表示第i條車道線在第j行的分類器（該分類器用來判斷哪一行存在車道線以及該行存在車道線的圖像塊在圖像的哪一列上），可以得到車道線的預(yù)測公式，如公式（3）所示。

假設(shè)Ti，j，：是正確位置對應(yīng)的標簽值，車道線分類損失用Lcls表示，焦點損失函數(shù)用Lfocal表示，則對應(yīng)的損失函數(shù)如公式（4）所示。

除車道線分類損失Lcls外，為了更好地利用車道線的位置關(guān)系，使鄰近車道線點更接近，進一步采用原方法中的相似性損失，如公式（5）所示。

模型總損失函數(shù)為分類損失和結(jié)構(gòu)化損失2 個部分的總和，如公式（6）所示。

2 試驗與分析

試驗使用的框架都是PyTorch，硬件配置環(huán)境為Ubuntu操作系統(tǒng)，使用的CPU 為Intel i7-8700，主頻為3.2GHz，GPU 為Nvidia GeForce GTX 1080Ti，顯存容量為11GB。

2.1 數(shù)據(jù)集

TuSimple 數(shù)據(jù)集和CULane 數(shù)據(jù)集中的圖像尺寸分別是1280×720 和1640×590，綜合考慮硬件設(shè)備的限制以及其他方法中對圖像大小的設(shè)置，將TuSimple 數(shù)據(jù)集和CULane 數(shù)據(jù)集中的圖像進行一定程度地縮放，將Tusimple 數(shù)據(jù)集和CULane數(shù)據(jù)集的圖像統(tǒng)一縮小為800×288。再對試驗用到的數(shù)據(jù)集數(shù)據(jù)進行歸一化，消除奇異樣本的影響，加快梯度下降求最優(yōu)解的速度。訓練集、測試集和驗證集的比例為8 ∶1 ∶1。

2.2 評價指標

將TuSimple 和CULane 數(shù)據(jù)集中的IoU 閾值設(shè)置為0.5，IoU 大于0.5 的預(yù)測結(jié)果認為是真陽例（TP），用類似的方法計算假陽例（FP）、真陰例（TN）和假陰例（FN）。接著，精確率（Precision）可以被計算為真陽例與真陽例以及假陽例之和的比值，表示所有被預(yù)測“陽”的樣本中實際為“陽”的樣本的比例；召回率（Recall）表示為“陽”的樣本中被預(yù)測為“陽”的概率，最終根據(jù)精確率（Precision）和召回率（Recall）進行計算，得到系數(shù)F1，如公式（7）所示。

2.3 試驗結(jié)果分析

表1 和表2 展示了該文方法與其他對比方法在TuSimple測試數(shù)據(jù)集和CULane 測試數(shù)據(jù)集中的試驗結(jié)果，特征提取網(wǎng)絡(luò)選擇ResNet34 試驗選取的對比方法是Res34-Seg、ELGAN 和PolyLaneNet 這三個車道線檢測方法，Res34-Seg 是基于ResNet34 主干網(wǎng)絡(luò)的車道線分割方法[3]，EL-GAN 是用于車道線分割的嵌入損失GAN 網(wǎng)絡(luò)，PolyLaneNet 是基于深度多項式回歸的車道估計識別方法，這三種方法都具有代表性。表1 和表2 的F1、Precision和Recall可以看出，與其他對比方法相比，通過融合上下文多尺度信息，該文方法在性能指標都優(yōu)于其他方法，并提升了處理速度。此外，該方法的最高準確率達到95.97%，比其他對比方法要好。在所有進行比較的方法中，該方法在處理速度、實時性方面的表現(xiàn)也優(yōu)于其他方法。

表1 不同方法在TuSimple 數(shù)據(jù)集中的結(jié)果比對

表2 不同方法在CULane 數(shù)據(jù)集中的結(jié)果比對

表3 是魯棒性試驗，給出了不同方法在CULane 上各個環(huán)境下的檢測效果，左邊第一列表示試驗用到的方法，其他列表示CULane 中不同的車道線場景類別，最后一列Total代表所有場景下的總體指標。從表3 的結(jié)果可以看出，該文提出的方法通過融合車道線在不同尺度的特征信息，提取車道線特征，在總體指標和各個環(huán)境下的指標都比其他方法要好，這間接說明了所提方法的魯棒性。

表3 在CULane 數(shù)據(jù)集不同分類的結(jié)果比對（單位：%）

3 結(jié)語

針對車道線檢測任務(wù)中行分類方法在推理過程中所存在的缺乏足夠的上下文信息以及車道線定位存在偏移等問題，提出一種融合上下文多尺度信息的車道線檢測方法。該方法先通過行分類方法在數(shù)據(jù)處理階段將輸入圖像劃分為圖像塊，利用路徑增強網(wǎng)絡(luò)從上至下以及由下至上的對特征圖進行雙向融合，對主干網(wǎng)絡(luò)輸出的特征圖進行位置信息和語義信息的增強。為減少計算量、提高推理速度，選用融合上下文多尺度信息后的最高層特征圖進行車道線位置推理計算，完成車道線的識別及定位。