蒙 雙，陳樂庚，肖晨晨

(桂林電子科技大學(xué)電子工程與自動化學(xué)院，廣西 桂林 541000)

1 引言

隨著經(jīng)濟(jì)和科技的高速發(fā)展，汽車行業(yè)發(fā)展呈迅猛趨勢。據(jù)中華人民共和國國家統(tǒng)計局統(tǒng)計，2018年中國私人汽車擁有量達(dá)20730.00萬輛，車輛數(shù)量的遞增意味著交通事故的發(fā)生更加頻繁，其中約90%的交通事故中是人為錯誤釀成的。因此，為減少汽車駕駛中的人為錯誤而導(dǎo)致的交通事故，無人駕駛汽車應(yīng)運(yùn)而生。無人駕駛汽車最為關(guān)鍵的技術(shù)之一，是能夠?qū)Φ缆沸畔⑦M(jìn)行檢測識別[1]。而道路信息中，車道線是最為直觀的信息，為確保車輛始終行駛在車道線以內(nèi)的安全區(qū)域，車道線的檢測就尤為重要。

傳統(tǒng)車道線檢測方法，多是對圖像預(yù)處理、canny算子邊緣提取后，基于卷積濾波方式，識別分割出車道線區(qū)域，同時結(jié)合霍夫變換、隨機(jī)抽樣一致等算法完成車道線檢測[2-5]。然而，基于傳統(tǒng)方法的車道線檢測魯棒性較差，不能夠適應(yīng)場景多變且復(fù)雜的交通場景。

針對傳統(tǒng)車道線檢測算法魯棒性差的問題，文獻(xiàn)[6-14]提出基于深度學(xué)習(xí)的車道線檢測方法，收集不同環(huán)境條件下的圖片作為訓(xùn)練樣本，利用深度學(xué)習(xí)框架搭建卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network， CNN)，提取車道線特征信息，完成對車道線的語義分割，經(jīng)檢驗，基于深度學(xué)習(xí)的車道線檢測具有更好的魯棒性，適應(yīng)場景廣泛。然而，就當(dāng)前語義分割現(xiàn)狀而言，具有較高的語義分割精度的網(wǎng)絡(luò)模型有FCN[15]，SegNet[16]，DeepLab[17]等，但由于模型復(fù)雜和計算量大，導(dǎo)致硬件要求高，實時性差，不適合應(yīng)用于需要高實時性的車道線檢測。

針對以上車道線檢測方法存在的檢測速度慢、魯棒性差和模型復(fù)雜的問題，本文使用了一種新型卷積方式octave convolution(OctConv)結(jié)合FCN網(wǎng)絡(luò)來提升圖像分割性能，并通過空洞卷積與OctConv相結(jié)合的方式解決OctConv存在的圖像信息丟失問題，實現(xiàn)車道線檢測性能的進(jìn)一步提升。

2 基于OctConv的語義分割算法

2.1 OctConv算法原理

在卷積神經(jīng)網(wǎng)絡(luò)中，由于圖像中相鄰像素的特征相似性，卷積核掃描過每個像素點(diǎn)，獨(dú)立的存儲自己的特征描述，忽略了空間一致性，使得特征圖存在大量的冗余信息。為了減少空間冗余，F(xiàn)acebook AI、新加坡國立大學(xué)、奇虎360的研究人員聯(lián)合提出一種新型卷積OctConv[18]。

在自然圖像中，信息以不同的頻率進(jìn)行傳輸。同理，圖像經(jīng)過卷積層的輸出也可以看作是不同頻率的信息混合。在圖像檢測中，高頻信息為空間上變化迅速的部分，即檢測圖像的細(xì)節(jié)信息，低頻信息為空間上變化緩慢的部分，即檢測圖像的整體信息。顯然，低頻信息是冗余的。因此，可以通過壓縮在空間上變化緩慢的低頻信息，來處理冗余的低頻信息，從而降低內(nèi)存和計算成本。之后，通過高、低頻率內(nèi)的信息更新與頻率間的信息交流，使得檢測準(zhǔn)確性提高。但由于對圖像的低頻分量進(jìn)行壓縮處理操作，導(dǎo)致高、低頻信息維度不一致，從而不同頻率間的信息交換無法完成。

(1)

(2)

OctConv實現(xiàn)示意圖，如圖1所示。

圖1 OctConv實現(xiàn)

OctConv中，壓縮低頻特征信息需要定義變量α，α表示所使用的低頻特征信息占總特征信息的比例。圖1表示，第1層OctConv中，尚未分離的輸入圖像根據(jù)α將其特征分離為高、低頻特征信息，并壓縮低頻特征尺寸。第2層至第(N-2)層OctConv中，對高、低頻分量進(jìn)行信息更新，并將更新后的高、低頻分量分別通過下采樣卷積和上采樣卷積進(jìn)行頻率間的信息交換。第N層OctConv，通過將高頻分量下采樣卷積和低頻特征信息卷積后，使得尺寸與輸出通道數(shù)一致后，兩者特征融合為最終特征圖。

OctConv中α的取值，如式(3)所示。式(3)中，αin、αout表示當(dāng)前OctConv層的輸入輸出α，m表示當(dāng)前OctConv層數(shù)，N表示OctConv的總層數(shù)。

(3)

2.2 改進(jìn)OctConv的語義分割網(wǎng)絡(luò)

OctConv的卷積方式存在著一個不可避免的問題，就是在壓縮低頻分量的過程中，由于直接使用池化層對圖像進(jìn)行尺寸壓縮而導(dǎo)致的圖像細(xì)節(jié)信息丟失問題，從而影響語義分割的準(zhǔn)確性。

空洞卷積能夠膨脹卷積核，使其能夠在不增加參數(shù)和不壓縮分辨率的條件下獲得更大的感受野。因此，對原始圖像使用空洞卷積，作為圖像細(xì)節(jié)信息的補(bǔ)充，并將其與所提取到的特征圖進(jìn)行融合，便能在一定程度上解決圖像細(xì)節(jié)信息丟失的問題。

就車道線檢測而言，考慮到車道線特征明顯和實時性需求較高，不必使用參數(shù)數(shù)量和網(wǎng)絡(luò)層數(shù)過多的神經(jīng)網(wǎng)絡(luò)。因此，本文車道線語義分割網(wǎng)絡(luò)主要是基于FCN的思想建立一個適用于車道線檢測的語義分割網(wǎng)絡(luò)，并將OctConv融合到網(wǎng)絡(luò)模型中。在此基礎(chǔ)上，引入空洞卷積，極大程度地彌補(bǔ)由于OctConv壓縮低頻分量所造成的圖像細(xì)節(jié)信息的損失，改進(jìn)OctConv的語義分割網(wǎng)絡(luò)結(jié)構(gòu)，如圖2所示。

圖2中，圖像輸入Input經(jīng)過OctFirstConv層，分為高頻分量和低頻分量。高、低頻分量通過OctConv層，完成自身頻率內(nèi)的信息更新與頻率間信息交換，以提取圖像主要特征。然后將由OctConv層得到的特征圖通過OctLastConv層，把高頻分量下采樣至與低頻分量尺寸一致后，兩者特征融合，再對其進(jìn)行分類，得到初步特征圖。為了盡可能的補(bǔ)充網(wǎng)絡(luò)圖像細(xì)節(jié)信息，將OctConv1、OctConv2各自的高低頻信息特征融合后，將其同空洞卷積特征圖與初步特征圖特征融合。最后，將得到的最終特征圖通過Argmax層，得到概率最大的類，即為圖像打上對應(yīng)標(biāo)簽類別的灰度值，得到最終的預(yù)測圖結(jié)果，實現(xiàn)對車道線像素級別的分類，從而提取出車道線標(biāo)志區(qū)域。

圖2 改進(jìn)的OctConv語義分割網(wǎng)絡(luò)結(jié)構(gòu)

3 實驗與分析

實驗平臺為Tensorflow，實驗的硬件配置為Intel(R)Core(TM)i5-8300H CPU， NVIDIA GeForce GTX1050Ti GPU；軟件環(huán)境為Windows10操作系統(tǒng)，Cuda9.0，Cudnn7.0，Tensorflow-gpu1.4，Python3.5。

3.1 圖像預(yù)處理

數(shù)據(jù)集使用KITTI路面數(shù)據(jù)集762張路面信息圖像，圖像預(yù)處理步驟如下：

1)對數(shù)據(jù)集灰度化處理后裁剪至[448，448，3]尺寸；

2)將裁剪后的數(shù)據(jù)集通過中值濾波器抑制噪聲的影響后，通過逆透視變換為鳥瞰圖，以消除車道線由于透視而導(dǎo)致的近大遠(yuǎn)小的影響。

3)對鳥瞰圖使用標(biāo)注軟件Labelme進(jìn)行車道線圖像信息標(biāo)注。

4)對標(biāo)注好的762張數(shù)據(jù)集進(jìn)行關(guān)于X軸方向的鏡像反轉(zhuǎn)，使得數(shù)據(jù)集圖像數(shù)量擴(kuò)充至1524張。

5)將處理完畢后的車道線圖像分為訓(xùn)練集與驗證集。

需要注意的一點(diǎn)是，為了驗證本文算法在不同環(huán)境下的檢測性能，驗證集圖像不能簡單的隨機(jī)選取或者只選取易于檢測的車道線圖像，而是應(yīng)該把訓(xùn)練集中出現(xiàn)的各個交通環(huán)境條件，各自提取一小部分作為車道線檢測的驗證集，通過在不同交通環(huán)境條件下檢測車道線，才能得到較為全面的檢測結(jié)果。

3.2 車道線檢測結(jié)果與分析

由于目前并沒有形成一個很完善的車道線檢測性能評判標(biāo)準(zhǔn)，因此，本文為驗證改進(jìn)OctConv的車道線檢測算法的可行性，主要從3個方面進(jìn)行測試分析：整體檢測精度、車道線檢測精度和檢測時間。

整體檢測精度，通過對預(yù)測圖像與標(biāo)簽圖像對應(yīng)位置像素進(jìn)行類別對比，計算類別一致像素的數(shù)量占圖像總像素數(shù)量的比例得到，如式(4)所示。但由于整體檢測精度存在大面積的背景信息，并且車道線信息僅占圖像總體信息的小部分，故用整體檢測精度來判定車道線檢測的準(zhǔn)確率不太理想。

車道線檢測精度，通過對標(biāo)簽圖像的車道線像素與預(yù)測圖像對應(yīng)位置的像素進(jìn)行類別對比，計算類別一致像素的數(shù)量占標(biāo)簽圖像的車道線像素總數(shù)量的比例得到，如式(5)所示。

檢測時間，即檢測單幅車道線圖像所花費(fèi)的時間。

(4)

(5)

將路面圖像訓(xùn)練集通過神經(jīng)網(wǎng)絡(luò)層數(shù)與深度一致的不同神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練5000次，完成對車道線圖像的檢測驗證，得到不同神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下的車道線檢測性能，如表1所示。

表1 車道線檢測性能對比

由表1分析得：

1)就不同算法而言，本文算法相較于其它算法，車道線檢測性能更好。

2)就不同α值而言，容易看出，當(dāng)取α=0.500時，車道線檢測精度最好。

3)本文算法中，車道線檢測時間與α的值呈反比。這是由于隨著α值增大，所使用的低頻特征信息占總低頻特征信息的比例也越大，因此，OctConv能夠壓縮更多的圖像低頻分量，使得所處理的圖像信息減少，從而使得車道線檢測時間縮減。另一方面，圖像信息的減少也意味著檢測精度的下降。

4)就檢測時間而言，本文算法相較于其它算法的檢測時間，減少的程度不是很明顯。造成這樣結(jié)果的原因有兩點(diǎn)：其一，是由于本文算法所使用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)不多與節(jié)點(diǎn)數(shù)量較少，在使用OctConv的卷積方式進(jìn)行特征提取時，能夠減少的檢測時間有限；其二，是空洞卷積是原始圖像上的卷積，所占用的檢測時間相對于整體檢測時間較多。故兩者檢測時間的正負(fù)抵消下，導(dǎo)致車道線檢測時間縮減不是很明顯。

綜上可知，本文算法雖然增大圖像信息能夠在一定程度上提升檢測精度，但需要考慮計算準(zhǔn)確度和計算耗時，選取適當(dāng)?shù)摩林狄云ヅ渖窠?jīng)網(wǎng)絡(luò)模型，使得圖像高、低頻信息達(dá)到一個較好的比例，通過在大感受野下處理冗余的背景信息和頻率間的信息交換，從而提升圖像檢測性能。

3.3 車道線檢測效果

考慮到不同交通環(huán)境下的車道線檢測，檢測結(jié)果可能會出現(xiàn)偏差，因此，驗證集圖像的選取需要具備多個限制條件。在有限的路面情況數(shù)據(jù)集下，可將限制條件簡單分為：遮擋、彎道、陰影和變道四種。不同交通環(huán)境條件下的車道線檢測的效果圖，如圖3所示。

圖3 車道線檢測效果圖

4 結(jié)束語

本文針對當(dāng)前主流車道線檢測算法實時性較差和復(fù)雜度高的問題，提出一種改進(jìn)OctConv的車道線語義分割改進(jìn)方法，通過新型卷積方式OctConv將圖像分為高頻分量和低頻分量后，通過壓縮低頻分量，節(jié)省內(nèi)存和計算成本，提升車道線檢測性能，并使用空洞卷積來彌補(bǔ)由于壓縮低頻分量而造成的圖像細(xì)節(jié)信息的丟失。在KITTI數(shù)據(jù)集下的實驗結(jié)果表明，雖然改進(jìn)OctConv的車道線語義分割算法具有更高的語義分割精度和更好的實時性，但不足的方面有兩點(diǎn)：

1)沒有使用更為豐富的車道線圖像數(shù)據(jù)集，不能夠完全適應(yīng)復(fù)雜的交通場景，如非結(jié)構(gòu)化道路、交通標(biāo)識繁多的路面、雨天車道線、道路破損車道線和霧天車道線等；

2)使用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)和節(jié)點(diǎn)數(shù)較少，以至于實驗結(jié)果沒能較大程度地體現(xiàn)出本文算法相較于其它算法耗時較少的優(yōu)點(diǎn)。

就目前的檢測結(jié)果而言，所提出的方法能夠?qū)崿F(xiàn)像素級別的車道線語義分割并具有良好可擴(kuò)展性，適用廣泛，實時性好，魯棒性強(qiáng)。