金祖亮，隗寒冰，Zheng Liu，2，婁 路，鄭國峰

（1. 重慶交通大學(xué)機(jī)電與車輛工程學(xué)院，重慶 400074；2. University of British Columbia Okanagan， Kelowna， BC， Canada）

前言

自動(dòng)駕駛汽車高度依賴于自車對(duì)場景的理解，例如濕滑地面檢測［1］、交通標(biāo)志檢測［2］和障礙物檢測等。在環(huán)視多相機(jī)語義分割任務(wù)中，前期研究基于DeepLap［3］、UNet［4］等單目相機(jī)分割得到2D 目標(biāo)，然后采用跨相機(jī)后處理方式將分割結(jié)果投影至統(tǒng)一車身坐標(biāo)系下獲得3D 輸出［5］。這類方法不能跨視圖處理特征，分割結(jié)果容易受到環(huán)境影響而出現(xiàn)歧義，嚴(yán)重影響語義分割準(zhǔn)確度。建立統(tǒng)一的鳥瞰圖（BEV）矢量空間提取多視圖相機(jī)內(nèi)的特征已成為了當(dāng)前代替單目后處理方式的主流方向。

建立統(tǒng)一矢量空間完成BEV 環(huán)視感知任務(wù)，需要網(wǎng)絡(luò)能夠在特征提取階段之后完成透視圖到BEV的轉(zhuǎn)換。Philion 等［6］提出LLS（lift splat shoot）網(wǎng)絡(luò)，該方法能顯式預(yù)測出每個(gè)像素點(diǎn)深度的離散分布和上下文向量，從而通過離散分布和向量間內(nèi)積確定沿相機(jī)射線方向上特征點(diǎn)的深度，然后結(jié)合相機(jī)參數(shù)將2D 特征提升到了統(tǒng)一3D 空間，最后借鑒PointPillars［7］中的體柱方法將特征解碼得到分割結(jié)果。Hu 等［8］在LLS 的基礎(chǔ)上提出了FIERY 網(wǎng)絡(luò)，該方法在LLS 基礎(chǔ)上有效地融合了時(shí)間序列，進(jìn)一步提升了分割效果。Huang 等［9］也按照LLS 的視圖轉(zhuǎn)換方法完成了3D 目標(biāo)檢測任務(wù)。上述基于深度估計(jì)的方法隨著感知距離增加，深度估計(jì)精度也會(huì)隨之下降，并且逐點(diǎn)估計(jì)的偽點(diǎn)云方法會(huì)占用大量計(jì)算資源，導(dǎo)致推理時(shí)間長、速度慢，難以實(shí)時(shí)地完成自動(dòng)駕駛感知任務(wù)。Pan 等［10］提出VPN 網(wǎng)絡(luò)采用兩層感知機(jī)（multi-layer perceptron，MLP），通過映射方式將透視圖特征轉(zhuǎn)化為BEV 特征。Li 等［11］提出的HDMapNet 網(wǎng)絡(luò)同樣采用MLP 的方式完成視圖轉(zhuǎn)換，為了確保轉(zhuǎn)換有效性，該網(wǎng)絡(luò)還將BEV 特征重投影回透視圖，以對(duì)轉(zhuǎn)換結(jié)果進(jìn)行檢查?；贛LP的方法速度雖然有所提升，但仍然沒有使用相機(jī)內(nèi)參作為幾何先驗(yàn)以及缺乏深度信息。Zhou 等［12］提出基于Transformer［13］完成視圖轉(zhuǎn)換的CVT 網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過構(gòu)建BEV 查詢（query），采用交叉注意力（cross attention）完成與圖像特征之間的查詢，且圖像特征添加了由相機(jī)參數(shù)計(jì)算得到的位置嵌入以提供較好的先驗(yàn)。由于語義分割任務(wù)采用BEV 網(wǎng)格這種密集的查詢來完成BEV 下的分割，但網(wǎng)絡(luò)復(fù)雜度和計(jì)算量與BEV 查詢的分辨率和透視圖特征分辨率相關(guān)，因此網(wǎng)絡(luò)采用縮小分辨率的方式來減少計(jì)算量，提高推理時(shí)間。Li 等［14］提出的BEVFormer利用了可形變注意力機(jī)制用于BEV 分割，使注意力關(guān)注在BEV 重投影透視圖的相關(guān)稀疏位置以減少計(jì)算量。Chen 等［15］提出的GKT 利用幾何先驗(yàn)引導(dǎo)注意力聚集在2D參考點(diǎn)的核區(qū)域，并且建立BEV和2D 的查找表用于快速推理?；赥ransformer 的方法能更好地完成視圖轉(zhuǎn)換且模型權(quán)重?fù)碛袕?qiáng)數(shù)據(jù)關(guān)聯(lián)性，相比基于深度估計(jì)和MLP 的方法具有更好的魯棒性和精度。盡管基于Transformer的方法達(dá)到了當(dāng)前最佳的檢測精度和計(jì)算速度，但其計(jì)算量仍然較大，模型推理速度高度依賴于高算力GPU。

針對(duì)上述問題，本文中提出一種輕量型實(shí)時(shí)BEV 語義分割模型，以完成對(duì)自動(dòng)駕駛場景中道路邊緣、車道線和人行橫道線的分割。本文提出的BEV語義分割模型包含3個(gè)關(guān)鍵設(shè)計(jì)：

（1）借鑒特征金字塔（feature pyramid networks，F(xiàn)PN［16］）思想對(duì)輕量型骨干網(wǎng)絡(luò)EdgeNeXt［17］進(jìn)行改進(jìn)，以完成對(duì)多尺度特征的提取；

（2）構(gòu)建交叉視圖轉(zhuǎn)換編碼器來完成透視圖特征到BEV特征轉(zhuǎn)換；

（3）提出了一種局部窗口交叉注意力方式，由此完成視圖轉(zhuǎn)換，以解決視圖轉(zhuǎn)化中全局查詢帶來的計(jì)算量大的問題。

1 算法設(shè)計(jì)

1.1 網(wǎng)絡(luò)整體設(shè)計(jì)

本文提出的網(wǎng)絡(luò)整體結(jié)構(gòu)如圖1 所示。骨干網(wǎng)絡(luò)采用改進(jìn)的EdgeNeXt 網(wǎng)絡(luò)，基本思想是在EdgeNeXt 基礎(chǔ)上添加殘差塊［18］的方式構(gòu)建特征金字塔來捕獲全局和局部信息，完成特征提取和融合。交叉視圖轉(zhuǎn)換編碼器用于透視圖特征到BEV 特征的轉(zhuǎn)換，編碼器包含BEV 局部窗口查詢向量構(gòu)建、局部窗口交叉視圖注意力。BEV 特征解碼器用于BEV 特征解碼，從而輸出分割結(jié)果，解碼器借鑒FCN［19］網(wǎng)絡(luò)，通過多個(gè)上采樣殘差塊（upsample block）得到分割結(jié)果。

圖1 網(wǎng)絡(luò)整體結(jié)構(gòu)

1.2 骨干網(wǎng)絡(luò)改進(jìn)

在骨干特征提取網(wǎng)絡(luò)上，本文中設(shè)計(jì)了一種改進(jìn)型EdgeNeXt 網(wǎng)絡(luò)。EdgeNeXt 作為一種快速推理的混合神經(jīng)網(wǎng)絡(luò)，結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)CNN 和Transformer 模型的優(yōu)勢(shì)，能夠有效地學(xué)習(xí)局部和全局信息。同時(shí)為了增強(qiáng)模型的表現(xiàn)力，獲取更多的上下文信息，骨干網(wǎng)絡(luò)通過構(gòu)建特征金字塔來聚合多尺度特征。

1.2.1 骨干網(wǎng)絡(luò)改進(jìn)

如圖2（a）中骨干網(wǎng)絡(luò)整體框架所示，EdgeNeXt模型包含4 個(gè)Stage 模塊。除Stage1 外，所有的模塊都包含一個(gè)下采樣、多個(gè)卷積編碼器和一個(gè)深度轉(zhuǎn)置編碼器。為了減少冗余的位置編碼帶來的推理速度下降，僅需在第一個(gè)深度轉(zhuǎn)置編碼器前，即Stage2模塊內(nèi)添加一次位置編碼。

圖2 骨干網(wǎng)絡(luò)結(jié)構(gòu)

特征金字塔如圖2 中的黃框所示，金字塔搭建在Stage 2、3、4的輸出上，圖像經(jīng)過多個(gè)Stage得到寬高下采樣8 倍、16 倍、32 倍的特征圖。對(duì)Stage 2 的輸出下采樣2 倍，Stage 4 的輸出上采樣2 倍率，同時(shí)與Stage 3 的輸出拼接，拼接結(jié)果通過一個(gè)殘差塊聚合特征。高層特征和淺層特征在通過殘差塊融合，進(jìn)一步增強(qiáng)了特征的表達(dá)能力。骨干網(wǎng)絡(luò)的金字塔的輸出，分別為寬高下采樣32倍和下采樣16倍大小的特征圖。

1.2.2 卷積編碼器

受到MobileNet［20］和ConvNeXt［21］啟發(fā)，卷積編碼器由一系列深度可分離卷積和殘差連接組成，深度可分離卷積由深度卷積和逐點(diǎn)卷積組成。對(duì)應(yīng)不同的骨干網(wǎng)絡(luò)模塊，深度卷積采用不同的卷積核大小來提取特征，同時(shí)使用正則化和高斯誤差線性單元（GeLU）非線性激活特征映射，如式（1）所示。

式 中：xi∈RH×W×C為輸 入特征 圖；xi+1∈RH×W×C為輸出特征圖；Pw為逐點(diǎn)卷積；Dw為深度卷積；N為正則化；G為GeLU激活函數(shù)。

1.2.3 深度轉(zhuǎn)置注意力編碼器

深度轉(zhuǎn)置注意力編碼器由兩個(gè)基本模塊組成。在第1個(gè)模塊內(nèi)，輸入由通道方向被切分為均等的4個(gè)子集，每個(gè)子集由上一個(gè)子集的輸出特征融合后，再通過3×3大小的深度可分離卷積得到，最終將4個(gè)子集拼接后得到不同空間級(jí)別的多尺度感受野特征。模塊2 通過轉(zhuǎn)置注意力編碼全局圖像特征表示，不同于傳統(tǒng)多頭自注意力對(duì)空間維度的外積計(jì)算，轉(zhuǎn)置注意力對(duì)跨通道維度外積，從而生成全局表示的潛在表達(dá)注意力特征圖。具體步驟如下。

（1） 將輸入特征圖轉(zhuǎn)化為序列向量，通過一個(gè)線性投射層得到查詢（Query，Q）、鍵（Key，K）和值（Value，V），即

式中：M為線性投射層；Xp為圖像特征，Xp∈RC×H×W。

（2）Q的轉(zhuǎn)置和K點(diǎn)乘計(jì)算并通過softmax 歸一化后和V相乘得到自注意力圖，即

（3） 將得到的注意力圖與輸入殘差連接并將序列向量變換回特征圖，如式（4）所示。

式中：Xo∈RC×H×W為輸出特征圖；R為resize操作。

1.3 交叉視圖轉(zhuǎn)換編碼器

為了實(shí)現(xiàn)透視圖特征到BEV 特征的轉(zhuǎn)換，CVT網(wǎng)絡(luò)提出了交叉注意視圖模塊，該方法構(gòu)建的BEV查詢與全部視圖進(jìn)行交叉注意力操作，帶來了一定的計(jì)算資源消耗。本文在此基礎(chǔ)上提出的交叉視圖轉(zhuǎn)換器通過將BEV 網(wǎng)格劃分為多個(gè)窗口，窗口內(nèi)的BEV 查詢僅和自身感興趣視圖完成交叉注意力，這種方式能夠?yàn)榇翱趦?nèi)的查詢提供顯式的指引，帶來一定的性能提升，并且有效地降低模型計(jì)算量。

1.3.1 BEV局部窗口查詢構(gòu)建

將環(huán)視透視圖特征F∈RN×H×W×C轉(zhuǎn)換為BEV特征G∈RX×Y×C，H和W為像素大小，X和Y為網(wǎng)格大小，BEV 網(wǎng)格長度由感知距離與分辨率決定。為了減少交叉注意力計(jì)算的復(fù)雜度，模型先下采樣BEV 網(wǎng)格尺寸，在完成視圖轉(zhuǎn)換后再通過上采樣殘差塊還原BEV 原始大小。然后根據(jù)相機(jī)的內(nèi)外參將BEV 網(wǎng)格投影至圖像坐標(biāo)系，并結(jié)合相機(jī)視角場（field of view，F(xiàn)OV），得出組成環(huán)視的6 個(gè)相機(jī)在BEV下的FOV，如圖3所示。

圖3 視圖FOV

針對(duì)不同相機(jī)視圖FOV 區(qū)域存在重疊，可根據(jù)相機(jī)視角FOV 確定BEV 網(wǎng)格內(nèi)所有網(wǎng)格點(diǎn)所關(guān)聯(lián)的視圖。將BEV 網(wǎng)格劃分為多個(gè)窗口，窗口內(nèi)的網(wǎng)格查詢只與該窗口對(duì)應(yīng)的感興趣視圖進(jìn)行交叉注意力。如圖4 所示，本文將BEV 網(wǎng)格劃分為4 個(gè)窗口，每個(gè)窗口會(huì)與3 個(gè)視圖進(jìn)行交叉注意力，如深藍(lán)色窗口對(duì)應(yīng)的FOV則為前視、左前視、左后視。

圖4 BEV窗口對(duì)應(yīng)視圖

1.3.2 交叉視圖注意力

BEV 坐標(biāo)Xw通過相機(jī)內(nèi)外參可以轉(zhuǎn)化為圖像坐標(biāo)XI，計(jì)算公式如下：

式中：u、v為圖像坐標(biāo)；d為深度；I為相機(jī)內(nèi)參矩陣；E為相機(jī)外參矩陣。

由上式可知，BEV 坐標(biāo)能夠通過內(nèi)外參重投影回透視圖坐標(biāo)系。與之相反，由于缺少深度d，透視圖坐標(biāo)難以轉(zhuǎn)換至BEV坐標(biāo)系下。

本文通過構(gòu)建透視圖像反投影的BEV 坐標(biāo)和BEV 網(wǎng)格坐標(biāo)之間的余弦相似度完成交叉注意力，從而隱式學(xué)習(xí)圖像深度完成視圖轉(zhuǎn)換。

交叉視圖注意力具體實(shí)現(xiàn)過程如下。

（1） 根據(jù)透視特征圖大小，構(gòu)建特征圖的反投影索引，并通過線性投射層得到Key，即

式中：Key∈Rn×hw×d；E為相機(jī)外參；I-1為相機(jī)內(nèi)參的逆；M為線性投射層。

（2） 透視圖特征經(jīng)過線性投射層得到Value，即

其中Value∈Rn×hw×d

（3） BEV 查詢Q、反投影K和圖像特征V之間完成交叉注意力，如式（10）所示。

1.3.3 局部窗口交叉注意力

通過構(gòu)建BEV 查詢和所有視圖之間的交叉注意力，即可以實(shí)現(xiàn)透視圖到BEV 的特征轉(zhuǎn)換。然而BEV 查詢的網(wǎng)格點(diǎn)并不與所有視圖都關(guān)聯(lián)，該方式計(jì)算量如式（11）所示。本文提出的局部窗口交叉注意力如圖5 所示，通過將查詢劃分為局部4 個(gè)窗口，每個(gè)局部窗口與3 個(gè)關(guān)聯(lián)視圖進(jìn)行交叉注意力，局部窗口交叉注意力的計(jì)算量僅為全局交叉注意力一半，計(jì)算量如式（12）所示。通過建立窗口查詢和關(guān)聯(lián)視圖之間的交叉注意力不僅能有效減少計(jì)算量，還能夠指導(dǎo)BEV查詢關(guān)注正確的局部區(qū)域。

圖5 局部窗口交叉注意力

式中：F為計(jì)算量；n為視圖數(shù)量；xy為BEV 查詢網(wǎng)格總數(shù)；hw為透視圖像素?cái)?shù)；C為注意力通道數(shù)。

1.4 BEV特征解碼器

BEV 特征解碼器由上采樣殘差塊和分割頭組成，交叉視圖轉(zhuǎn)換編碼器得到的BEV 特征圖通過上采樣殘差塊進(jìn)一步提高BEV 分辨率，最終通過分割頭解碼得到圖像語義分割結(jié)果。

2 實(shí)驗(yàn)結(jié)果和分析

2.1 實(shí)驗(yàn)設(shè)置

圖像原始尺寸為1600×900，被調(diào)整到128×352作為網(wǎng)絡(luò)輸入。BEV網(wǎng)格X軸范圍為［-30 m，30 m］，Y軸范圍為［-15 m，15 m］，間隔為0.15，BEV 分辨率為400×200。BEV 查詢8倍下采樣后，BEV 網(wǎng)格查詢大小為50×25。模型訓(xùn)練時(shí)采用AdamW 優(yōu)化器，初始學(xué)習(xí)率為1e-4，權(quán)重衰減為1e-7。模型框架使用Pytorch1.12.1+Cuda11.6。模型使用的硬件為Intel i5-13600kf CPU， GeForce RTX 4090 GPU，32 GB 內(nèi)存，操作系統(tǒng)為Ubuntu22.04。

2.2 實(shí)驗(yàn)結(jié)果

圖6為本文方法在晴天、雨天和黑夜3種不同能見度場景下的推理結(jié)果。如圖6（a）所示，晴天場景下特征非常明顯，模型能有較好的分割結(jié)果，精確度最高且尺度基本一致。雨天場景下能見度下降，且由于雨水落在車道上導(dǎo)致部分靜態(tài)車道特征變化，雨天分割結(jié)果精度下降。但本文方法在雨天環(huán)境仍有相對(duì)較好的分割精度，如圖6（b）所示，紅色框?qū)?yīng)的道路邊緣區(qū)域在預(yù)測圖中也能被很好地分割。黑夜場景下，能見度不足導(dǎo)致模型難以提取出有效的特征，并且對(duì)遠(yuǎn)距離的目標(biāo)分割存在一定難度，因此通常難度遠(yuǎn)大于晴天和雨天場景。圖6（c）紅色框內(nèi)區(qū)域?yàn)樽筠D(zhuǎn)路口，在透視圖像中的特征不明顯，容易被認(rèn)定為直行區(qū)域，從而使模型推理困難。但本文方法仍能對(duì)此做出合理的推理，強(qiáng)大的骨干特征提取網(wǎng)絡(luò)能夠有效利用局部特征，從而認(rèn)定道路邊緣分割存在向左趨勢(shì)。可以認(rèn)為，本文所提方法在不同能見度場景下都能有著不錯(cuò)的分割結(jié)果。

圖6 模型推理結(jié)果

2.3 消融實(shí)驗(yàn)

為了驗(yàn)證改進(jìn)型EdgeNeXt 骨干網(wǎng)絡(luò)和局部窗口交叉注意力對(duì)模型性能的影響，對(duì)EdgeNeXt 骨干網(wǎng)絡(luò)、金字塔結(jié)構(gòu)、局部窗口交叉注意力進(jìn)行多組消融實(shí)驗(yàn)。初始模型為骨干使用EfficientNet-B0 的CVT方法，實(shí)驗(yàn)結(jié)果如表1所示。

表1 消融實(shí)驗(yàn)結(jié)果

由表1 可知，模型骨干網(wǎng)絡(luò)改進(jìn)和局部窗口交叉注意力方式都能有效地提升模型的分割性能。具有Transformer 全局信息和CNN 局部信息捕獲能力的改進(jìn)型EdgeNext 相比較初始模型的EfficientNet-B0，能夠以相同的推理時(shí)間達(dá)到更好的分割性能。同時(shí)在基本不增加推理延遲的情況下，局部窗口交叉注意力使BEV 查詢落在感興趣區(qū)域內(nèi)，有效地提升了推理速度。在少量增加推理延遲情況下平均IoU提升近5%，實(shí)現(xiàn)了對(duì)車道線、人行橫道和道路邊緣的分割，證明了本文方法的有效性。

2.4 對(duì)比分析

本文的方法在nuScenes［22］驗(yàn)證集上與其他方法的實(shí)驗(yàn)結(jié)果對(duì)比如表2所示。

表2 語義分割結(jié)果

由表2 可知，本文提出的方法在各項(xiàng)子任務(wù)中超過了目前表現(xiàn)最好的HDMapNet 方法，IoU 分別提升1.6%、2.1%和2.9%，平均IoU 提升2.2%。圖7為本文方法與LLS、HDMapNet 對(duì)比結(jié)果?？梢钥闯霰疚姆椒▽?duì)遠(yuǎn)處目標(biāo)有著更好的分割結(jié)果，且在部分局部細(xì)節(jié)上遠(yuǎn)遠(yuǎn)優(yōu)于其他方法，如圖7 所示紅色圓框區(qū)域。表2 中列出了不同方法的具體量化指標(biāo)，與目前計(jì)算量最少模型GKT 相比，本文方法計(jì)算量僅為其51.2%，推理速度提高58.2%，也是表中FPS值唯一超過100的方法。

2.5 相機(jī)離線工況實(shí)驗(yàn)

車輛實(shí)際工作中相機(jī)可能因接觸不良、相機(jī)故障等導(dǎo)致相機(jī)離線。為驗(yàn)證在特殊工況下模型的魯棒性，本文進(jìn)行了僅有前視和后視圖像輸入條件下的算法驗(yàn)證。本文提出的方法提取前視和后視的特征，通過局部窗口交叉注意力模型轉(zhuǎn)換到BEV 視圖，如圖8 所示。根據(jù)前視和后視FOV 在本文方法的圖上分別繪制兩條FOV 虛線，前視和后視的靜態(tài)車道線被成功分割出來且位于虛線內(nèi)，虛線外的其他視圖由于缺少輸入并未被分割。相比之下，HDMapNet 的視圖轉(zhuǎn)換模塊MLP 卻將部分前后視圖特征轉(zhuǎn)換至虛線區(qū)域外，且位于前后視圖內(nèi)的區(qū)域分割結(jié)果也不理想。可以認(rèn)為，本文方法在缺少其他視圖情況下，仍能對(duì)前視和后視FOV 內(nèi)的靜態(tài)車道線準(zhǔn)確推理，而HDMapNet 均推理失敗，說明本文方法更具魯棒性，在多個(gè)車載相機(jī)離線情況下仍然有較好的推理結(jié)果。

圖8 離線工況模型對(duì)比

3 結(jié)論

（1） 為解決多相機(jī)帶來的計(jì)算量上升問題，本文提出基于局部窗口交叉注意力的輕量型語義分割方法，通過采用改進(jìn)型EdgeNeXt 骨干網(wǎng)絡(luò)和局部窗口交叉注意力使推理達(dá)到106 FPS，速度比GKT 模型提高58.2%，滿足自動(dòng)駕駛實(shí)時(shí)需求。

（2） 通過改進(jìn)型骨干網(wǎng)絡(luò)提取特征，并使用局部窗口交叉注意力完成對(duì)跨相機(jī)透視圖之間的特征轉(zhuǎn)換，使注意力查詢落在感興趣透視圖上，以減少計(jì)算量并提高模型的分割性能。

（3） 與HDMapNet模型相比，平均IoU提高2.2%，達(dá)到了35.1%；進(jìn)行了相機(jī)離線工況實(shí)驗(yàn)，能夠有效轉(zhuǎn)換對(duì)應(yīng)的透視圖，且分割結(jié)果位于視圖FOV 內(nèi)，表明本文方法具有更好的分割性能和魯棒性。