林朝俊 石 英

(武漢理工大學(xué)自動(dòng)化學(xué)院 武漢 430070)

0 引 言

環(huán)境感知是無人駕駛系統(tǒng)和智能交通研究的重要內(nèi)容，直接影響運(yùn)動(dòng)控制和決策[1].近年來，深度R-CNN神經(jīng)網(wǎng)絡(luò)憑借其魯棒性同時(shí)具有高精度的特點(diǎn)，被廣泛應(yīng)用于城市道路環(huán)境識別和行人檢測[2].

最早的卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet在ILSVRC比賽奪冠的卷積神經(jīng)網(wǎng)絡(luò)后，因其較高的分類精度和強(qiáng)大的泛化性能，卷積神經(jīng)網(wǎng)絡(luò)得到了學(xué)術(shù)界和工業(yè)界的關(guān)注并快速發(fā)展[3].VGG系列神經(jīng)網(wǎng)絡(luò)延續(xù)了AlexNet的結(jié)構(gòu)，直接堆疊卷積層以獲得更高精度[4].ResNet殘差網(wǎng)絡(luò)的出現(xiàn)，通過添加恒等快捷連接構(gòu)建的bottleneck結(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)的深度受限和梯度消失問題才得到較好解決[5].DenseNet在ResNet的基礎(chǔ)上進(jìn)一步添加更多恒等快捷連接并提高特征提取維度，犧牲運(yùn)算速度以獲取更高的精度[6].ResNeXt則從卷積網(wǎng)絡(luò)的寬度出發(fā)，逐層融合多個(gè)并行ResNet提取的特征，進(jìn)一步提高了特征提取能力和檢測精度[7].算法的實(shí)時(shí)性在工業(yè)應(yīng)用場景往往比精度更加重要，MobileNet提出的深度可分離卷積將標(biāo)準(zhǔn)卷積分為逐通道卷積和逐點(diǎn)卷積，極大地減少了卷積層參數(shù)并有效地提高了特征提取速度[8].

得益于卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，計(jì)算機(jī)視覺任務(wù)從最初的單純分類任務(wù)逐步拓展到目標(biāo)識別任務(wù)和實(shí)例分割任務(wù).最初的Fast R-CNN網(wǎng)絡(luò)奠定了R-CNN系列網(wǎng)絡(luò)的兩階段(two-stage)檢測結(jié)構(gòu)基礎(chǔ).緊接著，F(xiàn)aster R-CNN網(wǎng)絡(luò)更進(jìn)一步提出了區(qū)域提議網(wǎng)絡(luò)(region proposal network, RPN)，通過神經(jīng)網(wǎng)絡(luò)獲得感興趣區(qū)域.為了更好地定位和識別圖像目標(biāo)，Lin等[9]提出了特征圖像金字塔(feature pyramid networks, FPN)，提出了多尺度特征融合和分層目標(biāo)檢測思想，被廣泛用于幾乎所有種類的卷積神經(jīng)網(wǎng)絡(luò).作為集大成者，He等[10]提出的Mask R-CNN網(wǎng)絡(luò)結(jié)合了Faster R-CNN網(wǎng)絡(luò)的兩階段檢測結(jié)構(gòu)和FCN網(wǎng)絡(luò)的語義分割思想，實(shí)現(xiàn)了極高精度的目標(biāo)檢測效果.

兩階段目標(biāo)識別算法雖然具有較高精度，然而其推理速度太慢以至于難以應(yīng)用于城市道路環(huán)境目標(biāo)檢測中.為了更高的速度，YOLO和SSD[11]建立了單階段目標(biāo)識別框架，在極高的推理速度同時(shí)保持了較高的精度.其后的YOLOv2及YOLOv3在此基礎(chǔ)上進(jìn)一步改進(jìn)了錨定框(anchor)的設(shè)置方法，進(jìn)一步提高了算法精度并保持較高的精度[12].近年來，無錨定框(anchor-free)算法快速發(fā)展，涌現(xiàn)了如FCOS等[13]無需手工設(shè)計(jì)anchor的目標(biāo)檢測算法，通過以標(biāo)志點(diǎn)表示anchor的建模方式極大地降低了預(yù)設(shè)anchor的運(yùn)算速度開銷并且保持了較高的精度.

國內(nèi)同時(shí)也涌現(xiàn)出大量研究把相應(yīng)算法應(yīng)用到智能交通領(lǐng)域，如文獻(xiàn)[14]基于YOLO設(shè)計(jì)了一種車輛實(shí)時(shí)檢測方法.文獻(xiàn)[15]用卷積神經(jīng)網(wǎng)絡(luò)判斷駕駛?cè)似跔顟B(tài).

針對于城市道路場景下算法推理速度盡可能快的需求，文中選擇基于當(dāng)前先進(jìn)的FCOS檢測框架設(shè)計(jì)城市道路環(huán)境識別算法，同時(shí)引入深度可分離卷積并采用MobileNet-v2作為特征提取骨干網(wǎng)絡(luò)以盡可能提高算法推理速度.同時(shí)本文針對Cityscapes數(shù)據(jù)集中小目標(biāo)遠(yuǎn)遠(yuǎn)多于大目標(biāo)的特點(diǎn)，刪減了FPN的頂層并改進(jìn)了FCOS的目標(biāo)分層檢測算法，進(jìn)一步提高了本文設(shè)計(jì)網(wǎng)絡(luò)的實(shí)時(shí)性，構(gòu)建了一個(gè)適用于城市道路環(huán)境實(shí)時(shí)識別的神經(jīng)網(wǎng)絡(luò)算法.

1 快速道路環(huán)境目標(biāo)檢測算法框架

1.1 速度優(yōu)化檢測算法框架設(shè)計(jì)

FCOS為當(dāng)前先進(jìn)的anchor-free檢測網(wǎng)絡(luò)，通過骨干網(wǎng)絡(luò)提取特征，結(jié)合FPN特征分層識別方法分層回歸目標(biāo)包圍框(bounding box, Bbox)，具有實(shí)時(shí)性高、超參數(shù)少的特點(diǎn)，適用于快速目標(biāo)檢測任務(wù).在相同精度條件下，F(xiàn)COS具有最簡潔的網(wǎng)絡(luò)框架及相對極高的精度，本文選擇其作為基礎(chǔ)框架.

文中提出圖1的基于FCOS的速度優(yōu)化算法的網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)包括：選擇MobileNet-v2作為特征提取網(wǎng)絡(luò)，快速提取輸入城市道路圖像的行人、車輛等目標(biāo)的特征；緊接著通過FPN特征金字塔進(jìn)一步融合多尺度特征，增強(qiáng)低層特征的語義信息；而后提取FPN每一層特征進(jìn)行密集預(yù)測，從邊框回歸分支獲得目標(biāo)預(yù)測Bbox輸出，同時(shí)通過Center-ness和類別預(yù)測分支輸出預(yù)測框得分以去除低質(zhì)量的預(yù)測框.

圖1 快速道路環(huán)境目標(biāo)檢測算法框架結(jié)構(gòu)圖

1.2 FCOS檢測框架

FCOS為當(dāng)前先進(jìn)的anchor-free檢測網(wǎng)絡(luò)，其架構(gòu)沿用了RetinaNet[16]算法的結(jié)構(gòu)，通過ResNet殘差網(wǎng)絡(luò)提取特征，結(jié)合FPN特征分層識別方法分層回歸目標(biāo)包圍框(bounding box, Bbox).特別是其提出的以中心點(diǎn)表示錨定框的建模方式，有效地避免了手工設(shè)計(jì)錨定框可能導(dǎo)致的不合理和冗余，極大地簡化了檢測網(wǎng)絡(luò)結(jié)構(gòu).

傳統(tǒng)的RPN網(wǎng)絡(luò)設(shè)置錨定框的長寬比例設(shè)計(jì)為1∶1、2∶1和1∶2，然而大部分城市道路環(huán)境中的行人目標(biāo)長寬比例約在3∶1至4∶1，因此小尺度的包圍框無法完全框住行人目標(biāo)，導(dǎo)致行人的識別率較低，而大尺度的包圍框則會框住多個(gè)行人目標(biāo)，導(dǎo)致多個(gè)行人的密集型目標(biāo)無法區(qū)分而識別為一個(gè)行人.與行人目標(biāo)偏長的特點(diǎn)相反，大部分車輛的長寬比例在2∶1以內(nèi).手工設(shè)計(jì)的錨定框難以兼顧兩種不同檢測目標(biāo)，限制了檢測精度提高.

選擇以FCOS為基礎(chǔ)設(shè)計(jì)城市道路環(huán)境目標(biāo)檢測算法，擯棄了錨定框的先驗(yàn)知識需求和錨定框的長寬比例、數(shù)量等超參數(shù)設(shè)計(jì)，有效簡化了算法模型結(jié)構(gòu)同時(shí)極大地提高了算法實(shí)時(shí)性.同時(shí)得益于FCOS的逐像素預(yù)測中心點(diǎn)和包圍框策略，本文算法生成的預(yù)測包圍框數(shù)量遠(yuǎn)遠(yuǎn)小于基于預(yù)設(shè)錨定框的RPN網(wǎng)絡(luò)，然而包圍框的質(zhì)量更高，有效提高了城市道路環(huán)境如遠(yuǎn)距離行人和車輛等小目標(biāo)的召回率，進(jìn)而提高了網(wǎng)絡(luò)整體對城市道路環(huán)境多類別目標(biāo)的平均識別精度(Bbox mAP).

1.3 分離卷積特征提取網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)算法自誕生起，一直因其運(yùn)算量極大、參數(shù)量過多而深受詬病.

圖2a)為一個(gè)輸入維度為Cin、長為H、寬為W的輸入特征圖，標(biāo)準(zhǔn)卷積層需要對輸入特征的每一個(gè)維度進(jìn)行特征提取并通過逐元素相加融合特征以得到輸出特征圖的一個(gè)維度.因此，對每一個(gè)卷積層而言，其參數(shù)總數(shù)為

Parst=DF·DF·Cin·Cout

(1)

式中：Parst為一個(gè)標(biāo)準(zhǔn)卷積層的參數(shù)量；DF為卷積層內(nèi)每一個(gè)濾波器的尺寸，對于3×3卷積層DF=3；Cin為輸入特征圖的維度；Cout為輸出特征圖的維度.

而深度可分離卷積將標(biāo)準(zhǔn)卷積的運(yùn)算過程分為單通道特征提取和多通道特征聚合兩部分，將單通道特征提取過程稱作逐通道卷積(depthwise convolution)，將多通道特征聚合過程提取稱作逐點(diǎn)卷積(pointwise convolution)，見圖2b).標(biāo)準(zhǔn)卷積層輸出的每一個(gè)通道對應(yīng)輸入特征所有通道的一次特征提取和一次多通道特征聚合，輸出特征圖的不同通道之間的特征提取和特征聚合均完全獨(dú)立.而深度可分離卷積將特征提取過程單獨(dú)分離出標(biāo)準(zhǔn)卷積作為逐通道卷積，也即僅對輸入特征圖的每個(gè)通道進(jìn)行一次特征提取，而后的多通道特征聚合過程則共享逐通道卷積得到的逐通道特征，其參數(shù)量分別為

3.1 量表漢化過程 本研究嚴(yán)格按照量表引進(jìn)原則對英文版N-QOL進(jìn)行漢化，對源量表及中文版量表進(jìn)行比較、分析后基本實(shí)現(xiàn)了語義及內(nèi)容的對等性。研究者運(yùn)用標(biāo)準(zhǔn)化指導(dǎo)語對預(yù)試驗(yàn)對象進(jìn)行指導(dǎo)后，對象能夠準(zhǔn)確理解各條目的含義并根據(jù)自身實(shí)際情況作答。

圖2 卷積運(yùn)算示意圖

Pard=DF·DF·Cin

(2)

Parp=Cin·Cout

(3)

式中：Pard為一個(gè)逐通道卷積層的參數(shù)量；Parp為一個(gè)逐點(diǎn)卷積層的參數(shù)量.

深度可分離卷積通過對卷積層特征提取操作的分割，有效減少了參數(shù)量和卷積運(yùn)算量，極大地降低了網(wǎng)絡(luò)運(yùn)行所需硬件資源.本文使用基于深度可分離卷積設(shè)計(jì)的MobileNet-v2作為特征提取骨干網(wǎng)絡(luò)，壓縮網(wǎng)絡(luò)模型文件大小的同時(shí)極大提升了算法的運(yùn)行速度.

2 特征金字塔壓縮

FPN的自頂向下特征融合結(jié)構(gòu)廣泛應(yīng)用于目標(biāo)檢測網(wǎng)絡(luò)，尤其是FPN提出的大小目標(biāo)分層識別方法，被廣泛應(yīng)用于anchor-free目標(biāo)檢測框架中.

在城市道路環(huán)境中，普遍行人目標(biāo)為密度大的小目標(biāo)，而車輛類目標(biāo)相對多為較大目標(biāo).選擇在低層特征圖識別行人等小目標(biāo)，在高層特征圖識別車輛等大目標(biāo)，能有效提高城市道路環(huán)境中目標(biāo)識別精度.

FCOS針對MS COCO數(shù)據(jù)集的目標(biāo)尺度特點(diǎn)，選擇在FPN的P3層分別檢測對應(yīng)原圖像素面積為[0,642]的目標(biāo)，在P4層檢測面積為[642,1 282]的目標(biāo)，在P5層檢測面積為[1 282,2 562]的目標(biāo)，在P6層檢測面積為[2 562,5 122]的目標(biāo)，在P7層檢測面積為[5 122,∞]的目標(biāo).

針對城市道路環(huán)境圖像數(shù)據(jù)集Cityscapes中大目標(biāo)相對少的特點(diǎn)，文中選擇刪除FPN的頂層P7層，壓縮特征金字塔FPN從5層減少至4層.并且進(jìn)一步改進(jìn)目標(biāo)分層檢測方案為：在FPN的P3層分別檢測對應(yīng)原圖像素面積為[0,962]的目標(biāo)，在P4層檢測面積為[962,1 922]的目標(biāo)，在P5層檢測面積為[1 922,4 802]的目標(biāo)在P6層檢測面積為[4 802,∞]的目標(biāo).

現(xiàn)有的目標(biāo)檢測算法多沿用Mask R-CNN使用的設(shè)置，將輸入圖片的長寬尺寸限制為最短邊800 px，最長邊1 333 px[17].對于分辨率均為1 024×2 048的Cityscapes數(shù)據(jù)集高清圖像，該設(shè)置的長寬比極大限制了城市道路行人和車輛的正常識別，并且讓本已分辨率很低的行人目標(biāo)的分辨率進(jìn)一步降低而更難識別.

為配合文中提出的壓縮特征金字塔及目標(biāo)分層檢測方案，權(quán)衡算法運(yùn)行速度和識別精度后，選擇設(shè)置輸入圖片的尺度為800×1 600，既保持了Cityscapes數(shù)據(jù)集的訓(xùn)練樣本圖像長寬比，同時(shí)保證了城市道路的車輛與行人目標(biāo)的分辨率足以讓網(wǎng)絡(luò)檢測并識別.在該輸入尺度下，僅有部分大型卡車目標(biāo)和少量近景小汽車的分辨率高于4 802，有效地保證了FPN的每一層得到充分利用.

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境與設(shè)置

實(shí)驗(yàn)電腦配置CPU為六核十二線程Intel i7-8700k，GPU為一個(gè)NVIDIA GTX 1080.選擇maskrcnn-benchmark代碼作為基準(zhǔn)代碼，代碼運(yùn)行軟件環(huán)境為Windows 10系統(tǒng)，python版本為3.6.7，軟件框架為pytorch 1.3.

實(shí)驗(yàn)選取Cityscapes數(shù)據(jù)集的train文件夾下的2 975張帶有精細(xì)標(biāo)注的圖像作為訓(xùn)練集，以val文件夾下的500個(gè)具有精細(xì)注釋的圖像作為驗(yàn)證集評估訓(xùn)練完畢的網(wǎng)絡(luò)模型.設(shè)置batch_size為1，最大迭代次數(shù)為192 000次，并且每2 000次迭代保存一次網(wǎng)絡(luò)權(quán)重模型，選擇評估指標(biāo)mAP最高的模型作為最終評估結(jié)果.此外，設(shè)置訓(xùn)練中使用隨機(jī)梯度下降優(yōu)化器，學(xué)習(xí)率設(shè)置為0.002 5，權(quán)重更新動(dòng)量設(shè)置為0.9，權(quán)重衰減系數(shù)設(shè)置為0.001.

由于Cityscapes數(shù)據(jù)集的評價(jià)mAP算法對預(yù)測框與真值框的交并比(IoU)要求低，mAP評價(jià)結(jié)果相對其他評價(jià)算法虛高約5%至15%.因此本文實(shí)驗(yàn)采用COCO數(shù)據(jù)集規(guī)定的最嚴(yán)格的mAP評價(jià)算法，計(jì)算IoU從0.5每隔0.05取至0.95的mAP再取平均得到Bbox mAP，作為本文評價(jià)城市道路環(huán)境識別目標(biāo)算法的識別精度標(biāo)準(zhǔn).其中，評價(jià)指標(biāo)AP50、AP75、APm、APl分別表示預(yù)測框與真值框的IoU大于0.50的mAP、IoU大于0.75的mAP、面積大于322小于962目標(biāo)的mAP、面積大于962目標(biāo)的mAP.

3.2 改進(jìn)有效性實(shí)驗(yàn)

基于控制變量法，在固定其余條件不變時(shí)分別分析輸入圖像分辨率優(yōu)化和壓縮FPN對算法精度的影響.

表1為使用ResNet-50與使用MobileNet-v2作為特征的提取網(wǎng)絡(luò)，在輸入圖像分辨率為較低的800×1 312時(shí)對檢測精度的影響較小.在Bbox mAP指標(biāo)上MobileNet-v2僅比ResNet-50低了0.006，然而對于實(shí)際應(yīng)用中更有意義的AP50指標(biāo)，使用MobileNet-v2時(shí)可達(dá)0.459，比使用ResNet-50的0.454略高，表明在實(shí)際應(yīng)用中，特別是對精度要求較低的場景，使用MobileNet-v2可以獲得更高的粗定位精度和可達(dá)每幀0.049 s的處理速度.

表1 輸入圖像分辨率優(yōu)化精度比對表

對比輸入圖像分辨率為800×1 312和800×1 600的目標(biāo)檢測精度和速度，更合理的輸入圖像分辨率800×1 600極大地提高了算法的精度，對于ResNet-50精度可提升至0.283，對于MobileNet-v2精度可提升至0.268.同時(shí)更高的分辨率讓算法運(yùn)行耗時(shí)翻倍，ResNet-50的耗時(shí)達(dá)0.131 s/img，而MobileNet-v2的耗時(shí)增幅較小，僅為0.095 s/img，在速度上提上了37.9%.同時(shí)對于AP50指標(biāo)，ResNet-50與MobileNet-v2的精度分別為0.512和0.492，MobileNet-v2僅相對降低了精度4.06%.

由表1可知，對于數(shù)據(jù)集Cityscapes，精度的主要影響因素是輸入圖像分辨率而非骨干網(wǎng)絡(luò)的選擇，而算法運(yùn)行速度的主要影響因素則為骨干網(wǎng)絡(luò)的選擇.選用MobileNet-v2可以極大的降低算法運(yùn)行耗時(shí)并且對精度的減益較小，對于城市道路環(huán)境下的目標(biāo)檢測任務(wù)，選擇MobileNet-v2作為特征提取骨干網(wǎng)絡(luò)并采用高分辨率的800×1 600輸入圖像，可以很好地達(dá)到精度和運(yùn)算速度的均衡.

文中簡稱第2章提出的刪減FPN最頂層和優(yōu)化的FPN目標(biāo)分層檢測策略為壓縮FPN.表2為壓縮FPN精度比對表.

表2 壓縮FPN精度比對表

由表2可知，使用第2章提出的壓縮FPN可以較穩(wěn)定地降低算法運(yùn)行耗時(shí)，在采用MobileNet-v2和壓縮FPN時(shí)運(yùn)行速度可達(dá)0.093 s/img同時(shí)Bbox mAP可達(dá)0.265.在所有五項(xiàng)檢測精度評價(jià)指標(biāo)上，使用壓縮FPN與無壓縮FPN的差別不大，特別是對于使用MobileNet-v2的情況，所有五項(xiàng)評價(jià)指標(biāo)的數(shù)據(jù)差別均小于2%.然而對于使用ResNet-50的情況，使用壓縮FPN對精度影響較大，導(dǎo)致Bbox mAP從0.283下降至0.272，APl從0.481大幅下降從至0.420，表明本文壓縮FPN和優(yōu)化FPN分層檢測方案不適合與ResNet-50同時(shí)使用，然而結(jié)合MobileNet-v2使用時(shí)能很好地提高運(yùn)行速度并對精度影響極小.

3.3 對比實(shí)驗(yàn)

與現(xiàn)有的先進(jìn)目標(biāo)檢測算法進(jìn)行對比，見表3.文中算法在速度和精度上能取得更好的均衡.對于文中采用MobileNet-v2和壓縮FPN改進(jìn)的城市道路環(huán)境目標(biāo)識別算法，若追求更高的運(yùn)行速度可設(shè)置輸入圖像分辨率為800×1 312，此時(shí)每幀圖像檢測耗時(shí)僅0.049 s；若在有限運(yùn)行時(shí)間條件下，設(shè)置輸入分辨率800×1 600可獲得達(dá)0.265的Bbox mAP.

表3 目標(biāo)檢測算法性能比對表

相比精度較高的Mask R-CNN和CenterMask算法，本文改進(jìn)算法具有明顯的速度優(yōu)勢；對比運(yùn)行速度較快的RetinaNet和作為改進(jìn)基礎(chǔ)的FCOS，本文算法明顯具有更低的運(yùn)行耗時(shí).本文算法更好地在速度和精度間取得了均衡.

4 結(jié) 束 語

文中基于anchor-free的FCOS檢測網(wǎng)絡(luò)構(gòu)建了城市道路環(huán)境快速目標(biāo)檢測算法，引入了深度可分離卷積，壓縮了FPN層數(shù)，優(yōu)化了目標(biāo)分層識別方法，在速度和精度間取得了很好的均衡.針對城市道路環(huán)境目標(biāo)檢測任務(wù)對實(shí)時(shí)性要求高的特點(diǎn)，文中使用了深度可分離卷積降低網(wǎng)絡(luò)參數(shù)量.針對城市道路環(huán)境圖像的分辨率特點(diǎn)，分析了輸入圖像分辨率的選擇方法，采用了更優(yōu)的輸入分辨率.針對特征金字塔頂層特征利用率低的特點(diǎn)，同時(shí)結(jié)合深度可分離卷積的性能表現(xiàn)，優(yōu)化了目標(biāo)分層識別的分辨率檢測范圍，在幾乎對檢測精度無損的同時(shí)進(jìn)一步降低了算法運(yùn)行耗時(shí).最后給出了運(yùn)行速度特化的低分辨率檢測方案和精度與速度更均衡的高分辨率檢測方案，適合依據(jù)實(shí)際城市道路場景的需求選擇使用.