吳鎮(zhèn)濤，羅文婷，李 林，秦 勇，陳文婷，溫王鵬，胡喜生

(1.福建農(nóng)林大學(xué) 交通與土木工程學(xué)院，福州 350108；2.南京工業(yè)大學(xué) 交通運(yùn)輸工程學(xué)院，南京 211816; 3.北京交通大學(xué) 軌道交通安全與控制國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100084)

隨著我國(guó)高速公路的大規(guī)模開發(fā)建設(shè)，對(duì)于大型路網(wǎng)的管理問題日益突出。高速公路公里樁(以下簡(jiǎn)稱“公里樁”)是一種科學(xué)有效的公路定位手段。在高速公路中駕駛員突發(fā)緊急狀況時(shí)，可通過公里樁獲取當(dāng)前所在的位置信息尋求幫助，以便高速公路管理人員進(jìn)行事故救援；道路巡檢部門可以通過公里樁更加高效便捷地管理高速公路資產(chǎn)，以及路面病害的定點(diǎn)修補(bǔ)回查等工作。實(shí)現(xiàn)公里樁自動(dòng)檢測(cè)可以幫助使用人員和車輛更快速、準(zhǔn)確地確定位置信息，在實(shí)際應(yīng)用中具有重要意義，并能為道路巡檢等管理做好保障[1-2]。

近年來，關(guān)于交通標(biāo)志的自動(dòng)檢測(cè)，國(guó)內(nèi)外學(xué)者發(fā)表了一些研究成果，主要包括基于深度學(xué)習(xí)的檢測(cè)算法、基于機(jī)器視覺以及傳統(tǒng)圖像處理的目標(biāo)檢測(cè)等方法。成怡等[3]采用ResNeSt50作為CenterNet的主干提取網(wǎng)絡(luò)，并在網(wǎng)絡(luò)結(jié)構(gòu)中引入PSConv，通過對(duì)多尺度感受野、注意力機(jī)制和特征增強(qiáng)等模塊的設(shè)計(jì)，提升不同尺度交通標(biāo)志的檢測(cè)能力。Liu等[4]在檢測(cè)階段使用多尺度反卷積操作獲得更高的召回率，在RPN內(nèi)部融合特征方面，通過上下文信息來增強(qiáng)特征表示。張萬征等[5]通過顏色分割和Hough變換算法實(shí)現(xiàn)交通標(biāo)志的區(qū)域檢測(cè)，并控制算法的復(fù)雜程度以滿足實(shí)時(shí)性要求，最后利用LeNet-5對(duì)目標(biāo)區(qū)域進(jìn)行分類識(shí)別。Zhu等[6]在SSD算法基礎(chǔ)上去除了高級(jí)特征映射，在底層特征圖上調(diào)整比例，使底層可以分布更多的回歸框，從而使模型更好地適應(yīng)交通標(biāo)志這類目標(biāo)。劉勝等[7]在YOLOv3的基礎(chǔ)上改進(jìn)網(wǎng)絡(luò)架構(gòu)，利用U-Net網(wǎng)絡(luò)優(yōu)化目標(biāo)定位，最后選用空間變換網(wǎng)絡(luò)實(shí)現(xiàn)目標(biāo)分類任務(wù)。孫超等[8]提取不同維度的位置和方向信息來改善淺層特征感受野，在深層特征上，通過特殊的卷積核進(jìn)行卷積，改進(jìn)注意力機(jī)制通道并融入目標(biāo)空間信息。李哲等[9]在不同層級(jí)的特征圖上使用合理尺度的滑動(dòng)窗口策略，最后引入注意力機(jī)制，聚焦圖像中的關(guān)鍵信息。胡聰?shù)萚10]通過將道路場(chǎng)景的彩色圖像轉(zhuǎn)化成灰度圖像，使用Gabor濾波強(qiáng)化邊緣信息，通過MSERs算法抓取圖像中感興趣區(qū)域，最后提取HOG特征，使用SVM分類器進(jìn)行分類。胡曉光等[11]在提取標(biāo)志局部特征之后，使用字袋模型量化，將得到的本征特征輸入到SVM訓(xùn)練中獲得識(shí)別分類器。梁敏健等[12]通過融合目標(biāo)HOG和Gabor特征向量，采用Softmax分類器對(duì)其進(jìn)行分類識(shí)別。胡月志等[13]基于ORB算法對(duì)歸一化的交通標(biāo)志圖像進(jìn)行特征點(diǎn)描述符計(jì)算，借助此全局描述符采用KNN分類器進(jìn)行分類識(shí)別。Zaklouta等[14]通過圖像紅色增強(qiáng)來減少空間搜索時(shí)造成的多余分割，然后基于圖像中的HOG特征利用SVM分類器和隨機(jī)森林進(jìn)行檢測(cè)識(shí)別。孫曉艷等[15]利用顏色和形狀特征實(shí)現(xiàn)目標(biāo)檢測(cè)，應(yīng)用自適應(yīng)伽馬變換對(duì)圖像進(jìn)行增強(qiáng)，采用最大穩(wěn)定極值區(qū)域算法提取出感興趣區(qū)域，最后基于HOG和SVM對(duì)交通標(biāo)志進(jìn)行分類識(shí)別。Yao等[16]利用HOG提取多種特征信息，并運(yùn)用網(wǎng)格搜索算法優(yōu)化SVM參數(shù)，從而識(shí)別出道路交通標(biāo)志。上述學(xué)者在交通標(biāo)志自動(dòng)檢測(cè)領(lǐng)域提出了自己的研究方法，但由于數(shù)據(jù)集來源約束和計(jì)算量大、耗時(shí)多等問題，使得研究難以實(shí)時(shí)有效地應(yīng)用到實(shí)際場(chǎng)景中。

在深度學(xué)習(xí)發(fā)展中，兩階段算法代表有Fast-RCNN和Faster-RCNN[17]，一階段算法代表有YOLO[18]和SSD，一階段算法在網(wǎng)絡(luò)速度方面優(yōu)于兩階段算法，但準(zhǔn)確性較差。在交通標(biāo)志檢測(cè)研究中：Zhang等[19]在YOLOv2網(wǎng)絡(luò)的中間層采用多個(gè)1×1卷積層，并減少頂部的卷積層，從而降低計(jì)算復(fù)雜度，提高檢測(cè)性能；Xiao等[20]使用resnet101網(wǎng)絡(luò)取代原來的darknet-53網(wǎng)絡(luò)，改進(jìn)后的YOLOv3在檢測(cè)速度、精度方面得到一定提升；張威[21]通過優(yōu)化主干網(wǎng)絡(luò)，采用DIOU_nms方式對(duì)檢測(cè)層進(jìn)行改進(jìn)，較改進(jìn)前的YOLOv4檢測(cè)性能變化不大，但訓(xùn)練時(shí)長(zhǎng)有所減少。因此，速度和準(zhǔn)確度的綜合優(yōu)勢(shì)以及輕量級(jí)的特質(zhì)，使得YOLOv5更易于在各領(lǐng)域應(yīng)用。在YOLOv5的研究基礎(chǔ)上，結(jié)合Hu不變矩法，對(duì)高速公路公里樁檢測(cè)開展研究，可為交通標(biāo)志檢測(cè)提供思路。

1 數(shù)據(jù)準(zhǔn)備

1.1 采集設(shè)備

研究采用課題組自研發(fā)的道路智能巡檢采集系統(tǒng)，進(jìn)行高速公路圖像采集。采集系統(tǒng)集成了雙目相機(jī)、GPS集成模塊、IMU慣性測(cè)量單元以及軟件，雙目相機(jī)拍攝圖像根據(jù)GPS接收器提供的實(shí)時(shí)定位信息計(jì)算，頻率為每3～5 m拍攝一張，采集系統(tǒng)可以同時(shí)生成匹配的前景圖像和景深圖像、同位異構(gòu)信息、行車軌跡。文中使用的數(shù)據(jù)為前景圖像，設(shè)備外觀如圖1所示，采集圖像數(shù)據(jù)如圖2所示。

1.2 采集路段

研究所用數(shù)據(jù)為福建省內(nèi)高速公路，總長(zhǎng)約為190 km，最終采集到的高速公路前景圖像約為60 000余張。研究中將硬件設(shè)備搭載在檢測(cè)車上，并在高速公路上行駛采集，然后從數(shù)據(jù)庫中人工篩查出部分存在公里樁的圖像，方便后續(xù)半自動(dòng)檢測(cè)標(biāo)注使用。

圖1 設(shè)備外觀

1.3 訓(xùn)練庫構(gòu)建

由于人工篩選出足夠用于訓(xùn)練使用的公里樁圖像工作量較大，因此，篩選出一部分公里樁圖像用于YOLOv5s檢測(cè)模型，粗略檢測(cè)剩余前景圖像中的公里樁圖像并自動(dòng)標(biāo)注，然后人工調(diào)整標(biāo)注區(qū)域，可大大縮小人工篩選范圍，半自動(dòng)標(biāo)注流程和標(biāo)注結(jié)果如圖3～4所示。最終標(biāo)注出600張作為訓(xùn)練數(shù)據(jù)集，為測(cè)試模型性能，研究中將一段連續(xù)道路的圖像作為測(cè)試數(shù)據(jù)集。

圖2 采集圖像數(shù)據(jù)

2 YOLOv5s網(wǎng)絡(luò)架構(gòu)

2.1 YOLOv5s模型

實(shí)現(xiàn)高速公路公里樁實(shí)時(shí)檢測(cè)是高速巡檢工作的必然要求，因此，對(duì)選用的深度學(xué)習(xí)網(wǎng)絡(luò)模型在效率和精度方面都有著較高要求。YOLOv5模型檢測(cè)速度快，能夠滿足高速公路上的實(shí)時(shí)處理需求且泛化能力好。本實(shí)驗(yàn)選用YOLOv5系列中深度最小、特征圖寬度最小的YOLOv5s網(wǎng)絡(luò)模型，對(duì)于大目標(biāo)檢測(cè)、高速度有較好效果。YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)包括輸入端、骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)、輸出端4個(gè)部分，圖5為YOLOv5s的網(wǎng)絡(luò)架構(gòu)。其中，在骨干網(wǎng)絡(luò)階段使用切片操作將原始圖像從608×608×3轉(zhuǎn)變成304×304×12的特征圖，再通過32個(gè)卷積核的卷積操作，最終轉(zhuǎn)變成304×304×32的特征圖，減少算法計(jì)算量、加快計(jì)算速度。在頸部網(wǎng)絡(luò)階段，借鑒了跨階段局部網(wǎng)絡(luò)(CSPNet)設(shè)計(jì)的CSP結(jié)構(gòu)，加強(qiáng)了網(wǎng)絡(luò)特征的融合能力。

圖3 半自動(dòng)標(biāo)注流程

圖4 公里樁標(biāo)注結(jié)果

圖5 YOLOv5s網(wǎng)絡(luò)架構(gòu)

2.2 模型訓(xùn)練

構(gòu)建公里樁樣本數(shù)據(jù)庫，樣本包含訓(xùn)練集和驗(yàn)證集，按照8∶2(其中訓(xùn)練集480張、驗(yàn)證集120張)的比例輸入到深度學(xué)習(xí)網(wǎng)絡(luò)中，并進(jìn)行檢測(cè)模型訓(xùn)練和驗(yàn)證。在本實(shí)驗(yàn)中，YOLOv5s的訓(xùn)練參數(shù)設(shè)置如下：訓(xùn)練迭代次數(shù)為400，每次輸送到神經(jīng)網(wǎng)絡(luò)的批處理量為16，訓(xùn)練圖片尺寸為896，采用模型訓(xùn)練過程中默認(rèn)選中的最優(yōu)模型。

3 基于Hu不變矩的公里樁檢測(cè)

對(duì)于訓(xùn)練好的YOLOv5s檢測(cè)模型輸出的檢測(cè)區(qū)域，通過讀取檢測(cè)區(qū)域的坐標(biāo)信息，對(duì)檢測(cè)區(qū)域內(nèi)目標(biāo)物輪廓線的 Hu不變矩特征進(jìn)行圖像識(shí)別。Hu在1962年提出了不變矩(簡(jiǎn)稱Hu矩)[22]，不變矩是圖像中的特殊屬性，是指在平移、旋轉(zhuǎn)、大小變化情況下結(jié)果均不變的特征，圖像技術(shù)領(lǐng)域常用此特征進(jìn)行圖像對(duì)比操作。

3.1 尺寸歸一化

由于檢測(cè)區(qū)域尺寸均不相同，使用Hu不變矩判別檢測(cè)區(qū)域圖像會(huì)出現(xiàn)較大偏差，需要將圖像尺寸歸一化，處理成統(tǒng)一尺寸，如圖6所示。

圖6 尺寸歸一化前后對(duì)比

3.2 灰度化處理

此次實(shí)驗(yàn)使用的前景圖像為彩色圖像，采用加權(quán)平均灰度化處理法將彩色圖像轉(zhuǎn)化為灰度圖像，對(duì)各通道的像素值進(jìn)行加權(quán)平均(見式(1))。作為圖像的灰度值，此過程可以在不影響輪廓提取的情況下減少計(jì)算量，提高圖像處理效率，灰度化前后對(duì)比如圖7所示。

f(i,j)=0.299R(i,j)+0.587G(i,j)+

0.114B(i,j)

(1)

式中:f(i,j)為像素點(diǎn)灰度值；R，G，B為各像素點(diǎn)值。

圖7 灰度化前后對(duì)比

3.3 自適應(yīng)二值化

檢測(cè)區(qū)域經(jīng)過上述尺寸歸一化、灰度化處理后，對(duì)檢測(cè)區(qū)域內(nèi)目標(biāo)和背景進(jìn)行圖像分割，分割后的圖像有利于進(jìn)一步提取目標(biāo)輪廓線。由于熟知的公里樁色調(diào)較為一致，且與復(fù)雜背景之間存在一定差距，所以此次實(shí)驗(yàn)使用自適應(yīng)二值化法分割。

受自然狀態(tài)下的光照因素影響，圖像的明暗程度難以控制，文中采用兩種自適應(yīng)二值化方法相結(jié)合，即基于Otsu的閾值分割法和基于低明度的閾值分割法。當(dāng)檢測(cè)區(qū)域內(nèi)對(duì)象的明度較高時(shí)，Otsu閾值分割法對(duì)于前景和背景有明顯區(qū)別的圖像分割效果較佳。當(dāng)檢測(cè)區(qū)域整體明度較低時(shí)，對(duì)象和背景的差距不大，使用平均明度作為閾值進(jìn)行圖像分割。

R′=R/255

(2)

G′=G/255

(3)

B′=B/255

(4)

V=max(R′,G′,B′)

(5)

式中：R′，G′，B′為圖像中R，G，B的換算值；V為每一像素中R′，G′，B′的最大值。

HSV顏色空間包含H、S、V通道，分別為色調(diào)、飽和度和明度，其中需要將R、G、B的值轉(zhuǎn)換到0～1之間，然后計(jì)算V值。在openCV中處理圖像時(shí)需要將V換算成0～255范圍內(nèi)，取V通道的平均值，即平均明度。實(shí)驗(yàn)中取圖像的明度閾值為70，作為兩種方法的劃分，自適應(yīng)二值化前后對(duì)比如圖8所示。

圖8 自適應(yīng)二值化前后對(duì)比

3.4 輪廓提取

實(shí)驗(yàn)利用公里樁獨(dú)特的六邊形外輪廓作為輪廓特征，這也是與其他誤檢物區(qū)分的重要依據(jù)，通過自適應(yīng)二值化處理后的二值圖像具有多個(gè)閉區(qū)域，采用cv2.RETR_EXTERNAL檢測(cè)每個(gè)閉區(qū)域的輪廓，通過計(jì)算每個(gè)輪廓的面積，選取面積最大時(shí)對(duì)應(yīng)的輪廓作為目標(biāo)物外輪廓。圖9(a)是檢測(cè)出包含兩個(gè)輪廓以上的情況，為提取公里樁輪廓，將面積最大的輪廓作為識(shí)別物體的形狀特征，如圖9(b)所示。

圖9 公里樁輪廓提取

3.5 相似度對(duì)比

通過圖像的7個(gè)不變矩特征來計(jì)算圖像之間的相似度。先選取多個(gè)具有代表性的公里樁及其他目標(biāo)物輪廓進(jìn)行相似度計(jì)算，當(dāng)計(jì)算值大于所設(shè)置的閾值，則認(rèn)定為誤檢目標(biāo)。

對(duì)高為N、寬為M的二維離散圖像f(x,y)，其(p+q)階矩可定義為

(6)

式中：p，q=0，1，2，…。

相應(yīng)的(p+q)階中心矩可定義為

(7)

歸一化的(p+q)階中心矩定義為

(8)

由上述(p+q)階中心矩結(jié)果可推導(dǎo)出以下7個(gè)Hu不變矩

φ1=φ20+φ02

(9)

(10)

φ3=(φ30-3φ12)2+(3φ21-φ03)2

(11)

φ4=(φ30+φ12)2+(φ21+φ03)2

(12)

φ5=(φ30-3φ12)(φ30+φ12)[(φ30+φ12)2-

3(φ21+φ03)2]+(3φ21-φ03)(φ21+φ03)[3(φ30+

φ12)2-(φ21+φ03)2]

(13)

φ6=(φ20-φ02)[(φ30+φ12)2-(φ21+φ03)2]+

4φ11(φ30+φ12)(φ21+φ03)

(14)

φ7=(3φ21-φ03)(φ30+φ21)[(φ30+φ12)2-

3(φ21+φ03)2]+(3φ12-φ30)(φ21+φ03)[3(φ30+

φ12)2-(φ21+φ03)2]

(15)

由于φ1～φ7的數(shù)量級(jí)相差較大，所以需使用對(duì)數(shù)轉(zhuǎn)換將所有值分布到相同范圍中，其中sign(x)為符號(hào)函數(shù)、Hi為不變矩轉(zhuǎn)換后的數(shù)值。

(16)

Hi=-sign(φi)log|φi|

(17)

根據(jù)式(9)～(15)進(jìn)行計(jì)算獲得圖像的7個(gè)Hu不變矩，并通過式(16)～(17)轉(zhuǎn)化成相同范圍內(nèi)的數(shù)值，再由式(18)計(jì)算A，B兩個(gè)圖像輪廓之間的相似度D(A,B)，其值越小表示兩個(gè)輪廓之間越相似。

(18)

4 實(shí)驗(yàn)與結(jié)果分析

4.1 基于YOLOv5s模型的公里樁區(qū)域檢測(cè)

為檢驗(yàn)YOLOv5s檢測(cè)模型的性能，采用測(cè)試數(shù)據(jù)集6 000張作為評(píng)估此模型的基礎(chǔ)數(shù)據(jù)。實(shí)驗(yàn)訓(xùn)練模型采用的服務(wù)器為CPU：Intel i7-10700K；GPU：Nvidia GeForce RTX 3080ti，16 GB。模型訓(xùn)練過程中驗(yàn)證集的表現(xiàn)優(yōu)異，平衡點(diǎn)F值幾乎達(dá)到了最佳狀態(tài)，F(xiàn)值常用來衡量網(wǎng)絡(luò)模型性能好壞，其中P和R分別為準(zhǔn)確率和召回率，如式(19)～(21)所示。

(19)

(20)

(21)

式中：NTP為正確檢測(cè)出的公里樁數(shù)量；NFP為錯(cuò)誤檢測(cè)出的公里樁數(shù)量；NFN為屬于公里樁但未檢測(cè)出的數(shù)量。

如圖10所示，YOLOv5s測(cè)試模型在6 000張測(cè)試集上的表現(xiàn)為：召回率達(dá)到了100%，準(zhǔn)確率為52.7%。通過實(shí)驗(yàn)，在文中運(yùn)行環(huán)境下，YOLOv5s檢測(cè)模型處理每張圖像的平均時(shí)長(zhǎng)為0.138 s，基本能滿足高速公路場(chǎng)景下的實(shí)時(shí)巡檢要求。

圖10 檢測(cè)圖像結(jié)果

從實(shí)驗(yàn)結(jié)果可以看出，YOLOv5s檢測(cè)模型對(duì)公里樁具有強(qiáng)大的搜索能力，且檢測(cè)速度能滿足實(shí)時(shí)巡檢工作，但在高速公路的復(fù)雜場(chǎng)景下，存在較多與公里樁顏色和形狀相似的區(qū)域，這就容易導(dǎo)致測(cè)試模型將其誤認(rèn)為公里樁，因此，準(zhǔn)確率會(huì)不盡如人意。

4.2 基于Hu不變矩的公里樁識(shí)別

在6 000張測(cè)試集中共檢測(cè)出169個(gè)目標(biāo)物，其中公里樁89個(gè)、其他誤檢目標(biāo)80個(gè)。設(shè)定相似度的最大閾值為0.1，超過0.1的則被認(rèn)定為誤檢目標(biāo)。

識(shí)別結(jié)果如表1所示，分析其中的錯(cuò)誤識(shí)別原因主要有以下兩方面：一是經(jīng)過尺寸歸一化后，部分圖像質(zhì)量有所下降，影響最終提取輪廓信息的效果；二是公里樁部分區(qū)域被其他物體遮擋，提取的輪廓不完整，導(dǎo)致計(jì)算得到的相似度數(shù)值較大，從而被判定為誤檢目標(biāo)，測(cè)試區(qū)域及輪廓提取結(jié)果如圖11所示。

表1 識(shí)別結(jié)果統(tǒng)計(jì) 個(gè)

圖11 測(cè)試區(qū)域及輪廓提取

文中利用公里樁獨(dú)特的輪廓形狀作為剔除誤檢的依據(jù)，在YOLOv5s檢測(cè)算法的基礎(chǔ)上添加Hu不變矩誤檢剔除算法，較未添加前時(shí)的準(zhǔn)確率有大幅提升，但由于對(duì)部分正確檢測(cè)公里樁的誤識(shí)別而導(dǎo)致召回率有所下降，改進(jìn)前后結(jié)果對(duì)比如表2所示。

表2 改進(jìn)前后對(duì)比

5 結(jié) 論

研究采用實(shí)驗(yàn)室自主研發(fā)的道路智能巡檢設(shè)備采集高速公路場(chǎng)景下的圖像數(shù)據(jù)，并通過YOLOv5s模型進(jìn)行公里樁自動(dòng)識(shí)別，結(jié)合Hu不變矩算法實(shí)現(xiàn)對(duì)公里樁的誤檢篩除，得到以下結(jié)論。

1)采用YOLOv5s模型進(jìn)行公里樁自動(dòng)識(shí)別，統(tǒng)計(jì)公里樁檢測(cè)的準(zhǔn)確率、召回率以及F值，綜合檢測(cè)速度和全面性得出YOLOv5s模型具有較強(qiáng)的綜合表現(xiàn)能力，能夠較準(zhǔn)確地完成高速公路下的公里樁檢測(cè)。

2)將深度學(xué)習(xí)目標(biāo)檢測(cè)與Hu不變矩圖像處理技術(shù)相結(jié)合，實(shí)現(xiàn)了篩除大部分誤檢，從而提升公里樁檢測(cè)準(zhǔn)確率，為交通標(biāo)志牌識(shí)別提供新思路。

3)在誤檢篩除中，有部分公里樁存在被遮擋現(xiàn)象，在相似度對(duì)比中容易造成誤判。因此，后續(xù)研究中需要對(duì)遮擋部分作還原處理，以便進(jìn)一步提升誤檢篩除的準(zhǔn)確性。