陳 飛，劉云鵬，李思遠(yuǎn)

浙江萬里學(xué)院，浙江 寧波315100

2020年新冠疫情全球蔓延，武漢多地醫(yī)院使用無人車進(jìn)行應(yīng)急物資配送，無人駕駛再次進(jìn)入了公眾視線。交通標(biāo)志的準(zhǔn)確識(shí)別是無人駕駛安全行駛的首要前提，然而在檢測(cè)與識(shí)別過程中會(huì)遇到諸多影響，導(dǎo)致標(biāo)識(shí)在檢測(cè)與識(shí)別時(shí)出現(xiàn)準(zhǔn)確率不穩(wěn)定且處理時(shí)間過長(zhǎng)的問題，這對(duì)無人駕駛的普及是一個(gè)巨大的阻礙。因此，解決復(fù)雜環(huán)境下交通標(biāo)志檢測(cè)與識(shí)別的魯棒性與實(shí)時(shí)性問題顯得急為迫切與重要。

交通標(biāo)志檢測(cè)需要在現(xiàn)實(shí)場(chǎng)景中進(jìn)行實(shí)時(shí)檢測(cè)，環(huán)境多變是其特點(diǎn)之一，進(jìn)而檢測(cè)速度和精度往往會(huì)受到較大影響。在檢測(cè)過程中面臨的困難主要有：光照條件難以控制，不同天氣、季節(jié)和背景下的亮度均不同，曝光、反光以及昏暗情況差異較大；褪色、損壞以及部分遮擋等情況時(shí)有發(fā)生。一方面交通標(biāo)志牌常年暴露在外，使得部分標(biāo)志牌表面出現(xiàn)了褪色不清晰、損壞等現(xiàn)象。另一方面，霧和雪等惡劣天氣往往會(huì)遮擋標(biāo)志牌信息，同時(shí)標(biāo)志牌也容易被旁邊的樹木葉子所遮擋。車輛運(yùn)動(dòng)過程的抖動(dòng)起伏，特別是路面出現(xiàn)坑洼不平等情況時(shí)，拍攝的圖像出現(xiàn)模糊偽影、重影。以上問題，在影響較小時(shí)，通過一定的預(yù)處理和對(duì)應(yīng)點(diǎn)處理方法可以得到較好的結(jié)果，但在情況嚴(yán)重時(shí)則無法得到想要的結(jié)果。

本文主要研究惡劣天氣與復(fù)雜光線情況。在雨霧等惡劣天氣和強(qiáng)光、昏暗等復(fù)雜光線的環(huán)境下，室外采集的圖像普遍存在圖像模糊、光照不足等問題。在檢測(cè)時(shí)會(huì)出現(xiàn)漏檢和定位不準(zhǔn)確的情況，無法滿足現(xiàn)實(shí)需求。因此需要預(yù)處理采集到的圖像，以滿足后期使用。在此環(huán)境下對(duì)拍攝到的圖像進(jìn)行預(yù)處理異于其他場(chǎng)景：交通標(biāo)志通常處于戶外且無任何遮擋物進(jìn)行保護(hù)，常年受風(fēng)雨的侵蝕，使得其顏色、形狀以及內(nèi)容會(huì)受到一定的損傷。同時(shí)，在霧霾等天氣下，整個(gè)標(biāo)志牌都會(huì)被遮擋。在不同光線下，標(biāo)志牌會(huì)出現(xiàn)反光和過暗等情況。交通標(biāo)志識(shí)別作為無人車的應(yīng)用之一，在路面行駛時(shí)發(fā)揮著重要作用。交通標(biāo)志識(shí)別需要達(dá)到的基本要求是在高速運(yùn)動(dòng)過程中滿足實(shí)時(shí)性識(shí)別和較高的準(zhǔn)確度。交通標(biāo)志檢測(cè)時(shí)，往往車與標(biāo)志的距離較遠(yuǎn)，進(jìn)而拍攝到的圖像中標(biāo)志的占比較小，更加易受復(fù)雜環(huán)境的影響。復(fù)雜環(huán)境下的交通標(biāo)志檢測(cè)與識(shí)別技術(shù)將應(yīng)用在未來的無人駕駛上，無人車上路的前提是安全第一。這一初衷是與其他圖像處理應(yīng)用不同的。綜上所述，復(fù)雜環(huán)境下交通標(biāo)志檢測(cè)與識(shí)別時(shí)所使用的圖像處理方法，在其處理時(shí)間、場(chǎng)景、難度以及清晰度等方面的要求更高，關(guān)系到未來的無人車上路安全的問題，不能出現(xiàn)任何狀況。

交通標(biāo)志檢測(cè)與識(shí)別依賴于所拍攝的圖像。無論是傳統(tǒng)依靠顏色和形狀的檢測(cè)方法還是基于深度學(xué)習(xí)的方法，圖像的清晰度直接影響標(biāo)志的檢測(cè)速度與準(zhǔn)確率。如果前期圖像處理效果較差，使得圖像在后期識(shí)別時(shí)容易出現(xiàn)漏檢或錯(cuò)檢，進(jìn)而導(dǎo)致識(shí)別出錯(cuò)。同時(shí)，從圖像處理到標(biāo)志檢測(cè)再到標(biāo)志識(shí)別整個(gè)過程對(duì)時(shí)效性有較高的要求，不單單是檢測(cè)、識(shí)別，更是在最短的時(shí)間內(nèi)高準(zhǔn)確率的檢測(cè)、識(shí)別。因此復(fù)雜環(huán)境下圖像處理對(duì)后期識(shí)別有較大的影響。對(duì)于目標(biāo)檢測(cè)來說，好的數(shù)據(jù)集可以使實(shí)驗(yàn)更加準(zhǔn)確，更能應(yīng)用到現(xiàn)實(shí)生活中，于是數(shù)據(jù)集的來源要求要更高。復(fù)雜環(huán)境下交通標(biāo)志數(shù)據(jù)集通常通過三種途徑獲得：實(shí)地實(shí)況下進(jìn)行拍攝；網(wǎng)絡(luò)爬蟲技術(shù)爬取相關(guān)數(shù)據(jù)；通過現(xiàn)有的數(shù)據(jù)集進(jìn)行增霧、增雨等操作。

許多學(xué)者對(duì)交通標(biāo)志的檢測(cè)與識(shí)別進(jìn)行了歸類綜述。Wali[1]著重描述了在自動(dòng)交通標(biāo)志檢測(cè)與識(shí)別（Automatic Traffic Sign Detection and Recognition，ATSDR）領(lǐng)域面臨的挑戰(zhàn)以及未來發(fā)展趨勢(shì)，對(duì)其方法概述較少。Gudigar等[2]對(duì)ATSDR系統(tǒng)的三個(gè)主要步驟進(jìn)行了的回顧，其著重點(diǎn)是圖像采集系統(tǒng)的不同實(shí)驗(yàn)設(shè)置。Saadna等[3]、伍曉暉等[4]、董曉華等[5]以及Luo等[6]也只是僅僅綜述了交通標(biāo)志檢測(cè)與識(shí)別的有效方法和技術(shù)難點(diǎn)。以上研究綜述均未考慮惡劣天氣和復(fù)雜光線時(shí)的處理方法與步驟，這正是本文的新穎之處。

1 交通標(biāo)志檢測(cè)與識(shí)別方法

交通標(biāo)志檢測(cè)是將車載相機(jī)中采集到的交通標(biāo)志經(jīng)過圖像預(yù)處理，初步定位標(biāo)志所在位置，為識(shí)別提供目標(biāo)區(qū)域。因此，交通標(biāo)志的檢測(cè)結(jié)果直接影響到下一步交通標(biāo)志識(shí)別。交通標(biāo)志識(shí)別最關(guān)鍵的技術(shù)是對(duì)檢測(cè)到的交通標(biāo)志進(jìn)行判別，以便確定交通標(biāo)志屬于哪一種具體的交通標(biāo)志。以下總結(jié)了交通標(biāo)志檢測(cè)與識(shí)別的方法。

1.1 交通標(biāo)志檢測(cè)

交通標(biāo)志有固定顏色（紅、藍(lán)、黃）和特定形狀（三角形、圓形、矩形、多邊形），這些特性使其與其他物體有所區(qū)分。因此，一些學(xué)者從顏色、形狀和混合特征三個(gè)角度進(jìn)行了交通標(biāo)志的檢測(cè)研究。

基于顏色特征的檢測(cè)方法因交通標(biāo)志通常以鮮亮可見的顏色進(jìn)行染色，很好地和周圍環(huán)境進(jìn)行了區(qū)分。具體檢測(cè)方法是將拍攝的圖像劃分為若干相似顏色屬性的子集，然后通過處理顏色閾值進(jìn)行分割，進(jìn)而提取交通標(biāo)志。其中基于色彩空間的方法有：基于紅、綠、藍(lán)（Red，Green，Blue，RGB）的顏色空間；基于色調(diào)、飽和度和值（Hue，Saturation，Value，HSV）的顏色空間；基于色相、飽和度和強(qiáng)度（Hue，Saturation，Intensity，HSI）的色彩空間和其他顏色空間。但是，基于顏色特征的檢測(cè)方法很容易受天氣和光照的影響。

基于交通標(biāo)志形狀檢測(cè)的方法是先找到其輪廓，然后根據(jù)輪廓數(shù)量進(jìn)行決策。最常見的形狀檢測(cè)方式是Zaklouta等[7]提出的在給定圖像中隔離特定形狀特征的霍夫變換方法（Hough）。其他基于形狀的檢測(cè)方式還有：相似性檢測(cè)，即計(jì)算分割區(qū)域與每個(gè)標(biāo)準(zhǔn)形狀的二值圖像樣本集間的相似因子進(jìn)行檢測(cè)；距離變換匹配，是給每個(gè)非邊緣像素分配一個(gè)值來形成圖像的距離變換，取離最近邊緣像素距離最短的點(diǎn)；邊緣檢測(cè)特征和類Haar特征是兩種無色交通標(biāo)志檢測(cè)方法，邊緣檢測(cè)是指在圖像中識(shí)別和定位尖銳不連續(xù)的過程，類Haar特征的檢測(cè)方法是基于Haar小波原理來進(jìn)行識(shí)別。基于形狀的檢測(cè)方法存在一個(gè)最大的問題是當(dāng)標(biāo)志被部分遮擋后，該類方法就會(huì)失效。為了有效彌補(bǔ)上述兩種方法的不足，有學(xué)者對(duì)顏色和形狀兩種特征進(jìn)行了融合。融合后，無論是先基于顏色特征還是先基于形狀特征，都體現(xiàn)出比單一特征較好的優(yōu)勢(shì)。

隨著深度學(xué)習(xí)的發(fā)展，不少學(xué)者對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志檢測(cè)與識(shí)別的方法展開了研究。深度學(xué)習(xí)模型無需人工設(shè)計(jì)就可以自動(dòng)提取特征，避免了人工設(shè)計(jì)特征的局限性。卷積神經(jīng)網(wǎng)絡(luò)具有代表性的層次特征，與上述傳統(tǒng)方法形成了鮮明對(duì)比。深度學(xué)習(xí)方法分為基于候選區(qū)域的兩階段法和基于回歸方式的單階段法。本節(jié)總結(jié)了常見的交通標(biāo)志檢測(cè)方法，見表1。

表1 交通標(biāo)志檢測(cè)方法與優(yōu)缺點(diǎn)Table 1 Traffic sign detection method and its advantages and disadvantages

1.2 交通標(biāo)志識(shí)別

在圖像中檢測(cè)出交通標(biāo)志后，首先需對(duì)其提取標(biāo)志特征，然后進(jìn)行分類識(shí)別。主要識(shí)別方法有模板匹配法、基于機(jī)器學(xué)習(xí)法和基于深度學(xué)習(xí)法。模板匹配法是圖像處理中常用的匹配方法，也是最基本的模式識(shí)別方法，其原理是用定義好的模板在圖像像素點(diǎn)上進(jìn)行搜索匹配。基于機(jī)器學(xué)習(xí)法主要采用“人工特征提取+機(jī)器學(xué)習(xí)方法”的方式進(jìn)行識(shí)別。基于深度學(xué)習(xí)法越來越受歡迎，這是因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)無需設(shè)計(jì)手工特征就可完成輸入圖像的特征提取與內(nèi)容識(shí)別。各種識(shí)別方式及其優(yōu)缺點(diǎn)見表2。

表2 交通標(biāo)志識(shí)別方法及優(yōu)缺點(diǎn)Table 2 Traffic sign recognition method and its advantages and disadvantages

2 復(fù)雜環(huán)境下交通標(biāo)志檢測(cè)與識(shí)別

受復(fù)雜場(chǎng)景影響，交通標(biāo)志檢測(cè)與識(shí)別較正常環(huán)境存在一些難點(diǎn)。因此，學(xué)術(shù)界對(duì)如何提高復(fù)雜環(huán)境下交通標(biāo)志檢測(cè)與識(shí)別的精度與速度進(jìn)行了諸多探究。本文對(duì)不同復(fù)雜情況下標(biāo)志檢測(cè)與識(shí)別的方法展開論述，詳見表3至表5。

表3 霧霾環(huán)境下交通標(biāo)志檢測(cè)與識(shí)別方法及效率Table 3 Methods and efficiency of traffic sign detection and recognition in haze environment

表5 復(fù)雜光線環(huán)境下交通標(biāo)志檢測(cè)與識(shí)別方法及效率Table 5 Traffic sign detection and recognition methods and efficiency in complex light environment

表4 雨、雪環(huán)境下交通標(biāo)志檢測(cè)與識(shí)別方法及效率Table 4 Traffic sign detection and recognition methods and efficiency in rain and snow environments

2.1 霧與霧霾環(huán)境下交通標(biāo)志識(shí)別

張國(guó)山等[37]針對(duì)霧霾這一現(xiàn)象，提出了一種霧霾環(huán)境下交通標(biāo)志檢測(cè)與識(shí)別的方法。該方法首先檢測(cè)圖像中是否有霧，如果有霧進(jìn)行圖像去霧處理，如果沒有則跳過。圖像去霧采用的方法是雙邊濾波，過濾其圖像中的霧霾噪音。然后，通過使用經(jīng)典的物理模型描述霧霾天對(duì)圖像造成的損失程度來恢復(fù)原圖，此模型包含衰減模型和環(huán)境光照模型兩部分。該方法的思想是從圖像中估計(jì)環(huán)境的光照和全局大氣光，來達(dá)到圖像去霧的目的。在交通標(biāo)志檢測(cè)階段，使用傳統(tǒng)的混合特征進(jìn)行檢測(cè)。先將其圖像的顏色空間改為HSV，然后進(jìn)行Canny邊緣檢測(cè)和計(jì)算邊緣形狀角度來完成檢測(cè)；在識(shí)別階段，采用經(jīng)典的模板匹配法進(jìn)行標(biāo)志識(shí)別。但是此方法計(jì)算量較大，耗時(shí)較長(zhǎng)。

(2)系統(tǒng)熱容對(duì)加熱時(shí)間的影響可由時(shí)間常數(shù)τ反映，其影響因素主要為系統(tǒng)熱容Ct，系統(tǒng)熱容越小，時(shí)間常數(shù)越小，加熱時(shí)間越少，但不會(huì)影響熱水器最后的溫升；進(jìn)氣流量與進(jìn)水流量決定熱水器的最終溫升，且進(jìn)水流量越小，進(jìn)氣流量越大加熱時(shí)間越??；當(dāng)最終溫升確定后，進(jìn)水流量越大，時(shí)間常數(shù)越小，熱水器加熱時(shí)間越少。

薛玉利[38]提出一種基于暗原色原理的圖像去霧和具有色彩恢復(fù)的多尺度Retinex算法（Multi-Scale Retinex with Color Restoration，MSERS）的交通標(biāo)志檢測(cè)方法。去霧方面是根據(jù)霧天圖像的光學(xué)模型進(jìn)行反推，進(jìn)而恢復(fù)原圖。得到恢復(fù)圖像后，使用無需選取最優(yōu)閾值的MSERS檢測(cè)交通標(biāo)志。該方法在薄霧、中霧時(shí)表現(xiàn)較好，但在濃霧時(shí)，圖像無法得到恢復(fù)，進(jìn)而后續(xù)檢測(cè)工作無法進(jìn)行。

盛廣峰[39]對(duì)基于暗通道先驗(yàn)的圖像去霧方法深入了解后，發(fā)現(xiàn)其存在諸多不足，于是針對(duì)帶霧圖像的景深與非景深邊緣，提出多尺度窗口的自適應(yīng)暗原色估計(jì)圖像去霧算法。同時(shí)，作者還針對(duì)特殊情況下圖像去霧后出現(xiàn)色彩失真的現(xiàn)象，提出了自適應(yīng)透射率修復(fù)。首先，根據(jù)大氣散射模型，定義大氣耗散函數(shù)，同時(shí)獲得自適應(yīng)暗原色估計(jì)圖估出大氣光值。其次，將其作為未濾波的圖像，含霧的灰色圖作為引導(dǎo)圖，進(jìn)而通過引導(dǎo)濾波器得到暗原色圖像。最后，將計(jì)算結(jié)果帶入圖像去霧表達(dá)式中，得到清晰圖像。在交通標(biāo)志識(shí)別階段，作者使用了兩種方式：一種是改進(jìn)的VGG16模型，通過結(jié)合遷移學(xué)習(xí)并加入空間金字塔池化，使改進(jìn)后的VGG16模型解決了固定大小圖像輸入的問題，提高了識(shí)別準(zhǔn)確率。另一種方法是剔除了全連接層，改用全局平均池化層，同時(shí)引入增強(qiáng)特征提取的Inception卷積模塊、提高網(wǎng)絡(luò)收斂速度后的批量歸一化層和Leaky ReLu激活函數(shù)，組成了一個(gè)專門用于交通標(biāo)志識(shí)別的TSD-CNN網(wǎng)絡(luò)，識(shí)別準(zhǔn)確率得到顯著提高。

陳秀新等[40]提出先去霧后識(shí)別的方法，根據(jù)霧霾下圖像質(zhì)量退化過程的先驗(yàn)信息來進(jìn)行圖像恢復(fù)，使用模型的優(yōu)化方法和判別式學(xué)習(xí)法求解。為了使效果達(dá)到最優(yōu)，將CNN網(wǎng)絡(luò)學(xué)習(xí)方式加入到基于半正定分割的模型中去。實(shí)驗(yàn)表明，此方法表現(xiàn)較好。同時(shí)，在識(shí)別方面，為了彌補(bǔ)常用卷積神經(jīng)網(wǎng)絡(luò)在進(jìn)行下采樣時(shí)容易丟失關(guān)鍵信息的問題，作者在其提出的Multi-channel CNN模型的第四通道加入了A-U-Pool（AveragePool-UpSampling-Pool）模塊，進(jìn)而提高了一定的識(shí)別度且泛化性增強(qiáng)。

2.2 雨、雪環(huán)境下交通標(biāo)志識(shí)別

王文成等[41]提出一種雨、雪天氣中的道路交通標(biāo)志識(shí)別方法。在圖像去雨方面，首先通過低通濾波處理方法將圖像中雨雪點(diǎn)和雨雪線兩種不同形式分解成粗糙和細(xì)節(jié)兩部分；之后，將細(xì)節(jié)部分通過稀疏編碼和字典學(xué)習(xí)算法分成紋理圖和雨痕圖；最后，根據(jù)雨痕形狀特征的先驗(yàn)信息，通過雨痕長(zhǎng)寬比對(duì)所述紋理圖和雨痕子圖進(jìn)行二次判別，以便更精確地將紋理圖從細(xì)節(jié)圖中分解出來，從而得到清晰圖像。在交通標(biāo)志檢測(cè)方面，根據(jù)交通標(biāo)志特有的顏色、形狀、梯度以及位置建立了多層特征顯著性模型，并采用提升算法（Boosting）進(jìn)行訓(xùn)練。同時(shí)，采用級(jí)聯(lián)式卷積神經(jīng)網(wǎng)絡(luò)對(duì)標(biāo)志進(jìn)行識(shí)別。該級(jí)聯(lián)式卷積神經(jīng)網(wǎng)絡(luò)由兩部分組成：第一部分卷積神經(jīng)網(wǎng)絡(luò)是對(duì)輸入的標(biāo)志進(jìn)行簡(jiǎn)單的粗分類，且將結(jié)果傳送到第二部分；第二部分的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行細(xì)分類，進(jìn)而達(dá)到準(zhǔn)確識(shí)別的目的。但是此方法計(jì)算量較大，并不滿足實(shí)時(shí)性要求。

康馨勻[42]設(shè)計(jì)了一種基于圖像修復(fù)的雨天交通標(biāo)志識(shí)別方法。該方法使用Hough變換檢測(cè)圖像上是否存在雨滴，存在雨滴時(shí)就將圖像分成結(jié)構(gòu)圖和紋理圖兩部分，然后根據(jù)雨滴區(qū)域四周的信息對(duì)上述兩部分圖進(jìn)行修復(fù)。修復(fù)圖像的原理是利用修復(fù)區(qū)域附近的信息來填充待修復(fù)區(qū)域。在檢測(cè)方面，提出了一種優(yōu)化的自適應(yīng)閾值分割算法進(jìn)行標(biāo)志檢測(cè)。首先，對(duì)圖像中的紅、藍(lán)、黃區(qū)域進(jìn)行增強(qiáng)，以提高區(qū)域的對(duì)比度。然后，統(tǒng)計(jì)圖像的灰度概率分布，計(jì)算概率密度函數(shù)，得到圖像的自適應(yīng)閾值。根據(jù)確定的自適應(yīng)閾值對(duì)圖像進(jìn)行分割，得到粗濾波圖像。最后，根據(jù)標(biāo)志的形狀特征，對(duì)粗濾波后的圖像進(jìn)行精確檢測(cè)。檢測(cè)到標(biāo)志后，通過使用融合了形狀信息的方向梯度直方圖（Histogram of Oriented Gradients，HOG）和紋理信息的Gabor模型進(jìn)行特征提取，進(jìn)而使用基于單特征和多特征融合的SVM分類器對(duì)交通標(biāo)志進(jìn)行識(shí)別。同年，董天天等[43]使用一種小波分解再融合技術(shù)來達(dá)到圖像去雨雪的目的。作者將一幅圖像進(jìn)行小波分解，將小波高頻系數(shù)中絕對(duì)值較大的賦予給亮度急劇變化的點(diǎn)。然后對(duì)融合后的同樣目標(biāo)進(jìn)行取舍，即融合前在圖像X中若比圖像Y中顯著，融合后圖像X中的目標(biāo)就被保留，圖像Y中的目標(biāo)就被忽略。最終圖像X、Y的小波變換系數(shù)在不同分辨率水平上表現(xiàn)不同，使得融合后的圖像中兩幅圖像的顯著部分均保留了下來。在檢測(cè)與識(shí)別方面采用了改進(jìn)后的YOLOv3方法：特征金字塔增強(qiáng)檢測(cè)、Kmeans算法進(jìn)行邊框聚類。最終該方法的平均正確率（Mean Average Precision，MAP）為0.912 3，超過了SSD和Fast R-CNN方法。

2.3 復(fù)雜光線環(huán)境下交通標(biāo)志識(shí)別

Khan等[44]開發(fā)了具有照明預(yù)處理的智能交通標(biāo)志識(shí)別系統(tǒng)，提出了暗區(qū)域敏感色調(diào)映射，將亮度范圍分為多個(gè)區(qū)域，并對(duì)其使用不同的色調(diào)映射功能。該方法較好地針對(duì)了暗區(qū)域的照明，且對(duì)明亮的標(biāo)志圖片影響較小。同時(shí)使用YOLOv3優(yōu)化版后的TS探測(cè)器檢測(cè)交通標(biāo)志。TS探測(cè)器從訓(xùn)練數(shù)據(jù)中預(yù)先計(jì)算錨箱的大小，并在第一個(gè)檢測(cè)階段使用五個(gè)錨箱，在其余兩個(gè)檢測(cè)階段使用兩個(gè)錨箱。還將圖像調(diào)整為更密集的網(wǎng)格，更加適合檢測(cè)標(biāo)志占比較小的圖像。測(cè)試結(jié)果表明，該方法在KTSD（Korea Traffic Sign Detection）數(shù)據(jù)集和GTSDB數(shù)據(jù)集上平均精度分別為90.07%和100%，效果較佳。

趙坤等[47]提出使用圖像增強(qiáng)方法與YOLOv3模型相結(jié)合，來對(duì)弱光照條件下的交通標(biāo)志進(jìn)行檢測(cè)與識(shí)別。該文提出一種自適應(yīng)圖像增強(qiáng)的方法解決復(fù)雜光線下拍攝的圖像樣本，然后對(duì)YOLOv3中的聚類算法和損失函數(shù)進(jìn)行改進(jìn)，使得訓(xùn)練模型更加具有魯棒性。但是這種方法在圖像處理階段比較耗時(shí)。

上述方法均能解決各復(fù)雜環(huán)境下交通標(biāo)志檢測(cè)與識(shí)別的任務(wù)，但檢測(cè)、識(shí)別的精度與實(shí)時(shí)性要求方面還有一定的改進(jìn)空間，應(yīng)在今后著重加強(qiáng)。

3 常見交通標(biāo)志數(shù)據(jù)集

交通標(biāo)志數(shù)據(jù)集在交通標(biāo)志檢測(cè)與識(shí)別中占有重要地位，數(shù)據(jù)集優(yōu)劣會(huì)影響整體識(shí)別結(jié)果的準(zhǔn)確率。本文將概述國(guó)內(nèi)外常用的交通標(biāo)志數(shù)據(jù)集，見表6。

表6 交通標(biāo)志檢測(cè)與識(shí)別數(shù)據(jù)集Table 6 Traffic sign detection and recognition data sets

德國(guó)交通標(biāo)志檢測(cè)基準(zhǔn)（GTSDB）是目前常用的數(shù)據(jù)集之一，它由900張圖像（600張用來訓(xùn)練，300張用于測(cè)試）組成。這些圖像是在德國(guó)波鴻附近拍攝的，其交通標(biāo)志的類別主要有禁止標(biāo)志、危險(xiǎn)標(biāo)志和強(qiáng)制性標(biāo)志。德國(guó)交通標(biāo)志識(shí)別基準(zhǔn)（German Traffic Sign Recognition Benchmark，GTSRB）是一個(gè)多類、單一圖像分類數(shù)據(jù)集，是一個(gè)大型的、逼真的數(shù)據(jù)庫，有50 000多個(gè)圖像和40個(gè)類。比利時(shí)交通標(biāo)志檢測(cè)基準(zhǔn)（Belgium Traffic Sign Detection Benchmark，BTSDB）和比利時(shí)交通標(biāo)志分類基準(zhǔn)（Belgium Traffic Sign Classification Benchmark，BTSCB）是比利時(shí)的大型交通標(biāo)志數(shù)據(jù)集，用于檢測(cè)和識(shí)別。BTSDB有大約7 000個(gè)圖像（4 500個(gè)用來訓(xùn)練，2 500個(gè)用于測(cè)試），BTSCB有10 000個(gè)圖像，其中包括13 444個(gè)標(biāo)志，62個(gè)類別。

目前國(guó)內(nèi)主要有三大交通標(biāo)志數(shù)據(jù)集：TT-100K（Tsinghua-Tencent 100K Tutorial）是Zhu等人收集的騰訊街景圖片，它覆蓋了中國(guó)5個(gè)城市的市中心和郊區(qū)。該數(shù)據(jù)集還注釋了交通標(biāo)志的邊界框、類和像素掩碼，但是在高分辨率的圖片中，這些標(biāo)志的占比都較小。Yang等[51]在2016年提出了中國(guó)交通標(biāo)志數(shù)據(jù)集（Chinese Traffic Sign Dataset，CTSD），拍攝的圖片來源于北京和廈門的公路、城市和農(nóng)村道路。2017年，長(zhǎng)沙科技大學(xué)的Zhang等[52]通過擴(kuò)展CTSD數(shù)據(jù)集，加入了5 200幅中國(guó)高速公路圖像。他們通過添加噪聲、改變光照和縮放等方式來增強(qiáng)原始圖像，現(xiàn)有圖片量已超過15 000張。

以上數(shù)據(jù)集中均存在一種或幾種復(fù)雜環(huán)境下拍攝的圖像，其中占比各不相同。GTSDB數(shù)據(jù)集中的圖像在進(jìn)行標(biāo)志檢測(cè)與識(shí)別時(shí)面臨的環(huán)境挑戰(zhàn)有光照、遮擋、模糊、陰影、陰霾、下雨、陰天等；GTSRB中面臨的挑戰(zhàn)有光照、遮擋、變形、模糊；BTSDB中面臨的挑戰(zhàn)有光照、遮擋、陰暗；BTSCB中面臨的挑戰(zhàn)有光照、遮擋、變形；CTSD和CCTSDB（CSUST Chinese Traffic Sign Detection Benchmark）中面臨的挑戰(zhàn)有光照、遮擋、陰影、下雨、陰天、臟鏡頭、反射、霧霾、模糊；STS（Swedish Traffic Signs）中面臨的挑戰(zhàn)有光照、遮擋、陰影、模糊、多云、下雨；Stereopolis中面臨的挑戰(zhàn)有光照、遮擋、陰暗；TT-100K中面臨的挑戰(zhàn)有光照、遮擋、陰霾、陰影；LISA（Laboratory for Intelligent and Safe Automobiles）中面臨的挑戰(zhàn)有光照、遮擋、陰影、模糊、反射、鏡頭臟污、陰暗；DITS（Italian Traffic Sign Dataset）中面臨的挑戰(zhàn)有光照、霧霾、反射；CURE-TSD（Challenging Unreal and Real Environments for Traffic Sign Detection）中面臨的挑戰(zhàn)有雨、雪、陰影、霧霾、照明、脫色、模糊、噪聲、臟鏡頭、遮擋、陰天。以上數(shù)據(jù)集中，復(fù)雜環(huán)境下拍攝圖像占比最小的為RUG，48張圖片中光線昏暗的有10張，并且對(duì)檢測(cè)程度影響較小。占比最大的為超過50%的CURE-TSD，同時(shí)復(fù)雜情況較為明顯，對(duì)后期的檢測(cè)影響較大。其他數(shù)據(jù)集的占比在10%~30%不等。經(jīng)學(xué)者研究表明，復(fù)雜環(huán)境下拍攝的圖像如果直接進(jìn)行檢測(cè)會(huì)導(dǎo)致檢測(cè)時(shí)間過長(zhǎng)，且錯(cuò)誤率較高，無法應(yīng)用到無人車上，因此在進(jìn)行檢測(cè)前要對(duì)圖像進(jìn)行預(yù)處理。復(fù)雜程度決定了預(yù)處理的時(shí)間和清晰度，同時(shí)也決定了預(yù)處理所使用的方法。

4 分析與展望

本文簡(jiǎn)要闡述了交通標(biāo)志檢測(cè)與識(shí)別技術(shù)，然后對(duì)近年來各類復(fù)雜環(huán)境下的交通標(biāo)志檢測(cè)與識(shí)別文章進(jìn)行了詳細(xì)綜述。隨著計(jì)算機(jī)硬件性能的提高，深度學(xué)習(xí)的優(yōu)勢(shì)也逐漸顯現(xiàn)?；谏疃葘W(xué)習(xí)方法的交通標(biāo)志檢測(cè)與識(shí)別在其準(zhǔn)確度和實(shí)時(shí)性上有了很大的提升，但其處于復(fù)雜環(huán)境時(shí)，仍然有較大的提升空間。本文對(duì)下一步待解決的問題與研究方向進(jìn)行了總結(jié)：

基于深度學(xué)習(xí)方法處理圖像和標(biāo)志檢測(cè)、識(shí)別都已成熟，但為了提高準(zhǔn)確率，卷積神經(jīng)網(wǎng)絡(luò)層數(shù)不斷增加，從而導(dǎo)致計(jì)算量增加，實(shí)時(shí)性不強(qiáng)。如何在保證準(zhǔn)確率的前提下減少層數(shù)達(dá)到實(shí)時(shí)效果是值得思考的問題，這可成為今后的一個(gè)研究方向。

單一模型處理某種或一類復(fù)雜環(huán)境效果較好，但現(xiàn)實(shí)中往往出現(xiàn)多種復(fù)雜情況同時(shí)發(fā)生且時(shí)常伴有車輛顛簸的現(xiàn)象。此時(shí)，圖像含噪音且畫面模糊，處理難度較大且實(shí)時(shí)性要求無法滿足，如何處理此狀況需進(jìn)一步地思考。