崔洪濤 ，曹 科 ，張 虎 ，崔 瀟

（1.河南省高速公路聯(lián)網(wǎng)監(jiān)控收費(fèi)通信服務(wù)有限公司，河南 鄭州 450016；2.西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院，四川 成都 611756）

目前，智能交通系統(tǒng)中重要的研究課題之一是如何高效和正確地利用廣泛的視頻監(jiān)控圖像來識(shí)別各類交通環(huán)境中的氣象狀況.無論是城市交通還是道路交通無時(shí)無刻不與天氣狀況有著緊密的聯(lián)系，天氣的好壞對(duì)交通運(yùn)輸有著直接的影響.特別是惡劣的天氣不僅會(huì)大大削弱交通運(yùn)輸效率，還會(huì)直接導(dǎo)致交通事故，危及人們的生命財(cái)產(chǎn)安全.據(jù)《中華人民共和國道路交通事故統(tǒng)計(jì)年報(bào)（2010年度）》[1]統(tǒng)計(jì)數(shù)據(jù)，全國發(fā)生21.95萬起交通事故，其中高達(dá)29.79%的事故由惡劣天氣導(dǎo)致.所以，城市交通運(yùn)營、高速公路管理、航班時(shí)刻制定等，都需要以準(zhǔn)確掌握交通環(huán)境中的天氣狀況為前提.例如：暴雨將影響駕駛可見度，這種情況下高車流量容易引發(fā)交通事故，而如果能及時(shí)捕捉到局部暴雨情況，便可以通過疏導(dǎo)和限制車流達(dá)到降低交通事故發(fā)生概率的目的；航空運(yùn)輸對(duì)低空天氣狀況更加敏感，造成事故的往往為低空事故，因此及時(shí)監(jiān)測低空天氣環(huán)境更為重要，并以此為依據(jù)對(duì)即將起飛或降落的飛機(jī)進(jìn)行管理.

雖然可以從氣象臺(tái)獲取天氣信息，但這往往是大范圍的天氣信息.利用氣象傳感器監(jiān)測局部天氣狀況，則存在價(jià)格昂貴，難以應(yīng)用于巨大的交通網(wǎng)絡(luò)的困境.于是，基于視覺的天氣檢測方法逐漸受到關(guān)注.然而，基于視覺的方法普遍存在準(zhǔn)確度不足的問題，這個(gè)問題在復(fù)雜的交通場景下尤為突出.總的來說，目前交通路網(wǎng)天氣檢測主要面臨三方面的挑戰(zhàn)，即局部天氣監(jiān)測困難、氣象傳感器昂貴、基于視覺的天氣識(shí)別方法效果差.

對(duì)于已普遍建立在交通路網(wǎng)中的道路監(jiān)控系統(tǒng)，研究人員更青睞通過采集監(jiān)控圖像來完成局部天氣精準(zhǔn)分類檢測.基于圖像完成天氣識(shí)別任務(wù)，需要通過模型提取分類特征.有通過直方圖特征來提取天氣信息[2-3]的方法，但適用范圍過于局限.有用場景理解來做分類的方式[4-5]，還有用尺度不變特征變換（scale-invariant feature transform，SIFT）[6]或方向梯度直方圖（histogram of oriented gradient，HOG）[7]等特征信息來做分類的方式，但這些方法提取的特征對(duì)于明暗變化劇烈的天氣圖片很難適用.因此，傳統(tǒng)特征提取的方法并不適用于天氣檢測任務(wù).

近幾年，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）[8]在計(jì)算機(jī)視覺方面取得了巨大的發(fā)展，并在廣泛的圖像分類任務(wù)中展示了強(qiáng)大的優(yōu)勢.但對(duì)于復(fù)雜交通場景下的天氣識(shí)別任務(wù)，現(xiàn)有CNN普遍存在準(zhǔn)確率不足的問題.最近的研究表明，通過將注意力機(jī)制和二階特征處理方法集成到網(wǎng)絡(luò)之中，可以增強(qiáng)特征的表達(dá)能力.基于此，本文提出融合多種優(yōu)化機(jī)制的聯(lián)合投票網(wǎng)絡(luò)（joint voting network，JVNet），該網(wǎng)絡(luò)能顯著提高在復(fù)雜交通場景下的天氣識(shí)別精度，使基于交通路網(wǎng)監(jiān)控圖像的天氣分類成為可能，大大增加交通智能化程度.

因此，針對(duì)交通應(yīng)用任務(wù)的有效性，本文構(gòu)建了一個(gè)新的天氣識(shí)別數(shù)據(jù)集，該數(shù)據(jù)集包含3820張彩色圖片，覆蓋6種天氣類型（包括晴、雨、小霧、中霧、大霧、雪）.圖像來源于網(wǎng)絡(luò)，采集內(nèi)容為各類交通場景.為體現(xiàn)數(shù)據(jù)集的詳細(xì)分布信息，分別統(tǒng)計(jì)了不同天氣圖像的數(shù)量分布、亮度分布以及圖像尺寸分布，具體見附加材料圖S1～S3.相較于以往提出的數(shù)據(jù)集，該數(shù)據(jù)集傾向于交通應(yīng)用，覆蓋更多天氣類型，類別數(shù)量分布不均，亮度分布相似，這都表明了在該數(shù)據(jù)集上的分類任務(wù)難度大，能充分滿足對(duì)實(shí)際交通場景天氣分類任務(wù)的驗(yàn)證需求.

1 相關(guān)工作

1.1 傳統(tǒng)的天氣識(shí)別方法

將計(jì)算機(jī)視覺方法應(yīng)用于圖像的天氣分類任務(wù)上，很多學(xué)者做了努力.早期的做法是：利用圖像中的一些先驗(yàn)信息來做分類[2-3].他們?cè)趫D像上劃分不同的興趣區(qū)域（region of interest，ROI），然后在設(shè)計(jì)的先驗(yàn)信息域（例如銳利度、明亮度、飽和度等）上提取HOG[7]特征，再將不同信息域的特征組合成多維特征送入支持向量機(jī)（support vector machine，SVM）中進(jìn)行分類判斷.但這種方法依賴于特定的先驗(yàn)信息，所以不具有廣泛應(yīng)用的能力.

另外的做法是，通過設(shè)計(jì)各種天氣特征（比如天空、陰影、反射等）提取器用于區(qū)分天氣情況.但這種方法在圖片中沒有任何之前設(shè)計(jì)的天氣特征的情況下，將無法判斷天氣情況.Lu等[9]使用了投票人的協(xié)作學(xué)習(xí)框架：將有著相同天氣特征的圖像分在一組，然后在同一組圖像中構(gòu)建SVM分類器，最后聯(lián)合各組的不同分類器對(duì)圖像進(jìn)行判斷，這種方法取得了76.6%的正確率.

雖然這些工作為天氣分類任務(wù)提供了不少的解決方案，但這些方法取得的效果并不理想.與典型的圖像分類任務(wù)相比，天氣圖像受到光照、反射、場景和陰影等多種因素的影響，這些因素高度耦合，使得圖像的天氣分類邊界高度非線性，以往的工程方法已經(jīng)無法捕捉這種分類邊界.

1.2 基于深度學(xué)習(xí)的圖像識(shí)別方法

AlexNet是第一次在大規(guī)模圖像分類任務(wù)中被提出的卷積神經(jīng)網(wǎng)絡(luò)，它將ImageNet錯(cuò)誤率降至16.4%[10].隨后，Inception和ResNet相繼被提出，并取得提升效果[11-13].自2012年以來，CNN的方法便廣泛應(yīng)用于圖像識(shí)別領(lǐng)域.

文獻(xiàn)[14]的研究證明了CNN在天氣分類任務(wù)上的有效性，將AlexNet的輸出層變成2類，在Lu等[9]的數(shù)據(jù)集上作訓(xùn)練，對(duì)CNN逐層分析其分類效果并與之前方法比較，CNN更善于發(fā)現(xiàn)天氣分類任務(wù)中的非線性映射關(guān)系，并取得了提高的分類結(jié)果（91.1%）.

另外，延續(xù)Lu等[9]利用多種區(qū)域特征來區(qū)分天氣的思想，文獻(xiàn)[15]提出了區(qū)域選擇和并發(fā)模型的深度學(xué)習(xí)模型，通過對(duì)圖像語義分割后得到不同的語義區(qū)域，然后將原始的分類器替換為網(wǎng)絡(luò)模型，利用不同區(qū)域的特征表達(dá)得到區(qū)域天氣指示，最后綜合成全圖天氣判斷.在多屬性天氣判斷上取得了不錯(cuò)的效果.

從分類效果可以清晰地看出：相比于傳統(tǒng)方法，CNN在天氣分類任務(wù)上同樣有著較大的優(yōu)勢.為了提高天氣分類模型的效果，如何提升CNN對(duì)復(fù)雜交通場景下天氣特征的有效提取成為了任務(wù)的關(guān)鍵.

有研究工作[16]發(fā)現(xiàn)：卷積網(wǎng)絡(luò)在逐步降低分辨率時(shí)會(huì)降低空間結(jié)構(gòu)的辨識(shí)度，這限制了圖像分類的準(zhǔn)確性.文獻(xiàn)[16]提出了擴(kuò)展卷積來緩解這些問題，在不減少單個(gè)神經(jīng)元接受域的情況下提高輸出特征圖的分辨率，并且提高了網(wǎng)絡(luò)的分類效果.

在之前的工作[17-18]中，特征的各通道相關(guān)性通常獨(dú)立于空間結(jié)構(gòu)，主要目的在于減少模型參數(shù)量和計(jì)算復(fù)雜度.與此相反，Hu等[19]為特征的通道相關(guān)性提供了一種注意力機(jī)制，用以學(xué)習(xí)特征通道之間的非線性依賴關(guān)系，這樣顯著增強(qiáng)了網(wǎng)絡(luò)的表示能力.之后，Woo等[20]還在空間層面引入注意力機(jī)制，對(duì)通道和空間進(jìn)行有區(qū)別的特征學(xué)習(xí)，有效地幫助網(wǎng)絡(luò)提取優(yōu)秀特征.

另一方面，現(xiàn)有多數(shù)網(wǎng)絡(luò)只專注于設(shè)計(jì)更廣或更深的結(jié)構(gòu)，Li等[21]在探索高階信息上做出了努力.作者對(duì)提取出的特征信息進(jìn)行協(xié)方差池化，產(chǎn)生的協(xié)方差矩陣作為全局圖像的特征表示，并在Image-Net 2012數(shù)據(jù)集[22]上進(jìn)行了全面的評(píng)估，證實(shí)了二階特征網(wǎng)絡(luò)分類效果優(yōu)于一階特征網(wǎng)絡(luò).

1.3 本文思路

受以上工作啟發(fā)，本文將在復(fù)雜交通場景下的監(jiān)控圖像上，使用現(xiàn)有經(jīng)典圖像識(shí)別CNN的基礎(chǔ)上，加入注意力機(jī)制的二階特征方法和聯(lián)合投票分類機(jī)制，綜合特征可視化方法改進(jìn)通用CNN，為更加適合復(fù)雜交通場景天氣分類的網(wǎng)絡(luò)模型，解決目前基于監(jiān)控圖像的城市交通天氣檢測面臨的識(shí)別準(zhǔn)確率不足的難題.

2 本文提出的方法

2.1 基于注意力機(jī)制的二階特征模塊

2.1.1 現(xiàn)有天氣特征提取方法的不足

雖然現(xiàn)在有許多針對(duì)通用圖像識(shí)別任務(wù)提出的網(wǎng)絡(luò)模型，這些通用網(wǎng)絡(luò)能提取部分有效分類特征，但對(duì)于復(fù)雜交通場景的天氣圖像信息，是無法捕獲準(zhǔn)確判斷所需要的更多信息，主要原因是現(xiàn)有的通用網(wǎng)絡(luò)沒有針對(duì)具體應(yīng)用對(duì)分類特征進(jìn)行有區(qū)別的關(guān)注和學(xué)習(xí)，且沒有利用高階信息來進(jìn)行篩選特征.

在網(wǎng)絡(luò)中加入的注意力機(jī)制，能告訴網(wǎng)絡(luò)注意的重心，提高重心的代表性.在網(wǎng)絡(luò)的信息流中，通過混合信道和空間的信息來提取特征，能同時(shí)兼顧兩個(gè)維度上的特征.因此，網(wǎng)絡(luò)通過加入通道和空間的注意力機(jī)制，能有效地幫助網(wǎng)絡(luò)提升判斷力.

2.1.2 通道注意力的特征提取方法

以簡化的普通淺層卷積網(wǎng)絡(luò)為例，基于通道注意力機(jī)制的天氣分類網(wǎng)絡(luò)結(jié)構(gòu)如圖1.

圖1 特征通道注意力機(jī)制網(wǎng)絡(luò)結(jié)構(gòu)示意Fig.1 Schematic diagram of channel attention network

對(duì)輸入圖像提取到特征圖后，首先是將特征圖每個(gè)通道中的二維特征圖轉(zhuǎn)換成一個(gè)實(shí)數(shù)，然后再通過學(xué)習(xí)為每個(gè)特征通道生成權(quán)重，最后將生成的權(quán)重通過乘法運(yùn)算逐層通道加權(quán)到先前的特征上，完成在通道維度上對(duì)原始特征的重標(biāo)定.

2.1.3 通道和空間注意力機(jī)制的特征提取方法

在網(wǎng)絡(luò)中，加入通道和空間軸上的注意力機(jī)制后，每個(gè)部分便分別在通道和空間軸上學(xué)習(xí)“什么”和“哪里”需要加大學(xué)習(xí)力度，簡化的網(wǎng)絡(luò)結(jié)構(gòu)如圖2.

圖2 特征通道和空間注意力機(jī)制結(jié)構(gòu)示意Fig.2 Schematic diagram of channel and spatial attention network

類似的，對(duì)輸入圖像提取到特征圖后，注意力機(jī)制分別從通道和空間兩個(gè)獨(dú)立的維度處理得到權(quán)重，然后將權(quán)重點(diǎn)乘特征圖進(jìn)行自適應(yīng)特征細(xì)化.

2.1.4 二階特征方法的設(shè)計(jì)

Li等[21]提出的 MPN-COV（matrix power normalized covariance）法是對(duì)二階特征信息的有效處理手段，圖3為MPN-COV法的正向和反向傳播過程，圖中：p為輸入特征的樣本協(xié)方差矩陣；u、a分別為正交、對(duì)角矩陣；q為特征值的冪矩陣；feig(p)、fpow(u,a)分別為特征值分解函數(shù)、矩陣冪轉(zhuǎn)換函數(shù)；x為模型初始化參數(shù)；l為損失值.對(duì)于一個(gè)輸入的圖像特征，MPN-COV法產(chǎn)生一個(gè)歸一化的協(xié)方差矩陣作為二階特征表示，表征了特征空間的相關(guān)性.

圖3 MPN-COV 方法的前向和后向傳播過程Fig.3 Forward and backward propagation of MPN-COV

MPN-COV方法作為一個(gè)網(wǎng)絡(luò)層插入到最后一層卷積層和全連接層（fully connected layer，F(xiàn)C）之間，可端到端訓(xùn)練.

MPN-COV方法其實(shí)相當(dāng)于穩(wěn)健的協(xié)方差估計(jì).樣本協(xié)方差等于正態(tài)分布隨機(jī)向量的極大似然估計(jì)的解.該方法非常符合收縮原理，即縮小最大的樣本特征值，拉伸最小的特征值，為每個(gè)特征值提供個(gè)性化的收縮強(qiáng)度.將與目標(biāo)結(jié)果不相關(guān)的特征和相關(guān)的特征分離，進(jìn)一步提高全連接層分類精確度.

2.2 基于聯(lián)合投票的復(fù)合網(wǎng)絡(luò)

2.2.1 現(xiàn)有單一神經(jīng)網(wǎng)絡(luò)無法捕捉全面特征

神經(jīng)網(wǎng)絡(luò)不同的結(jié)構(gòu)可以帶來不同的分類效果，因?yàn)榻Y(jié)構(gòu)也隱含了某種特征設(shè)計(jì).較早的AlexNet網(wǎng)絡(luò)結(jié)構(gòu)比較淺，所以關(guān)注的是淺層特征，而后的ResNet網(wǎng)絡(luò)能達(dá)到1 000層，所以網(wǎng)絡(luò)學(xué)習(xí)到的是高層特征.通過在網(wǎng)絡(luò)中增加通道和空間注意力機(jī)制，網(wǎng)絡(luò)會(huì)傾向于在通道和空間部分進(jìn)行特征選擇，所以，網(wǎng)絡(luò)的設(shè)計(jì)會(huì)帶來特征選擇的傾向性.但對(duì)于復(fù)雜交通場景的天氣特征信息，現(xiàn)有單一網(wǎng)絡(luò)仍然無法全面學(xué)習(xí).

2.2.2 網(wǎng)絡(luò)方法的設(shè)計(jì)

單一網(wǎng)絡(luò)無法全面學(xué)習(xí)到所有特征，提出綜合網(wǎng)絡(luò)判斷結(jié)果的聯(lián)合推斷方法將融合各網(wǎng)絡(luò)的選擇結(jié)果.由于每個(gè)網(wǎng)絡(luò)對(duì)圖像輸入都有輸出的判斷結(jié)果，所以將每個(gè)網(wǎng)絡(luò)的輸出判斷結(jié)果進(jìn)行比較，多數(shù)的投票結(jié)果即為最終復(fù)合網(wǎng)絡(luò)的輸出結(jié)果.聯(lián)合投票復(fù)合網(wǎng)絡(luò)方法的設(shè)計(jì)如圖4所示.

圖4 聯(lián)合投票的復(fù)合網(wǎng)絡(luò)結(jié)構(gòu)示意Fig.4 Schematic diagram of joint voting network

2.2.3 網(wǎng)絡(luò)方法的原理

假定聯(lián)合投票網(wǎng)絡(luò)復(fù)合的是M個(gè)不同類型的單一模型集合G={g1,g2,···,gM}中的模型, 并且給定的含有N張圖像的訓(xùn)練集T={(x1,y1),(x2,y2),···,(xN,yN)}.每個(gè)圖像xi（i=1,2,···,N）的真實(shí)標(biāo)簽yi對(duì)應(yīng)C個(gè)天氣類別序號(hào)k（k=1,2,···,C）.假設(shè)對(duì)于每個(gè)單一模型gj（j=1,2,···,M），圖像xi通過其最終的FC層對(duì)天氣類別k的輸出值為Vijk，那么模型gj對(duì)圖像xi判斷為天氣類別k的置信度sijk的如式（1）所示.

在給定的組合權(quán)重W={w1,w2,···,wM}下，最終聯(lián)合投票網(wǎng)絡(luò)對(duì)圖像xi推斷為天氣類別k的結(jié)果bik表示為

最終，復(fù)合模型對(duì)圖像xi的判斷結(jié)果hi為

式中：Index為bik對(duì)應(yīng)的索引序號(hào).

對(duì)于通過交通場景圖像進(jìn)行的天氣識(shí)別任務(wù)，其最終目的是使聯(lián)合投票網(wǎng)絡(luò)的所有輸出結(jié)果hi與訓(xùn)練集給定的真實(shí)標(biāo)簽yi盡可能的相符合，如果將期望概率P(yi|xi)和模型概率P(hi|xi)分別用p(xi)和q(xi)來表示：

則可以用相對(duì)熵，也稱KL (Kullback-Leibler)散度來衡量這兩個(gè)分布的距離：

展開可得

由于p(xi)是確定不變的，所以相對(duì)熵H(p,q)最小化等價(jià)于將式（7）第二項(xiàng)最小化，即

而聯(lián)合投票網(wǎng)絡(luò)就通過式（8）約束，達(dá)到擬合對(duì)天氣類別的綜合判斷.

2.2.4 網(wǎng)絡(luò)方法所具有的優(yōu)勢

復(fù)合多個(gè)深度神經(jīng)網(wǎng)絡(luò)，在單一網(wǎng)絡(luò)后加入投票機(jī)制，能夠在提取豐富多樣的特征信息后，融合判斷輸出最終結(jié)果，實(shí)際上是所有網(wǎng)絡(luò)特征的組合表達(dá)，所以復(fù)合網(wǎng)絡(luò)能綜合各網(wǎng)絡(luò)學(xué)習(xí)到的極具表達(dá)力的分類特征，形成對(duì)復(fù)雜交通場景下天氣圖像精確分類的能力.

3 試 驗(yàn)

3.1 試驗(yàn)數(shù)據(jù)集

雖然研究者提出了很多相關(guān)數(shù)據(jù)集，但對(duì)公路天氣分類任務(wù)針對(duì)性不強(qiáng)，例如：Lu等[9]提出了一個(gè)包含有1.0萬張2類天氣（晴天、陰天）的數(shù)據(jù)集，用來評(píng)估天氣分類檢測任務(wù)相關(guān)工作的有效性，但天氣類別單一；Lin等[15]提出了多類別天氣數(shù)據(jù)集，其中包含6個(gè)天氣類別（晴天、多云、下雨、下雪、薄霧和雷雨）的6.5萬張圖像，但該數(shù)據(jù)集多為自然場景圖片，且沒有對(duì)霧天程度進(jìn)行區(qū)分，但這對(duì)交通管理十分重要.

試驗(yàn)在兩個(gè)數(shù)據(jù)集上作驗(yàn)證，一個(gè)是Lu等[9]建立的天氣分類數(shù)據(jù)集，簡稱為2CWD，一個(gè)是本文建立的包含3820張6種天氣類別的數(shù)據(jù)集，簡稱為6CWD.

兩個(gè)數(shù)據(jù)集的訓(xùn)練集、驗(yàn)證集和測試集都是采用互不重疊的隨機(jī)分配方法按6∶2∶2的比例組合，訓(xùn)練集和驗(yàn)證集一起參與訓(xùn)練，測試集用于最后模型測試，所有試驗(yàn)數(shù)據(jù)集固定不變.

3.2 試驗(yàn)評(píng)估測度

本文從模型在測試集上的推斷準(zhǔn)確度來評(píng)估模型的性能.測度參考ImageNet圖像識(shí)別任務(wù)的評(píng)價(jià)標(biāo)準(zhǔn)[22]，以與現(xiàn)有廣泛的模型結(jié)果作比較.在訓(xùn)練過程中，對(duì)圖像進(jìn)行隨機(jī)剪裁并改變尺度到224像素，應(yīng)用隨機(jī)水平翻轉(zhuǎn)；在測試過程中，對(duì)圖像先改變尺度到256像素，然后中心剪裁到224像素.

除了客觀指標(biāo)外，同樣觀察了模型分類的主觀結(jié)果，主要包括模型的混淆矩陣和誤判結(jié)果，綜合主觀和客觀結(jié)果，全面地分析每個(gè)模型的分類效果.

3.3 試驗(yàn)細(xì)節(jié)

試驗(yàn)測試了9種網(wǎng)絡(luò)模型，分別是8種候選模型 AlexNet、Inception_v3、ResNet-101、SE-ResNet-101、CBAM-ResNet-101、DRN_D_105、MPN-COVResNet-101以及優(yōu)化模型MPN-COV-512-ResNet-101和1種最終優(yōu)化的聯(lián)合投票的復(fù)合模型JVNet.在8種候選模型中，前3種為經(jīng)典分類網(wǎng)絡(luò)，后5種候選模型都是在ResNet-101上的改進(jìn)模型：SE-ResNet-101、CBAM-ResNet-101加入了注意力機(jī)制，DRN_D_105加入了空洞卷積機(jī)制，MPN-COVResNet-101和MPN-COV-512-ResNet-101加入了二階特征機(jī)制.測試8種候選網(wǎng)絡(luò)模型的目的是在于探究加入不同優(yōu)化模塊對(duì)任務(wù)的提升效果，以此為依據(jù)為最終的復(fù)合模型提供優(yōu)秀的優(yōu)化模塊.

為了能真實(shí)反映各模型在天氣分類任務(wù)上的效果，分別在2個(gè)數(shù)據(jù)集和9種模型之間交叉進(jìn)行了18組試驗(yàn)，每組試驗(yàn)包含3次獨(dú)立試驗(yàn)，模型正確率取3次試驗(yàn)的平均值，每組中的每次獨(dú)立試驗(yàn)都采用了相同的試驗(yàn)配置.

試驗(yàn)配置如下：網(wǎng)絡(luò)加載ImageNet預(yù)訓(xùn)練權(quán)重；訓(xùn)練批次設(shè)置為64，梯度下降策略使用隨機(jī)梯度下降法（stochastic gradient descent，SGD），初始學(xué)習(xí)率設(shè)為0.001，學(xué)習(xí)率改變步長為40，學(xué)習(xí)率變化因子0.1，最大迭代次數(shù)為100個(gè)epoch.訓(xùn)練用的GPU 是 NVIDIA 公司的 Titan X Pascal（12 GB）.訓(xùn)練環(huán)境基于 Python 3.7，Pytorch 1.0，CUDA 9.0.

3.4 試驗(yàn)結(jié)果比較

表1為模型在6CWD上的分類正確率和包括傳統(tǒng)模型在內(nèi)的模型在2CWD上的分類正確率.

表1 試驗(yàn)測試模型在6CWD和2CWD數(shù)據(jù)集上的正確率Tab.1 Model accuracy on 6CWD and 2CWD %

從表1數(shù)據(jù)中可以看出，通過增加通道和空間注意力機(jī)制的網(wǎng)絡(luò)CBAM-ResNet-101有著較好的表現(xiàn)，而二階特征優(yōu)化的網(wǎng)絡(luò)MPN-COV-ResNet-101則顯示出更強(qiáng)的分類能力.而在這兩個(gè)數(shù)據(jù)集上，最終優(yōu)化的網(wǎng)絡(luò)JVNet都有著最佳的分類效果.

JVNet模型在6CWD上的測試混淆矩陣和模型主觀判斷結(jié)果的部分展示分別見附加材料圖S4～圖S6.

JVNet模型在2CWD上的測試混淆矩陣和模型主觀判斷結(jié)果的部分展示分別見附加材料圖S7～圖S9.

最后，從所有測試模型的主觀和客觀結(jié)果，可以得出結(jié)論：本文提出的聯(lián)合投票的復(fù)合模型JVNet在兩個(gè)數(shù)據(jù)集上都有著最好的識(shí)別效果，在6CWD數(shù)據(jù)集上，JVNet的正確率為85.15%，比原有最好模型MPN-COV-ResNet-101的83.18%高出1.97%，該模型可以很好地應(yīng)用于復(fù)雜交通場景的天氣識(shí)別任務(wù).

3.5 特征可視化評(píng)價(jià)

根據(jù)文獻(xiàn)[23]的工作，對(duì)5種測試模型（ResNet-101、SE-ResNet-101、CBAM-ResNet-101、MPN-COVResNet-101以及JVNet）進(jìn)行了可視化的網(wǎng)絡(luò)特征研究.通過對(duì)6CWD測試集上的圖像進(jìn)行推斷，提取文獻(xiàn)[23]的分類結(jié)果，以此顯示網(wǎng)絡(luò)所學(xué)習(xí)到的特征響應(yīng).部分特征可視化結(jié)果如表2.

表2 6CWD數(shù)據(jù)集下不同網(wǎng)絡(luò)特征的可視化結(jié)果Tab.2 Visualization results of different network on 6CWD

通過可視化結(jié)果的分析，可以得到與客觀結(jié)果相符合的結(jié)論.第一，使用注意力機(jī)制和二階特征方法能帶來更好的特征學(xué)習(xí)結(jié)果.第二，聯(lián)合投票機(jī)制使得復(fù)合網(wǎng)絡(luò)帶來了更平滑的特征學(xué)習(xí)結(jié)果.

3.6 聯(lián)合投票優(yōu)化方法

對(duì)于提出的基于聯(lián)合投票機(jī)制的復(fù)合模型JVNet，有2個(gè)方面的參數(shù)需要確定：一個(gè)是復(fù)合模型數(shù)的確定；一個(gè)是投票方式的確定.于是依次通過兩組對(duì)比試驗(yàn)確定最優(yōu)方式：一組是在置信度投票方式下，對(duì)比不同復(fù)合模型數(shù)量的測試結(jié)果；一組是在直接結(jié)果投票方式下，對(duì)比不同復(fù)合模型數(shù)量的測試結(jié)果.

3.6.1 基于模型置信度的復(fù)合模型方法

對(duì)復(fù)合模型在置信度上聯(lián)合投票的方式做了研究，依次復(fù)合了3～6種模型，并對(duì)各模型的投票置信度做了加權(quán)處理，所有加權(quán)置信度相加后的結(jié)果為最終復(fù)合網(wǎng)絡(luò)判斷結(jié)果.平均加權(quán)處理（A）的測試結(jié)果和不等加權(quán)處理（NA，給正確率高的模型賦予較大權(quán)重）的測試結(jié)果如表3所示.

表3 平均置信度加權(quán)和不等置信度加權(quán)復(fù)合模型在6CWD數(shù)據(jù)集上的試驗(yàn)結(jié)果Tab.3 Experimental results of weighted composite model with equal confidence and unequal confidence on 6CWD %

從表3的數(shù)據(jù)中可以看出：基于置信度的復(fù)合方法中，3種模型的復(fù)合結(jié)構(gòu)JVNet-3有較好表現(xiàn)，而且不等置信度的加權(quán)方式的結(jié)果更優(yōu).

3.6.2 基于模型結(jié)果的復(fù)合模型方法

另外，在模型的復(fù)合方法上，還考慮了直接基于模型結(jié)果的復(fù)合方法.類似的，依次復(fù)合了3～6種模型，后續(xù)直接根據(jù)模型的識(shí)別結(jié)果進(jìn)行綜合投票.對(duì)于模型的投票結(jié)果都不相同的特殊情況，考慮了兩種方式：一種是取正確率最佳單模型的識(shí)別結(jié)果，稱為模式G；一種是取正確率最差單模型的識(shí)別結(jié)果，稱為模式B.測試結(jié)果如表4所示.

從表4的數(shù)據(jù)中可以看出：在基于模型結(jié)果聯(lián)合投票方式上，復(fù)合模型個(gè)數(shù)相同的情況下，模式B的效果都要優(yōu)于模式G；模型復(fù)合的種數(shù)從3到5的過程中，正確率在逐漸升高，證明綜合有不同特性的天氣識(shí)別模型的方法是可行的，但在復(fù)合6種模型的結(jié)果開始下降，證明低識(shí)別率模型的加入不會(huì)一直帶來正確率的提升，因?yàn)榈妥R(shí)別率的模型結(jié)果帶來的邊際效應(yīng)在逐漸降低.

表4 模式G和模式B結(jié)果投票復(fù)合方法在6CWD數(shù)據(jù)集上的試驗(yàn)結(jié)果Tab.4 Experimental results of composite model with model G and model B on 6CWD %

綜合試驗(yàn)結(jié)果可以看到：綜合5種模型的模式B結(jié)果投票的復(fù)合模型達(dá)到最好效果.

4 結(jié) 論

針對(duì)復(fù)雜交通場景下的天氣識(shí)別問題，本文主要的工作和貢獻(xiàn)如下：

1）將現(xiàn)在主流的CNN應(yīng)用于該任務(wù)，肯定了CNN比傳統(tǒng)方法更適應(yīng)于復(fù)雜天氣特征的提??；

2）構(gòu)建了一個(gè)新的類型豐富并且樣本充足的天氣分類數(shù)據(jù)集；

3）綜合分析了現(xiàn)有不同模型的效果，展示了各模型學(xué)習(xí)到的分類特征，從視覺上驗(yàn)證了客觀結(jié)果；

4）提出了基于聯(lián)合投票機(jī)制的復(fù)合深度神經(jīng)網(wǎng)絡(luò)模型，該模型能提取更豐富且具表達(dá)力的特征，顯著提升了識(shí)別準(zhǔn)確度，效果優(yōu)于最好單一模型；

5）對(duì)聯(lián)合投票機(jī)制做了進(jìn)一步優(yōu)化，在驗(yàn)證了所提出方法的有效性的同時(shí)，也實(shí)現(xiàn)了更高精度的天氣識(shí)別效果.

相比之前的天氣識(shí)別方法，本文所提出的方法能為智能交通系統(tǒng)提供更準(zhǔn)確有效的天氣識(shí)別結(jié)果，為后續(xù)智能交通系統(tǒng)的穩(wěn)定運(yùn)行和正確決策提供有力支撐.接下來的工作，將會(huì)對(duì)復(fù)雜特征有效提取的問題上作進(jìn)一步的研究.

備注：附加材料在中國知網(wǎng)本文的詳情頁中獲取.