王興隆，陳仔燕

(中國民航大學(xué)空中交通管理學(xué)院，天津 300300)

1 引言

隨著我國高速路網(wǎng)、航空領(lǐng)域的不斷發(fā)展，國家對于保障人民正常出行、安全出行的需求日益激增，為了更好地保障人民的生命財產(chǎn)安全，保證人們的正常交通出行，對于能見度檢測的研究成為了保證高速公路安全行車、航班正常起降不可或缺的一環(huán)。目前能見度檢測的主要方法有傳統(tǒng)檢測方法、基于場景深度的方法和基于深度學(xué)習(xí)的方法，所采用的圖像數(shù)據(jù)，主要來源于相機(jī)或視頻獲取到的圖像。

采用傳統(tǒng)的圖像處理或機(jī)器學(xué)習(xí)等方法進(jìn)行能見度檢測近年來有不少進(jìn)展。例如，姚鎮(zhèn)海等人[1]將高速公路視頻圖像利用圖像灰度值均方差與能見度觀測值建立計算模型。孟穎等人[2]將監(jiān)控視頻幀轉(zhuǎn)為灰度圖像并結(jié)合自適應(yīng)導(dǎo)向濾波算法和四叉樹圖像分割算法，提取圖像中的空氣透射率及大氣光值等特征參數(shù)，然后依據(jù)設(shè)備與物的實際距離等估測能見度。郜婧婧等人[3]利用高速公路視頻數(shù)據(jù)，采用霍夫變換提取道路興趣域，根據(jù)亮度對比檢測人眼可分辨最遠(yuǎn)像素點作為標(biāo)點，最后基于暗原色先驗原理求取目標(biāo)點的透色率，以此得到能見度值。張瓊雄等人[4]先是利用Canny算子提取圖像的邊緣信息特征，然后利用基于邊緣存量的神經(jīng)網(wǎng)絡(luò)進(jìn)行能見度的檢測，平均誤差為9.6%。雖然傳統(tǒng)的圖像處理和機(jī)器學(xué)習(xí)等方法，對于特定場景的能見度檢測有一定的效果，但泛化性較差，不能滿足實際應(yīng)用需求。

若已知拍攝相機(jī)或圖像內(nèi)物體位置等數(shù)據(jù)時，可用基于景深等方法對能見度進(jìn)行檢測。例如，周凱等人[5]利用暗通道估計大氣透射率并計算景深信息，再結(jié)合最小圖像熵計算得出能見度值。徐敏等人[6]首先對圖像進(jìn)行特征提取、閾值分割和形態(tài)學(xué)處理，然后利用大氣退化模型和暗通道原理估計透射率，再利用同一場景不同角度兩幅圖像的像素突變點和攝像機(jī)內(nèi)部參數(shù)估計景深得到大氣消光系數(shù)，以此估計圖像的能見度?；诰吧畹姆椒ㄅc相機(jī)的位置或圖像中物體的位置有著明確的依賴關(guān)系(依賴攝像機(jī)內(nèi)部參數(shù)等)，計算起來也相當(dāng)復(fù)雜，且不利于場景轉(zhuǎn)換的能見度檢測。而且大部分設(shè)備(例如激光能見度儀)存在檢測能見度方面對團(tuán)霧檢測精度不高、檢測范圍小、覆蓋成本高的問題。

近年來，深度神經(jīng)網(wǎng)絡(luò)[7-11]已經(jīng)成功地應(yīng)用于圖像識別、目標(biāo)檢測、語音識別、機(jī)器翻譯、自動汽車駕駛、目標(biāo)追蹤和生物信息學(xué)等多個領(lǐng)域[12]，越來越多的研究人員開始認(rèn)識到深度學(xué)習(xí)的強(qiáng)大性能和優(yōu)勢。例如，厙向陽等人[13]基于改進(jìn)的殘差網(wǎng)絡(luò)(Residual Network，ResNet)對小型車輛目標(biāo)進(jìn)行檢測，并表現(xiàn)出了良好效果。但是，國內(nèi)外學(xué)者較少地將深度學(xué)習(xí)應(yīng)用于機(jī)場能見度檢測。

為了解決傳統(tǒng)方法泛化性差、場景深度計算方法的設(shè)備費用高等問題，和利用深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)大學(xué)習(xí)能力，本文基于氣象光學(xué)視程提出了一種基于U型深度殘差網(wǎng)絡(luò)(U-ResNet)的機(jī)場能見度檢測模型。U型網(wǎng)絡(luò)可以有效融合圖像的不同尺度的特征信息圖。ResNet不僅能夠加速超深神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，而且可以大幅提升深度網(wǎng)絡(luò)的準(zhǔn)確率[12]。本文利用U-ResNet得到帶有能見度信息的特征圖，再與Koschmieder定律相結(jié)合計算能見度值。這種方法能夠?qū)⑸疃葘W(xué)習(xí)模型與理論定律方法有效地結(jié)合起來，提高能見度檢測的準(zhǔn)確率。利用機(jī)場視頻圖像數(shù)據(jù)多次迭代訓(xùn)練模型后得到一個良好的能見度檢測模型。最后，將該模型用于自定義的視頻圖像上進(jìn)行機(jī)場能見度的檢測，取得了不錯的效果。

2 相關(guān)理論與方法

2.1 能見度檢測原理

氣象光學(xué)視程(Meteorological Optical Range，MOR)是指色溫為2700K的白熾燈發(fā)出的平行光束的光通量在大氣中衰減降低到它起始值的5%的距離[14]，并且MOR可以根據(jù)Koschmieder定律[15]計算得到。Koschmieder定律如下

F=F0e-σz

(1)

式中，F(xiàn)為背景于目標(biāo)物體的相對亮度差，以此體現(xiàn)觀測的光照強(qiáng)度。F0表示入射的光照強(qiáng)度，為常數(shù)。σ為衰減系數(shù)，與霧的厚度有關(guān)。σ越大，表示霧越濃。z為觀測員距離目標(biāo)物的距離，可表示為MOR。則

(2)

由此可見，MOR的估計關(guān)鍵在于求得衰減系數(shù)σ。

2.2 U型網(wǎng)絡(luò)

U型網(wǎng)絡(luò)(U Network，U-Net)[16]是比較早使用全卷積網(wǎng)絡(luò)進(jìn)行語義分割的算法之一。U取自于該模型包含壓縮路徑和擴(kuò)展路徑的對稱U形結(jié)構(gòu)，如圖1所示。

圖1 U型網(wǎng)絡(luò)架構(gòu)[16]

網(wǎng)絡(luò)輸入一張572×572的圖像，輸出為388×388的分割結(jié)果圖。具體地，輸入圖像經(jīng)過多層下采樣卷積模塊得到尺度為28×28的特征圖，然后由多層上采樣反卷積模塊恢復(fù)圖像特征維度的同時提取特征信息。圖中灰色箭頭稱為跳躍連接(Skip Connection)，每次下采樣都會有一個跳躍連接與對應(yīng)的上采樣進(jìn)行級聯(lián)，這種不同尺度的特征融合對上采樣恢復(fù)像素大有幫助。原因是高層(淺層)下采樣倍數(shù)小，特征圖具備更加細(xì)致的圖特征，底層(深層)下采樣倍數(shù)大，信息經(jīng)過大量濃縮，空間損失大，但有助于目標(biāo)區(qū)域判斷，當(dāng)高層與底層的特征進(jìn)行融合時，感受野效果往往會非常好。因此，結(jié)合U-Net網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)勢，設(shè)計本文模型最后輸出帶有能見度信息的特征圖。

2.3 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)(ResNet)由何愷明等人[11]在2015年提出，ResNet的基本組成部件為殘差單元(ResNet Unit)，解決了過擬合、梯度爆炸或消失等一系列深度學(xué)習(xí)重要問題，影響至今。

圖2 殘差單元

如圖2所示，ResNet Unit分為兩類，但都由卷積(Convolution，Conv)核、批處理歸一化(Batch Normalization，BN)和線性整流函數(shù)(Rectified Linear Unit，ReLU)堆疊而成。設(shè)第n個ResNet Unit的輸入為xn，則當(dāng)前ResNet Unit的輸出xn+1由式(3)計算得到：

xn+1=f(F(xn，Wn)+xn)

(3)

其中，F(xiàn)(xn，Wn)為殘差函數(shù)；Wn是F(xn，Wn)對應(yīng)的權(quán)值參數(shù)；f(·)是非線性激活函數(shù)ReLU。對于圖像深層特征的提取與保留，ResNet有著非常好的效果。

3 U-ResNet

3.1 基本思想

對于能見度檢測問題，由于傳統(tǒng)的圖像處理和機(jī)器學(xué)習(xí)等方法的泛化性差，和場景深度計算方法的設(shè)備費用高等問題，本文提出了一種簡單而有效的U型殘差網(wǎng)絡(luò)模型(U-ResNet)模型用于機(jī)場視頻圖像的能見度檢測。如圖3所示，U-ResNet減少了原有U-Net網(wǎng)絡(luò)中過多的上、下采樣，并在提取特征保持維度的部分采用ResNet的殘差模塊，通過殘差學(xué)習(xí)模塊避免卷積神經(jīng)網(wǎng)絡(luò)過深而導(dǎo)致模型退化問題，從而尋求最優(yōu)的深度卷積神經(jīng)網(wǎng)絡(luò)模型。U-ResNet輸出的是帶有能見度信息的特征圖，再與Koschmieder定律相結(jié)合即可計算得到MOR。

圖3 U-ResNet網(wǎng)絡(luò)結(jié)構(gòu)

3.2 網(wǎng)絡(luò)架構(gòu)

能見度檢測屬于回歸性任務(wù)，而U-Net主要用于圖像分割，ResNet被用作目標(biāo)分類、檢測等任務(wù)圖像特征提取的骨干網(wǎng)絡(luò)，Koschmieder定律是被大家認(rèn)可的用于計算MOR的理論方法，本文所提出的U-ResNet模型有效地將這4者融合到了一起?？偟膩碚f，本文以U-Net為基礎(chǔ)框架進(jìn)行改進(jìn)對機(jī)場視頻圖像進(jìn)行下采樣和上采樣(逆卷積，Transposed Convolution，ConvT)提取圖像特征和輸出帶有能見度信息的特征圖；網(wǎng)絡(luò)深層圖像特征提取部分采用了5個ResNet Unit，用于深入挖掘圖像中各種特征信息。ResNet Unit中以跳躍特征層的方式連接不同感受野的特征圖，這樣可以簡化網(wǎng)絡(luò)結(jié)構(gòu)并更加均勻化，從幾何角度理解就是設(shè)計了一個更為優(yōu)化的平直的流行，使得網(wǎng)絡(luò)收斂性更好，從而能夠避免網(wǎng)絡(luò)優(yōu)化時發(fā)生退化和爆炸等問題；此外，5個堆疊式的ResNet Unit設(shè)計，可以線性增強(qiáng)網(wǎng)絡(luò)提取到的特征信息；U-ResNet輸出帶有能見度信息的特征圖，并采用平均池化(Average Pooling)方法得到σ為衰減系數(shù)，最后根據(jù)Koschmieder定律可以計算得到機(jī)場的氣象光學(xué)視程(MOR)。U-ResNet是有較強(qiáng)學(xué)習(xí)能力的全卷積網(wǎng)絡(luò)和公認(rèn)的Koschmieder定律的有效結(jié)合，可以根據(jù)不同場景的視頻圖像數(shù)據(jù)學(xué)習(xí)到不同的網(wǎng)絡(luò)參數(shù)，可以實現(xiàn)端到端學(xué)習(xí)，該網(wǎng)絡(luò)泛化性強(qiáng)，成本低，不依賴高精度的相機(jī)設(shè)備。

表1 U-ResNet詳細(xì)信息

U-ResNet模型架構(gòu)細(xì)節(jié)如表1所示。首先，將原始圖片大小為1280×720的灰度圖像，轉(zhuǎn)換成224×224維度的RGB圖像。將圖像的輸入像素點作為矩陣的元素，可以構(gòu)建一個224×224的矩陣T(i，j)，i，j=1，2，…，224。再將待處理圖像經(jīng)過Conv卷積模塊得到64張112×112維度的特征圖。通過最大池化(Max Pooling)將特征圖維度壓縮到56×56。然后，經(jīng)過下采樣得到的特征圖作為ResNet的輸入，ResNet由5個相同的殘差單元(ResNet Unit)組成。ResNet Unit中Conv1-5卷積核大小均為3×3，采用ReLU作為非線性激活函數(shù)。ResNet的輸出經(jīng)過兩次反卷積模塊ConvT1和Conv2，64個特征圖維度會恢復(fù)到224×224，并且再利用Conv6卷積模塊進(jìn)行特征的保留與提取。最后，維度為224×224×64的特征圖被Conv7卷積模塊提取特征并壓縮成1×1×1帶有能見度信息的特征圖。通過帶有能見度信息的特征圖F，定義如下公式可求得衰減系數(shù)σ

(4)

再根據(jù)式(2)可以計算得到MOR的能見度估計值MOR′。U-ResNet網(wǎng)絡(luò)的損失函數(shù)采用MOR′與真實值MOR差值的絕對值，如式(5)所示。以降低損失函數(shù)值為目的，優(yōu)化器選擇Adam[17]，通過梯度下降來不斷優(yōu)化模型參數(shù)，使模型估計越來越準(zhǔn)確。

(5)

其中，n為一批圖像數(shù)量(Batch Size)。

3.3 度量指標(biāo)

機(jī)場能見度檢測估計屬于回歸任務(wù)，為了驗證模型得到的能見度估計值的精度，本文采用決定系數(shù)R2作為評估能見度精度的度量指標(biāo)，來判斷U-ResNet的能見度檢測估計值與真實值的擬合程度，如式(6)所示。

(6)

此外，本文仍采用平均相對誤差ε來體現(xiàn)U-ResNet對于機(jī)場能見度檢測估計的好壞情況，如式(7)所示。

(7)

其中，N為機(jī)場視頻圖像樣本的總數(shù)量。ε值越小說明U-ResNet的能見度檢測結(jié)果越接近真實值。

4 實驗結(jié)果與分析

本文在一個機(jī)場視頻數(shù)據(jù)集上對所提出的U-ResNet模型的性能進(jìn)行了實驗評估。首先給出了數(shù)據(jù)集的介紹，然后提供了模型的實驗設(shè)置等情況，最后利用度量指標(biāo)來衡量模型的實驗結(jié)果。

4.1 實驗環(huán)境與數(shù)據(jù)集

本文所使用的視頻數(shù)據(jù)是某機(jī)場利用R06氣象觀測站架設(shè)的高清視頻監(jiān)控設(shè)備在霧天天氣所采集到的，時間為2020年3月13日00：00：26開始至11：47：48。由于07：59：45后沒有標(biāo)簽(沒有MOR真實值)，本文將2020年3月13日00：00至07：59時間段的數(shù)據(jù)作為實驗數(shù)據(jù)。首先，將機(jī)場視頻提取為一幀一幀的圖像。然后，本文將這個時間段的圖像數(shù)據(jù)按照8：2比例分為訓(xùn)練集和測試集，采用式(5)優(yōu)化模型，使用決定系數(shù)R2驗證模型并保留最優(yōu)的模型參數(shù)。具體數(shù)據(jù)集劃分情況如表2所示。實驗參數(shù)設(shè)置如表3所示。實驗環(huán)境如表4所示。

表2 實驗數(shù)據(jù)劃分情況

表3 實驗參數(shù)設(shè)置

表4 實驗環(huán)境

4.2 機(jī)場能見度檢測結(jié)果與分析

經(jīng)過視頻取幀處理后，本文選取北京時間2020年3月13日0：00至3月13日7：59的1474張機(jī)場視頻圖像作為訓(xùn)練集樣本，369張作為測試集樣本，對基于視頻數(shù)據(jù)的U-ResNet模型進(jìn)行訓(xùn)練和測試。U-ResNet網(wǎng)絡(luò)訓(xùn)練過程的損失函數(shù)loss值如圖4所示。

由圖4可知，損失函數(shù)loss值隨著迭代次數(shù)逐漸減小，偶爾存在少許的波動。損失值逐漸減小的趨勢表明U-ResNet模型在不斷優(yōu)化。如圖5所示，是U-ResNet對于測試集機(jī)場能見度檢測的衰減系數(shù)σ值。如圖6所示，是MOR真實標(biāo)簽值與U-ResNet檢測估計值的對比。

圖4 U-ResNet訓(xùn)練時的loss值

圖5 測試集的衰減系數(shù)σ

圖6 MOR真實標(biāo)簽值與U-ResNet檢測估計值

由圖5、6分析可知，基于U-ResNet模型機(jī)場能見度的估計值與樣本數(shù)據(jù)真實值變化趨勢一致且偏差很小，并且衰減系數(shù)σ的變化趨勢與能見度的估計值和真實值的趨勢相一致，σ的變化趨勢滿足Koschmieder定律。由此可以說明基于視頻數(shù)據(jù)的U-ResNet模型的能見度估計的效果趨勢是可靠的。為了驗證U-ResNet模型估計的能見度精度情況，本文對測試集計算了決定系數(shù)R2和平均相對誤差ε，結(jié)果如表4所示。

表5 U-ResNet能見度估計的度量指標(biāo)

決定系數(shù)R2值在0.98左右，平均相對誤差ε在0.08，說明U-ResNet對于機(jī)場能見度檢測估計值與真實標(biāo)簽值非常接近，體現(xiàn)出了模型精度的優(yōu)異性能。此外，本文隨機(jī)選取了6張MOR不同檔次(1600、1000、900、500、450、40)的機(jī)場視頻圖像，并用訓(xùn)練好的U-ResNet模型輸出帶有能見度信息特征圖，如圖7所示。

圖7 帶有能見度信息的特征圖可視化

由圖7可知，隨著時間的推移，能見度越來越低。第一張圖中可以看到機(jī)場信號塔柱的輪廓，隨著能見度加重，能見度則越來越低，物體的輪廓也越來越模糊。此外，隨著時間的推移，圖中黑色的陰影部分越來越大，在原圖中對應(yīng)著時間的位置，說明U-ResNet模型能夠感知到時間與能見度信息的相關(guān)變化，綜合了圖像能見度信息特征和時間序列信息的多模態(tài)信息特征。

5 結(jié)論

本文提出了基于U-ResNet的機(jī)場視頻圖像能見度檢測模型，避免了傳統(tǒng)方法和場景深度方法所帶來的泛化性差、精度不高、成本較高等問題，并且能夠有效解決從視頻圖像數(shù)據(jù)到氣象光學(xué)視程(MOR)不同模態(tài)結(jié)合的端到端學(xué)習(xí)。實驗結(jié)果表明，本文所提模型在跨度較大的MOR情況下有較好的檢測估計表現(xiàn)，帶有能見度信息的特征圖、衰減系數(shù)估計值等體也現(xiàn)出了U-ResNet模型中間環(huán)節(jié)的性能情況。