劉冬韡 穆海振 賀千山 史 軍 王亞東 武雪沁
1)(上海市生態(tài)氣象和衛(wèi)星遙感中心, 上海 200030) 2)(上海市氣象信息與技術(shù)支持中心, 上海 200030) 3)(上海市氣象與健康重點(diǎn)實(shí)驗(yàn)室, 上海 200030)
能見度是一種氣象光學(xué)視程,白天是指人從天空背景中能看到和辨認(rèn)目標(biāo)物(黑色、大小適度)的最大水平距離,夜間是指能看到和確定出一定強(qiáng)度燈光發(fā)光點(diǎn)的最大水平距離,是常規(guī)氣象觀測項(xiàng)目之一[1]。一般出現(xiàn)能見度低于1000 m的天氣時(shí),氣象部門需要對外發(fā)布預(yù)警信息。低能見度對高速公路、輪渡、民航等交通出行有重要影響[2-4],甚至可以造成重大交通事故,因此及時(shí)監(jiān)測和提前預(yù)報(bào)低能見度對交通安全具有重要的意義。
低能見度天氣現(xiàn)象往往具有空間分布不均勻的特點(diǎn),空間差異明顯[5-7]?,F(xiàn)有能見度觀測主要依靠能見度儀,由于其價(jià)格昂貴、維護(hù)成本高從而導(dǎo)致觀測站點(diǎn)稀少,因此能見度儀器觀測密度難以滿足低能見度事件(如團(tuán)霧)的監(jiān)測需要[8]。隨著現(xiàn)代城市的發(fā)展,常規(guī)布設(shè)的視頻攝像頭越來越多。利用這些視頻監(jiān)控?cái)?shù)據(jù)提取能見度信息一方面可以提高能見度數(shù)據(jù)采集密度,另一方面也能夠節(jié)約能見度儀的建設(shè)成本,進(jìn)而為城市運(yùn)行和交通管理提供更加精細(xì)的數(shù)據(jù)支持。
目前利用視頻圖像解析能見度比較常見的方法是識別鎖定固定距離目標(biāo)物[9-10]。陳釗正等[11]通過對帶有標(biāo)定距離信息的特定圖像區(qū)域的亮度值進(jìn)行擬合估算能見度。李勃等[12]利用道路關(guān)注域中各像素的能見度對比度值與其設(shè)定閾值的關(guān)系確定人眼可分辨像素,能見度值被認(rèn)定為人眼能夠分辨的最遠(yuǎn)像素點(diǎn)的距離。也有研究將圖像暗原色去霧的方法應(yīng)用于圖像能見度檢測中[13-16],以圖像中帶有距離信息的目標(biāo)物作為檢測點(diǎn)或提取特定區(qū)域信息估算圖像的大氣透射率進(jìn)而求取能見度。然而,上述方法均需要輔助信息或人工設(shè)置閾值實(shí)現(xiàn)能見度的估算。雖然這類方法精度較高,但操作復(fù)雜,即使視頻攝像頭出現(xiàn)少量抖動或移位也將影響其識別精度,不適合城市大規(guī)模視頻設(shè)備站網(wǎng)的能見度提取。
近年機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)逐漸成熟,在氣象預(yù)報(bào)和防災(zāi)減災(zāi)方面已有大量應(yīng)用[17-23],也有學(xué)者將其用于圖像的能見度識別。石玉立等[24]采用機(jī)器學(xué)習(xí)算法建立能見度數(shù)值與圖像特征的關(guān)系模型,結(jié)果表明圖像梯度和對比度特征能夠反映能見度大小。苗開超等[25]構(gòu)建AlexNet卷積神經(jīng)網(wǎng)絡(luò)對道路開展能見度分級估測,該方法無需確定特定目標(biāo)物距離,直接對原始圖像進(jìn)行向量化處理并通過主成份法降維,具有更強(qiáng)的適用性和容錯(cuò)性,其白天準(zhǔn)確率可達(dá)80%以上,但該方法主要針對高速公路場景。本文在對原始視頻圖像進(jìn)行信息提取的基礎(chǔ)上,借助簡單卷積神經(jīng)網(wǎng)絡(luò)技術(shù)提出一種適用于大部分視野開闊場景的低能見度識別算法,以期實(shí)現(xiàn)低能見度天氣的智能監(jiān)測。
選取的實(shí)景圖像場地位于上海洋山港氣象站附近。洋山港氣象站位于30.6°N,122.1°E,面朝洋山深水港碼頭,海拔高度為4.6 m。該處視頻視野可覆蓋遠(yuǎn)處地平線,由遠(yuǎn)及近的景物層次分明,包括天際線、大海、海島、輪船、碼頭集裝箱、龍門吊、房屋、氣象觀測場等(圖1),本文所用時(shí)間均為北京時(shí)。視頻采集設(shè)備為??低曇曨lDS-2DE4220-AE型,采集圖像分辨率為1920×1080像素。設(shè)備架設(shè)于洋山港氣象站東面小山坡上,距離觀測場邊緣34.4 m,海拔高度為55.2 m。本文以該點(diǎn)視頻為例說明算法實(shí)現(xiàn)過程。文中用于對比的能見度儀為洋山港氣象站安裝的Vaisala公司生產(chǎn)的前向散射能見度儀(DNQ1型),觀測范圍為0~30000 m,每分鐘采集1次。
圖1 2021年1月16日14:00洋山港氣象站視頻場景景物分布Fig.1 Distribution of video scene scenery at Yangshan Port Weather Station at 1400 BT 16 Jan 2021
為了便于研究,參照氣象視程障礙天氣現(xiàn)象中霧的分類等級進(jìn)行標(biāo)簽劃分[26],分類時(shí)不區(qū)分由霧、霾或降水造成的低能見度,能見度等級名稱僅代表其所處的能見度范圍,不特指一種天氣現(xiàn)象(表1)。在建立訓(xùn)練樣本集時(shí)按照能見度等級開展圖像分類,將附近的洋山港氣象站能見度儀采集數(shù)據(jù)轉(zhuǎn)換到對應(yīng)等級,對同時(shí)刻圖像進(jìn)行初步分類,并對初步分類結(jié)果進(jìn)行質(zhì)量控制,調(diào)整明顯劃分錯(cuò)誤的分類。
表1 能見度分類標(biāo)準(zhǔn)Table 1 The standard for visibility classification
1.2.1 數(shù)據(jù)處理
本算法針對視頻圖像,需要選定合適的時(shí)間間隔從視頻流中截取視頻圖像,并剔除視頻點(diǎn)名稱、位置、時(shí)間等無關(guān)信息。卷積神經(jīng)網(wǎng)絡(luò)是一種可以從樣本中自動學(xué)習(xí)特征的方法[27],但在此應(yīng)用中如果直接從原始圖像中提取特征,干擾信息多,難以抓取其影響能見度識別的主要特征。根據(jù)定義,能見度是從背景環(huán)境中識別出目標(biāo)物輪廓的最大距離,而與目標(biāo)物本身的顏色與形狀等關(guān)系不大,因此圖像中最重要的信息是可以用于刻畫圖像邊緣輪廓的梯度信息。除梯度信息外,圖像中還包含飽和度、亮度、色相信息,這些信息常用于目標(biāo)物的檢測[28-29]。當(dāng)出現(xiàn)低能見度天氣現(xiàn)象時(shí),視頻畫面中往往整幅圖像亮度比較均勻,無法分辨天地交界處,畫面呈灰白色調(diào),圖像飽和度低。能見度越低,梯度越小,色彩飽和度越低,圖像亮度越均勻??紤]到一般視頻攝像頭為水平放置,遠(yuǎn)處景物一般出現(xiàn)在圖片的上方,近處景物一般出現(xiàn)在圖像下方,因此,對裁剪后的原始圖像進(jìn)行水平分塊處理,提取各塊的梯度、飽和度、亮度信息,重新組合成新的圖像。由于不同季節(jié)植被顏色會變化,以洋山港氣象站為例,春夏季節(jié)以綠色為主色調(diào),秋冬季節(jié)以黃色為主色調(diào),因此提取圖像信息過程中未考慮色相的因素。具體圖像處理過程如下:①將切割后的原始圖像轉(zhuǎn)化為梯度圖,采用Sobel算子進(jìn)行梯度轉(zhuǎn)化[30]。②將梯度圖自上而下分成256塊。對每塊中的像素點(diǎn)數(shù)值進(jìn)行統(tǒng)計(jì),分別統(tǒng)計(jì)像素值為0到255的像素?cái)?shù)量。③生成256×256像素大小的數(shù)據(jù)矩陣A1,每行代表一塊數(shù)據(jù),每列從左到右代表梯度圖中對應(yīng)像素位置為0~255數(shù)值的數(shù)量。④將切割后的原始圖像轉(zhuǎn)化為HSV圖像。H代表色調(diào),S代表飽和度,V代表明度,對飽和度和明度均采用與梯度同樣的方式,生成數(shù)據(jù)矩陣A2和A3。⑤將A1,A2,A33個(gè)矩陣合并成一幅256×256像素大小的RGB圖像,A1,A2,A33個(gè)矩陣數(shù)據(jù)分別為新的圖像的R,G,B通道數(shù)據(jù)。
采用opencv-python(V4.4.0)工具包進(jìn)行圖像處理,調(diào)用Sobel方法進(jìn)行梯度轉(zhuǎn)化,調(diào)用cvtColor方法將圖像從RGB顏色空間轉(zhuǎn)化為HSV顏色空間。
1.2.2 神經(jīng)網(wǎng)絡(luò)搭建
處理后的圖像得到極大簡化,是包含原始圖像的梯度、飽和度和亮度信息的RGB圖像。訓(xùn)練過程中只要區(qū)別水平條紋的長短和彼此之間的相互關(guān)系即可,因此這里設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)并不復(fù)雜。采用簡單卷積神經(jīng)網(wǎng)絡(luò),包括2個(gè)卷積層、2個(gè)最大池化層和2個(gè)全連接層,激活函數(shù)采用ReLU函數(shù),每個(gè)卷積層的濾波器數(shù)量均為32個(gè),采用Keras人工神經(jīng)網(wǎng)絡(luò)庫搭建網(wǎng)絡(luò)。Keras是由Python編寫的開源人工神經(jīng)網(wǎng)絡(luò)庫,可以進(jìn)行深度學(xué)習(xí)模型的設(shè)計(jì)、調(diào)試、評估、應(yīng)用和可視化[31]。用于神經(jīng)網(wǎng)絡(luò)搭建的軟件工具版本為Python3.6.13及Keras2.1.6。
1.2.3 訓(xùn)練集的建立
訓(xùn)練集樣本收集的是2019年9月—2020年12月的視頻圖像,每隔10 min采集1張圖像。根據(jù)洋山港氣象站能見度儀采集的數(shù)據(jù)進(jìn)行初步分類,進(jìn)行質(zhì)量控制后,給圖像打上標(biāo)簽區(qū)分能見度等級,共收集有效樣本29668張。由于霧屬于一種極端天氣現(xiàn)象,出現(xiàn)頻率較少,而大霧和強(qiáng)濃霧獲取的樣本量更少,因此原始訓(xùn)練集樣本極其不平衡。為了保證各類樣本均衡,需要對樣本較少的類型個(gè)例進(jìn)行調(diào)整。處理樣本不均衡的方法一般包括欠采樣法和過采樣法,過采樣法一般優(yōu)于欠采樣法[32]。欠采樣法是去除占比多的部分樣本,使得其與占比少的樣本量級接近,但由于強(qiáng)濃霧的樣本過少,這樣會去除大部分有效樣本,使總樣本量過少,因而本算法采用過采樣法。最簡單的過采樣法是直接復(fù)制少數(shù)樣本,缺點(diǎn)是雖然引入了額外的訓(xùn)練數(shù)據(jù),但沒有給少數(shù)類型樣本增加新信息,易造成過擬合??紤]到數(shù)據(jù)處理是根據(jù)水平分塊進(jìn)行統(tǒng)計(jì),相近兩個(gè)水平塊的信息比較接近,調(diào)換臨近圖像中行的信息,對分類器而言,不會對各分類的主要特征抓取有過多的影響。因此采用從上到下、按照一定的間隔調(diào)換臨近兩行數(shù)據(jù)的方法擴(kuò)展樣例。每種類型的訓(xùn)練樣本根據(jù)原有樣本量,從上到下調(diào)整不同的間隔數(shù)進(jìn)行擴(kuò)展,使得每種類型的樣本量更加均衡。表2為調(diào)整后的訓(xùn)練樣本量,強(qiáng)濃霧未出現(xiàn),分類時(shí)不予考慮。
表2 不同類型原有樣本量和調(diào)整后樣本量Table 2 The total number of original and modified samples in each category
1.3.1 檢驗(yàn)方法
為了檢驗(yàn)算法效果,本文采用圖像解析的能見度級別和自動氣象站能見度儀的能見度級別進(jìn)行對比驗(yàn)證。定義圖像解析能見度的準(zhǔn)確率R[33]:
R=Nr/Na×100%。
(1)
式(1)中,Nr為自動氣象站能見度等級與模型分類結(jié)果一致的數(shù)量,Na為總樣本量。
為了考察在不同能見度等級下算法的適用性,本文以自動氣象站能見度儀數(shù)據(jù)的等級劃分為標(biāo)準(zhǔn),定義不同能見度等級下的準(zhǔn)確率Rn:
Rn=Nnr/Nnz×100%。
(2)
式(2)中,Nnr為自動氣象站能見度等級為n且模型分類結(jié)果也為n的數(shù)量,Nnz為自動氣象站能見度數(shù)據(jù)等級為n的數(shù)量,n取0~4,分別代表5個(gè)能見度等級。
為了檢驗(yàn)算法對有霧和無霧的區(qū)分能力,引入霧的查全率:
Rf=Nf/Na×100%。
(3)
式(3)中,Nf為模型分類結(jié)果也為霧(包含霧、大霧和濃霧)的數(shù)量且自動氣象站能見度等級為霧,Na為自動氣象站能見度等級為霧的數(shù)量。以同樣方式引入非霧的查全率,非霧包括無霧及輕霧。
1.3.2 對比算法
采用AlexNet神經(jīng)網(wǎng)絡(luò)[25]進(jìn)行對比。使用AlexNet網(wǎng)絡(luò)時(shí),不對圖像進(jìn)行前期處理。為了解決樣本不平衡的問題,將訓(xùn)練樣本中樣本較少的2~4類圖像進(jìn)行簡單復(fù)制,使其達(dá)到表2調(diào)整后的樣本量。對調(diào)整后的樣本集進(jìn)行劃分,隨機(jī)選取80%為訓(xùn)練集,20%為測試集。
圖2為裁剪后白天和夜間原始圖像和梯度圖。由圖2看到,白天能見度較好的時(shí)刻,梯度圖中各景物輪廓大部分能夠分辨,而夜間只有在燈光處景物輪廓才能分辨。在夜間天空和沒有燈光處有許多分布均勻的梯度斑點(diǎn),這是夜間圖像的噪點(diǎn)導(dǎo)致。
在不同能見度等級下,白天新生成的典型圖像如圖3所示,夜間新生成的典型圖像如圖4所示。由圖3可以看到,白天當(dāng)能見度特別低時(shí),如大霧或濃霧(圖3d和圖3e),整幅圖像梯度幾乎為零,每個(gè)分塊的梯度像素值均較小,所以紅色通道幾乎均集中在圖像左側(cè)很小的區(qū)域,僅在底部區(qū)域由于離視頻攝像頭近,景物能分辨,其梯度數(shù)值分布區(qū)域較寬。同樣,飽和度也表現(xiàn)出這種變化特征,而由于整幅圖像亮度在霧的區(qū)域里變化較小,上下區(qū)域分布比較集中且連續(xù)。如能見度較好,天地交界處無論是亮度還是色彩飽和度的變化均比較明顯,從上向下有明顯的不連續(xù)和分層現(xiàn)象。不連續(xù)或分層現(xiàn)象出現(xiàn)越低往往能見度越差。當(dāng)夏季對流性云出現(xiàn)時(shí),天空有時(shí)也會出現(xiàn)梯度變化情況,但總體上天空和地物相比梯度變化不明顯。在陽光較好時(shí),能見度也較好,地物色彩較豐富,地面景物有陰影,因而梯度、色彩飽和度和亮度各個(gè)層次都有,分布范圍比較寬。這個(gè)視頻站點(diǎn)夜間圖像自動變?yōu)榛叶葓D,因此整幅圖像的飽和度均為0。由圖4可以看到,在夜間能見度較好的區(qū)域,梯度分布比較寬。亮度在有燈光的區(qū)域出現(xiàn)明顯的分層現(xiàn)象。當(dāng)出現(xiàn)大霧或濃霧時(shí),與白天一樣,亮度較為連續(xù)。此外,在夜景模式中,視頻設(shè)備由于需要信號增益,往往出現(xiàn)很多噪點(diǎn),特別是低能見度時(shí),整個(gè)屏幕會出現(xiàn)多個(gè)噪點(diǎn),如果用原始圖像進(jìn)行訓(xùn)練一般需要進(jìn)行去噪處理[34],而使用本算法無需對圖像去噪。但該方法也需要在圖像中有固定區(qū)域的燈光出現(xiàn),因?yàn)槿绻麍D像漆黑一片,人眼也無法分辨任何東西,通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練自然也無法識別其變化特征。
圖2 裁剪后白天和夜間原始圖像和梯度圖個(gè)例(a)白天原始圖像,(b)白天梯度圖,(c)夜間原始圖像,(d)夜間梯度圖Fig.2 Daytime and nighttime examples of cropped original images and gradient maps (a)daytime original image,(b)daytime gradient map,(c)nighttime original image,(d)nighttime gradient map
圖3 白天不同能見度等級下處理后的典型圖像(a)無霧,(b)輕霧,(c)霧,(d)大霧,(e)濃霧Fig.3 Typical images after processing at various levels of visibility during daytime(a)no fog,(b)light fog,(c)fog,(d)dense fog,(e)thick fog
圖4 夜間不同能見度等級下處理后的典型圖像(a)無霧,(b)輕霧,(c)霧,(d)大霧,(e)濃霧Fig.4 Typical images with various visibility levels after processing during nighttime(a)no fog,(b)light fog,(c)fog,(d)dense fog,(e)thick fog
對模型進(jìn)行訓(xùn)練時(shí),首先對樣本集進(jìn)行劃分,隨機(jī)選取80%為訓(xùn)練集,20%為測試集,結(jié)果表明:白天訓(xùn)練集和測試集準(zhǔn)確率分別為96.95%和97.35%,夜間訓(xùn)練集和測試集準(zhǔn)確率分別為96.14%和97.60%。這里測試集表現(xiàn)優(yōu)于訓(xùn)練集,原因是訓(xùn)練集和測試集均為隨機(jī)分配,同一天連續(xù)采集的視頻圖像經(jīng)處理后分別歸類在訓(xùn)練集和測試集中。一般同一天場景的光線、植被物候等條件比較接近,提取的特征也比較接近,因而訓(xùn)練后的模型測試時(shí)也有較好表現(xiàn)。
如果不對樣本進(jìn)行擴(kuò)充,使用原有樣本進(jìn)行訓(xùn)練,同樣隨機(jī)選取80%為訓(xùn)練集,20%為測試集,白天訓(xùn)練集和測試集準(zhǔn)確率分別為93.84%和93.77%,夜間訓(xùn)練集和測試集準(zhǔn)確率分別為92.69% 和93.88%,但測試集白天和夜間霧的查全率為80.95%及89.13%,非霧的查全率分別為100%及99.78%。而采用擴(kuò)展樣本訓(xùn)練建立的模型,測試集白天和夜間霧的查全率均達(dá)到100%,非霧的查全率為99.87%及98.98%。由此可見,對樣本進(jìn)行擴(kuò)充后訓(xùn)練,雖然增加了將非霧天氣誤判為有霧天氣的概率,但出現(xiàn)霧時(shí)幾乎無遺漏。
采用對比的AlexNet神經(jīng)網(wǎng)絡(luò),白天訓(xùn)練集和測試集準(zhǔn)確率分別為76.89%和76.93%,夜間訓(xùn)練集和測試集準(zhǔn)確率分別為76.54%和77.82%。本研究算法準(zhǔn)確率明顯高于AlexNet神經(jīng)網(wǎng)絡(luò)方法。
為了驗(yàn)證模型的泛化能力,用其他時(shí)間段的視頻圖像進(jìn)行檢驗(yàn),這里選擇2021年1月1日—5月31日的視頻圖像進(jìn)行測試,由于無霧的情況較多,因此無霧的圖像只取部分用于測試,白天共選取2855張圖像,總體測試準(zhǔn)確率為87.99%。夜間共2902張圖像,總體測試準(zhǔn)確率為81.32%。
由表3可以看到,無霧和輕霧的識別準(zhǔn)確率一般較高,霧的識別準(zhǔn)確率均偏低。在夜間,大部分濃霧樣例被識別為大霧等級,濃霧的識別準(zhǔn)確率偏低。這是因?yàn)樵谝归g有燈光的地方才可以看到物體,其他地方漆黑一片,當(dāng)霧的濃度達(dá)到一定級別后,視頻圖像中只是出現(xiàn)一片較弱的光,沒有參考物,無法分辨出霧的濃度,因此容易誤判為大霧,用人眼進(jìn)行判別也容易出現(xiàn)同樣偏差。白天識別錯(cuò)誤的樣本共343個(gè),夜間識別錯(cuò)誤的樣本共541個(gè),其分布見表4。
表3 不同能見度等級下的圖像能見度識別準(zhǔn)確率Table 3 Image visibility recognition accuracy at various degrees of visibility
表4 圖像能見度等級識別錯(cuò)誤樣本分布Table 4 Failed recognition of image visibility level
在氣象業(yè)務(wù)中,人們對于能見度較高的天氣關(guān)注較少,如果出現(xiàn)能見度低于1000 m的視程障礙天氣現(xiàn)象時(shí),需要提醒業(yè)務(wù)人員注意,并發(fā)布預(yù)警信息。本研究模型如果能區(qū)分霧和非霧的天氣,即可用于業(yè)務(wù)。因此將輕霧和無霧劃歸為一類,即屬于不需要關(guān)注類型,將霧、大霧、濃霧劃歸為一類,即屬于需要關(guān)注的類型。用能正確劃分這兩種類型的占比評估該模型的業(yè)務(wù)可用性。表4中,無霧判別為輕霧,或者輕霧判別為無霧,認(rèn)為是正確的;同樣,霧、大霧、濃霧分別劃分為這3類天氣中的其他兩類,也認(rèn)為是正確的,則得到白天識別準(zhǔn)確率為96.18%,夜間識別準(zhǔn)確率為96.14%。
為了查找模型識別錯(cuò)誤的原因,本文挑選了一部分識別錯(cuò)誤個(gè)例。圖5展示了能見度儀數(shù)據(jù)等級為霧但模型識別錯(cuò)誤的4個(gè)個(gè)例,其中2021年5月13日20:30和2021年3月11日19:10的圖像被模型識別為輕霧,2021年2月5日19:00和3月20日03:10的圖像被模型識別為大霧。從5月13日20:30 的圖像可以清楚地看到觀測場的儀器設(shè)備,3月11日19:10的圖像中觀測場位置較為模糊,但是遠(yuǎn)處的3個(gè)龍門吊可以看出輪廓,而2月5日19:00 和3月20日03:10的圖像中龍門吊無法清楚看到,觀測場更為模糊,上半部分(遠(yuǎn)處景物)整體表現(xiàn)得更白,景物更模糊。從人眼角度很難確認(rèn)這4張圖像能見度處于同一個(gè)級別,但至少可以判斷圖5月13日20:30和3月11日19:10圖像場景比2月5日19:00和3月20日03:10圖像場景的能見度更高,這與模型識別能見度等級趨勢是一致的。說明該模型可以代替人眼識別能見度等級。
圖5 自動氣象站能見度儀觀測等級為霧時(shí)識別錯(cuò)誤個(gè)例Fig.5 Examples of failed recognition when the visibility meter observation level is fog
2021年4月13日清晨華中和華東地區(qū)受冷高壓控制,上海地區(qū)晴空少云,西北風(fēng)1~2級,輻射降溫作用明顯,上海地區(qū)普遍出現(xiàn)輻射霧。上海氣象部門的能見度儀共有11臺,主要安裝在各個(gè)區(qū)縣氣象站,具體分布見圖6中▲所示位置,在上海東北部即崇明東部、長興島和橫沙島附近沒有安裝能見度儀。為了彌補(bǔ)氣象站點(diǎn)能見度儀數(shù)據(jù)不足,引入了4路公安系統(tǒng)監(jiān)控視頻圖像,具體分布見圖6中?所示位置,由北向南依次排列,分別為桃源村江邊、東寶路中段、長江隧橋、南祝4個(gè)點(diǎn)。為了便于插值運(yùn)算,需要從視頻圖像解析出能見度數(shù)據(jù),具體做法是利用本研究所建模型得到能見度分類等級,在分類等級的能見度范圍內(nèi)通過整幅圖像平均梯度擬合出能見度(單位:m)。通過Cressman插值[35]到0.01°×0.01°網(wǎng)格上,并繪制上海及周邊地區(qū)能見度分布(圖6),范圍為30.5°~32.0°N, 120.8°~122.3°E。由于能見度儀設(shè)備安裝比較稀疏且不均勻,上海東北部即崇明東部、長興島和橫沙島附近未安裝,其附近沒有能見度儀數(shù)據(jù),由圖6a可以看到,崇明東部、長興島及橫沙島以及浦東北部大部分處于郊區(qū),未出現(xiàn)霧。圖6b顯示,加入4個(gè)公安系統(tǒng)監(jiān)控視頻圖像解析的能見度數(shù)據(jù)后進(jìn)行插值,這時(shí)上海東北部郊區(qū)出現(xiàn)霧,只有城區(qū)由于輻射降溫較弱,未出現(xiàn)霧。因此使用視頻圖像后能見度數(shù)據(jù)更密,可以彌補(bǔ)上海東北部地區(qū)能見度數(shù)據(jù)稀疏的不足。
圖6 2021年4月13日05:00能見度分布圖(▲為能見度儀位置,?為視頻設(shè)備位置)(a)僅用能見度儀數(shù)據(jù),(b)能見度儀數(shù)據(jù)和4個(gè)站點(diǎn)視頻圖像能見度解析數(shù)據(jù)Fig.6 The visibility distribution at 0500 BT 13 Apr 2021(▲ is the visibility meter position,? is the video position) (a)using visibility meter data only,(b)using visibility meter data and 4 video images visibility analysis data
本研究提出一種實(shí)景圖像能見度識別算法,該算法將實(shí)景圖像進(jìn)行水平分塊,對每塊的梯度、飽和度、亮度信息提取后形成新的圖像,基于簡單卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,建立能見度識別模型,得到以下主要結(jié)論:
1) 通過對原始圖像進(jìn)行預(yù)處理,提取出包含原始圖像水平分塊中的梯度、飽和度、亮度信息,可以降低能見度識別的復(fù)雜度。
2) 按照霧的預(yù)報(bào)等級將能見度劃分為無霧、輕霧、霧、大霧、濃霧5個(gè)級別進(jìn)行測試,該模型白天總體的測試準(zhǔn)確率為87.99%,夜間測試準(zhǔn)確率為81.32%,優(yōu)于直接采用AlexNet卷積神經(jīng)網(wǎng)絡(luò)的識別模型。
3) 以能分辨1000 m以下低能見度天氣為標(biāo)準(zhǔn)劃分,該模型在白天對低能見度天氣的識別準(zhǔn)確率為96.18%,夜間的識別準(zhǔn)確率為96.14%。即該模型對實(shí)景圖像識別的能見度可以作為自動氣象站能見度觀測的補(bǔ)充,在氣象業(yè)務(wù)上有一定應(yīng)用價(jià)值。
本研究建立的能見度識別模型表現(xiàn)出較好使用效果,但仍存在一些不足。算法建立在視頻設(shè)備水平安裝且具備開闊視野的假設(shè)之上,表現(xiàn)為圖像中越靠近上面的景物距離攝像頭位置越遠(yuǎn),如果拍攝過程中有較大遮擋物,會造成圖像上面景物距離拉近的假象,這時(shí)算法可能失效。針對這種情況將遮擋物進(jìn)行垂直裁剪后再應(yīng)用該算法可消除誤判。由于該算法適用于水平安裝的視頻設(shè)備,因此在使用過程中需要進(jìn)行篩選,將符合算法假設(shè)的攝像頭納入業(yè)務(wù)系統(tǒng)。為了實(shí)現(xiàn)全天候通用能見度識別模型,需要在樣本量充足的條件下采用更大更深的網(wǎng)絡(luò)或其他神經(jīng)網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)。數(shù)據(jù)是推動某一領(lǐng)域人工智能技術(shù)應(yīng)用的重要因素,很多學(xué)者在建立針對特定應(yīng)用領(lǐng)域的人工智能數(shù)據(jù)集[36-38]。通常獲取和建立一個(gè)可靠數(shù)據(jù)集的成本很高,針對視頻圖像能見度識別的應(yīng)用,建立大量不同場景下的能見度等級圖像分類數(shù)據(jù)集也是亟待解決的問題。