莊志豪 王敏 王康 李晟 吳佳

0 引言

云是大自然的產(chǎn)物,它由漂浮在空中的微小水滴或冰晶組成[1],這些物質(zhì)組成的云層覆蓋了大約68%的地球表面[2]．對(duì)云及其特性的研究在許多應(yīng)用中有著非常重要的作用,例如氣候模擬、天氣預(yù)報(bào)、氣象學(xué)研究、太陽(yáng)能生產(chǎn)和衛(wèi)星通信等[3-6]．云與水文循環(huán)也緊密相連,通過(guò)與太陽(yáng)和陸地輻射的相互作用,影響局部和全球尺度的能量平衡．因?yàn)椴煌脑祁愋蛯?duì)地球的地表-大氣系統(tǒng)有不同的輻射影響[7],所以對(duì)云類型的自動(dòng)分類研究有著重要的意義．

從圖像中提取特征并基于圖像特征執(zhí)行分類是圖像分類的主要手段[8].按照特征提取方式的不同,云圖像分類主要有手工特征和深度學(xué)習(xí)特征兩種表示方法[9],也即傳統(tǒng)的機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法[10]．

傳統(tǒng)方法主要使用各種特征提取手段來(lái)提取選擇好的特征,然后用機(jī)器學(xué)習(xí)的方法進(jìn)行分類．大多數(shù)研究者集中研究不同云類別對(duì)應(yīng)的特征提取,以此達(dá)到對(duì)不同云的分類識(shí)別．例如:Singh等[11]評(píng)價(jià)了5種不同的云分類特征提取方法,即自相關(guān)矩陣、共現(xiàn)矩陣、邊緣頻率、Law’s特征和原始長(zhǎng)度,最后使用神經(jīng)網(wǎng)絡(luò)和K-最近鄰方法對(duì)云進(jìn)行分類;Calbo等[12]利用統(tǒng)計(jì)紋理特征(12個(gè)特征)、基于傅里葉頻譜的模式特征(4個(gè)特征)和基于閾值圖像的特征(6個(gè)特征)對(duì)8種預(yù)定義的天空條件進(jìn)行了分類,但最終準(zhǔn)確率僅有62%;Heinle等[13]提出了一種基于能量和熵等紋理特征的自動(dòng)云分類算法,使用K-最近鄰分類器對(duì)7種天空情況進(jìn)行分類;Kazantzidis等[14]提出一種改進(jìn)的K-最近鄰算法,利用統(tǒng)計(jì)色彩和紋理特征,并考慮了云量、太陽(yáng)天頂角和天空?qǐng)D像中雨滴的存在．雖然傳統(tǒng)方法可以在不同程度上對(duì)不同類型的云進(jìn)行分類,但它具有許多局限性:1)人工制作的特征依賴于專家的知識(shí),且提取方法較為復(fù)雜[15];2)結(jié)果和效率高度依賴于訓(xùn)練樣本和使用數(shù)據(jù)集的整體質(zhì)量;3)特征提取和分類器是兩個(gè)分割的環(huán)節(jié),受到分類方法和特征提取模型的限制,識(shí)別能力不高[16]．

近年來(lái)隨著人工智能的快速發(fā)展,深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域取得了成功,深度學(xué)習(xí)方法能夠從圖像數(shù)據(jù)中自動(dòng)地提取特征,因此不需要任何特征提取方法[17]．由于深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域的強(qiáng)大性能和優(yōu)秀表現(xiàn),學(xué)者們將深度學(xué)習(xí)應(yīng)用到地基云分類領(lǐng)域并取得了更好的結(jié)果,尤其是最近大規(guī)模地基云數(shù)據(jù)集的出現(xiàn)使得更復(fù)雜的深度學(xué)習(xí)模型在該領(lǐng)域得到應(yīng)用．

本文首先介紹了國(guó)內(nèi)外現(xiàn)有的標(biāo)準(zhǔn)地基云圖數(shù)據(jù)集,然后針對(duì)云的特征和云的類別進(jìn)行分析和討論,接著介紹了最新的基于深度學(xué)習(xí)方法的地基云分類研究,并選擇幾種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型在地基云數(shù)據(jù)集上評(píng)估其性能,最后對(duì)基于地面的云分類的研究做出總結(jié)和展望．

1 地基云圖數(shù)據(jù)集

地基云圖數(shù)據(jù)集的缺乏是制約地基云分類發(fā)展的主要因素之一,直到近年來(lái)自動(dòng)云觀測(cè)技術(shù)的完善和使用深度學(xué)習(xí)制作數(shù)據(jù)集技術(shù)的出現(xiàn),更大規(guī)模地基云的數(shù)據(jù)集才得以問(wèn)世．本部分將從云圖采集、云分類、公共數(shù)據(jù)集3個(gè)方面進(jìn)行介紹．

1.1 云圖采集儀器

如今,云觀測(cè)的自動(dòng)成像設(shè)備經(jīng)過(guò)不斷的發(fā)展已經(jīng)愈發(fā)完善,與人類觀測(cè)者相比,自動(dòng)觀測(cè)設(shè)備不僅節(jié)省了大量的人力物力,而且可以連續(xù)記錄天空的原始信息,并儲(chǔ)存圖像供氣象研究者使用[18]．運(yùn)用于云圖像自動(dòng)成像的采集方式通常有基于衛(wèi)星(space-based satellite)云圖成像、空基探空儀(air-based radiosonde)、基于地面(ground-based)云圖成像3種．基于衛(wèi)星的采集儀器能夠由上而下地觀測(cè)到大面積的云層[19],可以提供大規(guī)模的云信息,但其空間分辨率有限,無(wú)法描述局部的小尺度云特征,導(dǎo)致忽略一些小的云,例如低云或薄云由于與地表溫度和亮度相似,經(jīng)常會(huì)混淆[20]．而空基探空儀成本大大高出基于地面的設(shè)備[21],故基于地面的成像設(shè)備成為研究人員的最佳選擇．近些年來(lái),用于獲取全天圖像的地面儀器數(shù)量有所增加[22],已經(jīng)有一些地面成像設(shè)備被研發(fā)成功并應(yīng)用于對(duì)云的研究中,例如由圣地亞哥加州大學(xué)斯克里普斯海洋學(xué)研究所開(kāi)發(fā)的Whole-Sky Imager(WSI),它可以獲取大角度的地面全天空?qǐng)D像[23],與衛(wèi)星圖像顯示的是空間分辨率有限的大面積云層頂部不同,地面WSI顯示的是局部地區(qū)云層底部,對(duì)于當(dāng)?shù)靥鞖庋芯炕蛱?yáng)探測(cè)具有不可替代的作用[24-25]．

此外YanKee環(huán)境公司研發(fā)的Total-Sky Imager (TSI)也被經(jīng)常使用,TSI可提供白天半球的彩色圖像和一些其他關(guān)鍵的天空和氣象信息[26-27]．另一個(gè)常用的地面觀測(cè)系統(tǒng)是日本通信實(shí)驗(yàn)室研發(fā)的All-Sky Imager(ASI),它以高時(shí)間和空間分辨率克服了衛(wèi)星成像系統(tǒng)時(shí)空分辨率低的缺點(diǎn)[28]．目前經(jīng)過(guò)研究者的研究和創(chuàng)新,自動(dòng)云觀測(cè)設(shè)備已經(jīng)趨于完善,這些地面觀測(cè)設(shè)備大多使用紅-綠-藍(lán)(RGB)彩色圖像來(lái)捕捉天空的狀況[29],從這些設(shè)備提供的連續(xù)的全天空?qǐng)D像中,人們可以推斷出云的宏觀屬性,例如云的高度、云的覆蓋率、云的類型[30],這對(duì)自動(dòng)分類的研究有非常大的意義．

1.2 云分類標(biāo)準(zhǔn)

研究人員針對(duì)云分類任務(wù)將云分為幾類的問(wèn)題也有所不同．傳統(tǒng)上,云的分類以云的形狀為基本要素,同時(shí)考慮云的形狀成因和其內(nèi)部的微觀結(jié)構(gòu)．氣象學(xué)家一般將云分為3類,即卷云、積云和層云[31],根據(jù)云的透明度、擴(kuò)散和排列,每一種云的類型都可以繼續(xù)細(xì)分為許多種類[32]．此外,對(duì)于每一種云類型,它可能會(huì)與附屬的云及一些特性一起出現(xiàn)且會(huì)隨著時(shí)間改變形狀,轉(zhuǎn)變?yōu)槠渌愋偷脑芠33].正是由于這種性質(zhì),自動(dòng)云分類任務(wù)充滿了挑戰(zhàn)和困難．更詳細(xì)的,Haward將云分為高、中、低3族10屬29類(分類標(biāo)準(zhǔn)見(jiàn)表1)[34].研究者大多將幾個(gè)相似的、區(qū)別度很小的云類別組合成一個(gè)天空條件進(jìn)行自動(dòng)云分類任務(wù),如積雨云和雨層云,2類云顏色相近且邊緣都不清晰,相似度很高難以區(qū)分,將它們作為不同類別進(jìn)行分類無(wú)疑增大了分類的挑戰(zhàn)性,且2種云出現(xiàn)時(shí)都伴有降水,因此常常將這2種云組合成一類進(jìn)行分類．此外，研究者分類的標(biāo)準(zhǔn)并不一致,Buch等[35]將地面云圖分為5種不同的天空條件,Calbo等[12]為自動(dòng)云分類定義了8種天空條件,Zhen等[36]將全天圖像定義為4種天空條件．由此可見(jiàn)，研究者們?cè)趯?duì)云進(jìn)行分類時(shí)標(biāo)準(zhǔn)不一,在地基云分類任務(wù)中將云分成什么類型需要研究者根據(jù)數(shù)據(jù)集樣本的具體情況進(jìn)行判斷和驗(yàn)證．

表1 10種云屬簡(jiǎn)要介紹[34]

1.3 公共數(shù)據(jù)集

隨著地基云觀測(cè)設(shè)備的日趨發(fā)展和完善,越來(lái)越多的云圖數(shù)據(jù)被研究人員收集和標(biāo)注.制作數(shù)據(jù)集對(duì)圖片質(zhì)量也有嚴(yán)格要求[37],需要挑選出噪聲小、特征信息明顯的云圖像.此外,由于有些云的類別相似度較高,需要專家進(jìn)行標(biāo)注提高置信度,這使得制作地基云分類數(shù)據(jù)集充滿了挑戰(zhàn)[38]．由于數(shù)據(jù)集制作困難,一直以來(lái)研究者們都使用小數(shù)據(jù)集進(jìn)行地基云分類的研究,這毫無(wú)疑問(wèn)極大地阻礙了地基云分類領(lǐng)域的發(fā)展．如今,深度學(xué)習(xí)的出現(xiàn)使得制作數(shù)據(jù)集變得簡(jiǎn)單[39].研究人員一般將采集來(lái)的云圖使用深度學(xué)習(xí)模型進(jìn)行預(yù)分類,然后對(duì)分類錯(cuò)誤、分類置信度低的圖片進(jìn)行人工分類,這樣大規(guī)模數(shù)據(jù)集的制作就不再?gòu)?fù)雜,地基云分類的大規(guī)模數(shù)據(jù)集近兩年也相繼出現(xiàn)．本節(jié)先介紹國(guó)內(nèi)外常用的兩種標(biāo)準(zhǔn)云圖小數(shù)據(jù)集:SWIMCAT、CCSN,再對(duì)3種新發(fā)布的地基云分類大數(shù)據(jù)集MGCD、GCD(地基云數(shù)據(jù)集)、HBMCD進(jìn)行介紹．各數(shù)據(jù)集樣本云圖如圖1所示,各數(shù)據(jù)集總結(jié)見(jiàn)表2．

圖1 地基云分類數(shù)據(jù)集各類別樣本圖片F(xiàn)ig.1 Various sample images of ground-based cloud classification data set

1)SWIMCAT數(shù)據(jù)集

SWIMCAT數(shù)據(jù)集全稱為新加坡全天空成像分類數(shù)據(jù)集,是由Dev等[40]使用廣角高分辨率天空成像設(shè)備(WSI)收集和制作的新加坡全天成像地基云數(shù)據(jù)集,它將784張?zhí)暨x好的云圖分為晴空(clear sky)、混合云(patterned clouds)、厚黑云(thick dark clouds)、厚白云(thick white clouds)、薄云(veil clouds)．

2)CCSN數(shù)據(jù)集

CCSN[41]全稱為卷云積云層云雨云數(shù)據(jù)集,將云基于氣象標(biāo)準(zhǔn)分為10個(gè)類別,并首次將飛行軌跡(Contrails)納入地基云分類任務(wù)(表2中簡(jiǎn)稱Ct).該數(shù)據(jù)集包含了2 543幅云圖像,是常用的SWIMCAT的3倍,但在深度學(xué)習(xí)環(huán)境中還是不能滿足需求,而且其樣本圖像包含一些房屋樹木等噪聲,在學(xué)習(xí)云特征時(shí)容易造成干擾．

3)MGCD數(shù)據(jù)集

MGCD[42]全稱為多模態(tài)地基云數(shù)據(jù)集,是目前國(guó)內(nèi)外第一個(gè)記錄地基云圖多模態(tài)信息的數(shù)據(jù)集．Liu等[42]在天津收集了超過(guò)22個(gè)月,包含8 000幅地基云樣本和每個(gè)樣本對(duì)應(yīng)的多模態(tài)信息,即溫度、濕度、壓力和風(fēng)速,由氣象站收集并儲(chǔ)存在一個(gè)向量中．8 000 幅圖片將10種云屬組合成5種類型,加上晴空和混合云,共分為7種天空類型,其中云量低于10%的圖片被定義為晴空(clear),含有不少于2種云的圖片被定義為混合云(mixed)．

4)GCD數(shù)據(jù)集

GCD數(shù)據(jù)集[43]全稱為地基云數(shù)據(jù)集,包括19 000 幅地基云圖片,與MGCD分類標(biāo)準(zhǔn)一樣,分為7種天空條件．該數(shù)據(jù)集在中國(guó)10個(gè)省份收集超過(guò)1年,具有很大的多樣性.除此之外,該數(shù)據(jù)集的規(guī)模遠(yuǎn)遠(yuǎn)超過(guò)之前的數(shù)據(jù)集,拓展了深度學(xué)習(xí)在地基云分類領(lǐng)域上的研究．

5)HBMCD數(shù)據(jù)集

HBMCD數(shù)據(jù)集[44]全稱為華云BJUT-MIP云圖數(shù)據(jù)集,是由北京工業(yè)大學(xué)使用華云觀測(cè)設(shè)備收集的.該數(shù)據(jù)集將10 942幅地基云圖像分為11類,即10類標(biāo)準(zhǔn)云屬和1類無(wú)云(No),是目前按照10類云屬劃分的最大的數(shù)據(jù)集.11類云圖各類別樣本量均勻,易于在該數(shù)據(jù)集上開(kāi)展深度學(xué)習(xí)地基云分類的研究．

表2 地基云分類數(shù)據(jù)集

傳統(tǒng)方法使用圖像處理層面的算法對(duì)地基云圖像提取特征信息然后使用機(jī)器學(xué)習(xí)算法進(jìn)行分類.由于公共數(shù)據(jù)集的缺乏,大多研究者使用小樣本數(shù)據(jù)集,如SWIMCAT數(shù)據(jù)集,但其并不包含所有的云類別[45],而CCSN包含10個(gè)云屬但圖像中有一些房屋樹木等干擾,且這些數(shù)據(jù)集樣本量較少[46]．隨著深度學(xué)習(xí)在地基云分類領(lǐng)域的成功應(yīng)用,大規(guī)模的數(shù)據(jù)集是深度學(xué)習(xí)成功的關(guān)鍵,使得人們對(duì)數(shù)據(jù)集的樣本規(guī)模有了更多的要求．最近的GCD和HBMCD分別將云劃分為7種天空條件和氣象標(biāo)準(zhǔn)的10類云屬,數(shù)據(jù)集規(guī)模較大,便于研究者使用深度學(xué)習(xí)開(kāi)展地基云自動(dòng)分類的研究[47]．但面對(duì)層數(shù)比較深、結(jié)構(gòu)更復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型時(shí),仍然會(huì)出現(xiàn)因數(shù)據(jù)量不足而導(dǎo)致的過(guò)擬合現(xiàn)象,因此還需要規(guī)模更大、分類置信度更高、干擾噪聲更小、各類別樣本數(shù)分布更均勻的數(shù)據(jù)集來(lái)推動(dòng)地基云分類任務(wù)的研究和發(fā)展[48]．

2 深度學(xué)習(xí)地基云分類研究回顧

深度學(xué)習(xí)在2012年以來(lái)得到了廣泛應(yīng)用．隨著深度學(xué)習(xí)算法的發(fā)展,如線性整流單元(ReLU)和隨機(jī)失活(DropOut)的出現(xiàn),深度學(xué)習(xí)識(shí)別和預(yù)測(cè)的準(zhǔn)確性和訓(xùn)練速度大大提高,與此同時(shí)計(jì)算機(jī)硬件如GPU性能的提升也是深度學(xué)習(xí)飛速發(fā)展的重要原因．如今,深度學(xué)習(xí)已被應(yīng)用于圖像識(shí)別、大數(shù)據(jù)處理、自動(dòng)駕駛等多個(gè)領(lǐng)域[49]．

在云分類任務(wù)中,通過(guò)將深度學(xué)習(xí)和傳統(tǒng)提取手工特征再分類的方法比較,可以發(fā)現(xiàn)深度學(xué)習(xí)可以使計(jì)算機(jī)自動(dòng)地識(shí)別云的特征,減少人的參與過(guò)程[50]．目前,已經(jīng)有多種深度學(xué)習(xí)方法被應(yīng)用于地基云分類任務(wù)上,并有良好的表現(xiàn),在一些相似類別的區(qū)分任務(wù)上準(zhǔn)確率有很大提升．

由于卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域出眾的表現(xiàn),一些研究者將其應(yīng)用到地基云分類任務(wù)中,并評(píng)估卷積神經(jīng)網(wǎng)絡(luò)在地基云分類領(lǐng)域的適用性．Shi等[51]使用深度卷積激活的云圖像的特征進(jìn)行地基云識(shí)別,使用了5類784張圖片和7類100張圖片的不同數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果超過(guò)了大部分傳統(tǒng)方法．Ye等[52]通過(guò)模式挖掘和選擇策略從多個(gè)卷積層中采集局部視覺(jué)特征,然后使用Fisher向量進(jìn)行編碼,提出名為DeepCloud的新型特征提取方法對(duì)云進(jìn)行識(shí)別,驗(yàn)證了深度卷積特征在云圖像表示方面的優(yōu)越性．Zhang等[41]提出了一個(gè)名為CloudNet的簡(jiǎn)單網(wǎng)絡(luò),將地基云圖像分為11個(gè)類別,分類結(jié)果超過(guò)89%．隨著CNN在地基云分類上展示出卓越的性能,其他一些網(wǎng)絡(luò)也被應(yīng)用在地基云分類上并有良好的表現(xiàn).Liu等[53]將圖卷積網(wǎng)絡(luò)應(yīng)用于云分類,提出一種基于任務(wù)的圖卷積網(wǎng)絡(luò)模型(Task-Based Graph Convolutional Network),在8 000張?jiān)茍D片中將云分成7類,最高準(zhǔn)確率達(dá)到89.48%．Liu等[43]還提出一種上下文圖注意網(wǎng)絡(luò)(Context Graph Attention),在19 000張的云圖數(shù)據(jù)集中獲得84.30%的準(zhǔn)確率．

然而現(xiàn)有的大多數(shù)深度學(xué)習(xí)模型參數(shù)較多,需要大規(guī)模的數(shù)據(jù)集進(jìn)行訓(xùn)練,但現(xiàn)有數(shù)據(jù)集大多規(guī)模較小,實(shí)驗(yàn)結(jié)果可能受到訓(xùn)練過(guò)擬合的干擾．針對(duì)這一問(wèn)題,Phung等[54]提出一種在小規(guī)模數(shù)據(jù)集上的云分類方法,設(shè)計(jì)了一個(gè)簡(jiǎn)單的CNN模型,并應(yīng)用兩種正則化方法在SWIMCAT上獲得了最大精度99.36%的結(jié)果．Liu等[55]將多模態(tài)用于云分類,提出多模態(tài)生成對(duì)抗網(wǎng)絡(luò)(Mutimodel Gan),可以同時(shí)生成云圖像和對(duì)應(yīng)的多模態(tài)信息,提高分類網(wǎng)絡(luò)的生成能力,使用Gan網(wǎng)絡(luò)生成的云圖信息可以補(bǔ)足數(shù)據(jù)集小而造成的過(guò)擬合問(wèn)題．深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練前,首先會(huì)對(duì)網(wǎng)絡(luò)中的參數(shù)初始化,使用隨機(jī)初始化的方法充滿著不確定性.針對(duì)這個(gè)問(wèn)題,遷移學(xué)習(xí)有著優(yōu)異的表現(xiàn),其主要思想是將相關(guān)領(lǐng)域中學(xué)習(xí)到的知識(shí)或模式應(yīng)用到其他領(lǐng)域[56].顯然,使用預(yù)訓(xùn)練的網(wǎng)絡(luò)比用隨機(jī)初始化的權(quán)重從頭開(kāi)始訓(xùn)練一個(gè)新網(wǎng)絡(luò)更容易、更快．遷移學(xué)習(xí)在地基云領(lǐng)域也有優(yōu)秀的表現(xiàn),如Fang等[57]使用遷移學(xué)習(xí)在地基云分類中獲得96.55%的準(zhǔn)確率,Manzo 等[58]使用基于投票的遷移學(xué)習(xí)在多個(gè)數(shù)據(jù)集中都獲得了較高的準(zhǔn)確率,最高達(dá)99.98%．

經(jīng)典的CNN模型對(duì)圖像識(shí)別具有普遍適用性,在超大規(guī)模數(shù)據(jù)集ImageNet上也能獲得很高的準(zhǔn)確率,而地基云圖像作為天空中的自然圖像,特征和顏色較為明顯,相鄰類別相似度較大,因此針對(duì)地基云識(shí)別提出對(duì)云分類更具魯棒性的網(wǎng)絡(luò)是必要的.研究人員對(duì)CNN進(jìn)行了不同的改進(jìn),如Li等[59]神經(jīng)網(wǎng)絡(luò)SENet,增大有效特征圖的權(quán)重,減小無(wú)效特征圖的權(quán)重;Fang等[44]提出一種輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)模型LCCNet,對(duì)地基云圖有較好的表征能力和較低的運(yùn)算復(fù)雜度,在11類云分類任務(wù)中達(dá)到97.25%的準(zhǔn)確率;Zhang等[46]使用集成學(xué)習(xí)對(duì)多個(gè)卷積神經(jīng)網(wǎng)絡(luò)和殘差神經(jīng)網(wǎng)絡(luò)進(jìn)行了模型集成用于云分類,集成后的模型實(shí)現(xiàn)了較高的云分類精確率,且超過(guò)任何單一的深度學(xué)習(xí)模型．

總體來(lái)說(shuō),在地基云分類任務(wù)中使用深度學(xué)習(xí)方法成為研究者的優(yōu)先選擇,其強(qiáng)大的識(shí)別性能和簡(jiǎn)便的實(shí)驗(yàn)操作促使研究者嘗試更多類型的網(wǎng)絡(luò)結(jié)構(gòu)和深度學(xué)習(xí)算法來(lái)進(jìn)行地基云分類,對(duì)于自動(dòng)云識(shí)別系統(tǒng)暢想目標(biāo)的實(shí)現(xiàn)更進(jìn)了一步．

3 基于CNN的地基云識(shí)別評(píng)估

為對(duì)CNN在地基云識(shí)別上的表現(xiàn)做出詳細(xì)的評(píng)估,本章先對(duì)CNN進(jìn)行簡(jiǎn)單的介紹,然后選取目前性能最好的幾種CNN網(wǎng)絡(luò)分別在小數(shù)據(jù)集和大數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),最后對(duì)實(shí)驗(yàn)結(jié)果做出系統(tǒng)的評(píng)估．

3.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)[60]是深度學(xué)習(xí)的代表算法之一,可以學(xué)習(xí)云圖像中傳統(tǒng)方法難以學(xué)習(xí)和提取的復(fù)雜的邊緣、紋理信息,CNN在大規(guī)模圖像識(shí)別任務(wù)中已經(jīng)獲得了巨大的成功．CNN是一種包含卷積計(jì)算的深度前饋神經(jīng)網(wǎng)絡(luò),它的卷積層通過(guò)卷積運(yùn)算來(lái)代替網(wǎng)絡(luò)中至少一層的矩陣線性運(yùn)算,通過(guò)權(quán)重共享,減低了網(wǎng)絡(luò)的復(fù)雜度[61]．研究表明,低層CNN捕獲圖像的紋理信息[62],深層反映圖像高級(jí)語(yǔ)義信息．根據(jù)CNN中的一系列卷積,逐層捕獲相鄰像素間的信息,可以確保CNN對(duì)地基云分類任務(wù)的準(zhǔn)確性與魯棒性．為此本文構(gòu)建出一個(gè)簡(jiǎn)單的CNN網(wǎng)絡(luò),該網(wǎng)絡(luò)由5個(gè)卷積層組成,每個(gè)卷積層有2個(gè)卷積層核進(jìn)行卷積計(jì)算,每2個(gè)卷積層之間含有1個(gè)池化層．將1張地基云圖像傳輸進(jìn)該網(wǎng)絡(luò),得到其通過(guò)每一層卷積層后的特征圖,如圖2所示.從特征圖可以觀察到,前2層特征圖片紋理較為明顯,通過(guò)后面的卷積層后紋理特征逐漸模糊,呈現(xiàn)出語(yǔ)義的特征．目前CNN的深度模型經(jīng)過(guò)不斷的改良和創(chuàng)新,有越來(lái)越多的優(yōu)秀模型被提出,這些模型在地基云分類領(lǐng)域被應(yīng)用并獲得了令人滿意的效果．經(jīng)典的CNN模型包括VGG、ResNet、DenseNet、Inception、Xception和MobileNet等,這些CNN模型都有各自的優(yōu)點(diǎn),在圖像識(shí)別問(wèn)題上獲得了優(yōu)良的成果．

圖2 地基云圖傳入CNN的特征圖Fig.2 Feature images of ground-based cloud by CNN

CNN的主要缺點(diǎn)是過(guò)多的參數(shù)在數(shù)據(jù)集不足的情況下會(huì)導(dǎo)致過(guò)擬合的發(fā)生,并且隨著網(wǎng)絡(luò)層數(shù)的加深,容易發(fā)生梯度消失現(xiàn)象使得模型難以優(yōu)化且計(jì)算復(fù)雜度很高導(dǎo)致運(yùn)算時(shí)間過(guò)長(zhǎng)[63]．經(jīng)典的CNN模型針對(duì)這些問(wèn)題也做出了良好的解答,其中深度殘差網(wǎng)絡(luò)ResNet[64]借用Highway Network的思想,允許一部分原始信息直接從輸入層傳遞到最后一層,優(yōu)化了深度網(wǎng)絡(luò)層數(shù)太深而無(wú)法訓(xùn)練的問(wèn)題．牛津大學(xué)研發(fā)的VGG模型[65]引入了非線性變換,降低了計(jì)算量,且通過(guò)Multi-Scale方法訓(xùn)練和預(yù)測(cè),可以增加訓(xùn)練數(shù)據(jù)量,減少過(guò)擬合．Google研發(fā)的Inception[66]將較大的卷積層拆分成小的卷積層,這種分解對(duì)參數(shù)進(jìn)行了解離,既減少了過(guò)擬合又加快了運(yùn)算速度．Xception[67]在Inception上加以改進(jìn),使用深度可分離卷積(Depthwise Separable Convolution)以更少的參數(shù)來(lái)代替普通的3×3卷積核,在基本不增加模型復(fù)雜度的條件下優(yōu)化了模型效果．DenseNet[68]采用網(wǎng)絡(luò)更窄、參數(shù)更少的設(shè)計(jì),使得梯度傳遞更加有效,更容易訓(xùn)練．MobileNet[69]是一種輕量級(jí)框架,在保證準(zhǔn)確率的情況下,將參數(shù)壓縮至 1/7,參數(shù)量極小,運(yùn)算速度也超過(guò)其他模型．

3.2 實(shí)驗(yàn)設(shè)計(jì)與參數(shù)

為了更進(jìn)一步探究各種CNN模型在地基云分類上的表現(xiàn),本文先是對(duì)上述的6種CNN模型及其變體共8種模型在小數(shù)據(jù)集SWIMCAT上進(jìn)行了評(píng)估,實(shí)驗(yàn)的CNN模型分別為:VGG16、VGG19、ResNet50、ResNet101、InceptionV3、Xception、DenseNet201、MobileNet,它們也是目前在圖像識(shí)別任務(wù)中表現(xiàn)最好的8種模型．同時(shí)為了分析CNN模型在大數(shù)據(jù)集中的表現(xiàn),還選取了在上個(gè)實(shí)驗(yàn)中表現(xiàn)較好的其中4種CNN模型DenseNet201、ResNet50、InceptionV3、VGG16在大數(shù)據(jù)集GCD上進(jìn)行評(píng)估．

本次實(shí)驗(yàn)引入了遷移學(xué)習(xí),遷移學(xué)習(xí)的優(yōu)秀之處在于其使用了模型在更大的數(shù)據(jù)集如ImageNet上預(yù)訓(xùn)練的參數(shù),大大加快了訓(xùn)練速度和準(zhǔn)確率．為此以VGG網(wǎng)絡(luò)為例,在同樣的參數(shù)下讓VGG分別在遷移學(xué)習(xí)和非遷移學(xué)習(xí)下訓(xùn)練,實(shí)驗(yàn)結(jié)果如圖3所示.從實(shí)驗(yàn)結(jié)果可以看出非遷移學(xué)習(xí)訓(xùn)練了10個(gè)epoch準(zhǔn)確率才收斂,且準(zhǔn)確率僅能達(dá)到88%,而遷移學(xué)習(xí)收斂只用了2～3個(gè)epoch,并且準(zhǔn)確率高達(dá)99.36%．

圖3 遷移學(xué)習(xí)與非遷移學(xué)習(xí)對(duì)比Fig.3 Comparison between transfer learning and non-transfer learning

本次實(shí)驗(yàn)在Ubuntu環(huán)境上采用Python語(yǔ)言和Tensorflow框架在Jupyter平臺(tái)進(jìn)行編程實(shí)現(xiàn).由于SWIMCAT數(shù)據(jù)集較小,為對(duì)比訓(xùn)練時(shí)間,在型號(hào)inter-i7-11的CPU的運(yùn)行,GCD數(shù)據(jù)集在型號(hào)GTX-2080Ti的GPU機(jī)器上運(yùn)行,各個(gè)模型的準(zhǔn)確率如圖4和圖5所示,模型總結(jié)如表3所示．

圖4 8種CNN模型在SWIMCAT數(shù)據(jù)集上運(yùn)行結(jié)果Fig.4 Results of eight CNN models running on SWIMCAT data set

圖5 4種CNN模型在GCD數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Fig.5 Experimental results of four CNN models on GCD data set

兩次實(shí)驗(yàn)所使用的參數(shù)基本相同,首先將數(shù)據(jù)集按照4∶1劃分為訓(xùn)練集和驗(yàn)證集,將圖片大小轉(zhuǎn)化為CNN模型的輸入尺寸大小,各模型輸入尺寸在表3中可見(jiàn),初始學(xué)習(xí)率(learning rate)為0.000 1,學(xué)習(xí)率衰減(decay rate)為0.96,訓(xùn)練周期(epoch)為20,使用交叉熵?fù)p失(cross entropy)來(lái)更新參數(shù),批量大小(batch size)在SWIMCAT數(shù)據(jù)集上設(shè)為8,在GCD數(shù)據(jù)集上設(shè)為32．模型代碼和預(yù)訓(xùn)練權(quán)重使用Tensorflow提供的網(wǎng)絡(luò)模型及其在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)．

表3 8種卷積神經(jīng)網(wǎng)絡(luò)總結(jié)

3.3 實(shí)驗(yàn)結(jié)果評(píng)估

為詳細(xì)評(píng)估各CNN模型,除訓(xùn)練集和驗(yàn)證集準(zhǔn)確率外,還構(gòu)建出4種CNN模型在GCD數(shù)據(jù)集上的混淆矩陣(圖6)和各分類的召回率(Recall)、F1值(表4).在SWIMCAT上由于樣本量較少,模型表現(xiàn)較好,準(zhǔn)確率大多在98%以上,即114張的驗(yàn)證集僅有2～3張預(yù)測(cè)錯(cuò)誤,這種情況下混淆矩陣和召回率等不適合用于對(duì)8種網(wǎng)絡(luò)進(jìn)行評(píng)估.本節(jié)在8種模型的準(zhǔn)確率、訓(xùn)練時(shí)間和參數(shù)等方面對(duì)模型進(jìn)行評(píng)估．

從實(shí)驗(yàn)結(jié)果中得出的結(jié)論如下:

1)在小數(shù)據(jù)集上,使用卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)對(duì)地基云進(jìn)行分類的結(jié)果已經(jīng)超過(guò)大部分現(xiàn)有的傳統(tǒng)方法,VGG16、ResNet50、ResNet101在驗(yàn)證集的最高準(zhǔn)確率都達(dá)到了99.36%,其他幾個(gè)模型的準(zhǔn)確率也很接近,除MobileNet外均超過(guò)98%,這足以表明卷積神經(jīng)網(wǎng)絡(luò)在地基云分類任務(wù)中的適用性和優(yōu)越性．

2)本實(shí)驗(yàn)使用的遷移學(xué)習(xí)是在超大規(guī)模圖像分類數(shù)據(jù)集ImageNet上預(yù)訓(xùn)練的權(quán)重,避免了深度學(xué)習(xí)隨機(jī)初始化權(quán)重的隨機(jī)性,使訓(xùn)練速度和效果顯著提升．使用深度學(xué)習(xí)進(jìn)行地基云分類的實(shí)驗(yàn)步驟十分簡(jiǎn)潔,不需要復(fù)雜的提取特征過(guò)程,這是因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)會(huì)自動(dòng)地學(xué)習(xí)地基云圖像的形狀、紋理等特征[70],因此不需要對(duì)地基云圖進(jìn)行特征的提取,只需要搭建好模型加載預(yù)訓(xùn)練的權(quán)重,再將數(shù)據(jù)集進(jìn)行訓(xùn)練即可[71]．實(shí)驗(yàn)結(jié)果展現(xiàn)了遷移學(xué)習(xí)和CNN結(jié)合后的強(qiáng)大性能,從實(shí)驗(yàn)復(fù)雜性和識(shí)別結(jié)果精確性上均超過(guò)絕大多數(shù)算法．

3)表3中的VGG參數(shù)量最大,2種模型參數(shù)均超過(guò)1億,所以epoch訓(xùn)練時(shí)間也較長(zhǎng).準(zhǔn)確率上VGG以99.36%在8種模型中最高,因?yàn)閂GG將卷積層的卷積核參數(shù)改為統(tǒng)一的3×3,這種多次重復(fù)使用統(tǒng)一大小的卷積核的方法使得VGG可以提取更復(fù)雜、更具表達(dá)性的特征．DenseNet和ResNet也有良好的表現(xiàn),準(zhǔn)確率分別高達(dá)98.72%和99.36%,且損失曲線下降速度快．Inception和Xception準(zhǔn)確率都達(dá)到了98.08%,這2個(gè)網(wǎng)絡(luò)參數(shù)量和訓(xùn)練時(shí)間都非常相近,也表現(xiàn)出了對(duì)地基云識(shí)別的強(qiáng)大性能．MobileNet作為輕量級(jí)模型,參數(shù)量最小,僅有300多萬(wàn),因此每輪訓(xùn)練時(shí)間也較短,達(dá)到驗(yàn)證集最高精確率迭代次數(shù)較多,但是在準(zhǔn)確率上表現(xiàn)不佳,這可能是由于其參數(shù)過(guò)少,在學(xué)習(xí)特征時(shí)將云的部分特征遺失所致．總的來(lái)說(shuō),這8種網(wǎng)絡(luò)性能最低的MobileNet在SWIMCAT數(shù)據(jù)集上準(zhǔn)確率也達(dá)到了95.51%,這已經(jīng)超過(guò)了許多的傳統(tǒng)方法,準(zhǔn)確率最高的VGG和ResNet達(dá)到了99.36%,這證明了CNN在小數(shù)據(jù)集地基云分類任務(wù)上發(fā)揮著出色的性能．

4)在包含12 000張圖像的GCD數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)可以發(fā)現(xiàn)DenseNet的準(zhǔn)確率最高,達(dá)93.3%．且4種網(wǎng)絡(luò)模型在GCD的表現(xiàn)相比SWIMCAT，無(wú)論是訓(xùn)練集還是驗(yàn)證集準(zhǔn)確率都有降低,這是因?yàn)樵摂?shù)據(jù)集規(guī)模遠(yuǎn)遠(yuǎn)超過(guò)SWIMCAT數(shù)據(jù)集,且GCD將云圖分為7類,包含了全部的10種云屬．從混淆矩陣(圖6)與召回率、F1值(表4)可以看出,4種模型預(yù)測(cè)的效果總體比較相近,其中層積云、積雨云2個(gè)種類的預(yù)測(cè)容易混淆,這2個(gè)類別的云召回率、F1值較其他類別而言偏低,層積云的召回率、F1值大多低于80%．通過(guò)查看層積云、積雨云的一些樣本圖片發(fā)現(xiàn),這2個(gè)類別樣本非常相似,云體灰暗,一些圖片邊緣不明顯、難以區(qū)分,導(dǎo)致預(yù)測(cè)分類結(jié)果不高．其他類別的云召回率、F1值大多超過(guò)95%,可以應(yīng)用于自動(dòng)云分類任務(wù)中．這4種模型在超過(guò)1萬(wàn)張圖片的數(shù)據(jù)集上準(zhǔn)確率依然高于90%,遠(yuǎn)遠(yuǎn)高于許多傳統(tǒng)方法．

總體來(lái)看,卷積神經(jīng)網(wǎng)絡(luò)在地基云識(shí)別上的性能卓越,準(zhǔn)確率、訓(xùn)練速度等超過(guò)傳統(tǒng)方法,尤其是最近幾個(gè)大數(shù)據(jù)集的誕生,使得更多的神經(jīng)網(wǎng)絡(luò)模型得以在地基云分類上使用．

4 總結(jié)與展望

本文主要針對(duì)最新的地基云分類研究進(jìn)行介紹,從深度學(xué)習(xí)方法角度對(duì)近幾年的研究進(jìn)展進(jìn)行了詳細(xì)的概括．然后介紹了最新的幾種云圖大數(shù)據(jù)集,這些數(shù)據(jù)集允許更復(fù)雜的深度學(xué)習(xí)模型在地基云識(shí)別領(lǐng)域得到評(píng)估和應(yīng)用,解決了之前因云圖數(shù)據(jù)集缺乏而造成的困擾．最后使用遷移學(xué)習(xí)對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型在地基云識(shí)別上的性能進(jìn)行評(píng)估．評(píng)估時(shí),先是在SWMICAT數(shù)據(jù)集上使用8種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和預(yù)測(cè),8種模型的性能都超過(guò)了絕大部分傳統(tǒng)方法,再使用其中4種性能較好的模型在12 000張?jiān)茍D片的GCD數(shù)據(jù)集上進(jìn)行評(píng)估,得出在大數(shù)據(jù)集上DenseNet201預(yù)測(cè)效果最好的結(jié)論．

目前研究人員已經(jīng)將許多新的模型應(yīng)用于地基云分類領(lǐng)域[72],期待有更適合地基云分類任務(wù)的網(wǎng)絡(luò)模型出現(xiàn).除卷積神經(jīng)網(wǎng)絡(luò)外,生成對(duì)抗網(wǎng)絡(luò)和注意力機(jī)制等都在圖像識(shí)別中有良好的表現(xiàn)[73],期待有更多網(wǎng)絡(luò)在地基云分類上得到應(yīng)用．目前基于深度學(xué)習(xí)的地基云分類研究大多基于模型上的評(píng)估和驗(yàn)證,期待有更多更適合地基云分類的算法被提出,使得地基云分類在深度學(xué)習(xí)方法上得以發(fā)展和進(jìn)步．

5 數(shù)據(jù)可用性申明

本文使用的所有模型、代碼可以在https:∥gitee.com/zhuangzhihaoz/deeplearning_cloud上查閱．本文使用的SWIMCAT數(shù)據(jù)集和GCD數(shù)據(jù)集可以分別向其發(fā)布者請(qǐng)求獲得:

SWIMCAT:http:∥vintage.winklerbros.net/swimcat.html

GCD:https:∥github.com/shuangliutjnu/TJNU-Ground-based-Cloud-Dataset

圖6 4種CNN模型在GCD數(shù)據(jù)集上的混淆矩陣Fig.6 Confusion matrices of four CNN models on GCD data set

表4 4種CNN模型在GCD上的召回率和F1值