匡秋明,沈晨凱,于廷照,劉進(jìn)

① 中國氣象局 公共氣象服務(wù)中心,北京 100081;② 深圳今日頭條科技有限公司,廣東 深圳 518054;③ 武漢大學(xué) 計(jì)算機(jī)學(xué)院,湖北 武漢 430072

全球氣候模式(GCM)是預(yù)測全球氣候變化的重要工具之一(Karl and Trenberth,2003),然而GCM 輸出的空間分辨率相對(duì)較低,難以反映對(duì)流尺度天氣變化和區(qū)域差異化的氣候特征。一般地,有以下三種方法提升GCM預(yù)報(bào)時(shí)空分辨率的方法:1)開發(fā)更高分辨率的 GCM 或天氣預(yù)報(bào)模型;2)使用區(qū)域氣象預(yù)報(bào)模型(RCM);3)開發(fā)新型統(tǒng)計(jì)降尺度技術(shù)。GCM高分辨率預(yù)報(bào)模式由于受計(jì)算資源、對(duì)流尺度微物理過程機(jī)理尚未清晰等條件制約,方法1)較為難以實(shí)施。RCM 動(dòng)力降尺度(Misra et al.,2003) 方法既可以嵌入全局模型,又能將全局模型的輸出作為邊界條件獨(dú)立運(yùn)行,方法具有物理可解釋性、不受觀測數(shù)據(jù)影響等優(yōu)點(diǎn);然而,這類方法計(jì)算量大,難以模擬和配置。統(tǒng)計(jì)降尺度通過融合觀測數(shù)據(jù)學(xué)習(xí)一種映射關(guān)系,將地球系統(tǒng)模型映射到高分辨率(Vandal et al.,2017;蔡凝昊和俞劍蔚,2019),其主要包括回歸模型,基于天氣分型原理提高預(yù)報(bào)空間分辨率,以及用于提高時(shí)間分辨率的天氣預(yù)報(bào)插值方法。統(tǒng)計(jì)降尺度是連接 GCM 氣象要素低分辨率和高分辨率之間的橋梁(Wilby et al.,2002),其基本原理是利用統(tǒng)計(jì)經(jīng)驗(yàn)方法在大尺度氣候變量和區(qū)域氣候變量之間建立一種線性或非線性關(guān)系(Zorita,1995),將低空間分辨率GCM預(yù)報(bào)數(shù)據(jù)變換為高空間分辨率數(shù)據(jù)。統(tǒng)計(jì)降尺度具有以下優(yōu)點(diǎn):1)計(jì)算效率高;2)可輸出高分辨率格點(diǎn)或站點(diǎn)的氣象要素預(yù)報(bào);3)降尺度過程可同步考慮多源因子影響以確定統(tǒng)計(jì)降尺度模型的參數(shù)(Charles et al.,1999)。近年來,機(jī)器學(xué)習(xí)方法在氣象領(lǐng)域應(yīng)用研究取得進(jìn)展,賀圣平等(2021)研究指出將機(jī)器學(xué)習(xí)整合到氣候預(yù)測的思路切實(shí)可行,機(jī)器學(xué)習(xí)方法在降水(黃超等,2022)、公路能見度(黃亮等,2022)預(yù)報(bào)方面具有優(yōu)勢。

在計(jì)算機(jī)視覺領(lǐng)域,單幀圖像超分辨(SISR)技術(shù)與統(tǒng)計(jì)降尺度技術(shù)原理相似,其主要分為基于插值的、基于重構(gòu)和基于實(shí)例學(xué)習(xí)的方法(Glasner et al.,2009)?；诓逯档姆椒ㄖ饕孟噜徬袼攸c(diǎn)估計(jì)未知像素點(diǎn),為避免重要邊緣的模糊和偽影,保留邊緣的插值是常用的技術(shù)(Hung and Siu,2012)。由于 SISR 本身是一個(gè)退化問題,基于重構(gòu)的方法存在較大的不適定性,通過求解該問題的逆問題,圖像可重建(Baker and Kanade,2002)?；趯?shí)例學(xué)習(xí)的方法通過外部數(shù)據(jù)集學(xué)習(xí)來構(gòu)造低分辨率和高分辨率圖像對(duì)之間的映射關(guān)系(Freeman et al.,2002),技術(shù)方法包括鄰居嵌入(Gao et al.,2012)和稀疏編碼等。

傳統(tǒng)的三維氣象要素預(yù)報(bào)主要采用三維差值方法(趙濱和張博,2018)。近年來,隨著深度神經(jīng)網(wǎng)絡(luò)方法的快速研發(fā)和應(yīng)用,基于卷積網(wǎng)絡(luò)超分辨率模型的圖像降尺度在氣象要素降尺度方面顯示出巨大潛力。DeepSD (Vandal et al.,2017) 是首個(gè)用于氣候變量統(tǒng)計(jì)降尺度的多層卷積神經(jīng)網(wǎng)絡(luò)(CNN)方法,該方法通過三層 CNN 將低分辨率圖像映射為高分辨率圖像,實(shí)驗(yàn)結(jié)果優(yōu)于傳統(tǒng)統(tǒng)計(jì)降尺度方法。除此之外,Lai et al.(2017)的 LapSRN 框架直接將 LR 圖像輸入網(wǎng)絡(luò)并逐步放大,通過在不同層級(jí)間共享參數(shù),可以有效地提高精度,減少計(jì)算量。這類基于深度學(xué)習(xí)模型的降尺度方法可以學(xué)習(xí)不同分辨率圖像數(shù)據(jù)之間的映射關(guān)系(Zhang et al.,2018a)。并且,由于高分辨率圖像可以隨機(jī)切分為多組數(shù)據(jù)塊實(shí)現(xiàn)數(shù)據(jù)增廣(Wang et al.,2015),便于獲取樣本,訓(xùn)練降尺度模型。

然而,上述深度學(xué)習(xí)降尺度網(wǎng)絡(luò)模型多數(shù)考慮對(duì)象為二維圖像數(shù)據(jù),在氣象要素領(lǐng)域,三維降尺度也有重要用途。最典型的EC和NCEP三維預(yù)報(bào)空間分辨率分別有25 km,常規(guī)的彩色圖像通常包含R、G、B三個(gè)顏色通道,而氣象三維數(shù)據(jù)對(duì)應(yīng)的圖像則是多通道的,如圖1所示。對(duì)三維氣象要素預(yù)報(bào)數(shù)據(jù)而言,在應(yīng)用超分辨(SR)方法之前和之后,相鄰切片之間的溫度、濕度等氣象要素變化在三維空間是連續(xù)的;風(fēng)速的降尺度不僅與風(fēng)速相關(guān),還與溫度、濕度等相關(guān);多種分辨率的氣象要素預(yù)報(bào)圖像之間存在內(nèi)部關(guān)聯(lián)等;而簡單地將二維圖像降尺度模型擴(kuò)展到多通道降尺度應(yīng)用,未能較好地應(yīng)用這類氣象領(lǐng)域知識(shí)。

圖1 三維氣象要素類比為多通道圖像示意Fig.1 Analogy of 3D meteorological elements into multi-channel image diagram

針對(duì)這些問題,提出了一種新的神經(jīng)網(wǎng)絡(luò)——多尺度殘差拉普拉斯金字塔網(wǎng)絡(luò)(Multi-Scale Residual Laplacian Pyramid Network,MSRLapN),以提高三維氣象預(yù)報(bào)圖像的空間分辨率。該模型以 LapSRN 為基礎(chǔ),結(jié)合多尺度殘差塊MSRB (Li et al.,2018)、多尺度金字塔等技術(shù)構(gòu)建三維氣象要素降尺度模型。此外,網(wǎng)絡(luò)中所涉及的轉(zhuǎn)置卷積均替換為sub-pixel(Shi et al.,2016)層。與傳統(tǒng)方法不同的是,本文采用了多尺度特征融合和局部殘差學(xué)習(xí)的方法。具體來說,將一個(gè)局部跳躍連接和不同大小的卷積核交錯(cuò)構(gòu)成一個(gè)多尺度殘差塊。這些塊中的一個(gè)或多個(gè)連接在一起,形成網(wǎng)絡(luò)中的特征提取分支。除上述局部殘差學(xué)習(xí)方法外,本文還采用了可調(diào)學(xué)習(xí)率和梯度裁剪的方法對(duì)訓(xùn)練過程進(jìn)行優(yōu)化。同時(shí),移除插值運(yùn)算模塊以加快模型訓(xùn)練速度。實(shí)驗(yàn)結(jié)果表明:1)本文提出的特征提取模塊優(yōu)于線性連接結(jié)構(gòu);2)融合氣象領(lǐng)域知識(shí)的三維降尺度效果更好;3) MSRLapN 在定量評(píng)價(jià)和視覺質(zhì)量評(píng)價(jià)方面優(yōu)于對(duì)比方法。

氣象領(lǐng)域的降尺度旨在挖掘從低分辨率氣象要素變量到高分辨率氣象要素變量之間的映射,將氣象要素變量值類比為圖像像素值,將氣象要素預(yù)報(bào)數(shù)據(jù)加工為圖像數(shù)據(jù),則氣象要素降尺度技術(shù)與計(jì)算機(jī)視覺領(lǐng)域從低分辨率圖像變換為高分辨率圖像的超分辨技術(shù)類似。但因氣象要素降尺度包含降水量、氣溫、相對(duì)濕度和風(fēng)速等多種要素多尺度交互作用,因此比計(jì)算機(jī)領(lǐng)域的常規(guī)圖像超分辨處理更為復(fù)雜。

基于單幀圖像超分辨SISR的氣象預(yù)報(bào)降尺度,旨在尋找一種合理的映射關(guān)系,

(;)=。

(1)

其中:是低分辨率輸入;是真實(shí)高分辨率輸出;為超分辨模型;為模型參數(shù)。由于SISR本身作為一種病態(tài)問題,具有很多可行解(Li et al.,2010)。

一般地,圖像超分辨率技術(shù)大致分為兩類:經(jīng)典圖像超分辨率(Glasner et al.,2009)和基于樣本學(xué)習(xí)的方法。經(jīng)典的多種圖像超分辨率方法有基于稀疏編碼的表示(Yang et al.,2010;Ouyang et al.,2014)?；跇颖緦W(xué)習(xí)的方法學(xué)習(xí)高頻信息和低頻信息之間的表示關(guān)系,通過學(xué)習(xí)大量低分辨率圖像和高分辨率圖像的映射關(guān)系以達(dá)到收斂,一般包括三個(gè)主要步驟:1)低分辨率特征提取;2)學(xué)習(xí)高分辨率和低分辨率圖像對(duì)之間的表示關(guān)系;3)利用學(xué)習(xí)映射關(guān)系將低分辨率圖像重建為高分辨率圖像。

相對(duì)濕度和風(fēng)速降尺度技術(shù),傳統(tǒng)方法有支持向量機(jī)(Zhang et al.,2018b)和貝葉斯平均模型(Dong et al.,2011)等,而AANR(Timofte et al.,2013)和稀疏表示(Zeyde et al.,2010)則是提出將深度學(xué)習(xí)方法用于超分辨率的研究工作。

Dong et al.(2011)的研究發(fā)現(xiàn)表明,CNN 模型和稀疏表示方法是等價(jià)的,并提出應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)解決 SISR 問題,并取得了良好的性能。隨后,研究者們又提出了大量改進(jìn)算法。Vandal et al.,(2017)首次將 CNN 應(yīng)用于氣象要素統(tǒng)計(jì)降尺度問題,并隨之提出了DeepSD,與之前方法相比,在多種評(píng)價(jià)指標(biāo)上均有顯著的改進(jìn)。然而,DeepSD 方法仍然具有很大的局限性:1)卷積層數(shù)較少,特征提取不充分;2)它通過獨(dú)立疊加多個(gè)相似的結(jié)構(gòu)來生成高分辨率數(shù)據(jù),多尺度之間相互作用描述不充分。Jiang et al.(2020)提出了用于遙感影像超分辨率的邊緣增強(qiáng) GAN,ATMFN網(wǎng)絡(luò)則結(jié)合了多種不同的 CNN 模型,并利用多個(gè)CNN模型的融合優(yōu)勢,改進(jìn)提升了模型性能。Wang et al.(2019)提出了一種用于視頻超分辨的MMCNN網(wǎng)絡(luò),它考慮了視頻中的序列幀的時(shí)序作用,并將卷積長短期存儲(chǔ)器嵌入到殘差模塊中。DDRN網(wǎng)絡(luò)基于遞歸蒸餾網(wǎng)絡(luò)嘗試用于衛(wèi)星視頻數(shù)據(jù)的超分辨率,不同層的特征并行提取,極大地降低了網(wǎng)絡(luò)復(fù)雜度。Lai et al.(2017)提出 LapSRN,采用級(jí)聯(lián)和更深的網(wǎng)絡(luò)結(jié)構(gòu),以克服 SRCNN 的局限性,并指出多種損失函數(shù)的融合可以有效提高模型分類和邊緣檢測性能(Xie and Tu,2015)。此外,LapSRN在建立的一個(gè)×4倍模型同時(shí)可直接生成×2倍和×4倍的放大圖像(Lai et al.,2017),這對(duì)應(yīng)到氣象預(yù)報(bào)中,可同時(shí)生成多種分辨率的預(yù)報(bào)輸出,比如將氣象預(yù)報(bào)從20 km同時(shí)降尺度到5 km和1 km分辨率。Timofte et al.(2013)提出的VDSR是一個(gè)非常深的網(wǎng)絡(luò),主要實(shí)現(xiàn)了以下內(nèi)容:1)感受野增大,2)殘差圖像的集成訓(xùn)練,以加快收斂速度,3)可以處理多尺度的問題。Zeyde et al.(2010)則著重考慮了超分辨率技術(shù)存在的三個(gè)主要問題:1)泛化性能差,更換數(shù)據(jù)集,實(shí)驗(yàn)結(jié)果難以復(fù)制以達(dá)到原始論文的相似效果;2)由于忽略了特征提取,圖像中的特征在較深或較淺的網(wǎng)絡(luò)中沒有得到充分利用;3)過于注重直接放大圖像以減少可見偽影,導(dǎo)致可擴(kuò)展性差。為了解決這些問題,Li et al.(2018)提出了殘差密集網(wǎng)絡(luò)RDN (Zhang et al.,2018b)利用殘差密集學(xué)習(xí)從輸入圖像中提取特征信息。該方法用于二維圖像超分辨取得了較好的效果。對(duì)于氣象數(shù)據(jù)而言,三維數(shù)據(jù)和二維并非簡單的維數(shù)增加,而是相互作用的關(guān)系改變,因此有必要對(duì)現(xiàn)有的網(wǎng)絡(luò)體系結(jié)構(gòu)進(jìn)行改進(jìn)。為了充分利用殘差網(wǎng)絡(luò)不同層的特征信息,Liu et al.(2020)提出了基于增強(qiáng)空間注意力機(jī)制和殘差聚合機(jī)制的圖像超分辨率技術(shù),取得了較為合理效果,但基于學(xué)習(xí)的方法不能同時(shí)處理不同的縮放尺寸,為此,Zhang et al.(2020)提出USRNet(Deep Unfold SuperResolution Network),將不同尺度的縮放因子及模糊內(nèi)核通過一個(gè)單一的端到端網(wǎng)絡(luò)訓(xùn)練,將超分辨問題轉(zhuǎn)換為若干迭代求解的子問題,進(jìn)而通過多個(gè)子網(wǎng)絡(luò)實(shí)現(xiàn)問題求解。

最近,由于Transformer(Vaswani et al.,2017)在計(jì)算機(jī)視覺領(lǐng)域取得了較好的效果,基于Transformer的圖像超分辨率技術(shù)(Yang et al.,2020;Chen et al.,2021)進(jìn)行預(yù)報(bào)降尺度也是一個(gè)重要的研究方向。

1 模型方法

本節(jié)詳細(xì)介紹MSRLapN網(wǎng)絡(luò)。MSRLapN 主要由兩個(gè)分支組成,一個(gè)分支由多尺度殘差塊MSRB(Li et al.,2018)和subpixel(Shi et al.,2016)卷積層組成,另一分支包括兩個(gè)卷積層和一個(gè)subpixel卷積層,網(wǎng)絡(luò)結(jié)構(gòu)具體說明如圖2所示。

圖2 MSRLapN模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure diagram of the proposed MSRLapN model

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

為了實(shí)現(xiàn)三維氣候數(shù)據(jù)降尺度,本文以LapSRN網(wǎng)絡(luò)為基礎(chǔ),提出MSRLapN網(wǎng)絡(luò)模型,模型結(jié)構(gòu)如圖2所示。該模型將降尺度過程分為兩個(gè)分支:圖像重建分支和特征提取分支。圖3給出了LapSRN網(wǎng)絡(luò)結(jié)構(gòu)。MSRLapN 包含幾組重復(fù)的網(wǎng)絡(luò)結(jié)構(gòu)層,對(duì)不同層級(jí),設(shè)置一個(gè)特定的比例因子將其放大。圖2僅顯示了從低分辨率到高分辨率重建過程的第一層級(jí)的模型結(jié)構(gòu),在實(shí)際應(yīng)用中,可根據(jù)不同的需求增加或減少層級(jí)數(shù)量。模型以高空間分辨率的地形數(shù)據(jù)和低空間分辨率的氣象數(shù)據(jù)作為輸入,并且對(duì)于每一個(gè)輸入(低分辨率氣候數(shù)據(jù)和高分辨率地形數(shù)據(jù)),通過單層卷積首先提取其隱層特征。由于地形數(shù)據(jù)和低分辨率氣候數(shù)據(jù)尺寸不同,因此需要將這些變換后的數(shù)據(jù)串聯(lián)到多層三維圖像中實(shí)現(xiàn)尺寸統(tǒng)一。在MSRLapN中,所有的轉(zhuǎn)置卷積層都由subpixel卷積層代替。在特征提取分支的每個(gè)層級(jí)上,分別有一個(gè)MSRB和一個(gè)subpixel卷積層,其中,MSRB進(jìn)行多尺度特征提取,并且可以有效避免模型退化加速收斂,subpixel卷積層的上采樣比例尺設(shè)置為2。具體地,MSRB首先包含一層卷積核大小為1×1的卷積層,這可以大大減少特征層參數(shù)量,并且保證MSRB的輸入輸出特征層數(shù)量不變。如圖3所示,subpixel卷積層的輸出將作為兩種截然不同網(wǎng)絡(luò)層的輸入,一是在相同層級(jí)重建殘差信息,另一則是用于下一層的特征提取。為了有效降低計(jì)算復(fù)雜度,不同層的參數(shù)之間實(shí)現(xiàn)共享。對(duì)數(shù)據(jù)重建分支,其包含一個(gè)subpixel卷積層和兩個(gè)普通卷積層。輸入數(shù)據(jù)由subpixel卷積層進(jìn)行上采樣。需要注意的是,通過實(shí)驗(yàn)本文發(fā)現(xiàn),在subpixel層之前必須先經(jīng)過卷積層,否則訓(xùn)練過程難以收斂。另一個(gè)卷積層則以提取的特征作為輸入,以subpixel層重建的高分辨率數(shù)據(jù)為輸出。生成的高分辨率數(shù)據(jù)可以作為中間結(jié)果,用于下一層級(jí)的重建。

圖3 LapSRN網(wǎng)絡(luò)結(jié)構(gòu)(綠色箭頭表示元素加法運(yùn)算,藍(lán)色箭頭表示反卷積操作,紅色箭頭表示卷積操作)Fig.3 LapSRN framework(the green arrows represent element-wise addition operators;the blue arrows represent transposed convolutional layers;and the red arrows represent convolutional layers)

1.2 多尺度殘差塊MSRB

特征通過不同大小卷積核的兩個(gè)通路進(jìn)行傳輸。如圖4所示,左路卷積核大小為5×5,右路卷積核大小為3×3。旁路之間的信息能夠彼此共享。因此,可以檢測到不同的尺度的特征(Li et al.,2018)。數(shù)學(xué)描述如下:

(2)

(3)

(4)

(5)

(6)

其中:和分別表示權(quán)重和偏差;*表示卷積操作;下標(biāo)和上標(biāo)分別表示卷積核大小和層數(shù)。

圖4 多尺度殘差模塊 (MSRB)Fig.4 Multi-Scale Residual Block (MSRB)

在MSRB中還有一個(gè)額外的殘差連接,可以顯著減少計(jì)算量(He et al.,2016;Li et al.,2018),縮短訓(xùn)練時(shí)間和推理時(shí)間。

1.3 損失函數(shù)

記為定義的網(wǎng)絡(luò)運(yùn)算操作,表示待優(yōu)化網(wǎng)絡(luò)的參數(shù),高分辨率數(shù)據(jù)重建過程可記為

=(;)。

(7)

(8)

本文使用Huber損失(Mangasarian and Musicant,2000),其定義如下:

(9)

其中:表示網(wǎng)絡(luò)層的數(shù)量;是影響因子常數(shù),實(shí)驗(yàn)中將其設(shè)置為0.1。Huber 損失函數(shù)綜合了和損失函數(shù)的優(yōu)點(diǎn),減少了對(duì)異常值的敏感性問題。

1.4 模型訓(xùn)練

在MSRLapN中,除MSRB外,每一個(gè)MSRB后連接兩層卷積層,其余卷積層的核大小均設(shè)置為3×3,卷積核數(shù)量為32。卷積核的初始化為截?cái)嗾龖B(tài)分布,偏差初始化為0,尺度放大因子設(shè)置為2。除了重建層,其他卷積層均以LeakyReLU為激活函數(shù)(Zhang et al.,2018b),負(fù)斜率設(shè)置為0.2。模型采用Adam(Kingma and Ba,2014)優(yōu)化,其中=0.9,=0.999,初始學(xué)習(xí)速率為1×10,每60個(gè)epoch學(xué)習(xí)率減半,weight decay設(shè)置為1×10。Batchsize設(shè)置為8,epoch設(shè)置為300。

2 實(shí)驗(yàn)設(shè)置

本節(jié)介紹服務(wù)器配置、數(shù)據(jù)集及評(píng)價(jià)準(zhǔn)則。評(píng)估準(zhǔn)則采用結(jié)構(gòu)相似性指數(shù)SSIM(Wang et al.,2004)和峰值信噪比指數(shù)PSNR(Horé and Ziou,2010),這兩個(gè)指標(biāo)是衡量圖像質(zhì)量的兩個(gè)主要指標(biāo)。

2.1 運(yùn)行服務(wù)器配置

詳細(xì)的軟件和硬件信息如表1所示。由于三維氣象圖像中有大量的通道,圖像占用的內(nèi)存相對(duì)較大。為了確保程序的成功操作,可用的運(yùn)行內(nèi)存應(yīng)大于16 GB。

表1 算法運(yùn)行服務(wù)器配置信息

2.2 試驗(yàn)數(shù)據(jù)集

選取華東地區(qū)的相對(duì)濕度和風(fēng)速三維數(shù)據(jù)構(gòu)建數(shù)據(jù)集。氣象預(yù)報(bào)數(shù)據(jù)的最高分辨率為2.5 km,覆蓋華東地區(qū),尺寸為561×641。此外,考慮地形對(duì)天氣影響,選取分辨率為1 km的地形數(shù)據(jù)。利用16通道的不同氣壓層氣象要素資料和1個(gè)通道的高海拔地形資料作為輸入,輸出包括16個(gè)通道氣壓層精細(xì)化氣象要素預(yù)報(bào)。

圖5 同一時(shí)刻不同空間分辨率的相對(duì)濕度圖像:(a)2.5 km分辨率;(b)5 km分辨率;(c)10 km分辨率;(d) 20 km分辨率Fig.5 Relative humidity images with different spatial resolutions at the same time:(a) 2.5 km resolution;(b) 5 km resolution;(c) 10 km resolution;(d) 20 km resolution

在實(shí)驗(yàn)中,對(duì)原始圖像分別進(jìn)行×2、×4、和×8倍分辨率增強(qiáng)。使用雙三次插值圖像分析方法生成分辨率為2.5 km的 高分辨率訓(xùn)練圖像。例如,從2.5 km到20 km的下行采樣相當(dāng)于圖像尺寸從561×641降低到71×81。圖像尺寸分別為141×161和281×321,分辨率分別為10 km 和5 km。圖5顯示了覆蓋華東地區(qū)的濕度變量中不同分辨率的三維訓(xùn)練圖像的一個(gè)切片。在RGB模式下設(shè)置從白到黑的一系列顏色變化,接近白色的顏色表示較小的值,而接近黑色的顏色表示較大的值。圖5中這些圖像的紅色和黑色區(qū)域意味著相對(duì)濕度更高。對(duì)于×8放大,則經(jīng)過一個(gè)多級(jí)網(wǎng)絡(luò)中的所有處理,直接將圖像從71×81放大到561×641。

本文隨機(jī)選取了550幅高海拔氣候圖像(分辨率為2.5 km)和地面氣象預(yù)報(bào)圖像(分辨率為2.5 km),氣候變量包括濕度和風(fēng)。這里在同一時(shí)間從同一區(qū)域記錄的幾個(gè)切片圖像指的是一個(gè)三維圖像。對(duì)于這兩個(gè)氣象變量中的每一個(gè),選取450幅三維圖像來生成訓(xùn)練集,剩余的100幅圖像作為測試集。與相對(duì)濕度相比,風(fēng)速數(shù)據(jù)集的數(shù)值包括正數(shù)和負(fù)數(shù)。

2.3 評(píng)價(jià)準(zhǔn)則

模型性能通過 PSNR(Horé and Ziou,2010)和 SSIM (Wang et al.,2004)進(jìn)行驗(yàn)證。PSNR被廣泛用于衡量數(shù)據(jù)復(fù)原的質(zhì)量。對(duì)于生成的三維圖像(,,;)(表示網(wǎng)絡(luò)中的所有權(quán)重),××表示其大小。因此,峰值信噪比可定義如下:

(10)

(11)

其中:(,,)表示原始HR圖像;是最大像素值。峰值信噪比越大,重建的畸變就越小。然而,實(shí)際測試結(jié)果表明,PSNR的評(píng)價(jià)結(jié)果不能完全與人眼感知的視覺質(zhì)量一致(Horé and Ziou,2010),并且有可能較高的PSNR看起來很粗糙。

圖6 MSRN和MSRLapN模型針對(duì)相對(duì)濕度(a、b)和風(fēng)(c、d)分別放大4倍(a、c)和8倍(b、d)的PSNR對(duì)比結(jié)果Fig.6 PSNR comparisons between MSRN and MSRLapN for (a,c)×4 and (b,d)×8 on the test datasets of relative (a,b) humidity and (c,d) wind speed

從圖像合成的角度來看,結(jié)構(gòu)信息是指場景中物體結(jié)構(gòu)的特征,與亮度和對(duì)比度無關(guān)。失真被建模為亮度,對(duì)比度和結(jié)構(gòu)的組合。它對(duì)圖像的感知更接近于人類。重建的HR圖像的SSIM值范圍為0到1,定義如下:

(12)

其中:是基本真值HR圖像;和表示和的標(biāo)準(zhǔn)差;和表示和的平均值;和是常數(shù)。SSIM值越大,重建結(jié)果失真越小。

2.4 與LapSRN模型的差異

MSRLapN在LapSRN框架下構(gòu)建模型,該框架包括兩個(gè)分支:圖像重建和特征提取。在特征提取分支中,用 MSRB 結(jié)構(gòu)替換了一系列連續(xù)的卷積層,以充分利用層次特征。由于 MSRB 在不同的旁路中應(yīng)用不同的卷積核,信息在旁路之間可以自由傳輸,圖像特征可以在不同的尺度上被檢測到。此外,LapSRN 還采用了 Charbonnier 損失函數(shù)作為優(yōu)化器,這是損失的一個(gè)微小變體,而針對(duì)氣象預(yù)報(bào)精細(xì)化提升問題,采用 Huber函數(shù)來計(jì)算損失,實(shí)驗(yàn)結(jié)果表明了該損失的優(yōu)勢。此外,為了構(gòu)造具有不同輸入大小的三維氣候圖像,在網(wǎng)絡(luò)的頭部設(shè)置了一個(gè)尺寸統(tǒng)一模塊,而LapSRN等方法直接采用連接的三維氣候圖像作為輸入。對(duì)于不同大小的原始地形數(shù)據(jù)和氣象數(shù)據(jù),這里利用雙三次插值來獲得所需的分辨率。

3 實(shí)驗(yàn)結(jié)果

所有方法針對(duì)相對(duì)濕度和風(fēng)速預(yù)報(bào)進(jìn)行×2、×4和×8分辨率增強(qiáng)。最后,對(duì)網(wǎng)絡(luò)進(jìn)行了一些調(diào)整分析,以尋找最佳的參數(shù)設(shè)置。SRCNN、ESPCN (Shi et al.,2016)、LapSRN、RDN和MSRN模型,原本只用于解決 SISR 問題,通常采用三通道 RGB 圖像作為輸入。對(duì)這些方法進(jìn)行修改,使得這些方法可以用于求解三維或多維超分辨問題。選取17個(gè)通道的三維氣象實(shí)驗(yàn)數(shù)據(jù),包括16個(gè)通道不同氣壓層的氣象變量和1個(gè)通道地形數(shù)據(jù)。因此,將所有方法中第一卷積層的輸入通道數(shù)修改為17個(gè),將所有方法中最后一卷積層的輸出通道數(shù)修改為16個(gè)。

3.1 模型分析

為了直觀地顯示兩種模型在訓(xùn)練過程中的差異,比較LapSRN 方法和 MSRLapN 方法在特定訓(xùn)練迭代次數(shù)(每次300個(gè)單元)的×4和×8擴(kuò)充。圖6顯示了MSRLapN和LapSRN在相對(duì)濕度和風(fēng)速測試數(shù)據(jù)×4和×8放大時(shí)的平均PSNR比較。如圖6所示,MSRLapN在×4和×8尺度上都優(yōu)于LapSRN,這意味著MSRB結(jié)構(gòu)在特征提取方面優(yōu)于LapSRN中的線性連接卷積層。在圖6a中,MSRLapN在最大值100%的條件下,平均PSNR值為46.83 dB,比LapSRN高6.40 dB。MSRLapN收斂于180時(shí)代,而lapsn在240時(shí)代后仍然學(xué)習(xí)特征。對(duì)于圖6b中的×8尺度濕度測試集,MSRLapN的平均 PSNR 值為41.86 dB,比LapSRN高出近8.18 dB。圖6c和6d顯示風(fēng)試驗(yàn)結(jié)構(gòu)相似性能改進(jìn)。顯然,學(xué)習(xí)風(fēng)測試集的特性更容易獲得更平滑的曲線和更早的收斂期。在學(xué)習(xí)率下降的四個(gè)點(diǎn)上,只能在濕度集上看到顯著的變化,而這種變化在風(fēng)力集上是微小的(但仍然存在于曲線上)。從這些數(shù)字中,可以看出這兩種方法之間的類似趨勢,這也表明MSRB模塊的特征提取和subpixel卷積層的放大在 MSRLapN 中具有重要作用。

表2顯示了每個(gè)模型的參數(shù),300個(gè)epoch的訓(xùn)練時(shí)間,以及一個(gè)單一的三維圖像運(yùn)行時(shí)間的實(shí)際數(shù)據(jù)。雖然MSRLapN比LapSRN更復(fù)雜,其參數(shù)量超過LapSRN的41.65%,但在300個(gè)epoch的訓(xùn)練中所需時(shí)間較少。對(duì)于濕度數(shù)據(jù)集,MSRLapN在×8放大時(shí)的加速是MSRN的1.08倍,在×4放大時(shí)的加速是MSRN的1.18倍。對(duì)于風(fēng)場數(shù)據(jù),MSRLapN在×8放大時(shí)比LapSRN加速1.07倍,在×4放大時(shí)比LapSRN加速1.12倍。在運(yùn)行時(shí)間方面,對(duì)于不同數(shù)據(jù)集的兩種擴(kuò)展操作有一定的加速效果。

表2 LapSRN和MSRLapN模型的參數(shù)量和計(jì)算時(shí)間對(duì)比

學(xué)習(xí)的方法使用外部數(shù)據(jù)集來構(gòu)造低分辨率和高分辨率圖像對(duì)之間的映射關(guān)系(Freeman et al.,2002),技術(shù)方法包括鄰居嵌入(Gao et al.,2012;Wang et al.,2015)和稀疏編碼等。

近年來,隨著深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的快速發(fā)展,基于卷積網(wǎng)絡(luò)超分辨率模型的圖像降尺度在該領(lǐng)域顯示出巨大的潛力。DeepSD (Vandal et al.,2017) 是首個(gè)用于氣候變量統(tǒng)計(jì)降尺度的多層卷積神經(jīng)網(wǎng)絡(luò)(CNN)框架,通過三層 CNN 將低分辨率圖像映射為高分辨率圖像,結(jié)果表明圖像超分辨率技術(shù)在氣象預(yù)報(bào)降尺度方面,相比于傳統(tǒng)的統(tǒng)計(jì)降尺度方法具有較大優(yōu)勢。除此之外,LapSRN(Lai et al.,2017)框架直接將低分辨率(LR)圖像輸入網(wǎng)絡(luò)并逐步放大,通過在不同層次間共享參數(shù),可以有效地提高精度,減少計(jì)算量。這些深度學(xué)習(xí)模型可以從圖像數(shù)據(jù)中學(xué)習(xí)圖像之間的映射關(guān)系(Zhang et al.,2018b)。并且,高分辨率圖像可以隨機(jī)切分為多組數(shù)據(jù)塊實(shí)現(xiàn)數(shù)據(jù)增廣(Dong et al.,2011;Wang et al.,2015),便于模型訓(xùn)練。

3.2 模型對(duì)比

由于應(yīng)用于氣象圖像放大的超分辨方法較少,這里選擇了幾種最先進(jìn)的模型與 MSRLapN 方法進(jìn)行比較,即SRCNN、ESPCN、MSRN、RDN和LapSRN。此外,對(duì)比了兩個(gè)常規(guī)的統(tǒng)計(jì)降尺度方法A+和Zeyde (Zeyde et al.,2010)。為了進(jìn)行公平的比較,在實(shí)驗(yàn)中使用相同的數(shù)據(jù)集和訓(xùn)練設(shè)置來指導(dǎo)每種方法。在圖7—10中,給出了重建結(jié)果的可視化結(jié)果對(duì)比,所有圖像都是從測試集中隨機(jī)選取。在每個(gè)結(jié)果下面,都有所使用的評(píng)價(jià)方法及兩個(gè)評(píng)估指標(biāo)評(píng)測值。為了充分說明高空氣象要素降尺度性能,實(shí)驗(yàn)中給出了兩個(gè)不同高度的重建圖像。“variable-”定義為三維圖像的單個(gè)切片,其中“variable”表示相對(duì)濕度或風(fēng),而表示三維圖像的通道序數(shù)(對(duì)應(yīng)三維氣象要素的氣壓層序數(shù)),范圍為1～16。例如,“濕度-1”表示從一個(gè)三維圖像的第一層的濕度測試數(shù)據(jù)集中獲取的圖像。圖7展示了“濕度-4”×4放大的重建結(jié)果。從圖的整體角度來看,提出的MSRLapN方法比其他算法更能重構(gòu)出與 HR 參考相似的結(jié)果。圖8—10分別比較了×8放大的“濕度-8”、×4放大的“風(fēng)速-12”和×8放大的“風(fēng)速-16”。一般來說,該方法可以在圖像中產(chǎn)生更多的細(xì)節(jié)。而對(duì)比方法在許多區(qū)域混合不同的顏色。由于雙三次函數(shù)得到的大多數(shù)結(jié)果過于平滑,無法看到邊緣的細(xì)節(jié),評(píng)測得分最低。從圖7可以直觀地看出Zeyde 結(jié)果相差較大,而LapSRN不正確地恢復(fù)了一些區(qū)域的輪廓,MSRLapN 基本上重建了HR(參考真值圖像) 的大部分特性。圖8比較了“濕度-8”×8放大后的結(jié)果。MSRLapN 創(chuàng)建了更多的黑色部分,評(píng)測結(jié)果也顯示,兩種評(píng)價(jià)指標(biāo)均高于其他方法的評(píng)價(jià)指標(biāo)。正如之前提到的,生成的圖像上每個(gè)區(qū)域的顏色越接近 HR(參考真值圖像),結(jié)果就越好。在顏色生成的細(xì)節(jié)方面,MSRLapN 算法優(yōu)于其他算法。圖9比較了“風(fēng)速-12”×4放大的重建圖像。在顏色變化的邊緣,ESPCN,LapSRN,MSRLapN 表現(xiàn)得較好,而 MSRLapN 不會(huì)誤生成高值。在圖片中間的淺綠色部分,MSRLapN恢復(fù)了顏色變化的連續(xù)性。A+和Zeyde的性能和效果介于SRCNN和雙三次之間。圖10比較了“風(fēng)速-16”×8放大的產(chǎn)生結(jié)果。結(jié)果表明,該算法在重建散亂極值和綜合性能方面有較好的效果。綜上所述,本文所提出的方法 MSRLapN 在評(píng)估指標(biāo)和圖像重建方面都取得了較好的性能。

圖7 各方法針對(duì)“相對(duì)濕度-4”放大4倍的重建結(jié)果對(duì)比:(a)實(shí)況;(b) Bicubic;(c) A+;(d) Zeyde;(e) SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapNFig.7 Reconstructed HR images of “humidity-4” with various methods for ×4 enlargement:(a) real humidity;(b) Bicubic;(c) A+;(d) Zeyde;(e) SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapN

圖8 各方法針對(duì)“相對(duì)濕度-8”放大8倍的重建結(jié)果對(duì)比:(a)實(shí)況;(b) Bicubic;(c) A+;(d) Zeyde;(e) SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapNFig.8 Reconstructed HR images of “humidity-8” with various methods for ×8 enlargement:(a) real humidity;(b) Bicubic;(c) A+;(d) Zeyde;(e) SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapN

圖9 各方法針對(duì)“風(fēng)速-12”放大4倍的重建結(jié)果對(duì)比:(a) 實(shí)況;(b) Bicubic;(c) A+;(d) Zeyde;(e)SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapNFig.9 Reconstructed HR images of “wind speed-12” with various methods for×4 enlargement:(a)real humidity;(b) Bicubic;(c) A+;(d) Zeyde;(e) SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapN

圖10 各方法針對(duì)“風(fēng)速-16”放大8倍的重建結(jié)果對(duì)比:(a)實(shí)況;(b) Bicubic;(c) A+;(d) Zeyde;(e) SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapNFig.10 Reconstructed HR images of “wind speed-16” with various methods for×8 enlargement:(a)real humidity;(b) Bicubic;(c) A+;(d) Zeyde;(e) SRCNN;(f) ESPCN;(g) LapSRN;(h) MSRLapN

兩個(gè)評(píng)價(jià)指標(biāo)的定量比較與不同的方法×2、×4、和×8放大下的相對(duì)濕度和風(fēng)速兩個(gè)變量的評(píng)測結(jié)果如表3所示。在這個(gè)表中,用RDN 和 MSRN 替換了 Bicubic。在大多數(shù)情況下,所提出的MSRLapN方法是優(yōu)于對(duì)比方法,特別是對(duì)于PSNR,驗(yàn)證了MSRLapN模型的性能和適用性。實(shí)驗(yàn)結(jié)果表明:常用的雙三次函數(shù)插值,作為一種數(shù)值計(jì)算方法,與深度學(xué)習(xí)方法對(duì)比,在兩個(gè)評(píng)價(jià)指標(biāo)的結(jié)果差異較大,而其他算法在不同海拔高度的評(píng)價(jià)結(jié)果差異較小。 Zeyde是表現(xiàn)略低于SCRNN,但該方法無須長時(shí)訓(xùn)練。ESPCN、RDN 和MSRN在尺度因子×2和×4的降尺度上表現(xiàn)良好,但是當(dāng)放大倍速增加到×8,算法的性能顯著下降。然而,MSRLapN在幾種放大倍速的降尺度中均取得了較好的性能。

表3 MSRLapN模型和其他方法在相對(duì)濕度和風(fēng)速數(shù)據(jù)集上放大2倍、4倍和8倍效果定量評(píng)估結(jié)果

表4 MSRLapN模型中加入地形和不加地形SSIM和PSNR性能對(duì)比

3.3 結(jié)果討論

3.3.1 MSRLapN模型中MSRB模塊數(shù)量影響

MSRLapN中采用了多尺度殘差塊,該模塊能夠自適應(yīng)地檢測不同尺度的圖像特征,充分利用圖像的潛在特征。對(duì)不同數(shù)量的MSRB進(jìn)行了對(duì)比實(shí)驗(yàn),結(jié)果如圖11所示,MSRB模塊的數(shù)量對(duì)于×2、×4和×8的放大的降尺度預(yù)報(bào)影響不大。更深的網(wǎng)絡(luò)結(jié)果帶來更大的計(jì)算量和存儲(chǔ)資源占用,因此在實(shí)驗(yàn)中,使用一個(gè) MSRB 來提取特征。

圖11 不同數(shù)量的MSRBs對(duì)MSRLapN模型性能的影響:(a)相對(duì)濕度放大2倍;(b) 相對(duì)濕度放大4倍;(c)相對(duì)濕度放大8倍Fig.11 Performance comparison of MSRLapN with different numbers of MSRBs:(a) relative humidity magnified by 2 times;(b) relative humidity magnified by 4 times;(c) relative humidity magnified by 8 times

3.3.2 地形影響

地形是氣象預(yù)報(bào)的重要因素之一。用MSRLapN方法進(jìn)行×4和×8放大的實(shí)驗(yàn)。比較的平均結(jié)果列于表4。在大多數(shù)情況下,加入地形數(shù)據(jù)的訓(xùn)練效果更好。

4 結(jié)論

1)本文提出了一種基于深度學(xué)習(xí)超分辨率技術(shù)的三維氣象要素降尺度方法,該方法綜合考慮多種氣象要素和地形數(shù)據(jù),以及不同層次的三維數(shù)據(jù)之間的交互影響特征和信息,通過數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí),實(shí)現(xiàn)三維氣象要素降尺度,為處理三維氣象預(yù)報(bào)的精細(xì)化提升,提供一種基于深度學(xué)習(xí)的技術(shù)途徑。

2)引入了7種已有深度學(xué)習(xí)超分辨率降尺度技術(shù),將這7種方法對(duì)接到三維氣象要素降尺度應(yīng)用,并提出一種新的由多尺度殘差塊構(gòu)成的增強(qiáng)型分支超分辨率卷積神經(jīng)網(wǎng)絡(luò)模型MSRLapN。以相對(duì)濕度、風(fēng)速為例進(jìn)行對(duì)比檢驗(yàn),實(shí)驗(yàn)結(jié)果表明MSRLapN模型具有優(yōu)勢。

3)MSRLapN的級(jí)聯(lián)結(jié)構(gòu)適合多級(jí)網(wǎng)絡(luò)。與單層方法相比,多層網(wǎng)絡(luò)獲得的高分辨率(HR)圖像能夠保留更多的信息。此外,該算法還可以有效地在級(jí)聯(lián)結(jié)構(gòu)之間共享參數(shù),減少多級(jí)結(jié)構(gòu)帶來的訓(xùn)練參數(shù)大幅度增加問題。

本文針對(duì)三維氣象要素空間精細(xì)化提升問題,將氣象要素三維氣象要素降尺度類比為三維圖像超分辨,將多種原本用于二維圖像超分辨的前沿深度學(xué)習(xí)方法改造并用于三維氣象要素降尺度,實(shí)驗(yàn)結(jié)果表明基于深度學(xué)習(xí)方法降尺度性能優(yōu)于傳統(tǒng)的統(tǒng)計(jì)降尺度。此外,針對(duì)三維氣象要素預(yù)報(bào)的領(lǐng)域特性,本文提出了一種應(yīng)用三維圖像深度學(xué)習(xí)超分辨降尺度MSRLapN模型。采用16個(gè)不同海拔高度的氣象預(yù)報(bào)和地形構(gòu)造圖像數(shù)據(jù)作為輸入,創(chuàng)新性地將MSRB集成到LAPSRN模型中。使用MSRB 模塊代替卷積層,在網(wǎng)絡(luò)結(jié)構(gòu)中增加一個(gè)空間維變換模塊,用亞像素卷積層代替所有的轉(zhuǎn)置卷積層。針對(duì)華東區(qū)的相對(duì)濕度、風(fēng)速進(jìn)行降尺度實(shí)驗(yàn)驗(yàn)證,結(jié)果表明MSRLapN模型取得了更好的性能。后續(xù)工作將繼續(xù)研究氣溫、風(fēng)速等氣象變量的三維深度學(xué)習(xí)超分辨與氣象變量的物理演變機(jī)理相結(jié)合的時(shí)空精細(xì)化提升機(jī)器學(xué)習(xí)方法。