李薇,杜東升*,鄧劍波,陳良宇

(1.湖南省氣象科學研究所,長沙 410118; 2.氣象防災減災湖南省重點實驗室,長沙 410118;3.武漢大學,測繪遙感信息工程國家重點實驗室,武漢 430079)

遙感影像的空間分辨率不僅是評價影像質(zhì)量的一項關鍵性技術指標,更是衡量一個國家衛(wèi)星遙感技術水平的重要標志之一[1-2]。高分辨率影像(high-resolution,HR)[3]包含的像素更多,紋理信息更豐富,可以提供更多的細節(jié)內(nèi)容。

考慮到在衛(wèi)星平臺設計、核心元器件制造以及總體成本等方面存在的客觀限制,使得通過改善硬件來提高影像空間分辨率這一思路受到的制約較大。從軟件的角度基于信號處理的理論并結合一些算法也能實現(xiàn)圖像空間分辨率的提升,這使得圖像超分辨率重建(super-resolution,SR)[4]技術得到了廣泛的研究和應用。在遙感成像領域,現(xiàn)有條件下得到的低分辨率影像進行超分辨率重建后,能夠提供更多的地物分布及空間關聯(lián)信息,有助于提升在目標識別、地物分類、特征提取等應用上的精度,對于地球資源調(diào)查與開發(fā)、全球自然環(huán)境監(jiān)控、災害預報和評估等都具有重要意義[5]。

基于深度學習的影像超分辨率重建是指采用先進的網(wǎng)絡模型在高、低分辨率影像間建立“端到端”的映射,通過在低分影像中提取的低級和高級特征,進而獲取高分辨率影像。2012年,Dong等[6]首次將卷積神經(jīng)網(wǎng)絡(convolution neural network,CNN)應用到超分辨率重建中,提出了SRCNN(super resolution convolutional neural network),針對SRCNN網(wǎng)絡需要對小尺寸的圖像進行尺寸插值到目標大小之后才能作為輸入圖像,又提出FSRCNN(fast super resolution convolutional neural network)[7]模型。EDSR[8]去除ResNet(residual network)[9]多余的模塊,用節(jié)省出來的內(nèi)存加深網(wǎng)絡的深度進行更高級的特征提取。席志紅等[10]利用殘差網(wǎng)絡選擇合適的數(shù)據(jù)集和優(yōu)化算法,對醫(yī)學圖像進行超分辨重建取得了較好的重建精度。EEDS(end-to-end image super-resolution algorithmviadeep and shallow convolutional networks)[11]利用一個深層來增加高頻信息的預測和一個淺層來提高收斂速度從而共同提高重建結果?？紤]到任何兩個卷積層間都存在著連接關系,DenseNet(densely connected convolutional network)[12]被提出并應用到SR中,該網(wǎng)絡實現(xiàn)了特征的充分利用并保證了信息最大流動性。DBPN[13]網(wǎng)絡基于密集連接基礎,在每個上、下采樣層模塊提供一種錯誤反饋機制,使得每個模塊特征連接起來并且作為最終重建結果的組成部分來提升重建結果。RDNSR(residual dense network for image super resolution)[14]通過殘差密集塊來充分利用各層特征圖的所有分層特征。

林琦等[15]將深度學習方法應用到視頻數(shù)據(jù)的超分重建中,通過提取視頻的多尺度特征并結合殘差學習來恢復視頻的高頻信息。肖雅敏等[16]提出一種基于多窗口殘差網(wǎng)絡的優(yōu)化模型,以解決網(wǎng)絡結構過深導致高頻信息丟失和模型體積較大的問題。陳行等[17]提出一種雙路網(wǎng)絡,通過兩個支路網(wǎng)絡分別實現(xiàn)分辨率提升和高頻信息學習,實現(xiàn)了多角度遙感影像的超分重建。李現(xiàn)國等[18]提出一種結合局部和全局殘差學習的方法,改善了提取影像細節(jié)不充分的問題。諶貴輝等[19]通過構建多尺度殘差模塊來提取影像的多尺度特征,同時引入一種通道注意力機制來提升影像更多的高頻信息。仝衛(wèi)國等[20]提出了基于多尺度特征融合的超分辨率重建算法,采用多特征模塊獲取更多淺層信息,并在網(wǎng)絡中添加密集連接結構,有效地解決了提取特征單一問題,改善了圖像質(zhì)量。盧冰等[21]構建面向單幀低照度彩色圖像的基于改進殘差網(wǎng)絡訓練的超分辨率重建方法,提出的低照度圖像超分辨率重建方法使得在低照度環(huán)境下的重建圖像更為清晰明亮、細節(jié)更豐富。Liu等[22]提出了一種通過聚合跨尺度相鄰特征塊來考慮遙感圖像中的自相似塊,并采用雙學習策略通過約束損失函數(shù)中的映射過程來細化重建結果。

針對現(xiàn)有的基于深度學習的超分重建方法,會存在遙感影像高、低頻信息不能同時兼顧以至于重建影像的空間分辨率嚴重受限的問題?，F(xiàn)在DBPN網(wǎng)絡的基礎上增加了一個淺層多尺度網(wǎng)絡,共同組成并聯(lián)式卷積神經(jīng)網(wǎng)絡(deep back-projection and shallow multi-scale parallel convolutional neural networks for super-resolution,DBSMN),利用這種并聯(lián)式結構網(wǎng)絡來實現(xiàn)在異源遙感影像之間,有效地保留主成分信息和預測高頻信息來進行超分辨率重建,最終共同完成重建影像的質(zhì)量提升。

1 研究方法

通過構建一個并聯(lián)式卷積神經(jīng)網(wǎng)絡來實現(xiàn)遙感影像的超分辨率重建;采用密集深層反投影網(wǎng)絡有效地提取影像細節(jié),采用淺層多尺度網(wǎng)絡保留影像的主成分信息,在幫助恢復低分影像高頻細節(jié)的同時,更好地保留影像的主成分信息來增加目標的可分辨能力。技術流程如圖1所示。

圖1 技術路線流程圖

1.1 淺層多尺度網(wǎng)絡

一般的淺層網(wǎng)絡就是由簡單的卷積層堆砌,實現(xiàn)端到端的訓練,即輸入一景低分辨率影像,可輸出一景重構的高分辨率影像。端到端淺層網(wǎng)絡[11](end-to-end shallow network,EES)的結構如圖2所示。

圖2 端到端淺層網(wǎng)絡

這樣的淺層卷積神經(jīng)網(wǎng)絡不僅能加速網(wǎng)絡收斂速度,且能夠較好地保留輸入影像的主成分信息。但遙感影像地物復雜、紋理信息豐富,簡單的淺層卷積神經(jīng)網(wǎng)絡在單次卷積之后,結果只能單獨傳輸來預測最終的目標地物細節(jié),遙感影像不同尺度的信息被唯一的卷積核處理會導致預測信息不夠準確。

針對端到端淺層網(wǎng)絡對遙感影像超分重建存在預測信息不夠準確的問題,采用多個不同尺度的卷積核學習遙感影像的自相關性及紋理特征,自主學習高分辨率影像與低分辨率影像內(nèi)在的邏輯關聯(lián)特性,對圖像特征信息進行充分的提取,增加重建影像的準確性。

本文設計的淺層多尺度網(wǎng)絡(shallow multi-scale convolutional neural network,EESM)的總體框架如圖3所示,淺層多尺度模型為端到端模型。輸入數(shù)據(jù)為影像矩陣,由于其包含各種類型的特征信息,因此利用多尺度(3×3、5×5和7×7)卷積核進行特征提取;并將得到的64個特征映射為16個特征;最后把不同卷積核提取的特征圖進行堆疊得到最終的重建結果。

圖3 淺層多尺度網(wǎng)絡

1.2 密集深層反投影網(wǎng)絡

密集深層反投影網(wǎng)絡DBPN是由輸入的低分辨率影像(low-resolution,LR)至高分辨率影像(high-resolution,HR)的非線性映射過程,有效地解決了現(xiàn)有的超分重建網(wǎng)絡前后卷積層結果之間信息連接缺陷,通過不斷迭代地進行上采樣和下采樣機制,為每個學習階段提供錯誤反饋。為了使得在上-下采樣階段的特征連接起來,構建了相互依賴的上-下采樣模塊,其核心模塊結構[13]如圖4所示。

圖4 密集投影單元

密集深層反投影網(wǎng)絡的向上反投影單元,主要包括操作具體如下。

密集深層反投影網(wǎng)絡的向下反投影單元,主要包括操作具體如下。

其中:*為空間卷積算子,↑s、↓s分別為上、下采樣操作,pt、gt、qt為卷積層,L1,L2,…,Lt-1為上投影單元,H1,H2,…,Ht為下投影單位,上、下投影單元擁有連接作用并將特征映射作為所有后續(xù)單元的輸入。

在高分影像和低分影像之間,把一系列的卷積操作構成上、下投影單元,將這些單元連接起來并組成最終網(wǎng)絡構成的部分;作為一種自校正過程,投影單元將投影誤差予以反饋來迭代地優(yōu)化網(wǎng)絡。

1.3 并聯(lián)式卷積神經(jīng)網(wǎng)絡

為了使重建結果在擁有高頻信息的同時還能保證低頻信息的主要傳遞,充分利用DBPN網(wǎng)絡和淺層多尺度網(wǎng)絡的優(yōu)勢,提出一種密集反投影深層和淺層多尺度并聯(lián)式卷積神經(jīng)網(wǎng)絡(DBSMN),簡稱并聯(lián)式卷積神經(jīng)網(wǎng)絡。

密集深層反投影網(wǎng)絡通過采用上下采樣層提供反饋來優(yōu)化采樣結果。相互依賴的上下反復投影對模型的約束在防止過擬合上能夠發(fā)揮更好的作用,可以很好地利用到低分辨率圖像和高分辨率圖像之間共有的關系,且保證每一個部分結果都能作為后續(xù)單元的輸入,因此作為本文所提網(wǎng)絡模型中的深層網(wǎng)絡;考慮到高分影像的恢復可能同時依賴于不同范圍的信息,根據(jù)尺度不變性原理,多尺度低分辨率影像的特征被映射到高分辨率影像特征空間,在重建過程中采用特征融合來提高特征利用率,增加預測的準確性,因此作為本文所提網(wǎng)絡模型中的淺層網(wǎng)絡。并聯(lián)式卷積神經(jīng)網(wǎng)絡的結構框架如圖5所示。

圖5 并聯(lián)式卷積神經(jīng)網(wǎng)絡

2 實驗設置

2.1 數(shù)據(jù)集

隨著中國自主研發(fā)航天衛(wèi)星的能力越來越強,國產(chǎn)高分系列衛(wèi)星在各方面都扮演著不可或缺的角色,因此對高分系列衛(wèi)星遙感數(shù)據(jù)展開研究也必不可少[23-25]。選用武漢市部分區(qū)域,同時相且無云狀態(tài)下,覆蓋同區(qū)域的高分一號(GF-1)和高分二號(GF-2)遙感數(shù)據(jù)。選擇GF-1空間分辨率為16 m的紅、綠、藍三個波段和對應GF-2空間分辨率為 4 m 的紅、綠、藍三個波段的影像,建立以GF-1影像為輸入樣本,GF-2影像為標簽樣本之間的映射關系。

基于深度學習的超分辨重建網(wǎng)絡在進行樣本訓練和測試前,需對樣本影像進行包括輻射校正、幾何校正、影像配準、裁剪等在內(nèi)的一系列預處理操作,以消除衛(wèi)星成像過程中出現(xiàn)的變形、噪聲、模糊等問題。預處理流程如圖6所示。

圖6 數(shù)據(jù)集預處理流程圖

以分辨率較高的GF-2影像為基礎,采用掃描線法先將GF-2影像中的最大內(nèi)接矩形裁剪出來,然后用GF-2的最大內(nèi)接矩陣裁剪出GF-1的重疊區(qū)域進行實驗。

由于GF-1和GF-2的同一時間重疊區(qū)域影像存在色差,為了使兩景影像具有相似的色調(diào)和像素范圍,采用非線性拉伸方法對GF-2影像的灰度直方圖中比較集中的一些區(qū)域進行處理。

在計算機視覺領域中,多數(shù)的超分重建方法均是實現(xiàn)輸入影像空間分辨率的兩倍提升。因此,本文中遙感影像超分辨率重建實驗對原始空間分辨率為4 m的GF-2影像進行降采樣處理到8 m,GF-1的樣本尺寸為64像素×64像素,GF-2的樣本尺寸為128像素×128像素,然后通過超分重建網(wǎng)絡建立映射關系,最終實現(xiàn)將輸入的GF-1影像空間分辨率從16 m提升至8 m。

由于少許云層遮擋或其他外界因素導致有些對應的樣本均值之間存在差異較大的情況。對于每一組匹配的GF-1、GF-2樣本進行均值計算,以GF-1的其中一個樣本反射率均值為橫坐標,相對應地GF-2每個樣本反射率均值為縱坐標得到一個點,如圖7(a)所示。紅色圈內(nèi)的點代表樣本之間均值差異過大,需要剔除掉所對應的影像才能促進網(wǎng)絡的訓練。

圖7 樣本均值散點圖

刪除劣質(zhì)樣本的原則是在保證數(shù)本數(shù)據(jù)足夠的前提下使得偏差盡可能小(樣本總數(shù)為3 700個)。偏差公式為

(1)

從計算結果中得出偏差小于10%的樣本數(shù)量有3 413個,擬合優(yōu)度為0.87,樣本較好地滿足了足數(shù)和擬合優(yōu)度最佳的條件。因此,選取10%偏差以內(nèi)的樣本作為最終的訓練樣本。篩選后的樣本如圖7(b)所示。

2.2 超分辨率重建的評價指標

為了能夠全面地對超分重建結果進行評價,采用峰值信噪比PSNR[26]和結構相似度SSIM[27]量化指標來進行評估。

峰值信噪比用于表示信號最大可能功率與影響它表示精度的破壞性噪聲功率的比值。PSNR取值范圍為20～40。通過均方差的大小來評價影像的失真程度,值越高表示保真程度越高,其的定義為

(2)

式(2)中:MAX表示重建影像信號的最大峰值;MSE表示重建影像的均方誤差,其定義為

(3)

式(3)中:m和n分別為圖像的長和寬的維度;i表示像素橫坐標值,j表示像素縱坐標值;I(i,j)表示輸入圖像;K(i,j)分別表示重建結果。

結構相似度(SSIM)可以反映原影像與預測影像間的結構相似程度,并且能夠在客觀上反映影像邊緣和紋理的情況。其范圍為[0,1],SSIM越大,說明兩種影像在空間細節(jié)紋理上相似度就越高。在尺寸均為m×n的兩幅影像x、y上計算時,其定義為

(4)

式(6)中:x和y為不同的影像;μx、μy為兩景影像的均值;σx、σy為兩景影像的方差;σxy為兩景影像的協(xié)方差;c1、c2為常數(shù)。

2.3 實驗環(huán)境

本文中所有實驗都是基于表1中的實驗環(huán)境。

表1 實驗環(huán)境

3 實驗結果

為了驗證本文實驗方法的有效性,選取了目前幾種較為流行的深度學習超分辨率重建方法EDSR、EEDS、DBPN與DBSMN進行對比分析。

3.1 模型訓練

實驗中,選擇64像素×64像素的GF-1(空間分辨率為16 m)影像為輸入數(shù)據(jù),128像素×128像素的GF-2(空間分辨率為8 m)為標簽數(shù)據(jù),分別對各種網(wǎng)絡模型進行訓練、驗證和測試。訓練集與驗證集數(shù)量的比例為7∶3,測試集為單獨的100張影像。深度學習框架為Keras[28],優(yōu)化器選擇為Adam[29]。

在訓練中,設置初始學習率為0.001,若迭代10次損失函數(shù)(loss)沒有減小就把學習率減半,最小的學習率為0.000 001,批處理參數(shù)設為15,總共迭代運行1 000輪。根據(jù)每一次的網(wǎng)絡訓練來修正損失函數(shù)的大小,待模型訓練結束后,用額外的100張小影像作為測試數(shù)據(jù)。最后通過測試得到尺寸為128×128大小重建圖像。

EDSR、EEDS、DBPN經(jīng)過2 000次迭代完成網(wǎng)絡的訓練,為了更好地展示各個網(wǎng)絡訓練迭代過程的變化,由圖8前1 000輪的迭代可知,在相同的循環(huán)迭代次數(shù)的前提下,DBSMN相較于其他的網(wǎng)絡具有最高的PSNR和最低的損失函數(shù),并且當訓練循環(huán)迭代進行到120次時,DBSMN開始收斂,在收斂之前較DBPN網(wǎng)絡波動較小,穩(wěn)定性明顯好于DBPN。從PSNR和損失函數(shù)的對比結果得知 DBSMN模型較其他算法都有不同程度的提高,重建表現(xiàn)最優(yōu)。

圖8 不同網(wǎng)絡模型訓練過程中的PSNR和損失函數(shù)對比

3.2 淺層多尺度網(wǎng)絡結果分析

為了進一步分析淺層多尺度網(wǎng)絡對主成分信息的保留作用,對100張測試數(shù)據(jù)分別進行EES和EESM網(wǎng)絡模型測試,計算均值如表2所示。

表2 EES、EESM網(wǎng)絡模型的PSNR、SSIM比較

把測試EES模型和EESM模型的結果與輸入的低分辨率圖像做比較,結果如圖9所示。

圖9 EES、EESM網(wǎng)絡重建結果對比

從表2可以看出,EESM較EES網(wǎng)絡在PSNR和SSIM指標上分別有0.41 dB和0.041 1的提升。在增加多尺度模塊后,模型的整體性能有明顯的提高。根據(jù)圖9的 EES和EESM網(wǎng)絡重建結果對比發(fā)現(xiàn),多尺度模塊有助于增強重建影像中地物的紋理細節(jié),有助于保留影像邊緣結構特征。通過多尺度卷積將低分辨率遙感影像特征映射到高分辨遙感影像的特征空間,利用特征融合來提高特征利用率,加強了對影像主成分特征的保留。

3.3 密集深層反投影網(wǎng)絡結果分析

為了分析DBSMN與其他網(wǎng)絡對高頻信息的預測和低頻信息傳遞的對比,對100張測試影像的PSNR與SSIM進行均值計算得到表3所示結果。

表3 不同網(wǎng)絡的PSNR、SSIM比較

通過表3得出,DBSMN較EDSR、EEDS、DBPN網(wǎng)絡的PSNR指標分別有2.3、2.23、0.25 dB的提高,在SSIM性能指標上本文算法較EDSR、EEDS、DBPN三個網(wǎng)絡分別有0.131 6、0.108 5、0.009 6的提高。

對測試影像分別使用EDSR、EEDS、DBPN、DBSMN進行重建,選取25張測試樣本拼接,輸出結果如圖10所示。

圖10 不同網(wǎng)絡重建結果對比

圖10(b)～圖10(e)為各個網(wǎng)絡模型空間分辨率提升2倍的測試結果。取影像局部的某一處放大比較,可看出每種方法的重建結果對比輸入影像來說,都有著不同程度的改善和提高,保留了不同程度的紋理信息,且重建結果都未出現(xiàn)鋸齒效應。EDSR、EEDS在清晰度和紋理豐富度上相比于其他網(wǎng)絡有一定的改善,但細節(jié)紋理上不如DBPN、DBSMN預測的細節(jié)更豐富;DBPN、DBSMN重建的影像地物紋理突出、不同地物邊界明顯且影像邊緣結構特征保留完整,更加接近圖10(f)的GF-2影像。通過對比,驗證了本文方法在改善影像中目標的細微程度,和邊緣結構信息都表現(xiàn)較好,能滿足高頻信息的預測和低頻信息的傳遞。

3.4 泛化實驗結果分析

為了驗證本文網(wǎng)絡模型的泛化能力,選擇覆蓋華北地區(qū)的Landsat 8影像和ASTER影像進行測試實驗,具體使用了8景Landsat 8影像(空間分辨率為30 m)和8景ASTER影像(空間分辨率為15 m)的近紅、紅、綠三個波段的影像作為訓練數(shù)據(jù),另外的一景Landsat 8影像作為測試數(shù)據(jù)。由于只有DBPN和DBSMN兩種網(wǎng)絡之間存在較小的差距,因此特地把兩種網(wǎng)絡的測試結果拿出來進行對比,對100張測試圖的PSNR與SSIM進行均值計算得到表4,隨機兩組測試結果如圖11所示。

表4 DBPN、DBSMN網(wǎng)絡泛化實驗中PSNR、SSIM比較

由影像的客觀評價指標對比可看出,DBSMN比DBPN在PSNR和SSIM指標上分別提升0.408 7 dB和0.043 2,這表明在DBSMN重建的影像中,信息量明顯增加。從紋理豐富度對比,能夠很明顯地看到DBSMN對細節(jié)的重建要好于DBPN;這反映出在改善影像局部細節(jié)方面,本文方法具有更明顯的優(yōu)勢。DBSMN網(wǎng)絡在Landsat 8和ASTER這一組數(shù)據(jù)集上也有很好的表現(xiàn);泛化實驗結果表明,DBSMN能夠適應不同特點的遙感影像,普適性更強。

4 討論

本文提出的DBSMN算法適用性強,較DBPN網(wǎng)絡性能更加穩(wěn)定,能夠更好地獲得高質(zhì)量的高分辨率影像,尤其適用于缺少圖像序列的遙感影像場景。但后續(xù)研究還可在以下兩個方面進行擴展。

(1)本文對所提出的方法只進行了2倍超分辨重建訓練,雖然在各項實驗中得到了較好的效果,但對于大倍數(shù)超分辨率重建實驗并未過多開展,因此,在后續(xù)研究中可以調(diào)整網(wǎng)絡結構和參數(shù),進一步提升高倍數(shù)的重建效果。

(2)由于數(shù)據(jù)來源的原因,只選取了一些匹配性較高的影像對進行實驗,但不能完整反映本文方法對整體衛(wèi)星影像的通用性,下一步的研究也將面向來自不同衛(wèi)星傳感器的影像,增強模型的泛化能力,實現(xiàn)一個模型滿足多源遙感數(shù)據(jù)空間分辨率的提升。

5 結論

本文提出了一種新的遙感影像超分辨率重建方法,通過結合深層網(wǎng)絡預測高頻細節(jié)和淺層網(wǎng)絡保留影像主成分信息的優(yōu)勢,實現(xiàn)遙感影像的超分辨率重建。綜合PSNR、SSIM評價指標以及視覺對比分析,得出以下結論。

(1)根據(jù)DBSMN的淺層EESM網(wǎng)絡較EES網(wǎng)絡評價指標的計算結果得知,在增加多尺度模塊后,模型能更好地保留影像的主成分信息。

(2)DBSMN較EEDS、EDSR、DBPN模型重建結果的視覺和客觀指標都有顯著提高,重建結果紋理信息更豐富、更準確。解決了現(xiàn)有的超分辨率重建方法難以同時兼顧高、低頻信息的預測和保留問題。

(3)利用異源遙感數(shù)據(jù)對該網(wǎng)絡進行泛化能力測試。DBSMN比DBPN模型在PSNR和SSIM指標上分別提升0.408 7 dB和0.043 2,并且在視覺上展現(xiàn)出對改善局部細節(jié)方面具有更大的潛力,表明本文方法能夠適應不同遙感影像的數(shù)據(jù)特點,普適性更強。