汪家明，盧 濤

武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205

遙感衛(wèi)星是一種重要的對(duì)地觀測手段，能夠?qū)Φ孛孢M(jìn)行大面積的同步觀測以獲得地面目標(biāo)的信息。遙感衛(wèi)星圖像在災(zāi)害監(jiān)測預(yù)警、資源勘探、和環(huán)境檢測等領(lǐng)域有著廣泛的應(yīng)用前景。然而，由于硬件設(shè)備與成本的限制，遙感圖像的分辨率固定。此外，大氣湍流、成像過程噪聲、設(shè)備與景物之間的運(yùn)動(dòng)模糊、光學(xué)傳感器的欠采樣，降低了衛(wèi)星圖像的分辨率和質(zhì)量。為了提高遙感影像的空間分辨率，克服噪聲和成像模糊的影響，對(duì)遙感圖像的超分辨率重建顯得尤為迫切。

現(xiàn)有的圖像超分辨率重建算法（super-resolu?tion，SR）主要分為2類：基于重建的算法和基于學(xué)習(xí)的算法?；谥亟ǖ乃惴ㄍㄟ^多個(gè)低分辨率圖像來融合亞像素精度的多幀信息［1］，重建出更高分辨率的圖像。但基于重建的方法僅能利用低分辨率圖像之間的互補(bǔ)信息，不能增加新的高頻信息，因此這類重建方法的放大倍數(shù)有限。然而后續(xù)的識(shí)別任務(wù)更加關(guān)注高頻信息中包含的特征［2］。近年來，受到機(jī)器學(xué)習(xí)理論發(fā)展的影響，基于學(xué)習(xí)的方法受到高度的重視日益成為超分辨率算法研究的主流方向?；趯W(xué)習(xí)的算法通過訓(xùn)練樣本提供的先驗(yàn)信息，學(xué)習(xí)低分辨率圖像塊與高分辨率圖像塊之間的映射模型。從訓(xùn)練樣本的使用角度來看，基于學(xué)習(xí)的算法可以分為3類：基于表達(dá)的超分辨率算法，基于回歸的超分辨率算法和基于深度學(xué)習(xí)的超分辨率算法。

基于表達(dá)的算法根據(jù)高分辨圖像在不同分辨率空間表達(dá)系數(shù)不變這一性質(zhì)，使用低分辨字典表示輸入圖像塊，并找尋低分辨率字典對(duì)應(yīng)的高分辨率字典進(jìn)行重建［3-4］。基于回歸的算法通過回歸模型對(duì)超分重建進(jìn)行求解［5-6］。考慮到卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的優(yōu)秀學(xué)習(xí)能力，通過卷積神經(jīng)網(wǎng)絡(luò)［7-8］來學(xué)習(xí)低分辨率和高分辨圖像之間的復(fù)雜非線性映射關(guān)系，通過多個(gè)隱藏層來擴(kuò)展傳統(tǒng)網(wǎng)絡(luò)的深度。Shi等［9］構(gòu)建了亞像素空間的卷積神經(jīng)網(wǎng)絡(luò)，直接而高效地學(xué)習(xí)了從低分辨率圖像到高分辨率圖像的映射函數(shù)。Kim等［10］通過深度殘差網(wǎng)絡(luò)證明了深度殘差網(wǎng)絡(luò)層數(shù)對(duì)于超分辨率性能有提升。生成對(duì)抗網(wǎng)絡(luò)［11］由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)組成，通過生成網(wǎng)絡(luò)生成細(xì)節(jié)，取得了良好的視覺效果，但是客觀指標(biāo)較低。Luo等［12］在 Kim［10］的基礎(chǔ)上根據(jù)自相似性填充圖像取代零填充，避免增加無用的信息，在衛(wèi)星圖像超分辨率任務(wù)中表現(xiàn)出了優(yōu)異的重建效果。

衛(wèi)星圖像超分辨率是特定領(lǐng)域的超分辨率重建問題，準(zhǔn)確的邊緣和紋理等高頻信息對(duì)于衛(wèi)星圖像檢測和識(shí)別任務(wù)是至關(guān)重要的［13］。待識(shí)別目標(biāo)的全局高頻信息在檢測任務(wù)中占據(jù)主導(dǎo)地位，而局部的高頻信息在識(shí)別任務(wù)中不可或缺。但是遙感衛(wèi)星圖像成像范圍廣，目標(biāo)的尺度差異較大，直接使用同構(gòu)同質(zhì)的網(wǎng)絡(luò)預(yù)測重建不同尺度的目標(biāo)，導(dǎo)致重建精度不滿足要求或者效率低下。而現(xiàn)有的基于多尺度的超分辨率算法中，多尺度信息融合是在像素域或特征域進(jìn)行，重建結(jié)果注重的是圖像的內(nèi)容和局部高頻信息，卻忽略了全局的高頻信息。因此需要一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，可以靈活處理不同尺度的目標(biāo)和不同精度的超分辨率任務(wù)，預(yù)測出不同尺度目標(biāo)的邊緣和紋理等高頻信息，并在更加快速和有效的殘差空間融合多尺度信息。綜合考慮上述問題，本文提出了一個(gè)多尺度殘差深度神經(jīng)網(wǎng)絡(luò)的衛(wèi)星圖像超分辨率算法。

1 基于多尺度殘差深度神經(jīng)網(wǎng)絡(luò)的衛(wèi)星圖像超分辨率

結(jié)合多尺度圖像分析和深度殘差網(wǎng)絡(luò)，將同一衛(wèi)星圖像以多尺度的形式放入不同的深度殘差神經(jīng)網(wǎng)絡(luò)中，建立不同尺度特征的自適應(yīng)深度神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)從底層到高層的特征，預(yù)測不同尺度空間的高頻殘差信息。然后通過殘差融合網(wǎng)絡(luò)將預(yù)測所得的不同尺度空間的殘差圖像在殘差空間進(jìn)行加權(quán)，進(jìn)行殘差信息之間的互補(bǔ)和融合，使得不同目標(biāo)能夠在最合適的空間進(jìn)行表達(dá)。本文中的多尺度殘差網(wǎng)絡(luò)以兩個(gè)不同尺度空間子網(wǎng)絡(luò)為例，分別為尺度空間1和尺度空間2，網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

1.1 殘差學(xué)習(xí)

Kim［10］證明了隨著網(wǎng)絡(luò)層數(shù)的增加，大量的超參數(shù)促進(jìn)了網(wǎng)絡(luò)的非線性表達(dá)能力。然而，網(wǎng)絡(luò)層數(shù)的單一級(jí)聯(lián)帶了一個(gè)不可避免的問題：梯度消失/梯度爆炸導(dǎo)致在反向傳播中網(wǎng)絡(luò)的參數(shù)無法優(yōu)化［14］。由于輸入的低分辨率圖像和原始高分辨率圖像非常相似，本文定義殘差圖像為ri=yi-xi。殘差圖像的像素值大多數(shù)為零或者較小值。低分辨率圖像的插值結(jié)果xi屬于原始圖像yi的低頻分量，因此殘差圖像ri為yi的高頻分量。相比直接預(yù)測像素域的圖像，使用殘差學(xué)習(xí)不僅會(huì)大量減少網(wǎng)絡(luò)攜帶的信息，可加快網(wǎng)絡(luò)收斂速度，還可以避免深度網(wǎng)絡(luò)的不收斂問題［10］。

圖1 多尺度殘差網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)包括多尺度殘差學(xué)習(xí)網(wǎng)絡(luò)和殘差融合網(wǎng)絡(luò)兩部分（k表示卷積核大小，n表示卷積核個(gè)數(shù)，s表示步長）Fig.1 Network architecture of multi-scale residual deep neural network.The network includes two subnetworks：multi-scale residual network and residual fusion network.（k is the convolution kernel size，n is the number of convolution kernel and s is stride size）

1.2 多尺度特征提取

在尺度空間1殘差學(xué)習(xí)網(wǎng)絡(luò)中，本文使用大小為41×41像素的重疊圖像塊進(jìn)行訓(xùn)練。本文定義卷積核大小為3×3。網(wǎng)絡(luò)輸出的殘差為：

其中fS1(x)為尺度空間1殘差學(xué)習(xí)網(wǎng)絡(luò)預(yù)測所得的殘差。為尺度空間1殘差學(xué)習(xí)網(wǎng)絡(luò)第19層輸出的特征圖。卷積的權(quán)值大小為64×3×3×1，偏置項(xiàng)大小為1×1。

在尺度空間2殘差學(xué)習(xí)網(wǎng)絡(luò)中使用100×100的非重疊圖像塊。由于輸入圖像塊大小的增加，所以需要更大的感受野。本文定義卷積核大小為7×7，尺度空間1和尺度空間2殘差空間增強(qiáng)網(wǎng)絡(luò)相似。網(wǎng)絡(luò)輸出的殘差為：

其中fS2(x)為尺度空間2殘差學(xué)習(xí)網(wǎng)絡(luò)預(yù)測所得的殘差。為殘差學(xué)習(xí)網(wǎng)絡(luò)第19層輸出的特征圖。卷積的權(quán)值大小為64×7×7×1，偏置項(xiàng)大小為1×1。

1.3 殘差融合網(wǎng)絡(luò)

相同尺度的目標(biāo)在不同的尺度空間具有不同的表達(dá)形式［15］，本文通過不同尺度空間找尋不同尺度的目標(biāo)的最適合的表達(dá)形式，并通過多尺度的表達(dá)形式進(jìn)行信息互補(bǔ)，保證了目標(biāo)表達(dá)的準(zhǔn)確性。本文試圖通過融合模型組合尺度空間1的殘差信息和尺度空間2的殘差信息。融合后的殘差為：

其中m表示尺度空間2預(yù)測殘差的權(quán)重，在本文中m=0.9。最終的重建圖像為：

1 .4 損失函數(shù)

使用均方誤差（mean squared error，MSE）作為網(wǎng)絡(luò)的損失函數(shù)，整體的損失函數(shù)為：

其中α，β控制不同尺度殘差學(xué)習(xí)網(wǎng)絡(luò)之間的平衡，在本文中α=β=1。網(wǎng)絡(luò)優(yōu)化過程中使用梯度下降法來進(jìn)行反向傳播。每次卷積操作都會(huì)縮小特征圖的大小，通過填充零來保留更多的邊緣像素，以更準(zhǔn)確地推斷中心像素，同時(shí)也確保了所有的特征圖大小相同。網(wǎng)絡(luò)損失如圖2所示，由于2個(gè)子網(wǎng)絡(luò)訓(xùn)練使用的圖像塊大小差異，所以對(duì)應(yīng)的網(wǎng)絡(luò)訓(xùn)練時(shí)的損失在量級(jí)有差異，但收斂趨勢相同，證明了使用不同尺度的殘差網(wǎng)絡(luò)恢復(fù)殘差的合理性。

圖2 不同尺度殘差網(wǎng)絡(luò)的訓(xùn)練損失圖：（a）尺度1，（b）尺度2Fig.2 Training loss of multi-scale residual networks：（a）scale 1，（b）scale 2

2 結(jié)果與討論

2.1 實(shí)驗(yàn)數(shù)據(jù)與參數(shù)

本文在Space Net衛(wèi)星圖像數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)，并通過峰值信噪比（peak signal to noise ratio，PSNR）本文中定義為RPSNR、結(jié)構(gòu)相似性（structural similarity，SSIM）和互信息（mutual information，MI）作為重建圖片質(zhì)量的客觀評(píng)估標(biāo)準(zhǔn)。PSNR和SSIM從圖像的角度刻畫了重建圖像與原始圖像之間的相似性，而互信息可從信息的角度表示兩幅圖像之間的信息的依賴程度，互信息評(píng)分越高，圖像之間的依賴越高，圖像之間的相似性也越高。圖像x與y之間的互信息定義為：

式（6）中，m和n表示灰度值，P(m)表示灰度值為m的像素?cái)?shù)量占整幅圖像的比例。

Space Net衛(wèi)星圖像數(shù)據(jù)集中包括里約熱內(nèi)盧、巴黎、拉斯維加斯、上海和喀土穆5個(gè)可用的區(qū)域，每個(gè)地圖圖像都由完整的高分辨率衛(wèi)星圖像分割為438×406像素的RGB圖像，圖像的興趣內(nèi)容主要為建筑和道路等。從里約熱內(nèi)盧地圖中隨機(jī)選取240張建筑群圖像，其中的160張作為訓(xùn)練集，40張作為驗(yàn)證集，余下40張作為測試樣本。

本文算法網(wǎng)絡(luò)為并行網(wǎng)絡(luò)結(jié)構(gòu)，每個(gè)子網(wǎng)絡(luò)都需要訓(xùn)練80個(gè)時(shí)期。由于網(wǎng)絡(luò)層數(shù)較深，因此本文算法使用學(xué)習(xí)率衰減，學(xué)習(xí)率初始化為0.1，每隔20個(gè)時(shí)期學(xué)習(xí)率便會(huì)下降至原來的1/10，而網(wǎng)絡(luò)的動(dòng)量為0.9。為了避免過擬合，本文使用?2正則化，其權(quán)值衰減為0.0001。在尺度空間1殘差學(xué)習(xí)網(wǎng)絡(luò)中，本文設(shè)置步長為1，填充為1，而尺度空間2殘差學(xué)習(xí)網(wǎng)絡(luò)中，設(shè)置步長為1，填充為3。本文使用msra來初始化權(quán)重，即滿足均值為0方差為的高斯分布（n輸入訓(xùn)練樣本的個(gè)數(shù)），使用constant來初始化偏置項(xiàng)，即初始值為0。實(shí)驗(yàn)先將RGB圖像轉(zhuǎn)換到Y(jié)CbCr顏色空間，在Y通道中進(jìn)行重建，重建完成后再將Y通道的圖像還原到RGB顏色空間。

2.2 實(shí)驗(yàn)結(jié)果與分析

對(duì)結(jié)果進(jìn)行定量和定性的分析，并使用PSNR、SSIM和MI用于評(píng)估重建的結(jié)果進(jìn)行定量分析。此外為了驗(yàn)證本文算法網(wǎng)絡(luò)結(jié)構(gòu)的有效性，比較了CNN中前沿的算法：加速的基于卷積網(wǎng)絡(luò)的圖像超分辨率算法（auelerating the super_reso?lution convolutional neural network，F(xiàn)SRCNN）［16］，經(jīng)典深度學(xué)習(xí)算法基于深度卷積網(wǎng)絡(luò)的圖像超分辨率算法（image super-resolution using deep convo?lutional networks，SRCNN）［7］的加速優(yōu)化版本，拉普拉斯金字塔超分辨率網(wǎng)絡(luò)（laplacian pyramid su?per-resolution networks，LapSRN）［17］，視頻衛(wèi)星圖像超分辨率算法（video satellite imayery super resolu?tion，VISR）［12］。本文中使用的對(duì)比算法 FSRCNN的源代碼由論文作者Chao Dong提供，LapSRN的源代碼由論文作者Wei-Sheng Lai提供，VISR的源代碼由論文作者Yimin Luo提供。所有測試圖像的PSNR和SSIM如圖3所示（由于FSRCNN的客觀評(píng)分過低，并未在圖3中展示），本文算法重建圖像的PSNR和SSIM都是最優(yōu)的，如表1所示，本文算法無論是PSNR、SSIM還是MI都獲得了最高的客觀評(píng)分。與性能排名第二的算法VISR相比，分別提升了0.25 dB，0.01和0.03，表明了多尺度的殘差網(wǎng)絡(luò)通過不同尺度空間更有效地學(xué)習(xí)圖像內(nèi)容和結(jié)構(gòu)，以及通過更深網(wǎng)絡(luò)恢復(fù)圖像的信息的有效性。

圖3 Space Net衛(wèi)星圖像超分辨率結(jié)果的客觀對(duì)比：（a）PSNR，（b）SSIMFig.3 Objective results of super-resolution algorithms over Space Net satellite images：（a）PSNR，（b）SSIM

表1 Space Net數(shù)據(jù)集上PSNR，SSIM和MI的平均結(jié)果Tab.1 Average results of PSNR，SSIM and MI on SpaceNet dataset

2.2.1 本文算法與FSRCNN對(duì)比 FSRCNN使用亞像素空間來取代SRCNN在像素域的計(jì)算，但是FSRCNN中輸入的低分辨率圖像塊大小為11×11像素，對(duì)應(yīng)的高分辨率圖像塊大小為19×19像素，因此并不適用于尺度差異較大的衛(wèi)星圖像，如圖4所示，F(xiàn)SRCNN有較好的重建效果，但是由于尺度問題，導(dǎo)致重建圖4（b）中圖像塊拼接處不平滑，客觀評(píng)分較低。

圖4 SpaceNet衛(wèi)星圖像超分辨率結(jié)果的主觀對(duì)比：（a）雙三次插值，（b）FSRCNN，（c）LapSRN，（d）VISR，（e）本文算法，（f）高分辨圖像Fig.4 Subjective results of different super-resolution algorithms over SpaceNet satellite images：（a）bicubic，（b）FSRCNN，（c）LapSRN，（d）VISR，（e）our algorithm，（f）high resolution image

2.2.2 本文算法與LapSRN對(duì)比 LapSRN為多尺度的深度學(xué)習(xí)算法，但是LapSRN的多尺度信息融合主要是在訓(xùn)練網(wǎng)絡(luò)中的特征域進(jìn)行。而本文算法則是通過構(gòu)建并行網(wǎng)絡(luò)，在殘差域中進(jìn)行融合。殘差空間與圖像的高頻信息之間聯(lián)系更為緊密，且殘差域中數(shù)值較小，攜帶的信息量較小，能夠有更高的計(jì)算效率。

2.2.3 本文算法與VISR對(duì)比 VISR通過對(duì)低分辨圖像進(jìn)行自相似填充，來避免網(wǎng)絡(luò)中的零填充帶來無用的信息，但是也因此將網(wǎng)絡(luò)改變?yōu)橄袼赜?。像素域中的重建?huì)更多的關(guān)注于圖像中的低頻信息內(nèi)容，而衛(wèi)星圖像超分辨率任務(wù)中更希望恢復(fù)的是高頻信息，且在殘差域網(wǎng)絡(luò)中更為高效。

由圖4圖像重建客觀結(jié)果來看，該算法的重建圖像比其他算法的結(jié)果包含更多的細(xì)節(jié)信息。使用本文的算法重建的高分辨率圖像擁有更多的高頻信息。例如，對(duì)于小目標(biāo)建筑，本文的算法使房屋的輪廓更清晰；對(duì)于大目標(biāo)建筑，本文的算法在屋頂?shù)募y理方面有更好的表現(xiàn)；對(duì)于建筑間的道路，本文的方法更清晰的重建出了道路中的細(xì)紋?？傊杀疚牡慕Y(jié)果證明，使用多尺度的殘差網(wǎng)絡(luò)有助于衛(wèi)星圖像的超分辨復(fù)原。

3 結(jié) 語

考慮到衛(wèi)星圖像的特殊性，使用多尺度學(xué)習(xí)來提高卷積神經(jīng)網(wǎng)絡(luò)對(duì)遙感衛(wèi)星圖像不同尺度先驗(yàn)信息的適應(yīng)能力，通過融合多尺度殘差得到更準(zhǔn)確的邊緣和紋理等高頻信息。在Space Net數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明：提出的多尺度殘差深度神經(jīng)網(wǎng)絡(luò)能有效地增強(qiáng)重建圖像中的高頻信息，相比前沿的衛(wèi)星圖像而言具有更好的主客觀重建質(zhì)量。