姜紅濤，孫 京，謝 成，賴少川，沈煥鋒，3

（1.中國(guó)石化銷售股份有限公司華南分公司，廣州 510130；2.武漢大學(xué)資源與環(huán)境科學(xué)學(xué)院，武漢 430079；3.地球空間信息技術(shù)協(xié)同創(chuàng)新中心，武漢 430079）

0 概述

圖像分辨率是度量圖像質(zhì)量最為重要的指標(biāo)之一，圖像分辨率越高，能夠觀察到的細(xì)節(jié)越多［1］。由于醫(yī)學(xué)圖像處理［2］、遙感衛(wèi)星偵察［3］、視頻監(jiān)控應(yīng)用［4］及其他許多領(lǐng)域的實(shí)際需要，人們對(duì)圖像質(zhì)量的要求越來(lái)越高。然而，由于獲取圖像時(shí)的外部條件和圖像系統(tǒng)的限制，在圖像的成像、傳輸、存儲(chǔ)過(guò)程中，會(huì)產(chǎn)生模糊、畸形和噪聲等降質(zhì)情況。通過(guò)改進(jìn)光學(xué)技術(shù)和圖像傳感器來(lái)提升分辨率，需要花費(fèi)較高的經(jīng)濟(jì)成本，而且圖像質(zhì)量的提高也存在極限［1］。圖像超分辨率重建通過(guò)對(duì)多幅具有互補(bǔ)信息的低分辨率圖像進(jìn)行處理，重構(gòu)出一幅或多幅高分辨率圖像［5］，可以有效克服現(xiàn)有圖像系統(tǒng)的固有分辨率限制，提升圖像應(yīng)用能力［6］。

根據(jù)輸入低分辨率圖像的數(shù)量，超分辨率重建方法分為單幅超分辨率重建和多幅超分辨率重建兩大類。多幅超分辨率重建技術(shù)由TSAI等［7］于1984 年提出，其利用多幅具有亞像素位移的圖像提高空間分辨率的頻率域。之后，一些學(xué)者在此基礎(chǔ)上進(jìn)行了改進(jìn)和發(fā)展［8-10］。目前，國(guó)內(nèi)外學(xué)者已經(jīng)構(gòu)建了多個(gè)空域處理的框架［11-13］，其中，基于最大后驗(yàn)估計(jì)（MAP）的方法引入正則化理論［13-15］，能夠有效、靈活地在解空間添加先驗(yàn)約束條件［16］，成為當(dāng)前研究的主流框架模型。然而，在很多實(shí)際應(yīng)用中，利用有限數(shù)量的先驗(yàn)參數(shù)模型很難獲得大量自然圖像的各種特征，同時(shí)，由于缺乏足夠數(shù)量的低分辨率退化圖像，重建過(guò)程中所能夠利用的幀間互補(bǔ)信息有限，多幅超分辨率重建技術(shù)存在缺少高頻細(xì)節(jié)信息的缺點(diǎn)。

單幅超分辨率重建可以分為基于插值的方法［17］、基于重建的方法［18］和基于學(xué)習(xí)的方法［19］。目前，基于學(xué)習(xí)的方法在單幅超分辨率重建的研究上取得了很大的成功，DONG 等［20］構(gòu)建了三層卷積神經(jīng)網(wǎng)絡(luò)SRCNN，并構(gòu)造一個(gè)端到端的重建網(wǎng)絡(luò)，但這種淺層的深度網(wǎng)絡(luò)結(jié)構(gòu)，重建的結(jié)果完全依賴于學(xué)習(xí)的特征，缺乏高頻細(xì)節(jié)。為獲得更好的超分性能，KIM 等［21］在SRCNN 的基礎(chǔ)上，在CNN 訓(xùn)練中加入了殘差和遞歸結(jié)構(gòu)，以便在單幅超分辨率重建中可以有效訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。針對(duì)基于學(xué)習(xí)超分辨率重建存在邊緣信息丟失、易產(chǎn)生視覺(jué)偽影等問(wèn)題，謝珍珠等［22］提出基于邊緣增強(qiáng)的深層網(wǎng)絡(luò)結(jié)構(gòu)用于圖像的超分辨率重建。然而，這些方法的結(jié)果依賴于訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)的相似性，結(jié)果并不可信，而且僅使用外部先驗(yàn)可能會(huì)產(chǎn)生一些偽影。

綜上所述，將多幅超分和單幅超分相結(jié)合是進(jìn)一步提高超分辨率性能的有效途徑［23-24］。本文提出一種結(jié)合內(nèi)外部梯度先驗(yàn)的圖像超分辨率重建方法。集成深度學(xué)習(xí)方法的外部梯度先驗(yàn)和?0范數(shù)的內(nèi)部梯度、亮度聯(lián)合約束先驗(yàn)，利用大量外部數(shù)據(jù)訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)低分-高分圖像塊之間的隱射關(guān)系，得到初始的高分辨率梯度圖，作為外部梯度約束先驗(yàn)，同時(shí)構(gòu)建?0范數(shù)的梯度與亮度聯(lián)合約束作為重建方法的內(nèi)部梯度約束先驗(yàn)，通過(guò)聯(lián)合利用外部梯度先驗(yàn)和內(nèi)部梯度先驗(yàn)的互補(bǔ)優(yōu)勢(shì)，減少重建結(jié)果中可能存在的噪聲與偽影效果，增強(qiáng)重建圖像的高頻空間細(xì)節(jié)信息。

1 內(nèi)外部梯度聯(lián)合約束超分辨率模型

在超分辨率重建過(guò)程中，低分辨率觀測(cè)圖像可以看作是由高分辨率場(chǎng)景經(jīng)過(guò)一系列的降質(zhì)過(guò)程（包括幾何運(yùn)動(dòng)、光學(xué)模糊、降采樣以及附加噪聲等）產(chǎn)生［5］?，F(xiàn)實(shí)環(huán)境中的低分辨率序列圖像在獲取過(guò)程中經(jīng)歷的模糊程度大致相同，可以得到如下圖像觀測(cè)模型：

其中：z表示重建圖像；gk表示輸入的某一幅低分辨率圖像（k為圖像編號(hào)，k=1，2，…，m）；Mk、B、D和nk分別表示幾何運(yùn)動(dòng)矩陣、模糊矩陣、亞采樣矩陣和附加噪聲。當(dāng)k=1 時(shí)，此觀測(cè)模型可以用于單幅超分辨率重建任務(wù)。

基于圖像觀測(cè)模型，由于低分辨率圖像中包含的信息不足以求解高分辨率圖像，超分辨率重建被證明是一個(gè)不適定反問(wèn)題［25］。而正則化項(xiàng)包含高分解的先驗(yàn)信息，可以補(bǔ)償丟失的高頻細(xì)節(jié)，因此，有必要在模型中引入特定的正則化項(xiàng)以獲得穩(wěn)定解。本文采用基于最大后驗(yàn)估計(jì)（MAP）的超分辨率重建方法，對(duì)上述病態(tài)問(wèn)題進(jìn)行有效的正則化約束，轉(zhuǎn)化成如下能量泛函最優(yōu)化問(wèn)題，通過(guò)最小化目標(biāo)函數(shù)來(lái)獲得最優(yōu)的高分圖像：

本文基于最大后驗(yàn)估計(jì)框架，提出一種結(jié)合內(nèi)外部梯度先驗(yàn)的圖像超分辨率重建方法。通過(guò)聯(lián)合利用外部梯度先驗(yàn)和內(nèi)部梯度先驗(yàn)的互補(bǔ)優(yōu)勢(shì)，借助高分梯度信息來(lái)重建高分辨率圖像。模型表達(dá)式如式（3）所示：

其中：Gexternal(?z)為基于深度學(xué)習(xí)的外部梯度先驗(yàn)；Ginternal(?z)為來(lái)自圖像本身的梯度先驗(yàn)；λ和β是正則化參數(shù)。本文超分辨率重建主要分為如圖1 所示的2 個(gè)階段：首先利用網(wǎng)絡(luò)學(xué)習(xí)低分-高分圖像塊對(duì)之間的映射關(guān)系，通過(guò)輸入網(wǎng)絡(luò)的低分插值圖來(lái)獲得相應(yīng)的高分圖像，從而得到初步的高分梯度圖，構(gòu)造變分模型中的外部梯度約束先驗(yàn)；其次通過(guò)構(gòu)造?0范數(shù)的梯度與亮度聯(lián)合約束作為內(nèi)部梯度約束先驗(yàn)。在重建模型中同時(shí)加入內(nèi)外部梯度先驗(yàn)進(jìn)行模型約束，減少重建結(jié)果中可能存在的噪聲與偽影，以獲得最優(yōu)的超分辨率結(jié)果。

圖1 本文方法重建流程Fig.1 Reconstruction procedure of the proposed method

1.1 基于深度學(xué)習(xí)網(wǎng)絡(luò)的外部梯度先驗(yàn)

梯度域在一定程度上有效地反映了自然圖像的高頻細(xì)節(jié)和邊緣信息，對(duì)于外部梯度先驗(yàn)，可以用式（4）表示：

其中：ze表示通過(guò)殘差卷積神經(jīng)網(wǎng)絡(luò)得到的初步高分辨率圖像；?ze=(?x ze，?y ze)為理想高分辨率圖像的梯度向量；?x ze為?ze的水平分量；?y ze為?ze的垂直分量。本文采用非線性深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)低分樣本與對(duì)應(yīng)高分樣本的映射關(guān)系，對(duì)于圖像梯度的計(jì)算，需要分別從水平和垂直方向進(jìn)行估算，所以得到的外部梯度先驗(yàn)為：

利用深度網(wǎng)絡(luò)估計(jì)的初步高分辨率圖像的梯度，分別在水平和垂直方向進(jìn)行梯度約束，λ1和λ2分別表示水平和垂直方向外部梯度先驗(yàn)約束的參數(shù)。在本文中，采用基于深度遞歸殘差網(wǎng)絡(luò)（DRRN）方法［26］，將多個(gè)殘差單元堆積在一起，如圖2 所示，在整體網(wǎng)絡(luò)結(jié)構(gòu)中，將全局殘差學(xué)習(xí)和遞歸網(wǎng)絡(luò)相結(jié)合，通過(guò)利用全局和局部相結(jié)合的殘差學(xué)習(xí)結(jié)構(gòu)降低訓(xùn)練深層網(wǎng)絡(luò)的難度，同時(shí)加入遞歸學(xué)習(xí)結(jié)構(gòu)用于在增加網(wǎng)絡(luò)深度的同時(shí)控制模型參數(shù)規(guī)模。

圖2 基于深度遞歸殘差網(wǎng)絡(luò)的超分辨率重建Fig.2 Super-resolution reconstruction based on deep recursive residual network

在本文的深度遞歸殘差網(wǎng)絡(luò)中，使用291 幅圖像構(gòu)造訓(xùn)練數(shù)據(jù)集，其中91 幅圖像來(lái)自YANG 等［27］提出的稀疏編碼超分辨率重建方法，200 幅圖像來(lái)自BSD 數(shù)據(jù)集［28］。為豐富圖像訓(xùn)練集，更好地提取圖像特征，提高數(shù)據(jù)集的泛化能力，對(duì)291 幅圖像的訓(xùn)練數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，主要包括圖像的翻轉(zhuǎn)和旋轉(zhuǎn)，其中圖像旋轉(zhuǎn)的角度為90°、180°、270°，翻轉(zhuǎn)方式為水平翻轉(zhuǎn)。對(duì)于每個(gè)原始圖像，在訓(xùn)練數(shù)據(jù)集中有7 個(gè)額外增強(qiáng)版本，同時(shí)將訓(xùn)練圖像分割為64×64 大小的圖像塊，并考慮訓(xùn)練時(shí)間和存儲(chǔ)復(fù)雜性，將圖像分割的步長(zhǎng)設(shè)置為17。在本文的DRRN 網(wǎng)絡(luò)結(jié)構(gòu)模型中疊加25 個(gè)局部殘差單元塊，用卷積層重建插值圖和高分辨率圖像之間的殘差，通過(guò)大量的外部訓(xùn)練數(shù)據(jù)得到遞歸殘差網(wǎng)絡(luò)的模型參數(shù)。深度遞歸殘差網(wǎng)絡(luò)學(xué)習(xí)到的映射關(guān)系可以作為外部梯度先驗(yàn)的獲取途徑，利用網(wǎng)絡(luò)學(xué)習(xí)低分-高分圖像塊之間的映射關(guān)系，在測(cè)試階段利用學(xué)習(xí)的映射關(guān)系獲得相應(yīng)的高分圖像，從而得到初步的高分梯度圖，作為變分模型中的外部梯度約束先驗(yàn)。

1.2 聯(lián)合先驗(yàn)約束的重建方法

在MAP 圖像超分辨率重建模型中，常用的先驗(yàn)?zāi)Ｐ陀欣绽瓜闰?yàn)、TV 先驗(yàn)、馬爾科夫隨機(jī)場(chǎng)先驗(yàn)等，但由于亮度先驗(yàn)是基于獨(dú)立像素而不是相鄰像素的差值，在圖像恢復(fù)中引入了嚴(yán)重的噪聲和偽影，而梯度先驗(yàn)是基于相鄰像素之間的差異，使得恢復(fù)后的圖像具有較少的偽影［29］。本文為有效保留紋理細(xì)節(jié)信息，提高重建圖像質(zhì)量，在多幅圖像超分辨率重建中采用了亮度和梯度聯(lián)合約束先驗(yàn)，構(gòu)建的?0范數(shù)亮度與梯度聯(lián)合約束先驗(yàn)?zāi)Ｐ腿缦拢?/p>

利用光流估計(jì)方法［30］獲得運(yùn)動(dòng)位移參數(shù)m，采用盲去模糊的方法［29］進(jìn)行模糊核k估計(jì)，根據(jù)求得的運(yùn)動(dòng)位移m和模糊核k，構(gòu)建對(duì)應(yīng)的運(yùn)動(dòng)矩陣M和模糊矩陣B，因此，通過(guò)引入聯(lián)合先驗(yàn)約束模型，令Wk=DBMk，將式（4）和式（6）代入式（3），最終所需求解的能量泛函如下：

重建模型中存在?0范數(shù)的先驗(yàn)項(xiàng)，因此，通過(guò)交替方向乘子算法的凸集優(yōu)化方法［31］，添加輔助變量，將非線性優(yōu)化轉(zhuǎn)換為求解增廣拉格朗日函數(shù)的問(wèn)題。對(duì)于本文的重建模型，通過(guò)引入與z和?z相對(duì)應(yīng)的輔助變量u和v，目標(biāo)函數(shù)可以改寫(xiě)為：

利用增廣拉格朗日的方法，將式（8）轉(zhuǎn)為無(wú)約束的優(yōu)化問(wèn)題：

其 中：α和μ是懲罰函數(shù)的懲罰參數(shù)。固 定z、u和v3 個(gè)變量中的2 個(gè)來(lái)求解另一個(gè)，通過(guò)對(duì)這3 個(gè)變量進(jìn)行循環(huán)交替迭代求解，直到過(guò)程收斂。最后可以得到重建后的重建圖像z。

2 實(shí)驗(yàn)與結(jié)果分析

本文針對(duì)的實(shí)驗(yàn)對(duì)象是自然圖像，將通過(guò)模擬實(shí)驗(yàn)來(lái)驗(yàn)證本文所采用方法對(duì)于自然圖像信息重建的有效性，并分別用雙三次內(nèi)插法、自適應(yīng)自回歸（ASAR）方法［32］、深度遞歸殘差網(wǎng)絡(luò)（DRRN）方法［26］、亮度-梯度聯(lián)合約束（L0RIG）方法［33］和本文方法對(duì)實(shí)驗(yàn)圖像進(jìn)行重建實(shí)驗(yàn)，比較分析本文方法的重建效果。實(shí)驗(yàn)以多幀序列圖像中的參考圖像作為DRRN 的輸入圖像，輸出得到初步的高分辨率圖像ze，從而得到聯(lián)合重建模型中的外部梯度先驗(yàn)。將多幀序列圖像輸入到聯(lián)合重建模型中，結(jié)合內(nèi)外部梯度先驗(yàn)約束信息，重建得到一幅高分辨率圖像作為最后的重建結(jié)果，重建模型如圖3 所示。

圖3 內(nèi)外部梯度聯(lián)合約束超分辨率重建模型Fig.3 External and internal gradient joint constraint super-resolution reconstruction model

2.1 模擬序列圖像實(shí)驗(yàn)

實(shí)驗(yàn)中的圖像如圖4 所示。對(duì)于每一幅原高分辨率圖像，根據(jù)式（1）的圖像觀測(cè)模型，可以得到4 幅具有0.5 個(gè)像素位移的模擬圖像。模糊函數(shù)采用支持域?yàn)?×7、方差為1 的高斯模糊；通過(guò)隔像素取平均的方法對(duì)降質(zhì)圖像進(jìn)行降采樣，采樣因子設(shè)為2；最后每組圖像得到4 幅低分辨率圖像，在實(shí)驗(yàn)中將使用這5 組圖像進(jìn)行實(shí)驗(yàn)。為評(píng)估重建圖像的質(zhì)量，采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structure Similarity，SSIM）指數(shù)作為的評(píng)價(jià)標(biāo)準(zhǔn)，PSNR 和SSIM 值越大，表示重建結(jié)果越理想。

圖4 超分辨率模擬實(shí)驗(yàn)圖像Fig.4 Super-resolution simulation experiment image

在模擬序列圖像實(shí)驗(yàn)中，將本文聯(lián)合重建方法與三次內(nèi)插法、ASAR 方法［32］、DRRN 方法［26］、L0RIG方法［33］處理的結(jié)果進(jìn)行對(duì)比分析。以圖4 中的圖像作為模擬實(shí)驗(yàn)數(shù)據(jù)，圖5 和圖6 給出了不同超分辨率方法的重建結(jié)果，矩形顯示了重建圖像的放大區(qū)域，以比較不同方法的定性性能，表1 為定量評(píng)價(jià)指標(biāo)PSNR 和SSIM 的結(jié)果。在視覺(jué)效果上，相比其他4 種對(duì)比方法，本文方法能夠提供更多的高頻細(xì)節(jié)信息，有效減少噪聲和偽影。而ASAR 方法［32］的重建結(jié)果性能最差，缺少對(duì)高頻信息的恢復(fù)。DRRN 方法［26］的重建結(jié)果噪聲去除性能最好，但有些邊緣被過(guò)度平滑，在圖5（c）中，將Lean 圖像重建結(jié)果中選擇的區(qū)域放大后的圖像顯示，DRRN 方法［26］由于振環(huán)偽影效應(yīng)導(dǎo)致Lean 圖像的眼睛區(qū)域存在錯(cuò)誤重建。L0RIG 方法［33］的結(jié)果中明顯存在多處不理想的邊緣偽影，雖然能夠恢復(fù)一些丟失的細(xì)節(jié)，但不能抑制圖像上的噪聲。從圖5 顯示的放大區(qū)域可以清晰辨別內(nèi)外梯度先驗(yàn)聯(lián)合約束的方法，在超分辨率過(guò)程中對(duì)圖像細(xì)節(jié)信息的恢復(fù)能力要遠(yuǎn)勝于其他幾種超分辨率重建方法，能夠獲得更好的定量指標(biāo)。

表1 不同重建方法的定量結(jié)果比較Table 1 Quantitative results comparison for different reconstruction methods

圖5 Lena 在不同方法下的重建結(jié)果對(duì)比Fig.5 Comparison of reconstruction results of Lena under different methods

圖6 Parrot 在不同方法下的重建結(jié)果對(duì)比Fig.6 Comparison of reconstruction results of Parrot under different methods

表1 給出了實(shí)驗(yàn)中具體的PSNR 和SSIM 評(píng)價(jià)指標(biāo)結(jié)果，根據(jù)PSNR 和SSIM 兩種客觀評(píng)價(jià)指標(biāo)，在對(duì)Monarch 圖像的實(shí)驗(yàn)中，ASAR方法［32］的PSNR值為22.581 dB，DRRN方法［26］的PSNR值為23.706 dB，L0RIG 方法［33］的PSNR 值為24.037 dB，本文方法的PSNR 值為25.763 dB。定量結(jié)果表明了本文方法有效提高了超分辨率重建性能，通過(guò)結(jié)合深度學(xué)習(xí)的外部梯度先驗(yàn)和?0范數(shù)的內(nèi)部梯度、亮度聯(lián)合約束先驗(yàn)，在保留低頻內(nèi)容的同時(shí)恢復(fù)高頻細(xì)節(jié)，在噪聲去除和邊緣保護(hù)上能達(dá)到較好的平衡效果，并且在圖像的細(xì)節(jié)信息恢復(fù)上性能更加顯著。

2.2 真實(shí)序列圖像實(shí)驗(yàn)

本文展示了兩組真實(shí)實(shí)驗(yàn)，文本和磁盤(pán)的真實(shí)圖像灰度序列是多維信號(hào)處理研究組（MDSP）基準(zhǔn)數(shù)據(jù)集［34］的一部分。在真實(shí)實(shí)驗(yàn)中，無(wú)法用PSNR 和SSIM等指標(biāo)定量地比較不同超分辨率方法的重建結(jié)果，本文采用主觀評(píng)價(jià)的方法對(duì)圖像質(zhì)量進(jìn)行評(píng)價(jià)。將序列圖像的中間幀作為本次重構(gòu)的參考圖像幀，將圖7（a）和圖8（a）選為參考圖像。圖7（b）和圖8（b）為雙三次內(nèi)插結(jié)果，圖7（c）和圖8（c）為ASAR 方法［32］重建結(jié)果，圖7（d）和圖8（d）為DRRN 方法［26］重建結(jié)果，圖7（e）和圖8（e）為L(zhǎng)0RIG 方法［33］重建結(jié)果，圖7（f）和圖8（f）為本文方法重建結(jié)果。

圖7 Text 在不同方法下的真實(shí)圖像重建結(jié)果對(duì)比Fig.7 Comparison real image reconstruction results of Text under different methods

圖8 Disk 在不同方法下的真實(shí)圖像重建結(jié)果對(duì)比Fig.8 Real image reconstruction results of Disk under different methods

為了更好地進(jìn)行視覺(jué)比較，將圖7 和圖8 中部分方框區(qū)域分別進(jìn)行放大顯示，該方法還能較好地保留真實(shí)圖像中的細(xì)節(jié)信息，表明超分辨圖像具有較好的視覺(jué)質(zhì)量。從對(duì)比結(jié)果可以看出，本文算法和亮度-梯度聯(lián)合方法都能得到比三次卷積內(nèi)插結(jié)果質(zhì)量更好的高分辨率圖像，同時(shí)，本文算法在視覺(jué)上明顯優(yōu)于ASAR 方法［32］和DRRN 方法［26］，重建結(jié)果有效的減少圖像中存在的模糊和噪聲，增強(qiáng)圖像的細(xì)節(jié)信息，能更清晰地重建出圖像上的文字等細(xì)節(jié)。

3 結(jié)束語(yǔ)

本文提出一種基于內(nèi)外部梯度先驗(yàn)聯(lián)合約束的圖像超分辨率重建方法，利用深度學(xué)習(xí)的外部梯度先驗(yàn)和?0范數(shù)的內(nèi)部梯度、亮度聯(lián)合約束先驗(yàn)的互補(bǔ)優(yōu)勢(shì)，增強(qiáng)圖像的先驗(yàn)信息，借助高分辨率的梯度信息重建超分辨率圖像，從而增強(qiáng)重建結(jié)果的高頻空間細(xì)節(jié)信息，抑制噪聲與偽影。在模擬和真實(shí)序列圖像上的實(shí)驗(yàn)結(jié)果表明，本文方法能夠提高圖像重建精度，減少模糊和噪聲，增強(qiáng)圖像中的細(xì)節(jié)信息。本文引入梯度結(jié)構(gòu)并與利用內(nèi)外部圖像的先驗(yàn)信息相結(jié)合，增強(qiáng)重建圖像的幾何結(jié)構(gòu)，下一步嘗試將模型重建的結(jié)果作為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的先驗(yàn)約束，以生成具有豐富紋理細(xì)節(jié)的重建圖像。