趙曉冬，張洵穎，程雪梅

（1.西北工業(yè)大學(xué)無人系統(tǒng)技術(shù)研究院，西安 710072，2.西北工業(yè)大學(xué)365研究所，西安 710072）

1 引 言

隨著航空航天遙感技術(shù)的發(fā)展，遙感影像的數(shù)據(jù)量大幅增加，高分辨率光學(xué)遙感影像具備豐富的紋理、空間和語義信息。在軍事領(lǐng)域可以檢測(cè)特定軍事目標(biāo)如艦船、飛機(jī)等，獲得情報(bào)進(jìn)行精確制導(dǎo)，在民用領(lǐng)域可以感知城市狀態(tài)，監(jiān)測(cè)海洋漏油、病蟲害、災(zāi)后搜救、土地調(diào)查等。然而在獲得影像的過程中，遙感系統(tǒng)會(huì)受到如氣流擾動(dòng)、成像衍射、傳輸干擾、相對(duì)姿態(tài)變化、下采樣、附加噪聲等多種因素的影響，導(dǎo)致影像的像質(zhì)下降。利用硬件途徑提高影像分辨率的方法被眾多因素所限制。

超分辨率（Super Resolution，SR）重構(gòu)［1］指在觀測(cè)系統(tǒng)不改變的前提下，利用算法恢復(fù)影像獲取過程中所丟失的成像截止頻率以上的高頻信息，分為單幀影像重構(gòu)和多幀序列影像重構(gòu)。單幀影像重構(gòu)是典型的數(shù)學(xué)反問題，充分利用先驗(yàn)知識(shí)進(jìn)行影像重構(gòu)，非常適用于不能直接獲取序列影像的應(yīng)用場(chǎng)景。多幀影像充分利用影像之間的冗余互補(bǔ)信息，結(jié)合先驗(yàn)知識(shí)，可以獲得更好的重構(gòu)應(yīng)用效果。多幀重構(gòu)算法通過時(shí)間分辨率的犧牲提高空間分辨率，算法更為復(fù)雜。

隨著遙感領(lǐng)域的不斷發(fā)展，如何通過各類理論來有效進(jìn)行超分辨率重構(gòu)，是目前光學(xué)遙感影像恢復(fù)領(lǐng)域非常有前途的研究熱點(diǎn)。遙感領(lǐng)域的研究人員應(yīng)當(dāng)充分運(yùn)用遙感技術(shù)和信號(hào)分析技術(shù)，獲得更多的地物特征信息，為光學(xué)遙感影像的后續(xù)分析奠定基礎(chǔ)。

2 光學(xué)遙感影像降質(zhì)模型

在光學(xué)遙感影像重構(gòu)當(dāng)中，降質(zhì)模型對(duì)于求解非常重要，反映了高分辨率目標(biāo)遙感影像與低分辨率觀測(cè)遙感影像間的映射關(guān)系，可以體現(xiàn)退化因素。在光學(xué)遙感影像成像過程當(dāng)中，假設(shè)X(x,y)代表不失真連續(xù)信號(hào)物影像，退化得到序列低分辨率觀測(cè)影像Yi(k,l)(i=1,2,…,p)為離散影像。當(dāng)滿足采樣定理時(shí)，X(x,y)可以被不失真地轉(zhuǎn)換為離散影像X(k,l)，即原始數(shù)字影像。光學(xué)遙感影像的降質(zhì)模型框圖如圖1所示。

基于多幀光學(xué)遙感影像的降質(zhì)模型表述為：

該降質(zhì)模型表示基于多幀光學(xué)遙感影像的重構(gòu)模型，假設(shè)高分辨率影像大小為L1N1×L2N2，參數(shù)L1和L2表示水平和豎直方向的降采樣因子，X代表需要計(jì)算重構(gòu)的高分辨率遙感影像，Yk表示第k幀觀測(cè)到的低分辨率影像，Mk表示第k幀影像對(duì)應(yīng)的運(yùn)動(dòng)矩陣，Bk表示第k幀影像對(duì)應(yīng)的模糊矩陣，D表示降采樣矩陣，nk表示第k幀的加性噪聲。

基于單幀光學(xué)遙感影像的降質(zhì)模型表示為：

圖1 光學(xué)遙感影像降質(zhì)模型原理圖Fig.1 Principle diagram of optical remote sensing image degradation model

其中，X表示需要計(jì)算重構(gòu)的高分辨率遙感影像，Y表示觀測(cè)到的低分辨率遙感影像，H表示模糊矩陣，D表示降采樣矩陣，n表示噪聲矩陣。

3 病態(tài)性問題解決方法

遙感影像的成像過程受到光學(xué)衍射、噪聲、欠采樣等多種因素影響，造成影像降質(zhì)的過程是一個(gè)數(shù)學(xué)正問題，從降晰且離散的遙感影像中估計(jì)連續(xù)信號(hào)，是非常經(jīng)典的數(shù)學(xué)反問題。對(duì)于遙感成像系統(tǒng)來說，在逆濾波時(shí)，噪聲非常可能會(huì)被放大繼而淹沒真實(shí)信號(hào)；卷積函數(shù)精確表達(dá)形式未知，對(duì)其求逆向反卷積從本質(zhì)上講不可行；即使噪聲和核函數(shù)已經(jīng)精確已知，逆濾波也不能獲得有意義可解釋的解，所有這些因素都會(huì)導(dǎo)致重構(gòu)變成非常嚴(yán)重的不適定問題。

針對(duì)這類不適定問題，對(duì)其進(jìn)行求解的過程中，需要施加一定程度的先驗(yàn)條件及限制，從而將其轉(zhuǎn)為適定問題求解，實(shí)現(xiàn)這一轉(zhuǎn)化的思路稱之為正則化（Regularization）。正則化算法的主要解決思路是利用各類先驗(yàn)知識(shí)修改原問題，將其變?yōu)樽钚』瘑栴}，或?qū)⑶蠼膺^程變?yōu)橥队暗鷨栴}，并在此過程中對(duì)數(shù)據(jù)范圍加以限制，抑制不合理的解；對(duì)解建立相應(yīng)的統(tǒng)計(jì)模型，并將其作為先驗(yàn)知識(shí)，從而使求解問題變成參數(shù)的估計(jì)和優(yōu)化問題。

4 超分辨率重構(gòu)算法

4.1 最大后驗(yàn)估計(jì)

最大后驗(yàn)估計(jì)（Maximum A Posteriori，MAP）算法進(jìn)行重構(gòu)的主要思想是在已知低分辨率觀測(cè)序列的前提下，使高分辨率出現(xiàn)的后驗(yàn)概率最大。假設(shè)有k幅低分辨率觀測(cè)圖像，表示為g={g1,g2,…gk}，則超分辨率重構(gòu)問題表述為：

依據(jù)貝葉斯定理，有條件概率：

將式（4）代入式（3），并取對(duì)數(shù)可得：

其中，第二項(xiàng)代表高分辨率影像存在時(shí)低分辨率影像的概率密度函數(shù)，代表噪聲模型類型，第一項(xiàng)代表影像先驗(yàn)?zāi)Ｐ?，不同噪聲模型及先?yàn)?zāi)Ｐ途鶗?huì)產(chǎn)生相應(yīng)最小化函數(shù)，可以選擇Huber-MRF、Gaussian-MRF等先驗(yàn)?zāi)Ｐ瓦M(jìn)行描述。MAP的超分辨率重構(gòu)應(yīng)用非常早，研究人員針對(duì)火星探測(cè)器Viking獲取的多幅低分辨率影像，運(yùn)用MAP技術(shù)恢復(fù)并進(jìn)行了三維高分辨率影像重構(gòu)。Shen H F等［2］在擴(kuò)展MAP框架的基礎(chǔ)上，將運(yùn)動(dòng)估計(jì)、分割與超分辨率重構(gòu)過程建立在統(tǒng)一的框架當(dāng)中，使MAP可以應(yīng)用在針對(duì)多個(gè)運(yùn)動(dòng)目標(biāo)以及場(chǎng)景劇烈變化情況下的重構(gòu)過程之中。

4.2 迭代反投影

迭代反投影 （Iterative Back Projection，IBP）算法采用待求高分辨率影像初始估計(jì)作為當(dāng)前計(jì)算結(jié)果，將此結(jié)果通過觀測(cè)模型投影得到低分辨率模擬影像，隨后采用迭代方式逐步減少模擬降質(zhì)過程所得影像與實(shí)際低分辨率影像之間的誤差，根據(jù)該誤差不斷更新當(dāng)前估計(jì)，從而迭代循環(huán)獲得最終的重構(gòu)影像。Friden B R［3］將代數(shù)層析相關(guān)濾波理論引入投影算法中，并將其推廣到彩色視頻重構(gòu)領(lǐng)域，IBP方法很容易理解，其缺點(diǎn)是解不具備唯一性，迭代過程存在不收斂的可能性，難以引入先驗(yàn)知識(shí)。

4.3 確定性正則化

確定性正則化算法利用先驗(yàn)知識(shí)增加約束，使解可以連續(xù)依賴于觀測(cè)數(shù)據(jù)并且具備物理意義，基于正則化變分理論的重構(gòu)技術(shù)，根據(jù)影像的降質(zhì)模型建立代價(jià)函數(shù)，進(jìn)行最小化求解，獲得最優(yōu)重構(gòu)影像，該類算法計(jì)算復(fù)雜度較小，并且可以達(dá)到較好的重構(gòu)效果，其框架表示為變分模型：

其中，第一項(xiàng)代表數(shù)據(jù)約束項(xiàng)，用于衡量觀測(cè)數(shù)據(jù)kg和理想數(shù)據(jù)z之間相一致的程度；第二項(xiàng)代表正則化項(xiàng)，用于約束光滑性和有界變差等圖像先驗(yàn)信息；λ代表均衡二者的正則化參數(shù)，控制求解過程中的貢獻(xiàn)量。該類型影像重構(gòu)框架圍繞三個(gè)問題展開：U(f)的具體設(shè)計(jì)、λ的參數(shù)選取以及變分模型求解。較為經(jīng)典的正則化算子包括Tikhonov模型、TV模型、雙邊全變分模型和自適應(yīng)雙邊全變分模型。

式（6）可以視為非約束最優(yōu)化問題，利用變分法將求解最優(yōu)問題轉(zhuǎn)化為求解歐拉-拉格朗日方程問題。變分PDE可以更好地處理曲率、梯度、水平集和切線等敏感信息，可以采用較為成熟的優(yōu)化方法和計(jì)算算法，具備穩(wěn)定性，可以獲得較高的影像質(zhì)量。針對(duì)式（6）的能量函數(shù)，歐拉-拉格朗日方程可以描述為：

可以使用最速下降法進(jìn)行超分辨率重構(gòu)問題的求解，利用最速下降法進(jìn)行運(yùn)算的迭代公式描述為：

4.4 凸集投影

凸集投影（Projection Onto Convex Sets，POCS）算法［4］認(rèn)為，高分辨率影像約束條件可以定義為向量空間的凸集合，只要求取集合交集，便可獲得超分辨率影像的解。該算法在可行解的空間內(nèi)定義一系列約束條件，包括觀測(cè)數(shù)據(jù)的正定性、一致性、光滑性、能量有界性等，將限制條件定義為完備內(nèi)積空間的緊凸集，通過求解交集獲取重構(gòu)的最終解。假設(shè)影像的n個(gè)約束集定義為相應(yīng)的投影算子，分別表示為P1,P2,…,Pn，則高分辨率影像通過迭代方程進(jìn)行求解。

POCS算法決定于每個(gè)投影算子的選擇，其中，數(shù)據(jù)一致性約束最為重要，描述了高低分辨率影像間的關(guān)系，IBP算法為POCS算法只考慮數(shù)據(jù)一致性時(shí)的特殊情況。POCS中可以引入像素取值范圍約束、幅度約束、參考圖像約束、能量約束等條件，并且可以將噪聲模型、采樣格網(wǎng)及運(yùn)動(dòng)模糊、改進(jìn)PFS系數(shù)、分割圖、時(shí)空聯(lián)合自適應(yīng)［5］等概念引入約束中進(jìn)行凸集求解。缺點(diǎn)是解不唯一，收斂速度慢，依賴初始條件。有學(xué)者提出將POCS和MAP結(jié)合起來［6-7］進(jìn)行重構(gòu)，給出了輸出解的收斂證明和唯一性證明。

4.5 稀疏表示

壓縮感知理論［8］突破奈奎斯特定理，以遠(yuǎn)低于奈奎斯特的頻率，對(duì)信號(hào)進(jìn)行壓縮采樣，通過與稀疏基不相關(guān)的測(cè)量矩陣，將信號(hào)從高維投影至低維，通過求解最優(yōu)化問題，從少量觀測(cè)值中，以較高或完全概率重構(gòu)原始信號(hào)。字典稀疏表示原理如圖2所示。

圖2 字典稀疏表示原理圖Fig.2 Principle diagram of dictionary sparse representation

離散數(shù)字信號(hào)，即影像x∈RN可以由基向量{ψi}i=1,…,k ，ψiRN的線性組合形式表示為其中，αi為表示系數(shù)。當(dāng)時(shí)，稱ψi為原子，將稱為字典。根據(jù)N與K的大小關(guān)系分為三種情況：N＞K時(shí)，字典欠完備；N=K時(shí)，字典完備；N＜K時(shí)，字典過完備。

矩陣形式表示為式（10），α為x關(guān)于ψ的稀疏系數(shù)。

假設(shè)光學(xué)遙感影像的重構(gòu)模型描述為：

其中，y代表降質(zhì)圖像，x代表重構(gòu)目標(biāo)圖像，B代表模糊因子，D代表降采樣因子，假設(shè)影像x在過完備字典中足夠稀疏，x=ψα，則x可由低維觀測(cè)值y求解：

4.6 偏微分方程

基于偏微分方程（Partial Differential Equation，PDE）的模型［12-13］根據(jù)像素點(diǎn)局部鄰域信息，判斷該點(diǎn)的區(qū)域特征，在不同的區(qū)域進(jìn)行各向異性擴(kuò)散，在平滑噪聲的同時(shí)，保持或增強(qiáng)邊緣。偏微分方程的發(fā)展經(jīng)歷了由線性到非線性，由各向同性擴(kuò)散到各向異性擴(kuò)散的過程，可以歸結(jié)為求解初始值為輸入影像的非線性擴(kuò)散問題。

PDE最早協(xié)助建立了圖像的多尺度表達(dá)理論，從Perona-Malik（P-M）方程、MCM及其改進(jìn)模型、張量擴(kuò)散模型到高階模型，PDE理論開創(chuàng)了一個(gè)新的領(lǐng)域。文獻(xiàn)［12］在綜合考慮平滑區(qū)域、邊緣區(qū)域、角點(diǎn)和交叉點(diǎn)區(qū)域三類不同維度特征的基礎(chǔ)上結(jié)合高階張量進(jìn)行分析，提出了基于偏微分方程統(tǒng)一架構(gòu)的單幀重構(gòu)模型。邵文澤［13］進(jìn)行了結(jié)構(gòu)張量圖像建模方法的研究，設(shè)計(jì)了統(tǒng)一正則化的PDE模型，更好地刻畫角形、平坦、邊緣結(jié)構(gòu)的濾波性能，并分別進(jìn)行了圖像修補(bǔ)、圖像插值、超分辨率重構(gòu)等實(shí)驗(yàn)的驗(yàn)證。

4.7 深度學(xué)習(xí)

目前已涌現(xiàn)很多成熟的基于深度學(xué)習(xí)的超分辨率重構(gòu)研究成果，其中，基于端到端的超分辨率算法是主流研究方向，可高效運(yùn)行于GPU平臺(tái)。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）通過訓(xùn)練學(xué)習(xí)顏色、邊緣、紋理、形狀以及圖像拓?fù)浣Y(jié)構(gòu)等特征，對(duì)結(jié)構(gòu)進(jìn)行準(zhǔn)確描述，已被證明是深度學(xué)習(xí)中最好的結(jié)構(gòu)。

SRCNN［14-15］算法于2014年開啟了CNN算法在超分辨率重構(gòu)領(lǐng)域當(dāng)中的探索之門，利用深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練適合LR圖像重建的模型，直接學(xué)習(xí)輸入圖像和輸出圖像的關(guān)系，合理優(yōu)化網(wǎng)絡(luò)參數(shù)。FSRCNN［16］采用無預(yù)處理的圖像作為輸入，將SRCNN中的非線性映射部分替換為壓縮、映射和擴(kuò)展。VDSR［17］引入殘差網(wǎng)絡(luò)的思想，僅僅學(xué)習(xí)高低分辨率圖像的殘差，并將網(wǎng)絡(luò)結(jié)構(gòu)擴(kuò)展到20層。

ESPCN［18］是基于多幀圖像的SR重構(gòu)網(wǎng)絡(luò)，圖像尺寸放大過程的插值函數(shù)被隱含地包含在前面的卷積層中，可以自動(dòng)學(xué)習(xí)到。SRGAN［19］在生成模型的基礎(chǔ)上增加對(duì)抗模型，生成網(wǎng)絡(luò)生成高分辨率圖像，對(duì)抗網(wǎng)絡(luò)判斷拿到的圖像是由生成網(wǎng)絡(luò)生成的，還是數(shù)據(jù)庫中的原圖，從而相互促進(jìn)完成SR重構(gòu)的過程。LapSRN［20］實(shí)現(xiàn)多級(jí)結(jié)構(gòu)，每一級(jí)完成一次兩倍上采樣操作，每一級(jí)先通過級(jí)聯(lián)卷積層提取特征，并通過反卷積層將提取出的特征尺寸上采樣兩倍。通過逐步上采樣，一級(jí)一級(jí)預(yù)測(cè)殘差，對(duì)每一級(jí)的結(jié)果進(jìn)行監(jiān)督。

DRCN［21］第一次將遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用在 SR重構(gòu)問題的求解中，利用殘差學(xué)習(xí)的方法加深網(wǎng)絡(luò)結(jié)構(gòu)，增加網(wǎng)絡(luò)感受野，提升性能。DRRN［22］對(duì)ResNet等結(jié)構(gòu)進(jìn)行相應(yīng)的調(diào)整，采取了更深的網(wǎng)絡(luò)結(jié)構(gòu)，最佳網(wǎng)絡(luò)深度是52層，是一種多路徑模式的局部殘差學(xué)習(xí)、全局殘差學(xué)習(xí)合并多權(quán)重遞歸學(xué)習(xí)的網(wǎng)絡(luò)模型。

SRDenseNet［23］在稠密塊中將每一層的特征都輸入給后續(xù)所有層，將所有層的特征并置，減少參數(shù)數(shù)量。EDSR［24］去掉了ResNet中的批規(guī)范化操作，使網(wǎng)絡(luò)可以堆疊更多層數(shù)或在每層提取更多特征，獲得更好的性能表現(xiàn)。

5 光學(xué)遙感影像重構(gòu)應(yīng)用

在基于超分辨率算法的遙感應(yīng)用中，學(xué)者們基于各類重構(gòu)理論進(jìn)行了廣泛的研究，陸續(xù)將以上超分辨 率重構(gòu)相關(guān)理論應(yīng)用于光學(xué)遙感影像的處理中，應(yīng)用傳統(tǒng)方法對(duì)遙感影像進(jìn)行重構(gòu)的研究成果較為成熟，基于深度學(xué)習(xí)的應(yīng)用還在不斷探索。有學(xué)者嘗試將深度學(xué)習(xí)框架下 的超分辨率重構(gòu)算法應(yīng)用到衛(wèi)星影像重構(gòu)過程中［25］，獲得了較好的重構(gòu)效果。此外，也有其他 學(xué)者在基于深度學(xué)習(xí)的超分辨率重構(gòu)領(lǐng)域獲得了研究成果［26-28］。

一些學(xué) 者利用基于小波域的重構(gòu)算法［29］對(duì)SPOT遙感影像進(jìn)行算法應(yīng)用，通過三線陣相機(jī)獲取到同一場(chǎng)景 在鄰近時(shí)相和不同角度的三張前影像、中影像和后視影像，進(jìn)行多幀影像的重構(gòu)。也有研究人員將重構(gòu)技術(shù)應(yīng)用在三線陣影像中，研究光流配準(zhǔn)、正射影像重構(gòu)算法和一級(jí)影像盲超分辨重構(gòu)算法［30］。有學(xué)者開展了空域自適應(yīng)濾波算法［31］研究，將其應(yīng)用于斜模式遙感影像復(fù)原系統(tǒng)中，進(jìn)行斜模式下基于軟硬件結(jié)合的影像復(fù) 原算法及其應(yīng)用研究，其提出的復(fù)原框架，對(duì)于重構(gòu)領(lǐng)域具有重要啟發(fā)性。也有研究人員分別分析了基于頻域和空域的多種重構(gòu)算法［32］，將其應(yīng)用于光學(xué)遙感圖像的復(fù)原過程當(dāng)中，對(duì)兩幀圖像頻域解混疊，引入下采樣、正則項(xiàng)、位移算子及參數(shù)設(shè)置，提出新的更加魯棒的算法。

文獻(xiàn)［33］提出頻率混疊單幀重構(gòu)算法，將之應(yīng)用于衛(wèi)星影像重構(gòu)過程中，影像的分辨率和清晰度獲得了大幅增強(qiáng)。中科院西安光機(jī)所團(tuán)隊(duì)將重構(gòu)技術(shù)應(yīng)用于傳感器制造過程中，利用棱鏡分光技術(shù)實(shí)現(xiàn)基于面陣的亞像元成像。文獻(xiàn)［34］對(duì)利用多種傳統(tǒng)重構(gòu)算法對(duì)我國的資源三號(hào)衛(wèi)星影像以及異源數(shù)據(jù)分別進(jìn)行超分辨率實(shí)驗(yàn)驗(yàn)證。

有學(xué)者將隨機(jī)分形和小波變換相結(jié)合，提出小波分形插值算法［35］，并在單幀光學(xué)遙感影像中進(jìn)行應(yīng)用。研究人員基于壓縮感知、字典學(xué)習(xí)以及圖像自相似性，實(shí)現(xiàn)了光學(xué)遙感影像的字典學(xué)習(xí)和超分辨率重構(gòu)［36-37］，并且提出新的指標(biāo)用于衡量重構(gòu)效果。文獻(xiàn)［38］對(duì)基于小波變換的邊緣檢測(cè)進(jìn)行研究，針對(duì)遙感影像邊界和噪聲不清楚的問題，通過共軛梯度追蹤技術(shù)實(shí)現(xiàn)重構(gòu)精度以及效率的同步提升。一直以來，超分辨率重構(gòu)技術(shù)如何能夠更好地應(yīng)用于光學(xué)遙感影像處理過程當(dāng)中，一直是專業(yè)人員的熱點(diǎn)研究課題。

6 結(jié) 論

目前對(duì)于光學(xué)遙感影像超分辨率重構(gòu)技術(shù)的研究，已經(jīng)從能夠獲得改善影像質(zhì)量發(fā)展為對(duì)算法魯棒性、時(shí)效性、效率和應(yīng)用性等眾多方面的需求。如何提出通用、魯棒、高效的重構(gòu)算法，如何確定可以重構(gòu)的理論極限，對(duì)于約束參數(shù)如何進(jìn)行自學(xué)習(xí)，如何在保證精度的前提下對(duì)性能進(jìn)行加速，如何建立可解釋的重構(gòu)卷積網(wǎng)絡(luò)，如何建立更附合實(shí)際情況的退化模型，如何能夠?qū)⒗碚撗芯繎?yīng)用于具體的實(shí)踐中，都是光學(xué)遙感影像超分辨率重構(gòu)領(lǐng)域值得關(guān)注的研究熱點(diǎn)和發(fā)展方向。

此外，隨著器件的不斷升級(jí)，如何能將深度學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用到嵌入式設(shè)備中進(jìn)行實(shí)時(shí)計(jì)算，也是當(dāng)前研究下亟待解決的重要問題之一。目前已出現(xiàn)多種類型的智能計(jì)算平臺(tái)，包括ARM+GPU、ARM+FPGA、單純FPGA、TPU、NPU等各類平臺(tái)，其各有特點(diǎn)，在一定程度上可以互補(bǔ)。隨著國家在航空航天遙感領(lǐng)域的重大專項(xiàng)推進(jìn)，隨著機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘及人工智能技術(shù)、智能芯片技術(shù)的大力發(fā)展，超分辨率重構(gòu)技術(shù)在遙感應(yīng)用領(lǐng)域必將獲得新的理論進(jìn)展。