張曉克 許建剛

摘 要：文章對(duì)超分辨率圖像重建的概念和原理進(jìn)行了闡述，并對(duì)其算法做了總結(jié)和概括，說(shuō)明了幾種常用算法的基本原理，并根據(jù)現(xiàn)有的算法實(shí)驗(yàn)分析列舉其優(yōu)缺點(diǎn)。

關(guān)鍵詞：超分辨率；圖像重建；算法

引言

超分辨率（Super Resolution，SR）技術(shù)就是對(duì)一組屬于同一場(chǎng)景下的低分辨率（Low Resolution，LR）圖像序列進(jìn)行處理，通過(guò)提取它們之間的時(shí)域和空域冗余信息，采用圖像配準(zhǔn)、運(yùn)動(dòng)參數(shù)估計(jì)等操作對(duì)其進(jìn)行融合，最終重建得到一幅高分辨率（High Resolution，HR）圖像，其核心思想是用時(shí)間分辨率（同一場(chǎng)景的圖像序列）換取更高的空間分辨率。目前，超分辨率重建大致可分為兩個(gè)方向：基于重構(gòu)的方法和基于學(xué)習(xí)的方法。

1 基于重構(gòu)的超分辨率技術(shù)

基于重構(gòu)的方法可分為頻域法和空域法兩類。

1.1 頻域方法

假設(shè)連續(xù)場(chǎng)景是f（x，y）（其連續(xù)傅里葉變換是F（x，y），全局平移產(chǎn)生R個(gè)移位圖像 （其連續(xù)傅里葉變換是F（x，y））。位移圖像經(jīng)過(guò)脈沖采樣產(chǎn)生觀測(cè)圖像yr[m，n]=f（mTx+？駐xr，nTy+？駐yr）其中m=1，2…M-1，n=1，2…N-1（其二維離散傅里葉變換是Yr[k，l]）。場(chǎng)景的連續(xù)傅里葉變換和移位采樣圖像的離散傅里葉變換的關(guān)系是：

式中： 和 分別表示x和y方向的采樣周期；

？琢=■

空域平移與頻域平移相對(duì)應(yīng)：

如果f（x，y）是帶限的，則 當(dāng) 時(shí)，有F（x，y）→0成立。假設(shè)f（x，y）是帶限的，則公式可以用矩陣來(lái)表示：

Y=？椎F

式中：Y-R×1的列向量，其第r個(gè)元素是觀測(cè)圖像yr[m，n]的離散傅里葉變換Yr[k，l]；

F-4LuLv×1的列向量，表示未知的f（x，y）的連續(xù)傅里葉變換的采點(diǎn)；

？椎-矩陣，表示Y與F間的對(duì)應(yīng)關(guān)系。

1.2 空域方法

空域重建方法就是在空間域中進(jìn)行圖像的SR重建?？沼蚍椒軌?qū)g復(fù)雜運(yùn)動(dòng)、光學(xué)模糊、欠采樣等降質(zhì)因素與圖像插值算法、圖像濾波算法及迭代運(yùn)算方法融合在一起，使空域重建方法更加靈活，適用于更廣闊的范圍，且具有較強(qiáng)的結(jié)合空域先驗(yàn)知識(shí)的能力。其主要包括基于非均勻采樣的插值法、集合論方法（如凸集投影：POCS）、統(tǒng)計(jì)復(fù)原方法（最大后驗(yàn)概率估計(jì)MAP和最大似然估計(jì)ML）、迭代反投影方法（IBP）、混合MAP/POCS方法以及自適應(yīng)濾波方法，人工神經(jīng)網(wǎng)絡(luò)法、基于最優(yōu)化技術(shù)的方法等。

1.2.1 基于非均勻插值法

非均勻插值法是空域SR重建算法中最直觀的方法，其基本思想是將原始高分辨率圖像看作連續(xù)函數(shù)，而低分辨率的觀測(cè)圖像則是在高分辨率圖像的連續(xù)函數(shù)上進(jìn)行位置不均勻的采樣形成的，因此，高分辨率圖像的重建過(guò)程就可以看作將低分辨率觀測(cè)圖像的采樣點(diǎn)重新插回原函數(shù)。

1.2.2 凸集投影法（POCS）

凸集投影（POCS）算法具有很好地包含空域先驗(yàn)信息的能力，能夠?qū)⑦@些先驗(yàn)信息融入到重建過(guò)程中。其基本思想是將高分辨率圖像的某些特性，如數(shù)據(jù)可靠性、能量有界性、平滑性、正定性等定義為不同的約束凸集合，利用這些凸集合的交集所形成的投影交替作用，搜索滿足所有約束凸集合的解，重建得到高分辨率圖像。

假設(shè)一低分辨率圖像序列g(shù)（n1，n2，k）可以寫成

在這個(gè)公式中

其中 為脈沖響應(yīng)系數(shù)，？啄0是對(duì)觀察中的可信度，設(shè)置為？啄0=c？啄v，其中？啄v是噪聲的標(biāo)準(zhǔn)偏差，c？叟0是由適當(dāng)?shù)目尚哦冗吔鐩Q定。這些參數(shù)的物理意義是如果在一定范圍內(nèi)與低分辨率相關(guān)的高分辨率圖像，其可信度邊界與噪音偏差成一定比例。

對(duì)任意一點(diǎn)的x（m1，m2，l）在C■上的投影 的定義如下：

根據(jù)上述投影，便可以通過(guò)約束集合來(lái)迭代求解高分辨率圖像f（m1，m2，l）的估計(jì) ， ，其中

T表示所有集合族 投影的松弛投影算子集合，i為迭代次數(shù)。初始估計(jì) 是通過(guò)把一幅低分辨率圖像雙線性插值到高分辨率網(wǎng)格上，然后進(jìn)行運(yùn)動(dòng)補(bǔ)償而獲得的。

1.2.3 最大后驗(yàn)概率估計(jì)

根據(jù)MAP估計(jì)基本原理，低分辨率觀測(cè)圖像、理想高分辨率圖像及加性噪聲都可以假設(shè)為隨機(jī)信號(hào)。而未知高分辨率圖像Z的MAP估計(jì)的過(guò)程為：在給定觀測(cè)圖像y的條件下，使理想圖像的條件概率密度函數(shù)P{z|y}達(dá)到最大。根據(jù)貝葉斯原理，P{z|y}的最大化等價(jià)于函數(shù)P{y|z}P{z}的最大化。如果Z具有均勻的概率分布，則MAP估計(jì)與最大似然估計(jì)等價(jià)。

假設(shè)低分辨率觀測(cè)圖像的加性噪聲是零均值高斯隨機(jī)過(guò)程，其自相關(guān)矩陣為W-1，Z也是零均值高斯隨機(jī)過(guò)程，其自相關(guān)矩陣為Q，因此 MAP估計(jì)變成了最小均方差估計(jì)。經(jīng)過(guò)幾個(gè)代數(shù)步驟的推導(dǎo)，MAP簡(jiǎn)化成如下形式：

關(guān)于Z求微分并使其為零，得到如下偽逆結(jié)果：

式中：

1.2.4 迭代反投影法（IBP）

迭代反投影方法的重建過(guò)程是：給定一超分辨率圖像的初始估計(jì)■和降質(zhì)模型A，由此可以產(chǎn)生模擬低分辨率圖像序列■=A■。迭代反投影方法把第i次迭代時(shí)產(chǎn)生的觀測(cè)低分辨率圖像y與模擬低分辨率圖像的誤差進(jìn)行反投影，以便能夠不斷更新超分辨率重建的估計(jì)圖像。這種反投影是通過(guò)反投影算子ABP實(shí)現(xiàn)的，這里ABP按比例對(duì)超分辨率估計(jì)■進(jìn)行懲罰。ABP的典型取值是A-1。

式中：y為低分辨率觀測(cè)圖像；■i為由第i次迭代估計(jì)結(jié)果■i和降質(zhì)模型A獲得的模擬低分辨率圖像；ABP為反投影算子；i為迭代次數(shù)。

1.2.5 正則化法

假定圖像退化模型為：

其中，y為退化圖像，x'為原始圖像，N為加性噪聲，H為模糊算子（退化矩陣），它是由空間退化點(diǎn)擴(kuò)展函數(shù)（PSF）生成的矩陣。

然后利用最小二乘法求解上式最優(yōu)解的過(guò)程就是令如下式取最小值，即：

求解上式，可得到其最佳解為

其中：x為高分辨率后的重建圖像。

為進(jìn)一步獲得穩(wěn)定解，可引入如下方程來(lái)求解最小值解：

其中，第一項(xiàng)是最小均方誤差代價(jià)函數(shù)，為數(shù)據(jù)逼近項(xiàng)，它反映了觀測(cè)圖像對(duì)原始圖像的逼近程度； 第二項(xiàng)為附加的約束條件即正則化項(xiàng)，它集成了待求解的高分辨率圖像應(yīng)保持的某種先驗(yàn)信息；？琢為正則化參數(shù)，它用來(lái)平衡近似解的逼近程度和平滑性；C為正則算子，即為使解具有某種期望性能的約束運(yùn)算。

1.2.6 混合方法（MAP/POCS）

將最大后驗(yàn)概率方法和凸集投影方法相結(jié)合的算法是由Elad等提出的，即同時(shí)考慮序列低分辨率圖像的統(tǒng)計(jì)特征和凸集約束，在以最大后驗(yàn)概率框架為基礎(chǔ)的迭代求解過(guò)程中添加凸集投影算法的各種凸集約束條件，從而獲得兩種算法各自的優(yōu)點(diǎn)。該方法的特點(diǎn)是可以方便地將各種先驗(yàn)約束知識(shí)結(jié)合實(shí)用，其重建圖像的質(zhì)量?jī)?yōu)于單獨(dú)的算法。但是該算法只有采用梯度下降最優(yōu)化方法才能保證收斂。

2 基于學(xué)習(xí)的超分辨率重建

基于學(xué)習(xí)的SR重建算法的主要思想是，在及其經(jīng)驗(yàn)學(xué)習(xí)思想的指導(dǎo)下，對(duì)訓(xùn)練數(shù)據(jù)中的高分辨率圖像和序列低分辨率圖像進(jìn)行學(xué)習(xí)，得到二者間的映射關(guān)系模式，并將這種對(duì)應(yīng)模式以先驗(yàn)約束的形式引入重建過(guò)程中或者根據(jù)模式建立馬爾科夫網(wǎng)絡(luò)來(lái)恢復(fù)圖像的相關(guān)信息。該方法可以分為以下三個(gè)步驟：（1）按照觀測(cè)模型的定義，對(duì)高分辨率圖像進(jìn)行模擬降質(zhì)獲得一組低分辨率圖像，作為訓(xùn)練集；（2）根據(jù)高分辨率圖像和序列模擬低分辨率的對(duì)應(yīng)關(guān)系，運(yùn)用神經(jīng)網(wǎng)絡(luò)技術(shù)訓(xùn)練和學(xué)習(xí)；（3）將學(xué)習(xí)模型引入重建過(guò)程中，或者通過(guò)馬爾科夫網(wǎng)絡(luò)恢復(fù)圖像。

2.1 流形學(xué)習(xí)方法

假設(shè)高分辨率和低分辨率圖像塊可以構(gòu)成具有相似局部幾何結(jié)構(gòu)的流形，借助于由一組低分辨率圖像及其對(duì)應(yīng)的高分辨率圖像組成的訓(xùn)練集來(lái)估計(jì)未知的SR圖像。理想情況下，每一個(gè)高分辨率圖像塊不僅和其對(duì)應(yīng)的低分辨率圖像塊 有關(guān)，而且和其鄰域塊也應(yīng)該保持某種塊間聯(lián)系。第一個(gè)特性決定了重建的準(zhǔn)確性，而后一個(gè)特性則決定了重建圖像的局部保持特性和平滑性。為了滿足這兩 點(diǎn)需要，該算法具有以下3個(gè)特性：（1）每一個(gè)高分辨率圖像塊由訓(xùn)練集中的多個(gè)圖像塊有關(guān)；（2）低分辨率圖像塊間的局部關(guān)系在對(duì)應(yīng)的高分辨率圖像塊中保持不變；（3）高分辨率圖像塊間的鄰居關(guān)系通過(guò)交疊來(lái)保持，以增局部保特性和平滑性。

2.2 基于支持向量機(jī)

其基本思想是假設(shè)模糊函數(shù)類型已知，且可由某一參數(shù)來(lái)表征， 從模式識(shí)別的角度出發(fā)，參數(shù)辨識(shí)可以看作多類分類問題 ，即從模糊圖像中提取出可以代表該圖像模糊程度的特征向量，然后采用機(jī)器學(xué)習(xí)的方法訓(xùn)練這些特征矢量與對(duì)應(yīng)的模糊參數(shù)的映射關(guān)系，最后用于盲超分辨率重建。

2.3 基于獨(dú)立分量分析

獨(dú)立分量分析（Independent Component Analysis，ICA）是在研究盲源分 離過(guò)程中出現(xiàn)的一種新興的信號(hào)處理和數(shù)據(jù)分析方法，基于獨(dú)立分量分析的超分辨率重建技術(shù)其基本思想是，假設(shè)P個(gè)獨(dú)立分量張成空間，則每幅圖像可以看作空音中的一點(diǎn)，即可以由這些獨(dú)立分量線性組合而成。利用ICA從高分辨率訓(xùn)練圖像中提取出獨(dú)立分量，同時(shí)估計(jì)ICA系數(shù)的先驗(yàn)。給定一幅低分辨率圖像， 結(jié)合最大后驗(yàn)概率（MAP）估計(jì)理論求出ICA系數(shù)，然后ICA反變換得到高分辨率圖像的近似估計(jì)。該算法有效實(shí)現(xiàn)了人臉超分辨率重建，保持了人臉整體結(jié)構(gòu) 特征，且對(duì)光照、表情、姿態(tài)等具有一定的魯棒性。

3 結(jié)束語(yǔ)

隨著圖像超分辨率技術(shù)的進(jìn)一步發(fā)展，必將導(dǎo)致這一技術(shù)拓寬到一些新的應(yīng)用領(lǐng)域，圖像超分辨率技術(shù)更廣泛地應(yīng)用會(huì)進(jìn)一步加快該技術(shù)的發(fā)展。此外，超分辨率技術(shù)的理論研究結(jié)果還可為未來(lái)我國(guó)新型傳感器的硬件設(shè)計(jì)與實(shí)現(xiàn)提供理論指導(dǎo)與參考，圖像超分辨率技術(shù)會(huì)有更廣闊的前景。

參考文獻(xiàn)

[1]張正賢.正則超分辨率圖像復(fù)原算法研究[J].西北工業(yè)大學(xué)學(xué)報(bào)，2006（6）.

[2]張曉玲，沈蘭蓀.超分辨率圖像復(fù)原技術(shù)的研究進(jìn)展[J].測(cè)控技術(shù)，2005（5）.

[3]劉丁峰.超分辨率圖像復(fù)原技術(shù)綜述[J].軟件導(dǎo)刊，2009（12）.

[4]李桐.超分辨率圖像重建技術(shù)[J]. 哈爾濱師范大學(xué)自然科學(xué)學(xué)報(bào)，2006（5）.

[5]楊慶怡，黃燦，張瓊.基于POCS 算法的超分辨率圖像重建技術(shù)計(jì)算機(jī)光盤軟件與應(yīng)用[J].2012（16）.

[6]劉梓，宋曉寧，於東軍，等.基于多成分字典和稀疏表示的超分辨率重建算法[J].南京理工大學(xué)學(xué)報(bào)，2014 （2）.

[7]鄧乾國(guó)，游志勝.基于凸集投影算法的超分辨率圖像重建技術(shù)[J].成都信息工程學(xué)院學(xué)報(bào)，2005（6）.