賈蘇娟，韓廣良，陳小林，孫海江

（1.中國科學院 長春光學精密機械與物理研究所，吉林 長春130033；2.中國科學院大學，北京100049）

1 引 言

隨著彩色圖像獲取設備的普及和超分辨率重建技術的發(fā)展，彩色圖像超分辨率重建成為研究的熱點?，F(xiàn)實中，外界光照變化或相機自動調(diào)節(jié)等因素導致觀察到的序列圖像光度不均勻，嚴重影響了圖像質(zhì)量及后續(xù)圖像的使用。

目前圖像超分辨率重建方法主要有兩類，一類是基于重建的算法［1］，一類是基于學習的算法，其中多種算法被應用在彩色圖像超分辨率重建上。Elad［2］等將稀疏表示的方法用到彩色圖像超分辨率重建上，圖像通過訓練的詞典和稀疏矩陣的線性組合表示出來。Gevrekci和Gunturk［3］提出一種非線性模型進行光度匹配，進而對曝光量或照度不均勻的彩色圖像序列進行重建。Capel［4］等首先提取圖像的Harris角點進行運動估計，其次采用仿射變換模型進行光度匹配，最后采用概率估計法進行重建。Wen－Yi Zhao［5］等人分析了光照變化對重建結(jié)果產(chǎn)生的影響，提出一種兩步重建法。首先生成物體的形狀，最后再通過合成重加高分辨率的人臉圖像。

考慮光度非均勻序列圖像的超分辨率重建主要經(jīng)過幾何配準、光度配準、重建等步驟。在對光度不均的圖像序列進行幾何配準時，如果提取的特征對光照變化比較敏感，則容易造成誤匹配，影響運動估計的精度。建立的光度模型要盡可能準確描述圖像之間光度的變化。另外彩色圖像比灰度圖像蘊含更多的信息，因此在重建過程中還要考慮色彩的特征以及在重建過程中色彩通道之間的互相關性等。

基于上述分析，針對光度非均勻的彩色序列圖像超分辨率重建，本文首先提取圖像感興趣區(qū)域的 方 向 梯 度 直 方 圖（Histograms of Oriented Gradients，HOG）描述子，利用向量歸一化相關系數(shù)作為相似性度量準則，選取相關系數(shù)最大位置作為匹配位置。通過構(gòu)建光學測度模型估計測定參數(shù)，最后利用最大后驗（Maximum a Posteriori，MAP）框架求出重建圖像。不同于大多數(shù)超分辨率重建文章，本文考慮了圖像獲取過程中光度變化情況，處理對象是彩色圖像。本文將HOG 描述子用在彩色圖像運動估計方面，取得了較好的效果。

2 HOG 描述子提取

HOG 描述子的思想是：在一幅圖像中，局部目標的表象和形狀能夠被梯度或邊緣的方向密度分布很好地描述。HOG 特征在圖像的局部細胞單元上操作，因此對圖像的幾何和光學形變都能保持很好的不變性。

HOG 描述子提取分為以下3步［6－7］：

2.1 計算梯度幅值和方向

梯度幅度m（x，y）反映灰度變化的大小，梯度方向θ（x，y）反映該像素點周圍的灰度變化方向。用公式（1）、（2）計算梯度幅值和方向：

式中：Gx和Gy分別代表水平和豎直方向的梯度。θ（x，y）可以設置為0～π或0～2π。

2.2 構(gòu)建并統(tǒng)計方向的直方圖

求得圖像的梯度后進行加權(quán)統(tǒng)計。將圖像（IMAGE）劃分成若干塊（BLOCK），每個塊又劃分成若干細胞單元（CELL），如圖1（a）所示。以CELL為單位統(tǒng)計梯度直方圖，形成一個BIN 維的向量，如圖1（b）所示。

圖1 圖像劃分和梯度方向統(tǒng)計直方圖Fig.1 Image divided and histograms of oriented gradient

2.3 歸一化和生成HOG 描述子

由于局部光照的變化以及前景－背景對比度的變化，使得梯度強度的變化范圍非常大。以BLOCK 為單位對梯度強度做歸一化。通過歸一化，能對光照變化和陰影獲得更好的效果。設V是BLOCK 對應的還未被歸一化的向量，它包含BLOCK 的所有直方圖信息，則標準化的向量nf可由公式（3）計算得到，式中ζ 為接近0的正數(shù)。最后將所有BLOCK 對應的向量按照空間順序排列，形成HOG 特征描述子。

式中：L1－norm 是 曼 哈 頓 距 離，L2－norm 是 歐 幾里德距離。

3 光度配準

在進行幾何配準后，需要對圖像間光度變化進行估計，以減小圖像間的光度差異，此過程就是光度配準。本文假設處理的序列圖像光度差異是全局的，且主要來源于相機自動調(diào)節(jié)或光照強度變化。本文采取一種仿射變換模型進行此項工作。

3.1 建立光度模型

對于每個RGB通道，兩幅圖像之間的變化可以通過一個光度模型來描述。該模型中共有兩個參數(shù)：乘性因子α和加性因子β，這是需要估計的量。經(jīng)過幾何配準后，可以直接使用兩幅圖像對應像素的顏色計算這些參數(shù)。我們可以將一幅圖像表示為三向量的矩陣變換：

3.2 模型簡化和參數(shù)估計

多數(shù)情況下，公式（4）中的加性因子β可以忽略。由于光度變化是全局的，如果再把圖像當成灰度圖像處理，那么式（4）可以簡化成如下模型：

假設兩幅圖像經(jīng)過配準，那么可由兩幅圖像的均值比得到乘性因子α：

式中：IA、IB表示大小為的M×N 圖像。

4 MAP算法原理

MAP［8－9］算法的基本思想是：超分辨率過程可以視為概率求解問題。假設低分辨率觀測圖像為Y，高分辨率圖像為X，對圖像退化過程進行如下建模：

式中：H 表示空間變換矩陣（包括運動變形、模糊和下采樣過程），E 表示0 均值、自相關矩陣為N－1的加性Gaussian噪聲。若視E 為白噪聲，N是單位矩陣。如果X 也是均值為0、自相關矩陣為Q 的Gaussian隨機過程，那么MAP估計變成MMSE估計子，

對式（8）進行最小化，則有

其中：

從上述求解過程可以看出，MAP 估計方法最終約化成可用迭代法［10］求解的巨型稀疏矩陣。

5 本文算法

本文假設對N 幅光度全局變化的低分辨率序列zk，k∈［I，N］進行重建。對圖像成像過程建模：

5.1 基于HOG 特征的運動估計

本文采用基于HOG 特征提取的方法進行運動估計。選取參考圖像zr，輸入圖像zi，i＝1，...，N，且i≠r，運動估計的實現(xiàn)步驟分為以下幾步：

（1）對3個通道分別進行均方壓縮，使用Sobel模板計算3個通道的梯度。

（2）梯度加權(quán)統(tǒng)計CELL 的梯度直方圖，梯度模值決定投票的權(quán)重，梯度方向決定了投票至哪一個BIN。

（3）對每一個BLOCK（2×2CELL）進行歸一化，對每一個區(qū)域輸出一個梯度直方圖向量作為該區(qū)域的HOG 特征。

（4）提取HOG 特征描述子后，利用向量歸一化相關系數(shù)作為相似性度量準則。本文使用歐幾里德距離描述兩個向量的相關程度，選取相關系數(shù)最大位置作為匹配位置。

（5）計算zr、zi、間的空間變換矩陣Hi。

步驟（4）中，相關系數(shù)計算公式如下：

3)技術因素。主要考慮電能質(zhì)量和用電量是否能滿足ELV的充電需求，設備利用率是否能降低車輛充電時間成本。選取電能質(zhì)量和用電量A31、充電站設備利用率A32作為技術因素的評價指標。

式中：X、Y 表示兩向量，xi、yi表示向量坐標。

步驟（5）中，如果將匹配點對坐標轉(zhuǎn)換至齊次坐標系下，Hi可由式（14）求出，其中（x1，x2，x3）、（x1′，x2′，x3′）是匹配點對對應坐標在齊次坐標下的變換：

5.2 算法流程

進行運動估計和光度配準后，在MAP 框架下使用迭代法求解高分辨率圖像，同時為了避免大型矩陣求逆，本文使用梯度下降法求解x。

選定參考幀zr，首先對zr進行雙線性插值，獲取高分辨率圖像初始估計值x（0）。設HTi（i＝1，...，N）表示包含零插值、去模糊、去形變等過程的圖像上采樣過程矩陣。fri（·）（i＝1，...，N）表示將輸入圖像zi經(jīng)光度變換到參考圖像zr的過程。自定義一個表示殘差圖像權(quán)值的對角線矩陣Wi，其對角線值為w（zi），那么MAP框架下使用迭代法求解高分辨率圖像可由式（15）實現(xiàn)：

其中：γ為迭代步長。

算法框圖由圖2表示。

圖2 算法框圖Fig.2 Frame diagram of algorithm

6 實驗結(jié)果與分析

6.1 圖像評價函數(shù)

彩色圖像的客觀評價沒有統(tǒng)一的標準并且很難與人眼的感官特性一致。為了評價實驗數(shù)據(jù)，這里引入兩類評價參數(shù)，一類是針對圖像灰度信息的平均梯度與信息熵［11］，另一類是圖像對比度ICM［12］。

6.1.1平均梯度與信息熵

平均梯度反映了圖像的微小細節(jié)反差和紋理變換特征，也反映了圖像的清晰度。通常，平均梯度越大，圖像就越清晰，反差也就越好。其計算公式如下：

式中：f（i，j）、if（i，j）、jf（i，j）分別表示像點灰度及其在行、列方向上的梯度，M 和N 分別為圖像的行、列數(shù)。

熵從信息論角度反映了圖像信息豐富程度，其定義為：

式中：L 表示圖像的最大灰度級，Pi為圖像X 上像元灰度值為的概率。當各個灰度級出現(xiàn)的概率均為Pi＝1／L，即像素在各個灰度級均勻分布時，熵H（X）具有最大值，為lg（L）。此時圖像的灰度分布最均勻，層次最多，信息量最豐富；當圖像的所有像素只有單一灰度級時，熵具有最小值0，此時無圖像信息。

6.1.2 圖像對比度

圖像對比度（ICM）基于灰度及彩色直方圖信息，采用L＊a＊b＊顏色空間。其中L＊為米制明度，a＊、b＊為米制色度。ICM 定義如式（18）所示：

其中：Cg是灰 度 對 比 度，Cc是 彩 色 對 比 度，ω1和ω2是Cg與Cc的 權(quán) 重，Cg與Cc的 計 算 公 式 如（19）所示，ICM 的值為［0，1］，0表示圖像對比度最差，1表示圖像對比度最好。

6.2 實驗結(jié)果與分析

實驗平臺為MATLAB7.0（2010b），CPU 為Intel（R）Core（TM）i3－2120，主頻是3.30GHz，顯卡為Intel（R）HD Graphics Family。為比較本文算法在超分辨率重建上的有效性和對光度變化的魯棒性，進行了兩組實驗。由于版面原因，對圖像進行縮小處理。

6.2.1 重建實驗和評價

本組實驗對實拍彩色序列進行超分辨率重建。對作者所在實驗室的窗臺進行連續(xù)拍攝，獲得18幅320×240低分辨率序列圖像。圖3中是實驗序列中的第3、9、15幀。

圖3 三幀低分辨率圖像Fig.3 Three frames of low resolution images

為了評價重建圖像的質(zhì)量，以單幀插值方法與本文重建算法進行對比實驗。本次實驗未進行光度配準，放大因子為2，迭代次數(shù)為4，插值方法為雙線性插值法。第9幀插值與重建效果如圖4（a）、（b）所示，截取圖像中200×200的區(qū)域進行插值和重建細節(jié)比較，如圖4（c）所示。

圖4 第9幀插值圖像和重建圖像Fig.4 Single frame interpolation images and reconstruction images

采用平均梯度和信息熵對重建圖像進行評價，計算結(jié)果如表1、表2所示。

表1 插值和重建圖像的平均梯度Tab.1 Average gradient of the interpolated images and reconstruction images

表2 插值和重建圖像的信息熵Tab.2 Information entropy of interpolated images and reconstruction mages

目測評價序列中重建圖像與單幀插值圖像質(zhì)量，可以看出重建圖像明顯比插值圖像清晰。由表1和表2看出，重建圖像的平均梯度與信息熵均比單幀圖像大，表明重建圖像更清晰、所含信息量更豐富。實驗表明，基于HOG 特征進行運動估計的MAP算法能夠取得滿意的重建效果。

6.2.2 光度魯棒性實驗和評價

本組實驗首先驗證算法的普適性。選取經(jīng)典Lena圖像，大小為256×256。對其進行高斯模糊、亞像素平移并進行2 倍下采樣，生成4 幅128×128的低分辨率序列圖像。對每一低分辨率圖像進行全局曝光量調(diào)節(jié)，在低分辨率圖像上分別增減相等數(shù)量的曝光量。經(jīng)處理獲得12幅曝光量不同的彩色序列圖像。實驗共進行兩次，一次只進行幾何配準和重建，另一次進行幾何配準、光度配準和重建。圖5是128×128低分辨率序列圖像中的三幅。

圖5 3幀曝光量不同的圖像Fig.5 Three frames of different light exposure

設置放大因子為2，迭代次數(shù)為4，重建后的圖像尺寸為256×256。兩次實驗重建圖像與插值圖像列于表3中。

表3 實驗結(jié)果對比Tab.3 Comparison of the experiment results

計算圖像的平均梯度、信息熵和ICM，結(jié)果如表4～6所示，表6中LR 圖像表示原始低分辨率圖像。

表4 平均梯度對比Tab.4 Comparison of average gradient

表5 信息熵對比Tab.5 Comparison of Information entropy

表6 圖像對比度Tab.6 ICM of relative images

結(jié)果表明，本文算法明顯優(yōu)于插值算法，能夠顯著提高圖像的清晰度和信息豐富程度。對于曝光量不足的A 圖，光度配準能夠提高圖像的平均梯度和信息熵。但是對于曝光正常的B 圖和曝光過度的C 圖，經(jīng)光度配準的算法與未經(jīng)光度配準的算法得出的結(jié)果幾乎一樣，也就是不能提高圖像的平均梯度和信息熵，即不能使圖像更清晰或信息更豐富。

由圖像對比度（ICM）計算結(jié)果看出，插值算法也不能改善圖像的對比度，對于曝光不足或曝光過度的圖像，甚至會減小圖像的對比度，降低圖像質(zhì)量。實驗1 結(jié)果表明，采用的幾何配準與MAP 重建算法已能夠大幅提高圖像對比度，對曝光不足或曝光過度的圖像，其ICM 提高了0.1左右。實驗2是本文的完整算法，所得結(jié)果最優(yōu)。A 圖是曝光不足的圖像，經(jīng)光度配準后的圖像對比度比未經(jīng)光度配準的提高了40%左右，主觀看起來圖像“變亮了”；C圖是曝光過度的圖像，經(jīng)光度配準后對比度幾乎不變，但是主觀看起來圖像“變暗了”，視覺效果更好。

為進一步驗證本文算法對光度非均勻變化的魯棒性及算法的實用性，本文對相機的積分時間進行調(diào)節(jié)，仍對實驗1中的窗臺進行拍攝，獲取一系列光度非均勻變化的圖像。選取其中9幅分別使用雙線性插值算法及本文提出的算法進行重建。圖6為9幅圖像中的3幅，大小均為320×240。

設置放大系數(shù)為2，進行4次迭代，插值算法及本文算法的重建結(jié)果如表7所示。計算圖像的平均梯度、信息熵及圖像對比度ICM，計算結(jié)果如表8～10所示。

表7 重建效果對比Tab.7 Comparison of reconstruction

表8 平均梯度對比Tab.8 Comparison of average gradient

圖6 3幅曝光量不同的圖像Fig.6 Three frames of different light exposure

表9 信息熵對比Tab.9 Comparison of information entropy

表10 圖像對比度Tab.10 ICM of relative images

通過計算重建圖像的平均梯度、信息熵及圖像對比度可知，本文算法對實拍光度非均勻序列圖像的重建依然有效。使用文本算法重建的圖像無論是平均梯度還是信息熵都明顯高于雙線性插值算法重建出的圖像。由表7及表10的圖像與數(shù)據(jù)可知，經(jīng)過光度配準后的重建圖像改善了圖像對比度。D 圖對比度比插值算法的高出近一倍左右，使得原來暗的圖像變亮了。F 圖的對比度則下降了0.0749，視覺上變暗了。綜上所述，本文算法能夠提高重建圖像的清晰度和信息豐富程度，并對光度變化具有一定的魯棒性。

7 結(jié) 論

提出一種光度非均勻彩色低分辨率序列圖像超分辨率重建算法。算法采用基于HOG 特征的方法進行運動估計，通過建立光度模型進行光度配準，采用MAP算法進行重建。實驗表明，該算法對外界光照變化或相機自動調(diào)節(jié)等情況造成的圖像光度變化具有一定的魯棒性，在該種情況下也能實現(xiàn)較高質(zhì)量的超分辨率重建。本文工作為彩色視頻序列超分辨率重建或高動態(tài)場景生成奠定了基礎，具有一定的理論及工程意義。

［1］ Park S C，Park M K，Kang M G.Super－resolution image reconstruction：a technical overview［J］.IEEE Signal Processing Magazine，2003，20（3）：21－36.

［2］ Mairal J，Elad M，Sapiro G.Sparse representation for color image restoration［J］.IEEE Transactions on Image Processing，2008，17（1）：53－69.

［3］ Gunturk B K，Gevrekci M.High－resolution image reconstruction from multiple differently exposed images［J］.IEEE Signal Process Letters，2006，13（4）：197－200.

［4］ Capel D，Zisserman A.Computer vision applied to super resolution［J］.IEEE Signal Processing Magazine，2003，20（3）：75－86.

［5］ WenYi Zhao，Sarnoff C.Super－resolution with significant illumination change［C］／／Proc.Int.Conf.Pattern Recognition，Singapore：Image Processing，2004：1771－1774.

［6］ 曹治國，吳博.采用HOG 特征下的視景象匹配算法［J］.紅外與激光工程，2012，41（2）：514－516.Cao Z G，Wu B.Approach on scene matching based on histograms of oriented gradients［J］.Infrared and laser engineering，2012，41（2）：514－516.（in Chinese）

［7］ Dalal N，Triggs B.Histogram of oriented gradients for human detection ［C］／／International Conference on Computer Vision and Pattern Recognition，San Diego，USA：Computer Vison and Pattern，2005，2：886－893.

［8］ Schultz R R，Meng L.Subpixel motion estimation for super－resolution image sequence enhancement［J］.Journal of Visual Communication and Image Representation，1998，9（1）：38－50.

［9］ 江靜，張雪松.圖像超分辨率重建算法綜述［J］.紅外技術，2012，34（1）：24－30.Jiang J，Zhang X S.A review of super－resolution reconstruction algorithms［J］.Infrared Technology，2012，34（1）：24－30.（in Chinese）

［10］ 張劍.圖像超分辨率重建問題研究［D］.長沙：中南大學，2010.Zhang J.Research on super resolution reconstruction of images［D］.Changsha：Central South University，2010.（in Chinese）

［11］ 鄧建青，劉晶紅，劉鐵軍.基于DSP系統(tǒng)的超分辨率圖像重建技術研究［J］.液晶與顯示，2012，27（1）：114－119.Deng J Q，Liu J H，Liu T J.Super－resolution image reconstruction technology based on DSP system［J］.Chinese Journal of Liquid Crystals and Displays，2012，27（1）：114－119.（in Chinese）

［12］ Yuan Y H，Zhang J J，Chang B K，et al.Objective quality evaluation of visible and infrared color fusion image［J］.Optical Engineering，2011，50（3）：033202（1－11）.