趙紅,常卓,楊剛

(1.河北大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，河北 保定 071002;2.河北大學(xué) 數(shù)學(xué)與信息科學(xué)學(xué)院，河北 保定 071002)

?

一種基于空間轉(zhuǎn)換的彩色圖像超分辨率方法

趙紅1,常卓1,楊剛2

(1.河北大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，河北 保定 071002;2.河北大學(xué) 數(shù)學(xué)與信息科學(xué)學(xué)院，河北 保定 071002)

彩色圖像的RGB(紅綠藍)3個通道間具有密切的相關(guān)性，在RGB空間中進行超分辨率操作容易破壞這種相關(guān)性，會導(dǎo)致色彩偽影.然而在lαβ彩色空間中，3個通道之間的相關(guān)性很小.本文借鑒空間轉(zhuǎn)換的思想，提出了一種將彩色圖像轉(zhuǎn)化到lαβ空間進行超分辨率的方法，在3個通道單獨進行超分辨率處理.實驗結(jié)果證明了該方法對RGB 3個通道的相關(guān)性破壞極小.

超分辨率；RGB彩色空間；lαβ彩色空間

超分辨率(SR，super resolution)技術(shù)是計算機視覺領(lǐng)域的研究熱點之一,它是利用信號處理方法，通過已知的1幅或者多幅低分辨率(LR，low resolution)圖像估計并重建出1幅清晰的高分辨率(HR,high resolution)圖像.圖像超分辨率重建在遙感監(jiān)測、軍事偵察、交通及安全監(jiān)控、醫(yī)學(xué)診斷和模式識別等領(lǐng)域都具有深遠的研究意義和不可低估的應(yīng)用前景.

彩色圖像超分辨率最早由Shah和Zakhor等人[1-2]提出，算法是對彩色圖像的RGB(紅，綠，藍)3個通道分別進行超分辨率，然后再將3個通道融合.這種方法雖然能夠利用已有灰度圖像超分辨率方法進行實現(xiàn)，卻沒有利用彩色圖像3個通道之間的相關(guān)性，容易產(chǎn)生色彩失真.雖然近年來許多超分辨率的算法[3-5]相繼被提出，且都在一定范圍解決過實際應(yīng)用中的問題，但仍然存在不足.如頻域的方法使用范圍非常有限；插值的方法[6-7]，不能利用先驗知識,而且不能得到圖像的高頻信息；基于重建的方法[8]，其算法性能會隨著放大倍數(shù)的增加急劇下滑；而基于學(xué)習(xí)的方法[9]，需要建立比較龐大的數(shù)據(jù)庫，同時需要學(xué)習(xí)和訓(xùn)練，計算量比較大，需要花費較多的時間.

由于彩色圖像的RGB通道之間具有密切的相關(guān)性，因此很多灰度圖像的超分辨率方法，并不能直接推廣到彩色圖像中[10].本文針對此問題提出了一種基于空間轉(zhuǎn)換的彩色圖像超分辨率方法,將彩色圖像從RGB空間轉(zhuǎn)換到lαβ彩色空間，然后進行超分辨率,最后再將超分辨率的結(jié)果轉(zhuǎn)換回RGB空間中進行顯示.

1 觀測模型

全面分析圖像SR技術(shù)的第1步是建立1個聯(lián)系原始HR圖像和實際LR圖像的觀測模型[11].一般的觀測模型如圖1所示.

圖1 靜態(tài)彩色圖像的觀測模型Fig.1 Observation model of static color image

設(shè)理想的HR 圖像為x和LR圖像序列為y,其中，觀測到的第i幀LR圖像為yi.這樣，每幀LR圖像都是變形、模糊、降采樣以及彩色濾波作用在HR圖像x上之后，再受到加性噪音影響而得到的.因此，上述觀測模型可以用下面的公式表示為：

yi=DCiEiFx+Ni，(1≤i≤p),

(1)

其中，矩陣D、Ci、Ei、F分別表示降采樣矩陣、模糊矩陣和第i幀圖像的相對運動所形成的矩陣以及彩色濾波矩陣.噪聲向量Ni表示第i次采樣時各種噪聲的總和(一般假設(shè)為零均值的高斯白噪聲).不失一般性，該模型可以表示如下：

yi=WiX+Ni,(1≤i≤p),

(2)

式中，矩陣Wi包含降采樣、模糊、運動、彩色濾波等過程.

圖像超分辨率就是根據(jù)給定的p幀LR圖像y，將圖像的降采樣、模糊、運動、彩色濾波以及噪聲等因素去除后再融合，估計重建出一幅HR圖像x.容易看出，公式(1)為一個欠定方程.因此，圖像超分辨率是一個典型的病態(tài)逆問題.其病態(tài)性需要利用正則化的方法對解空間進行約束來解決.

2 彩色圖像通道間的相關(guān)性

圖像具有2種基本的相關(guān)性，空間相關(guān)性和時間相關(guān)性.單幀圖像內(nèi)的任何一個場景都是有若干個像素點構(gòu)成的，因此，一個像素值通常與它周圍的某些像素在亮度和色度上存在一定的關(guān)系，這種關(guān)系稱為空間相關(guān)性；一個情節(jié)通常由若干圖像序列構(gòu)成，一個圖像序列中的前后2幀之間也存在一定的關(guān)系，這種關(guān)系為時間相關(guān)性[12].而且大多數(shù)的彩色圖像，在RGB色彩空間中的3個分量之間也存在著密切的相關(guān)性，這是由于色彩分量來源于同一物理模型，從而決定了圖像不僅相鄰像素存在相似性，并且每個像素的色彩分量之間也存在密切的相關(guān)性[13].

2幅圖像間的相關(guān)性的大小可以通過下面的方法進行計算.設(shè)f(x，y)為一幅大小為M×N的圖像(記為A)，g(x，y)是一幅M×N的圖像(記為B).2幅圖像的相關(guān)系數(shù)可以用ρ表示，具體的定義如下：

(3)

其中，cov(A,B)是矩陣A、B的協(xié)方差，DA、DB分別為矩陣A、B的方差.cov(A,B)、DA、DB的計算公式如下：

(4)

(5)

(6)

3 基于彩色空間的超分辨率

由于在RGB空間中對單通道單獨的進行超分辨率，容易破壞通道間的相關(guān)性，造成色彩失真，對彩色圖像的視覺效果造成損害.Ruderman[14]設(shè)計了一種叫做lαβ的彩色空間，該空間基于數(shù)據(jù)驅(qū)動的人類感知研究，減小了自然圖像通道之間的相關(guān)性.與其他的彩色空間相比，在lαβ彩色空間中通道間有極少的相關(guān)性.因此，可以在不同的通道進行不同的操作而不必擔心會在通道之間產(chǎn)生偽影.而且這個彩色空間是對數(shù)的，這意味著3個通道強度改變的一致性是可以做到的.

RGB和lαβ之間的轉(zhuǎn)換可以通過以下的步驟[12]：

1) 首先通過下式將圖像從RGB空間轉(zhuǎn)換到設(shè)備相關(guān)的XYZ空間

(7)

2) 將圖像轉(zhuǎn)化到LMS空間

(8)

數(shù)據(jù)在這個彩色空間中有大量的偏移，通過轉(zhuǎn)化到對數(shù)空間[15]來消除偏移,公式如下：

(9)

3) 通過如下的轉(zhuǎn)換公式將數(shù)據(jù)轉(zhuǎn)換到lαβ彩色空間

(10)

如果把L通道看作紅色，把M通道看作綠色，把S通道看作藍色，這就成為一個很多對立色的模型變量.l軸表示非彩色通道，α、β通道分別代表彩色的藍-黃和紅-綠對立通道.在這個空間中數(shù)據(jù)均勻、緊密，同時去掉了相關(guān)性，使可以對3個彩色通道分別進行處理，而不會破壞這種相關(guān)性.在這個lαβ空間中進行超分辨率后需要將圖像轉(zhuǎn)換到RGB空間進行顯示，轉(zhuǎn)換的方法是通過如下的2個公式(11)和(12)進行：

(11)

(12)

4 實驗結(jié)果與分析

為了驗證本文提出方法的有效性，選取2幅圖像(Lena,Bird)作為原始HR圖像，分別在RGB空間和lαβ空間采用雙三次插值方法(Bicubic)和迭代回投影方法(IBP)進行了對比實驗.LR輸入圖像由原始圖像經(jīng)過模糊、下采樣生成.

圖2a是輸入的低分辨率彩色圖像，其分辨率大小是130×130.圖2b、c、d、e是將輸入圖像放大2倍至260×260的結(jié)果.圖2b和d是在RGB彩色空間3個通道單獨進行超分辨率的結(jié)果，圖2c和e是圖像在lαβ彩色空間3個通道單獨進行超分辨率的結(jié)果，其中，圖2b是RGB空間采用Bicubic方法得到的結(jié)果，圖2c是在lαβ空間采用Bicubic方法得到的結(jié)果.圖2d是RGB 3個彩色通道獨立采用IBP方法迭代30次的實驗結(jié)果.圖2e是在lαβ彩色空間中對圖像采用IBP方法迭代30次的結(jié)果.表1是Lena圖像不同超分辨率算法3個彩色通道之間的相關(guān)系數(shù).可以看出，圖2b比較平滑，邊緣處存在模糊，圖2c效果較好，沒有色彩失真，圖像通道間的相關(guān)性得到了保持.圖2d和e由于采用的算法是對IBP算法的模擬，IBP算法所需要的低分辨率圖像序列是通過將高分辨率圖像進行平移、下采樣得到的，具有較精確退化模型，因此圖2d、e具有較好的效果.表2是Lena圖像超分辨率算法的誤差分析，IBP方法在PSNR和MSE 2個指標上都比Bicubic方法好.在lαβ彩色空間進行雙三次插值的效果差于在RGB中進行的結(jié)果，但IBP算法在lαβ空間中比在RGB空間中進行超分辨率的效果好.圖3按相同順序給出了Bird圖像的超分辨率實驗結(jié)果對比.

a.輸入圖像；b.RGB空間Bicubic方法；c.lαβ空間Bicubic方法；d.RGB空間IBP方法；e.lαβ空間IBP方法.圖2 Lena圖像SR的實驗結(jié)果Fig.2 Results of super resoluted Lena

圖像R-BR-GB-G輸入圖a0.78030.92440.9415雙三次插值b0.77980.92500.9419雙三次插值c0.78690.92620.9454迭代回投影d0.77980.92490.9436迭代回投影e0.78230.92490.9427

表2 Lena圖像SR結(jié)果的誤差分析

a.輸入圖像；b.RGB空間Bicubic方法；c.lαβ空間Bicubic方法；d.RGB空間IBP方法；e.lαβ空間IBP方法.圖3 bird圖像SR的實驗結(jié)果Fig.3 Results of super resoluted bird

5 結(jié)論

本文首先對彩色圖像的彩色分量之間的相關(guān)性理論進行了介紹，然后提出在一個彩色分量之間相關(guān)性較小的lαβ彩色空間中對3個通道單獨超分辨率的方法.實驗結(jié)果表明該方法，較好地避免了彩色圖像超分辨率過程中所產(chǎn)生的偽影、色彩失真.但該算法不能利用圖像的先驗知識，一些對灰度圖像效果較好地圖像超分辨率算法不能適用，限制了其應(yīng)用的范圍.未來彩色圖像的超分辨率問題研究的重點主要在：1)退化模型的建立；2)圖像邊緣的保持；3)彩色圖像通道間的相關(guān)性保持等方面.

[1] SHAH N R.,ZAKHORB A.Resolution enhancement of color video sequences[J].IEEE Transactions on Image Processing,1999,8(6):879 - 885.DOI:10.1109/83.766865.

[2] TOM B C,KATSAGGELOS A K.Resolution enhancement of monochrome and color video using motion compensation[J].IEEE Transactions on Image Processing，2001,10(2):278 -287.DOI:10.1109/83.902292.

[3] TIMOFTE R D V,GOOL L V.Anchored neighborhood regression for fast example-based superresolution[Z].IEEE International Conference on Computer Vision,Sydney,Australia,2013.DOI:10.1109/ICCV.2013.241.

[4] LI J M,QU Y,LI C H,et al.Image super-resolution base on multi-kernel regression[J].International Journal of Multimedia Tools and Applications,2016,75:4115-4128.DOI:10.1007/s11042-015-3016-4.

[5] YEGANLI F,NAZZAL M,UNAL M,et al.Image super-resolution via sparse representation over multiple learned dictionaries based on edge sharpness[J].International Journal of Signal,Image and Video Processing,2016,10:535-542.DOI:10.1007/s11760-015-0771-7.

[6] HOU H S,ANDREWSS H.Cubic splines for image interpolation and digital filtering[J].IEEE Transactions on Acoust Speech Signal Process,1978,26:508-517.DOI:10.1109/TASSP.1978.1163154.

[7] IRANI M,PELEG S.Improving resolution by image registration[J].International Journal of Graph Models Image Process,1991,53:231-239.DOI:10.1016/1049-9652(91)90045-L.

[8] YANG J,WRIGHT J,HUANG T,et al.Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing,2010,19:2861-2873.DOI:10.1109/TIP.2010.2050625.

[9] SUN J,ZHENG N,TAO H,et al.Image hallucination with primal sketch priors[Z].IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Madison,Wisconsin,2003.DOI:10.1109/CVPR.2003.1211539.

[10] TAI Y W,TONG W S,TANG C K.Perceptually-inspired and edge-directed color image super-resolution[Z].IEEE Computer Society Conference on Computer Vision and Pattern Recognition,New York,USA,2006.DOI:10.1109/CVPR.2006.221.

[11] PARK S C,PARK M K,KANG M G.Super-resolution image reconstruction:a technical review[J].IEEE Transactions on Signal Processing,2003,5:21-36.DOI:10.1109/MSP.2003.1203207.

[12] 沈紅斌,楊杰,劉小軍,等,基于模糊信息增益的圖像相關(guān)性度量[J].上海交通大學(xué)學(xué)報,2006,40(3):466-470.

SHEN H B,YANG J,LIU X J,et al.New image correlation analysis based on fuzzy information gain[J].Journal of Shanghai Jiaotong University.2006,40(3):466-470.

[13] 曹文倫,彭國華,秦洪元,等,利用色彩分量相關(guān)性的彩色圖像分形編碼方法[J].計算機工程與應(yīng)用,2004,40(22):51-55.

CAO W L,PENG G H,QIN H Y,et al.Color image fractal coding method using color component correlation[J].Computer Engineering and Applications.2004,40(22):51-55.

[14] RUDERMAN D L,CRONIN T W,CHIAO C C.Statistics of cone responses to natural images:implications for visual coding[J].Journal of the Optical Society of America A,1998,15(8):2036-2045.DOI:10.1364/JOSAA.15.002036.

[15] ZHAO S B,HAN H,PENG S L.Wavelet-domain HMT-based image super-resolution[Z].International Conference on Image Processing,Barcelona,Catalonia,Spain,2003.DOI:10.1109/ICIP.2003.1246841.

(責(zé)任編輯：孟素蘭)

An approach to achieve color image super resolution based on space conversion

ZHAO Hong1，CHANG Zhuo1,YANG Gang2

(1.College of Computer Science and Technology，Hebei University，Baoding 071002，China;2.College of Mathematics and Information Science，Hebei University，Baoding 071002，China)

Three channels of color image have a close correlation.Super resolution in the RGB space is easy to break the relevance and cause artifacts.However,there is a little relevance between three channels in thelαβcolor space.In this paper,a new approach to achieve color image super resolution is presented,which used the concept of space conversion.Super resolution is performed separately in thelαβchannels.The experimental results demonstrate that the approach is effective and will minimally break the relevance between the color channels.

super resolution；RGB space；lαβspace

10.3969/j.issn.1000-1565.2016.06.015

2016-05-26

河北省教育廳科學(xué)技術(shù)研究青年基金項目(QN2015025)；中西部綜合實力提升工程項目

趙紅(1979—)，女，山西盂縣人，河北大學(xué)副教授，博士，主要從事計算機視覺和信息安全研究.E-mail:zhaohong@cs.hbu.cn

TP 391

A

1000-1565(2016)06-0667-06