朱 波 汶德勝 王 飛 李 華 宋宗璽

①(中國科學院西安光學精密機械研究所 西安 710119)

②(中國科學院研究生院 北京 100049)

③(西安交通大學 西安 710049)

④(商洛學院 商洛 726000)

1 引言

基于單片探測器的彩色成像都是在探測器前加一片顏色濾波陣列(CFA)來實現(xiàn)，如應(yīng)用最為廣泛的Bayer濾波陣列[1]。利用陣列中每一個像素與其周圍像素點的強度相關(guān)性來估算出缺失的另外兩種顏色，這種處理稱為彩色插值(color interpolation或demosaicking)。目前，彩色插值算法很多，從原理上可大體歸納為以下4類：第1類，將Bayer格式中每4個像素看作一個像素來處理，這種方法簡單，也利于硬件實現(xiàn)[2]；第2類，利用單一顏色通道，獨立的進行彩色插值，如：雙線性插值(b i l i n e a r interpolation)和雙3次插值(bicubic convolution interpolation)[3,4]；第3類插值算法考慮了各顏色通道之間的關(guān)系，利用梯度變化增加通道之間的相關(guān)性，因此插值結(jié)果偽彩色大大減少[3,5]；第4類，利用局部方向插值，一般比較常用的是由文獻[6]提出的二階Laplace變換，在選擇的方向上分別進行計算，再進行結(jié)果合并、優(yōu)化，從而得到彩色圖像。盡管第4類插值算法已經(jīng)取得了比較好的彩色復原效果。但是為了讓彩色圖像邊緣更加銳利，更好地滿足視覺效果，許多非線性插值技術(shù)被應(yīng)用到了圖像處理上[4,7,8]。

本文借鑒文獻[9,10]的思想，利用局部方向插值對Bayer格式馬賽克圖像進行處理，提出了一種基于字典學習的非線性算法來增強插值得到的圖像的邊緣信息。因為方向信息是恢復邊緣的關(guān)鍵，首先，對圖像的R,B通道進行上下左右方向插值，獲取缺失的G顏色信息。再將R,B通道各個方向的插值結(jié)果根據(jù)方向梯度進行合并操作。接著利用高斯混合模型(GMM)分類方法對學習字典進行分類，對被估計的缺失分量進行學習，與被估計像素相似的像素就可以用來對估計值進行加強，而不是將濾波結(jié)果的平均值作為加權(quán)，這樣就得到了缺失的綠色分量，當分量得到后，利用類似方法就可以得到其它兩種缺失分量，最終，獲取整幅彩色圖像。

2 改進的插值算法

2.1 算法的理論基礎(chǔ)

由文獻[2,3,5]的理論分析和第3節(jié)的試驗結(jié)果可以知道，幾乎所有的線性插值算法在圖像偽彩色的消除上都不夠理想，因此文獻[11,12]提出了插值效果更好的非線性方法。如圖1(a)所示，文獻[11]算法在水平和垂直兩個方向分別進行局部插值，再對插值結(jié)果進行合并運算，取得了不錯的效果。

圖1 Bayer格式圖像

應(yīng)用式(1)對4個方向進行合并計算，得到4個方向的計算加權(quán)系數(shù)為

2.2 分量估計算法

其中J(x)是正則項，τ是一個小的常數(shù)。由于自然界的圖像在一定的域里，比如小波域，是稀疏的，因此，x可表示為字典的形式，即x≈ψα，這樣，由y來估計x就可以轉(zhuǎn)化為求l1范數(shù)的最小化問題：

在基于字典的學習算法里，一般不會以整幅圖作為學習樣本，因為這樣會使樣本易變，而且會引進許多冗余錯誤。所以一般選取合適大小的圖像塊作為樣本，假設(shè)以R0為中心的圖像塊大小為s×s，這樣插值輸出的圖像就為y0=x0+v0，式(5)就相應(yīng)地表示為

一旦最優(yōu)化，估計值就可以由0=ψα0得到。

對式(6)，應(yīng)用拉格朗日乘子[10,12,13,15]，有等式：

這樣，式(3)的插值計算就轉(zhuǎn)化成了對式(7)的優(yōu)化問題。對該問題的求解，文獻[12]提出了非局部適應(yīng)閾值(NAT)算法，文獻[15]提出了基于字典的算法，但是這些算法在分類相似圖像塊，即學習樣本時，應(yīng)用的是類似于k-means分類方法，雖然計算量稍小，但是k-means分類不夠精細，而且如果取到不好的初始值，就會得到比較差的結(jié)果，從而不能保證全局的最優(yōu)，所以，我們對算法進行了改進。

2.3 改進的分量估計算法

在對算法進行描述前，先介紹一下高斯混合模型(GMM)，及其分類原理。

(1)高斯混合模型(GMM)簡介 高斯混合模型(GMM)分類法現(xiàn)在已經(jīng)廣泛應(yīng)用于各種科學領(lǐng)域，如：模式識別、信號處理和圖像處理等[16,17]。GMM算法的思想是假設(shè)有N個觀測樣本，記為XN={x1,x2,…,xN}，這些樣本來自k*個高斯分布：

其中，每個觀測樣本xt(1≤t≤N)為列向量，即x1t, …,xdt。而p(xt|)就是第j個服從參數(shù)的高斯分布，其中，是第j個分量均值向量和協(xié)方差矩陣，是該分量的混合系數(shù)。GMM分類就是從N個觀測樣本中估計出參數(shù)記為其中k為分類數(shù)k*。這樣，就構(gòu)成了如式(9)所示的最大似然(ML)函數(shù)：

對式(9)的求解即找到這樣一組參數(shù)，使似然函數(shù)取得最大值，這樣就完成了參數(shù)估計。顯而易見，GMM學習的結(jié)果是一些概率密度函數(shù)，也就是數(shù)據(jù)點被分配到每個組的概率，這就比k-means分類提供了更多的信息，因此，它的分類效果也就更好。圖2(a)為經(jīng)過k-means分類法得到的點分類結(jié)果，而圖2(b)為經(jīng)過GMM分類法得到的點分類結(jié)果，可以很清楚地看出，GMM分類法得到的結(jié)果邊緣更加清楚，即GMM算法在細節(jié)分類方面明顯優(yōu)于k-means方法。

(2)改進算法實現(xiàn)過程 為了獲取好的插值結(jié)果，對于式(7)的求解，本文采用字典學習算法來實現(xiàn)。首先要構(gòu)建一個圖像塊字典庫，即選取一系列高品質(zhì)的標準圖像，并從這些圖像中截取大量的圖像塊來實現(xiàn)。圖像塊的選擇原則是不能太小，比如3×3，雖然比較精細，但是插值結(jié)果會帶來偽彩色并使圖像平滑處出現(xiàn)錯誤，而圖像塊選的太大又會使分辨率降低，因此，本文圖像塊的大小選擇為7×7。假設(shè)選取M個圖像塊S=[s1,s2,…,sM]，一般情況下，對于一個局部估計，這些圖像塊是冗余且大部分是不相關(guān)的，這樣不僅使計算量增加，多余的信息也會帶來偽信息，表現(xiàn)為插值結(jié)果中的偽彩色。為了克服這些不足，本文利用GMM將S分為K類{Φk}，也就是將S分為K組，這樣，就將具有相同樣式的圖像塊進行了字典分類，相對于之前過多的圖像塊，不僅在數(shù)量上減少，而且子字典都是同類型，這就便于學習，從而得到高質(zhì)量的恢復效果。而且，這種學習樣本是基于圖像塊，而不是單個像素，因此，學習的結(jié)果就更接近真實圖像。同時，為了減少運算量并有效地去除噪聲，應(yīng)用PCA技術(shù)來提取字典的主要分量，去除冗余成分，使字典學習更加高效[15,18]。本文算法的具體實現(xiàn)過程如下：

圖2 應(yīng)用k-means和GMM分類法得到的點分類結(jié)果

(1)輸入?yún)⒘浚?/p>

(a)Bayer格式的馬賽克圖像X；

(b)高品質(zhì)的字典圖像塊S；

(2)對X的R,B通道進行上下左右局部方向插值(LDI)，并進行合并計算；

2.4 ,分量插值算法

參考2.1節(jié)的做法，我們可以得到R0處的B分量0=G0+，其中為R0處B-G梯度的估計值。同理，得到R1處的B分量其中為R1處B-G梯度的估計值。有了和就可以仿照分量的插值過程，進行R通道B分量的彩色插值恢復，得到相應(yīng)的輸出結(jié)果。再利用同樣的方法，我們可以插值得到B通道的R分量，G通道的B分量和G通道的R分量了。

3 試驗結(jié)果與評價

為了驗證算法的效果，本文進行了標準圖像和實際拍攝圖像的試驗。字典庫圖像選取了若干幅McMaster圖像庫中的高品質(zhì)圖片。試驗結(jié)果的評價分整體主觀目視評價和客觀峰值信噪比(PSNR)評價。

3.1 標準圖像試驗

標準圖像試驗樣本，我們使用了Kodak圖像集和 McMaster圖像集中的部分具有代表性的圖片，如圖3所示。

首先，將圖3的標準圖像按照Bayer格式轉(zhuǎn)換成相應(yīng)的馬賽克圖像，然后應(yīng)用幾種插值算法分別進行彩色恢復，整體效果和局部特寫如圖 4和圖5所示。

圖3 試驗用標準圖像

圖4 幾種算法對圖3(b)彩色恢復效果

圖5 幾種算法對圖3(f)彩色恢復效果

由圖4和圖5可以看出，視覺效果方面，本文算法插值得到的圖像偽彩色較少，邊緣銳利，整體效果最好。客觀評價方面，幾種算法對圖3的Bayer格式圖像插值得到的彩色圖像R,G,B通道的PSNR數(shù)值如表1所示。

3.2 實際拍攝的圖像試驗結(jié)果

除了對標準圖像進行試驗，我們還對實際拍攝的近景和遠景圖像進行了彩色恢復。圖6(a)，圖7(a)為應(yīng)用DALSA公司IA-G3彩色CMOS探測器設(shè)計的某相機拍攝的Bayer格式馬賽克圖像，圖6(b)，圖7(b)為應(yīng)用本文算法得到的相應(yīng)彩色圖像，從結(jié)果可以看出，圖像色彩逼真，邊緣銳利，整體效果令人滿意。

表1 幾種算法對圖3圖像插值結(jié)果的PSNR數(shù)值統(tǒng)計(dB)

圖6 實際拍攝的5 m近景圖像彩色恢復效果

圖7 實際拍攝的遠景圖像彩色恢復效果

4 結(jié)束語

本文提出了一種基于字典學習的非線性 Bayer格式彩色圖像恢復算法，將插值過程由水平和垂直兩個方向改為上下左右4個方向進行，并應(yīng)用了分類效果更好的GMM來構(gòu)建字典，從而使獲取的彩色圖像效果更好。通過對Kodak和McMaster標準圖像和實際拍攝的圖像進行試驗表明，視覺效果良好，偽彩色較少，單通道PSNR最高達到41 dB，整體性能優(yōu)于許多現(xiàn)有插值算法。但是，由于字典學習過程是基于循環(huán)、查找等操作，再加上PCA變換等技術(shù)的運用，所以本算法復雜度高，計算量比較大，以插值500×500的McMaster圖像為例，在Intel Core2 Duo CPU T9550 2.66 GHz電腦上使用Matlab2008a軟件，需要的時間大概是10 min左右，所以，下一步的工作是對本算法進行優(yōu)化，降低算法的時間復雜度。

[1]Bayer B E. Color imaging array[P]. 美國專利, 3971065, 1975.

[2]王暕來, 楊春玲. 基于最大類間方差法的圖像分割系統(tǒng)的設(shè)計與實現(xiàn)[OL]. www.altera.com.cn/education/univ/local/events/articles/july08-3.pdf, 2008, 6.

Wang Jian-lai and Yang Chun-ling. Implementation of image segmentation system based on Otsu method[OL]. www.altera.com.cn/education/univ/local/events/articles/july08-3.pdf,2008, 6.

[3]Pei Soo-chang and Tam Io-kuong. Effectivse color interpolation in CCD color filter arrays using signal correlation[J].IEEE Transactions on Circuits and Systems for Video Technology, 2003, 13(6): 503-513.

[4]Li Xin and Orchard M T. New edge-directed interpolation[J].IEEE Transactions on Image Processing, 2001, 10(10):1521-1527.

[5]Malvar H S, He Li-wei, and Cutler R. High-quality linear interpolation for demosaicing of Bayer-patterned color images[C]. IEEE International Conference on Acoustics,Speech and Signal Processing, Quebec, Canada, 2004:485-488.

[6]Adams J E and Hamilton J F. Adaptive color plane interpolation in single color electronic camera[P]. 美國專利,5506619, 1996.

[7]Wallach D, Lamare F, and Kontaxakis G. Super-resolution in respiratory synchronized positron emission tomography[J].IEEE Transactions on Medical Imaging, 2012, 31(2):438-447.

[8]Ma Jiang-lin, Chan Cheung-wai, and Canters F. An operational superresolution approach for multi-temporal and multi-angle remotely sensed imagery[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2012, 5(1): 110-123.

[9]Charles A S, Olshausen B A, and Rozell C J. Learning sparse codes for hyperspectral imagery[J].IEEE Journal of Selected Topics in Signal Processing, 2011, 5(5): 963-978.

[10]Mu Guang-wu, Gao Xin-bo, Zhang Kai-bing,et al..Single image super resolution with high resolution dictionary[C].IEEE International Conference on Image Processing, Brussels,Belgium, 2011: 1141-1144.

[11]Zhang Lei and Wu Xiao-lin. Color demosaicking via directional linear minimum mean square-error estimation[J].IEEE Transactions on Image Processing, 2005, 14(12):2167-2178.

[12]Zhang Lei, Wu Xiaolin, Buades A,et al.. Color demosaicking by local directional interpolation and nonlocal adaptive thresholding[J].Journal of Electronic Imaging, 2011, 20(2):203016(1-16).

[13]Chang Edward, Cheung Shiu-fun, and Pan D Y. Color filter array recovery using a threshold-based variable number of gradients[C]. SPIE Conference on Sensors, Cameras and Applications for Digital Photography, San Jose, California,1999: 36-42.

[14]楊清山, 郭成安, 金明錄. 基于Gabor多通道加權(quán)優(yōu)化與稀疏表征的人臉識別方法[J].電子與信息學報, 2011, 33(7):1618-1624.

Yang Qing-shan, Guo Chen-gan, and Jin Ming-lu. Face recognition based on Gabor multi-channel weighted optimization and sparse representation[J].Jounal of Electronics&Information Technology, 2011, 33(7):1618-1624.

[15]Dong Wei-sheng, Zhang Lei, and Shi Guang-ming. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J].IEEE Transactions on Image Processing, 2011, 20(7): 1838-1857.

[16]Zeng Hong and Cheung Yiu-ming. A new feature selection method for Gaussian mixture clustering[J].Pattern Recognition, 2009, 42(2): 243-250.

[17]Zhang Kai-bing, Gao Xin-bo, and Li Xue-long. Partially supervised neighbor embedding for example-based image super-resolution[J].IEEE Journal of Selected Topics inSignal Processing, 2011, 5(2): 230-239.

[18]Zhang Lei, Lukac R, Wu Xiao-lin,et al..PCA-based spatially adaptive denoising of CFA images for single-sensor digital cameras[J].IEEE Transactions on Image Processing, 2009,18(4): 797-812.

[19]Menon D, Andriani S, and Calvagno G. Demosaicing with directional filtering and aposterioridecision[J].IEEE Transactions on Image Processing,2007, 16(1): 132-141.