羅 瀟，孫海江，陳秋萍，陳 靜，王延杰

（中國科學院長春光學精密機械與物理研究所，吉林長春130033；2.中國科學院研究生院，北京100039）

Bayer格式圖像的實時彩色復原

羅 瀟1，2，孫海江1，2，陳秋萍1，2，陳 靜1，2，王延杰1

（中國科學院長春光學精密機械與物理研究所，吉林長春130033；2.中國科學院研究生院，北京100039）

為了減少算法的計算量，保證系統(tǒng)的實時性，本文針對Bayer格式圖像提出了一種有效的彩色復原插值算法。插值過程中利用了人眼的視覺特性，能夠更精確地得到圖像的亮度信息和邊緣信息。利用彩色圖像的邊緣特性更精確地復原了邊緣處的R、G、B值。算法最終解為一系列5×5大小稀疏的線性濾波器，其復雜度低，實現(xiàn)簡單，能在計算機各種嵌入式處理器中完成實時處理。實驗證明，本算法的峰值信噪比（PSNR）比通常采用的雙線性算法高4～6 db，且有效地減少了插值算法中出現(xiàn)的鋸齒現(xiàn)象，使圖像彩色的復原性和實時性比雙線性算法更優(yōu)越，具有一定的應用價值。

彩色濾波陣列；去馬賽克；彩色復原；插值算法

1 引 言

單CCD相機已廣泛應用于工業(yè)控制的各個領域。這種單CCD相機通過彩色濾波陣列（Color Filter Array，CFA）來獲得圖像的彩色信息，但這樣采集的圖像在每個像素的位置上只能獲得一種顏色分量，要獲得另外兩種缺少的顏色分量就必須通過相鄰像素來估算，這個過程叫CFA插值。通過CFA插值獲得全彩色圖像的過程即彩色復原。

在過去20年中，彩色復原使用的方法一直是圖像處理的研究熱點。一般來說，彩色復原算法可以分為兩類：第一類是不利用顏色通道之間相關性的算法，包括鄰域插值法、雙線型插值法、卷積插值法等，其規(guī)律是未知的綠色像素分量僅由周圍已知的綠色分量進行插值估算，對紅色和藍色通道亦是如此。這一類算法容易實現(xiàn)，在平滑區(qū)域內(nèi)可以得到比較滿意的效果，但在高頻區(qū)域尤其是在邊界區(qū)域卻失真明顯。第二類則是利用多通道相關性進行插值，這一類算法常常結合了對圖像細節(jié)的分析判斷以及顏色通道之間的相關性，插值效果要明顯優(yōu)于前一類。例如，基于邊界的算法、加權系數(shù)法、交互式插值法、最優(yōu)化恢復法等，這些算法通常能得到比較滿意的效果，尤其是清晰的邊界與細節(jié)特征，但往往算法較復雜，無法應用于數(shù)字攝像機系統(tǒng)［3～7］。因此，怎樣找到一個還原效果好，計算復雜度較低的算法運用在嵌入式平臺中成為迫切需要解決的問題。針對這一問題，本文運用圖像邊緣的特性，針對Bayer格式圖像提出了一個計算量少、復原效果好的算法。通過Matlab仿真實驗，發(fā)現(xiàn)此算法的峰值信噪比（PSNR）比常用的雙線性算法的PSNR高4～6 db，在滿足實時處理要求的同時，還原效果取得了較大的提高。

2 常用算法與改進的算法

選擇好的插值算法對獲取高質(zhì)量圖像非常重要，一般來說，選用的方法越復雜，插值產(chǎn)生的質(zhì)量越高，但需要的處理時間也越長。為了達到實時顯示的目的，實際應用中很多攝像機系統(tǒng)不采用計算量比較大的插值方法，而是在性能和復雜度上取一個能接受的平衡。雙線性插值算法在平滑區(qū)域?qū)崿F(xiàn)插值相對簡單、效果較好，并且得到了廣泛的應用，也成為權衡新算法優(yōu)劣的標志。

2.1 雙線性插值算法

雙線性插值算法是廣泛應用的插值算法之一，對于圖1所示的最常用的Bayer彩色濾波陣列［1］，雙線性插值算法的流程如下：

其它各點的R、G、B值都可以類似得出。可以看出，雙線性算法實現(xiàn)非常簡單，在平滑區(qū)域可以預見得到比較好的效果；但在邊緣區(qū)域，因為像素的取值具有方向性，不能簡單地由周圍的像素計算平均值得出（詳見基于梯度的算法）。因此，對邊緣區(qū)域采用雙線性插值將產(chǎn)生極大的誤差，呈現(xiàn)鋸齒狀，稱為拉鏈效應。

2.2 改進算法

眾所周知，雙線性算法在邊緣區(qū)域會出現(xiàn)拉鏈效應，如果將已還原的彩色圖像R、G、B 3個通道重新分開，會發(fā)現(xiàn)綠色通道拉鏈效應尤為明顯。這是因為在CFA排列中，綠色像素總數(shù)比紅色、藍色像素多一半，進而，在插值中，綠色能體現(xiàn)更多的細節(jié)，所以在插值過程中，如果能更精確地恢復綠色像素值，就能減少拉鏈效應。

在雙線性插值中，例如紅色像素處，綠色像素值可由式（4）得出：

改進的算法基于這樣一個事實：在邊緣處，邊緣處的亮度信息比色度信息多得多。這樣，在估算紅色像素處的綠色像素值時，已知的紅色像素值并不舍去。與雙線性插值相比，紅色像素是一個有用的信息，用它與周圍紅色像素值的均值比較，如果兩者差值比較大的話，表明該點在邊緣處，亮度信息會有明顯的跳變。這樣，就可以利用這個差值來修正該點所要求的綠色像素值。最簡單的方法就是用一個常數(shù)與這個差值相乘，然后加上雙線性插值求得的像素值，可用式（5）表示：

其中：

其中，?B（i，j）代表雙線性插值得出的G值。本算法在雙線性插值的基礎上增加一個修正值來更加精確地估算出像素值。在估算插值B位置的G值和插值R位置的G值時，根據(jù)對稱性可以采用相同的方法得出，不過修正值變?yōu)棣（i，j）。

同理，在G位置估算R值時，可由下式得出：

在B位置估算R值時，可以由下式得出：

根據(jù)對稱性，同樣可以估算出G位置和R位置的B值。

下面的問題是，如何確定一個合適的α、β、γ，使插值的結果與真實的圖像最接近。Malvar利用維納方法得出，當α=1/2，β=5/8，γ=3/4時，利用上式在測試圖片上得出的新圖像與原來測試圖像的差異最?。?］。這樣，就可以設計一系列線性濾波器。此時，濾波器的解不是唯一的，理論上模板越大越好，但模板越大計算量越大，與實時性的要求相背離。此算法需要計算兩個顏色向量的雙線性插值，模板最小需要5×5大小。實際應用中就采用了5×5大小的模板，Malvar也提出了一系列5×5大小的濾波器，并對其中的修正值有更加復雜的判斷，但隨之而來模板中的非0值更多，計算量變大。

本算法簡化了其中對修正值的某些復雜的判斷，力求使模板中非零值越少越好，圖2為本文設計的濾波器。

3 實驗結果與分析

本算法最終的解為一系列5×5的線性濾波器，并且為稀疏矩陣，復雜度很低，實時性也能夠滿足實際工程應用的要求。

為了驗證算法的性能，采用了圖像處理中評價重構圖像質(zhì)量最常用的兩種方法：均方根誤差（Mean Squared Eerror，MSE）與最高峰值比（Peak Signal-to-Noise Ratio，PSNR）。

在式（10）中，PSNR是單個通道的值，即真彩色圖像可以分成R、G、B三通道獨立比較，它反映了原始圖像與重構圖像相符合的程度，PSNR越大，兩者越接近。

在實驗中，首先采用柯達真彩圖片集中較典型的測試白房子圖片將本算法與雙線性算法進行主觀比較，見圖3；然后，對所有的柯達真彩圖片進行客觀評價，見圖4。

從圖3中可以明顯看出，采用本文提出的算法處理后，其邊緣部分比雙線性算法更清晰，更接近原真彩測試圖片。

表1為采用本文算法與雙線性算法計算相同24幅柯達真彩圖片各個通道的PSNR值。

從表1可以看出，本算法對每幅圖像中每個通道得到的PSNR都比雙線性算法高，其中對R通道本算法比雙線性算法高3.957 db；對G通道本算法比雙線性算法高5.559 db；對B通道本算法比雙線性算法高6.406 db。

4 結 論

低，實現(xiàn)簡單，能在計算機和各種嵌入式處理器中完成實時處理。與雙線性算法比較，本算法的PSNR比雙線性算法高4～6 db，使圖像彩色的復原性和實時性比雙線性算法更優(yōu)越，在實際的工程應用中可取得更好的效果。

在實驗中發(fā)現(xiàn)，固定的α、β、γ值對不同的圖像相對于雙線性算法在PSNR方面有不同的提升，本文下一步工作將找出對不同的圖像運用的不同的α、β、γ，這樣在PSNR方面可以有更大的提高。

［1］BAYER B E.Color Image Array：US，3917015［P］.1976.

［2］MALVAR H S，HE LW，CUTLER R.High-quality linear interpolation for demosaicing of Bayer-patterned color images［C］/IEEE Int′L Conf.on Acoustics，Speech，and Signal Processing，Montreal，Canada，May 2004.

［3］CHANG L L，TAN Y P.Hybrid color filter array demosaicing for effective artifact suppression［J］.J.Electron.Imaging，2006，15（1）：013003.

［4］COK D.Signal processingmethod and apparatus for sampled image signals：US.4630307［P］.1986.

［5］COK D.Signal processingmethod and apparatus for producing interpolated chrominance values in a sampled color image signal：US，4642678［P］.1987.

［6］FREEMAN TW.Median filter for reconstructingmissing color samples：US，4724395［P］.1988.

［7］LAROCHE L，PRESCOTTM.Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients：US，5373322［P］.1994.

［8］LUKAC R，MARTIN K，PLATANIOTISK N.Colour-difference based demosaiced image postprocessing［J］.Electronics Lett.，2003，39（25）：1805-1806.

［9］GUNTURK B K，GLOTZBACH J，ALTUNBASK Y，et al..Demosaicing：color filter array interpolation［J］.IEEE Signal Proc.Mag.，2005，22（1）：44-54.

［10］LIX.Demosaicing by successive approximation［J］.IEEE Trans.Image Process.，2005，14（3）：370-379.

［11］CHUNG K H，CHAN Y H.Color demosaicing using variance of color differences［J］.IEEE Trans.Image Process.，2006，15（10）：2944-2955.

通過實驗說明了本算法不論從主觀評價還是客觀評價都優(yōu)于雙線性算法，并且復雜度低，實現(xiàn)簡單，實時性更強。

本文提出了一種有效的Bayer格式圖像彩色復原的算法，它利用彩色圖像的邊緣特性更精確地復原了邊緣處的R、G、B值，算法最終的解為一系列5×5大小稀疏矩陣的線性濾波器，復雜度

Real-time demosaicing of Bayer pattern images

LUO Xiao1，2，SUN Hai-jiang1，2，CHEN Qiu-ping1，2，CHEN Jing1，WANG Yan-jie1
（1.Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.Graduate University of Chinese Academy of Sciences，Beijing 100039，China）

This paper presents an effective interpolation restoration algorithm for color images in Bayer format to reduce the computational complexity and improve its real time property.Based on the characteristics of human visual system in the interpolation process，themore accurate brightness information and edge information of the image can be obtained.Owing to edge information，more accurate values of R，G，B can be recovered.The final solution of the algorithm is a series sparse linear filterswith sizes of5×5.Ithas a lower complexity and can be processed easily in the embedded processors of computers in real time.Experiments show that the Peak Signal to Noise Ratio（PSNR）of this algorithm is higher4-6 db than that of the common bilinear algorithm.Furthermore，it effectively reduces the sawtooth phenomenon occurred in the interpolation algorithm and shows that its recover ability and real time property is superior to thatof the traditional bilinear interpolation.

color filter array；demosaicing；color restoration；interpolation algorithm

TP391.4；TN919.8

：A

1674-2915（2010）02-0182-06

羅 瀟（1983—），男，湖南岳陽人，碩士研究生，主要從事視頻圖像處理技術方面的研究。 E-mail：luoxiao405＠163.com

2010-02-05；

2010-03-28