張少鵬，唐向宏，來伊麗，何雨亭

(杭州電子科技大學通信工程學院，浙江 杭州 310018)

結(jié)構(gòu)優(yōu)化的彩色圖像稀疏表示的修復方法

張少鵬，唐向宏，來伊麗，何雨亭

(杭州電子科技大學通信工程學院，浙江 杭州 310018)

針對彩色圖像修復過程中，RGB顏色模型三通道間的相關性以及其結(jié)構(gòu)復雜性導致修復效果不理想的缺點，提出了將修復過程從RGB顏色模型轉(zhuǎn)化到Y(jié)UV顏色模型進行，采用稀疏表示的方法來提高彩色圖像的修復效果.首先將圖像從RGB顏色模型映射到Y(jié)UV顏色模型并對不同成份進行分塊，然后利用FastICA算法分類訓練獲得相對應的完備字典，最后利用優(yōu)先權(quán)函數(shù)約束待修復塊的修復順序，并結(jié)合重構(gòu)算法SL0對修復塊進行重構(gòu)，實現(xiàn)了圖像的修復.實驗表明，運用該方法能較好地修復條狀破損、小塊破損以及大塊破損的圖像和文字移除，改善了傳統(tǒng)修復方法在邊緣修復時出現(xiàn)的邊緣斷裂或者紋理延伸現(xiàn)象.在修復時，利用優(yōu)先權(quán)函數(shù)來決定修復優(yōu)先度，使邊界和紋理的修復更加符合人眼視覺效果.

YUV；FastICA算法；學習字典；優(yōu)先權(quán)函數(shù)

0 引 言

圖像修復就是對破損圖像中破損區(qū)域進行合理信息填充的過程.在不破壞圖像整體性的同時，恢復圖像丟失信息，使修復后的圖像符合人眼的視覺效果.對于彩色圖像的修復，文獻[1]利用Criminisi算法整體修復彩色圖像，將待修復塊與匹配塊的熵的差值用于約束最佳匹配塊的選取，有效克服了虛假邊，并且使用了16級顏色直方圖來約束顏色信息的檢索，使得匹配塊的選取更加準確.文獻[2]基于Criminisi算法利用顏色信息與結(jié)構(gòu)信息的相互結(jié)合來確定待修復區(qū)域的優(yōu)先級，在未破損區(qū)域?qū)ふ易罴哑ヅ鋲K進行填充修復.文獻[3]利用大量自然圖像訓練一個超完備字典，然后基于結(jié)構(gòu)張量對待修復區(qū)域進行整體重構(gòu)填充修復.由于在填充過程中未考慮修復優(yōu)先度的問題，導致圖像紋理缺少連續(xù)性.文獻[4]利用FastICA訓練完備字典，通過掩膜來確定和提取待修復塊并進行重構(gòu).由于未考慮修復塊的優(yōu)先順序使得修復效果不理想.由于彩色圖像RGB三層分量之間的相關性[5]會導致修復失真，同時，修復優(yōu)先權(quán)對修復邊界和紋理也產(chǎn)生一定的影響，為此，本文探討采用結(jié)構(gòu)優(yōu)化的彩色圖像稀疏方法來修復圖像，以提高彩色圖像的修復效果.

1 算法原理及實現(xiàn)

本文算法首先將待修復彩色圖像進行顏色空間的轉(zhuǎn)化，在YUV顏色空間[6-7]中，利用Fast-ICA算法分類訓練不同的分量信息獲取各自分量的完備字典，引入優(yōu)先權(quán)函數(shù)來保證邊緣區(qū)域的優(yōu)先修復，最后結(jié)合SL0算法實現(xiàn)待修復塊的重構(gòu)并完成修復.

1.1 完備字典的訓練

獨立分量分析方法(Independent Component Analysis，ICA)是近幾年發(fā)展起來的一種處理數(shù)據(jù)的高效方法[8].ICA方法能完成分量間高階冗余的去除及獨立信源的提取.因此ICA方法適用于字典訓練[4].相對于傳統(tǒng)的K-SVD訓練方法，ICA方法訓練字典不僅在重構(gòu)效果上具有優(yōu)勢而且還可降低字典訓練計算的復雜度，保證訓練字典的過完備性，便于擴展完備字典使其更具靈活性，同時還能改善因字典原子間的互相干性導致邊界稀疏修復的不理想現(xiàn)象.

xi=ai1s1+ai2s2+…+ainsni=1,2,…,n

(1)

其中，a1,a2,···,an為混合矩陣A的元素.因此式(1)可改寫成：

X=AS

(2)

由于FastICA算法本質(zhì)上是一種最小化估計分量互信息的神經(jīng)網(wǎng)絡方法，利用最大熵原理來近似負熵，并通過一個合適的非線性函數(shù)g訓練W達到最優(yōu)解[9].因此，本文采用FastICA方法來獲取完備字典.由于僅利用待修復圖像的有效信息來填充待修復區(qū)域，先驗信息有限，并且自適應性差.因此，本文利用大量的樣本圖像和待修復圖像的有效信息來訓練學習字典.這樣不僅充分利用了樣本塊的先驗知識，同時也考慮到了待修復圖像自身的信息[10].為此，選取一部分自然圖像，轉(zhuǎn)化成灰度圖像.隨機從每幅圖像中提取1 000個7×7大小的圖像塊，獲得一個49×50 000大小的數(shù)據(jù)矩陣X.其中矩陣X中每一個列向量代表一個圖像塊.利用FastICA算法訓練該圖像庫X，估計出分離矩陣W，該分離矩陣就是訓練得到的基.

1.2 重構(gòu)優(yōu)先順序的約束

在現(xiàn)有的稀疏表示的圖像修復中，人們通常采用整體重構(gòu)，即使采用分塊重構(gòu)時，較少考慮重構(gòu)的順序，從而導致修復失真.在灰度圖像修復時，文獻[11]將樣本塊填充問題轉(zhuǎn)化為不完整信號稀疏重建問題，對待修復塊進行稀疏表示，雖在修復過程中引入優(yōu)先權(quán)函數(shù)來確定修復順序，但結(jié)構(gòu)部分未能得到優(yōu)先修復，致使結(jié)構(gòu)部分的修復缺少連貫性.為此，本文算法在修復時，不僅采用分塊重構(gòu)，同時對重構(gòu)順序加以約束，通過優(yōu)先權(quán)函數(shù)決定待修復塊的修復順序，保證邊緣部分會優(yōu)先得到修復，從而保證了圖像的整體結(jié)構(gòu).

圖1 修復優(yōu)先權(quán)原理圖

修復優(yōu)先權(quán)原理如圖1所示.Φ為圖像未破損區(qū)域，Ω為圖像待修復區(qū)域，ψp為修復邊界?Ω以點p為中心的待修復塊.其優(yōu)先權(quán)定義如下[12]：

P(p)=C(p)·D(p)

(3)

其中，C(p)為置信項，D(p)為數(shù)據(jù)項，分別定義為：

(4)

和順縣的輻射水源井主要是遠離河流集取地下水型，以小泉小水為水源的農(nóng)村飲水安全工程，可通過實施水平輻射把漏失的泉水和未開發(fā)的散泉集中起來，增水效果十分明顯，比如橫嶺鎮(zhèn)的龍旺村、陽照村等，尤其適宜厚度較薄的含水層以及不易用滲渠開采的厚度薄、埋深大的含水層。主要優(yōu)點：（1）山區(qū)輻射井水源工程多為引水工程，管理方便，運行成本較低。（2）集水范圍大，含水層厚時可多層設置集水孔，此水水質(zhì)優(yōu)良且水量穩(wěn)定，受季節(jié)影響較小。

為了保證邊緣能優(yōu)先修復并提高其可靠性，得到更好的修復效果，本文通過改進梯度表示方式，增大了數(shù)據(jù)項D(p)的權(quán)重，優(yōu)化了D(p)，使其能更好地區(qū)分紋理區(qū)域和邊緣區(qū)域，得到更多的邊緣信息，使得邊緣信息更加容易被優(yōu)先修復.

設p點處的梯度為：

I=[Ix,Iy]

(5)

其中，Ix，Iy分別為x，y方向的偏導.在傳統(tǒng)方法中，梯度計算都是用基于歐式距離來表示：

(6)

本文采用的絕對值之和來計算梯度：

(7)

圖2分別給出了Bar圖采用傳統(tǒng)方法梯度法和絕對值之和的梯度提取的結(jié)果.從圖2(b)和圖2(c)的放大部分可以看出，使用傳統(tǒng)的梯度法在某些邊緣區(qū)域(如圖中圓圈所示)，無法提取到該區(qū)域的邊緣結(jié)構(gòu)信息.但采用本文定義的梯度表示方法則較好的提取邊緣結(jié)構(gòu)信息.另外，由于光照線強度決定了數(shù)據(jù)項D(p)的大小，從圖2中可以看出圖像線性結(jié)構(gòu)部分的光照線強度明顯比傳統(tǒng)方法的強.因此，在計算優(yōu)先權(quán)時，采用本文梯度表示方法可以提高數(shù)據(jù)項的權(quán)重，使邊緣區(qū)域更加容易被優(yōu)先修復.

圖2 Bar圖像的梯度圖

在實驗中，通過大量實驗數(shù)據(jù)分析發(fā)現(xiàn)，紋理和邊緣的數(shù)據(jù)項較為接近，從而出現(xiàn)紋理優(yōu)先于邊緣修復導致紋理延伸的現(xiàn)象.因此，為了增加紋理和邊緣的區(qū)分度，在本文中重新定義數(shù)據(jù)項為：

D′(p)=αγ(p)D(p)

(8)

其中，α為經(jīng)驗常數(shù)，一般取100.參數(shù)γ(p)大小由下面方式獲得.沿待修復塊p的法線方向分割待修復塊，獲得兩塊大小相近的圖像塊(分別記作p1和p2)，分別計算p1和p2中已知像素的均值，記作E(p1)和E(p2)，則參數(shù)γ(p)大小定義為：

(9)

其中，η為歸一化參數(shù)取η=255.這樣，本文重新定義的優(yōu)先級函數(shù)為：

P(p)=C(p)·D′(p)

(10)

圖3給出文獻[3]提出的Criminisi算法與本文改進優(yōu)先級函數(shù)的修復結(jié)果的比較，可以看出，改進的優(yōu)先權(quán)函數(shù)保證了邊緣區(qū)域能夠優(yōu)先紋理區(qū)域得到修復，改善了邊緣延伸的現(xiàn)象，本文改進后修復的峰值信噪比為41.067 5dB比Criminisi算法修復的峰值信噪比39.986 6dB高出了將近1dB.

對于稀疏重構(gòu)，由于SL0算法[13]是一種近似l0范數(shù)的稀疏重構(gòu)算法，通過尋求一個連續(xù)函數(shù)逼近l0范數(shù)，求解函數(shù)的最優(yōu)解來實現(xiàn)稀疏重構(gòu).相比于OMP算法，具有不需要事先估計信號的稀疏度，重構(gòu)精度高等優(yōu)點.因此，本算法選用文獻[14]中改進的SL0算法來完成稀疏重構(gòu).

綜上所述，本文算法流程如圖4所示.首先將RGB彩色圖像轉(zhuǎn)換成YUV分量，然后分別對3個分量Y，U，V修復，修復完成后由YUV空間轉(zhuǎn)化回到RGB空間.具體步驟如下：

圖4 修復流程圖

1)利用FastICA算法訓練過完備字典Dy，Du，Dv；

2)提取待修復區(qū)域邊緣；

3)計算邊緣所有點的優(yōu)先權(quán)，按優(yōu)先權(quán)大小將待修復塊排序，將優(yōu)先級最大的待修復塊設為當前待修復塊；

4)選取當前待修復塊，利用SL0算法對其進行重構(gòu)；

5)更新邊緣信息；

6)按照步驟3-5進行像素修復，直到圖像修復完畢.

2 實驗結(jié)果及分析

為了檢驗改進算法的修復效果，在計算機上對條狀破損、小塊破損、大塊破損、文字去除等進行了仿真實驗.實驗中用Matlab R2013a作為工具，在處理器為3.5 GHz INTEL酷睿I7-4710HQ，內(nèi)存為4 GB，操作系統(tǒng)為windows8的PC機上進行模擬仿真.采用的是7×7大小的字典，并與文獻[3]、文獻[4]、文獻[11]算法的修復結(jié)果進行比較分析.下面僅給出部分仿真實驗結(jié)果.

圖5-8分別給出了4種算法對不同彩色破損圖像的修復效果.文獻[3]和文獻[4]算法在修復過程直接利用掩膜方式確定修復塊，未考慮圖像的結(jié)構(gòu)信息，導致紋理上缺少連續(xù)性出現(xiàn)顏色斷裂和紋理延伸現(xiàn)象.在YUV空間中，其U，V分量主要是色度信息，其中的結(jié)構(gòu)信息較少，因此在U，V層分量的修復上，修復效果較好，使得整體的修復效果有了較大的提高，但在Y分量上的修復效果仍然不理想.文獻[11]引入優(yōu)先權(quán)約束圖像塊的修復順序，但其優(yōu)先級函數(shù)不能確保結(jié)構(gòu)部分優(yōu)先得到修復，導致邊緣出現(xiàn)斷裂與紋理延伸的現(xiàn)象.本文算法采用改進優(yōu)先級函數(shù)，修復的圖像更加自然和諧，符合人眼視覺.

圖5 彩色Stone破損圖像修復效果比較

圖6 彩色Lena破損圖像修復效果比較

圖7 彩色baboon破損圖像修復效果比較

圖8 文字移除效果比較

4種算法修復的峰值信噪比(PSNR)值和耗時如表1所示.可以看出，文獻[3]和文獻[4]算法修復的PSNR較低，本算法的PSNR最高，相對提高了1～4 dB；由于文獻[3]算法利用三維張量對彩色圖像直接修復，耗時最短，而本文算法需要確定修復優(yōu)先級順序，所以耗時比其他方法要長，但修復效果較好.

表1 各算法修復的PSNR和耗時比較

3 結(jié)束語

本文提出了一種結(jié)構(gòu)優(yōu)化的彩色圖像稀疏表示的圖像修復算法.本文方法綜合性較好，不僅克服了RGB分量之間的相關性問題，同時也提高了字典訓練的質(zhì)量，有效地改善了邊緣斷裂以及紋理延伸的現(xiàn)象.但是對于較大塊圖像的破損以及紋理較為復雜區(qū)域的修復還是不夠理想，修復時間較長，有待進一步研究和改進.

[1]VANTIGODI S, BABU R V. Entropy constrained exemplar-based image inpainting[C]//2014 International Conference on Signal Processing and Communications (SPCOM). IEEE, 2014:1-5.

[2]XU Y, WANG S. Image inpainting base on color differences and structure differences[C]//Computer Science and Network Technology (ICCSNT), 2013 3rd International Conference on. IEEE, 2013:364-368.

[5]湯慧梅,趙躍進.分數(shù)階微分的CIE L*a*b*顏色空間邊緣檢測[J].中國圖象圖形學報,2013,18(6):19-27.

[6]朱光,師文,朱學芳,等.結(jié)合SURF特征的多功能彩色圖像水印算法[J].中國圖象圖形學報,2013,18(012):1694-1702.

[7]何娟芝.基于YUV顏色空間的邊緣檢測算法研究[D].杭州電子科技大學,2013.

[8]LIU J, SHE K. Independent component analysis algorithm using wavelet filtering[J]. Journal of Electronic Measurement & Instrument, 2010,24(1):39-44

[9]MIN Z, MU Z, WENJIE M. Implementation of FastICA on DSP for Blind Source Separation[J]. Procedia Engineering, 2012,29:4228-4233.

[10]李民,程建,李小文,等.非局部學習字典的圖像修復[J].電子與信息學報,2011,33(11):2672-2678.

[11]SHEN B, HU W, ZHANG Y, et al. Image inpainting via sparse representation[C]//2009 IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2009:697-700.

[12]侯玉婷,彭進業(yè),韓東辰.改進的Criminisi圖像修復算法研究[J].計算機工程與應用,2015,51(11):135-138.

[13]MOHIMANI H, BABAIE-ZADEH M, JUTTEN C. A fast approach for overcomplete sparse decomposition based on smoothedl0norm[J]. IEEE Transactions on Signal Processing, 2009,57(1):289-301.

[14]屠雅麗,唐向宏,張東,等.SL0分類稀疏表示的圖像修復算法[J].杭州電子科技大學學報,2016,36(1)：32-36.

Color Inpainting by Structural Optimization and Sparse Representation

ZHANG Shaopeng, TANG Xianghong, LAI Yili, HE Yuting

(SchoolofCommunicationEngineering,HangzhouDianziUniversity,HangzhouZhejiang310018,China)

Since the correlation and the complexity structure of RGB color model leads to the shortcomings on non-ideal effect of the color image restoration process, this paper proposes a new sparse representation color inpainting method to improve the repair effect. Firstly, the RGB color image is mapped into YUV model and divided parts. Then useful information is extracted from the volume of natural and undamaged images. Using the FastICA algorithm to obtain a complete dictionary; at last priority function is used to determine to repair the turn to be repaired, combining with reconstruction algorithm SL0 to treat repair piece of reconfiguration and repaint. Experimental results show that proposed method can effectively repair the strip breakage, small damage, large pieces of broken images and the text removed, and repairing boundary and the texture is more conformed to the human eye vision effect.

YUV; FastICA algorithm; learned dictionary; priority function

10.13954/j.cnki.hdu.2017.03.007

2016-09-09

張少鵬(1992-)，男，浙江武義人，碩士研究生，數(shù)字圖像修復.通信作者：唐向宏教授，E-mail：tangxh@hdu.edu.cn.

TP391

A

1001-9146(2017)03-0029-06