武楠,王珩
(上海海事大學(xué) 信息工程學(xué)院,上海 200135)
網(wǎng)絡(luò)、視頻通信技術(shù)的快速發(fā)展和視頻監(jiān)控系統(tǒng)的廣泛應(yīng)用,使得視頻圖像的分析和內(nèi)容識別也得到大力推廣。因此,如何從視頻監(jiān)控系統(tǒng)中恢復(fù)受條紋干擾的幀圖像成為人們關(guān)注的焦點(diǎn)。同時,圖像條紋噪聲使一些基于圖像識別和目標(biāo)跟蹤等智能化監(jiān)控受到限制,這些應(yīng)用大多是基于圖像邊緣特性分析,條紋噪聲干擾給圖像的定性和定量分析帶來困難,限制了可疑目標(biāo)的進(jìn)一步分析。因此,必須尋求合適的條紋噪聲去除算法,首先將圖像中條紋噪聲去除,然后進(jìn)行分析和比較來保證分析結(jié)果的可靠性。由此可知視頻圖像監(jiān)控條紋噪聲去除算法的研究具有重要意義。
目前,針對圖像噪聲去除方法的研究,大都是在空間域和變換域進(jìn)行噪聲去除。在空間域中,遙感圖領(lǐng)域,結(jié)構(gòu)光條紋領(lǐng)域等有廣泛應(yīng)用,因此很多國內(nèi)外學(xué)者進(jìn)行了相關(guān)的研究。典型的空域橫紋噪聲消除方法主要有直方圖匹配方法[1-2]和矩匹配方法[3],其中直方圖匹配對圖像的均勻性要求較高,效果并不理想;而矩匹配方法是應(yīng)用較為廣泛的條紋噪聲消除方法,但在景物較復(fù)雜時該方法會產(chǎn)生“帶狀效應(yīng)”[3]。在變換域中,主要有傅里葉變換、小波變換[4-5]等。傅里葉變換把空間域與頻率域聯(lián)系了起來,將圖像變換到頻率域,從而利用信號與噪聲占有不同的頻率成分來進(jìn)行濾波,達(dá)到消除噪聲的目的,但是傅立葉變換欠缺對圖像局部分析能力。小波變換計算量較大不符合視頻監(jiān)控系統(tǒng)實(shí)時性要求。因此將空域和頻域有機(jī)地結(jié)合起來,使信號與噪聲在頻率域較好地得到分離,取得了較好的噪聲去除效果,在去除噪聲同時保持圖像的紋理細(xì)節(jié)方面具有較好地平衡。
頻域?yàn)V波是利用圖像變換方法將原來的圖像空間中的圖像以某種形式轉(zhuǎn)換到其它空間中,利用該空間的特有性質(zhì)方便地進(jìn)行圖像處理,最后再轉(zhuǎn)換回原來的圖像空間中,得到處理后的圖像。頻域?yàn)V波技術(shù)的基礎(chǔ)是傅里葉變換和卷積理論。 假定 g(x,y)表示函數(shù) f(x,y)與線性移不變算子 h(x,y)進(jìn)行卷積運(yùn)算的結(jié)果:
因此可得:
其中 G、F、H 分別是函數(shù) g(x,y)、 f(x,y)、h(x,y)的傅里葉變換。頻域?yàn)V波方法的系統(tǒng)框圖如圖1所示,濾波處理過程可分為3步:1)選擇變換方法,將輸入圖像變換到頻域空間;2)在頻域空間中,根據(jù)處理目的設(shè)計一個轉(zhuǎn)移函數(shù)并進(jìn)行處理;3)將所得結(jié)果用傅里葉逆變換得到濾波圖像。
圖1 頻域?yàn)V波系統(tǒng)方框圖Fig.1 The frame chart of filtering in frequency domain
基于傅里葉變換的條紋噪聲去除方法中,陷波濾波器參數(shù)D0較難確定,前人多是先進(jìn)行人為地尋找,觀察并統(tǒng)計條紋噪聲的頻率成分和規(guī)律。針對這個問題,文中提出了自動尋找頻率成分的頻域累積分布函數(shù)映射法。
對于一幅大小為 M×N的頻域圖像 F(u,v),設(shè)其行列數(shù)分別是M和N,其中行方向上的累積分布函數(shù)為:
上式計算行方向上的累積分布函數(shù)SD(u),計算橫紋噪聲的頻率點(diǎn)即峰值點(diǎn)P,如圖2所示。
圖2 行方向積累分布函數(shù)Fig.2 Line orientation distribution function
針對基于傅里葉變換的條紋噪聲去除方法會造成對圖像邊緣的模糊的問題,本算法采用Laplacian算子增強(qiáng)圖像的噪聲點(diǎn)、細(xì)線與邊緣,突出圖像細(xì)節(jié)紋理。利用3×3的方向模板與圖像中每個點(diǎn)進(jìn)行鄰域卷積來完成,一個二維圖像的拉普拉斯Laplacian算子如下。
Δ2f=4f(x,y)-f(x-1,y)-f(x+1,y)-f(x,y-1)-f(x,y+1) (4)
去除圖像傳感器故障引起的等間距橫紋噪聲的算法大致分為兩步,先將幀圖像進(jìn)行傅里葉變換,進(jìn)行頻域?yàn)V波處理,其中傳遞函數(shù)選擇Butterworth陷波器,運(yùn)用頻域累積分布函數(shù)映射法自動尋找橫紋噪聲頻率成分;其次計算去噪圖像與Laplacian算子的卷積,得到銳化圖像,最后銳化圖像與原始圖像做圖像加法處理,完成橫紋噪聲去除同時增強(qiáng)圖像邊緣。
具體的算法步驟描述如下:
1)從當(dāng)前實(shí)時視頻圖像序列中截取當(dāng)前一幀圖像,對其規(guī)格化為320×240并進(jìn)行灰度變換處理,然后運(yùn)用公式(5)進(jìn)行傅里葉變換,得到 F(u,z)。
2)構(gòu)造自適應(yīng)陷波濾波器H(u,v)。方法如下,實(shí)驗(yàn)中利用公式(6)計算幅度譜行方向積累分布函數(shù):
計算橫紋噪聲的頻率點(diǎn)異常峰值P的橫坐標(biāo)T=60,因此可得(u0,v0)=(60,161),選用 2 階數(shù)的巴特沃思陷波濾波器構(gòu)建自適應(yīng)濾波器 H(u,v),如公式(7)、(8)、(9)。
3) 運(yùn)用式(10),(11)對幀圖像進(jìn)行頻域?yàn)V波處理,傳遞函數(shù)為式(9),得到恢復(fù)圖像 g(x,y)。
4)通過Laplacian算子與恢復(fù)圖像g(x,y)進(jìn)行卷積處理,其中選用Laplacian算子模板,將銳化圖像與恢復(fù)圖像g(x,y)用式(12)圖像加法處理,得去除條紋噪聲圖像f^(x,y)。
為了驗(yàn)證本算法的有效性,把由720×576分辨率的圖像傳感器故障引起橫紋噪聲RGB視頻中抽取的橫紋幀作為測試樣本,實(shí)驗(yàn)程序在PC機(jī)上運(yùn)行,先將幀圖片規(guī)格化為320×240。通過上述的算法原理,得到頻率域的噪聲點(diǎn)的坐標(biāo)是 (60,161)。將得到的參數(shù)運(yùn)用到本算法并用傳統(tǒng)的低通濾波器、帶阻濾波器和陷波濾波器仿真后對比結(jié)果如圖3所示。
其中(a)圖是由于圖像傳感器故障引起的等間距橫紋噪聲,(b)圖是本算法的條紋去除效果圖,(c)Butterworth低通濾波器疊加在原頻譜的效果圖,(d)Butterworth低通濾波器濾波后的恢復(fù)圖,(e)Butterworth帶阻濾波器疊加在原頻譜的效果圖 , (f)Butterworth 帶 阻 濾 波 器 濾 波 后 的 恢 復(fù) 圖 , (g)Butterworth陷波濾波器疊加在原頻譜的效果圖,(h)Butterworth陷波濾波器濾波后的恢復(fù)圖。為了定量的評價各種方法對條紋噪聲的消除能力和效果,對圖3原圖和各濾波后的效果圖進(jìn)行圖像質(zhì)量的評價[6],即計算方差、均方誤差(MSE)、結(jié)構(gòu)相似度[7](SSIM)和各個圖像的列剖面線圖 4個評價指標(biāo),實(shí)驗(yàn)數(shù)據(jù)如表1所示。
圖3 條紋噪聲去除的實(shí)驗(yàn)結(jié)果Fig.3 Experimental results of removing stripe noise
表1 評價指標(biāo)Tab.1 Index of evaluation
表1中,對于視頻監(jiān)控條紋噪聲圖像來說,它本身沒有標(biāo)準(zhǔn)的原始圖像,這里將恢復(fù)圖作為參考圖像用于計算均方誤差,由于用的參考圖像是恢復(fù)圖像,所以均方誤差值大反而性能好。陷波濾波圖像和帶阻濾波圖像的方差相差不大,表明這兩個圖像受橫紋噪聲污染較輕,本算法方差最小,而原圖受橫紋噪聲污染最嚴(yán)重。低通濾波圖像的均方誤差數(shù)最小,這表明它和原圖較為接近,即低通濾波去除橫紋的性能最差,本算法均方誤差數(shù)最大說明本算法去除橫紋的性能最好。結(jié)構(gòu)相似度評價指標(biāo)中,本算法的結(jié)構(gòu)相似度最小,說明本算法恢復(fù)圖與受橫紋干擾的原圖相似度最小。綜上所述,本算法更適合用于圖像傳感器故障引起的等間距橫紋噪聲的去除。
文中針對視頻圖像中圖像傳感器故障引起的等間距橫紋噪聲去除問題,提出了基于陷波濾波器的去除條紋噪聲算法。首先將視頻條紋圖進(jìn)行傅立葉變換,通過頻域累積分布函數(shù)映射法構(gòu)造了基于陷波濾波器的自適應(yīng)濾波器,用得到的濾波器對變換后的條紋圖像進(jìn)行濾波并進(jìn)行傅里葉逆變換得到恢復(fù)圖像,最后用Laplacian算子對恢復(fù)圖像進(jìn)行銳化處理并與恢復(fù)圖像疊加,得到最終的去噪圖像。實(shí)驗(yàn)表明,本算法適合用于去除有圖像傳感器故障引起的等間距橫紋噪聲,各種評價指標(biāo)都高于傳統(tǒng)的條紋去噪方法;但此算法的局限性在于只能用于等間距橫紋噪聲的去除,對其它攝像頭干擾或故障引起的斜紋,細(xì)紋等條紋不能去除,這也是后續(xù)工作的研究重點(diǎn),使算法的應(yīng)用更具普遍性。
[1]Hom BKP,Woodham RJ.Destriping landsat MSSimagery by histogram modification[J].Compute Graph&Image Process,1979(10):69-83.
[2]Kautsky J,Nichols N K,Jupp D L B.Smoothed histogram modification for image processing[J].Compute Vis&Image Process,1984(26):271-290.
[3]劉正軍,王長耀,王成.成像光譜儀條帶噪聲去除的改進(jìn)矩匹配方法[J].遙感學(xué)報,2002,6(4):280-284.LIU Zheng-jun,WANG Chang-yao,WANG Cheng.Imaging spectrometer to remove noise bands of improved torque match method[J].Journal of Remote Sensing,2002,6(4):280-284.
[4]Govani C,Marco D,Thomas W.Striping removal in MOS-B data[J].IEEETransactions on Geoscience&Remote Sensing,2000,38(3):1439-1446.
[5]羅元俊,葉雪梅,范青剛.離散傅里葉變換和組合能量熵的紋理圖像分析[J].電子科技,2011(1):9-11.LUO Yuan-jun,YE Xue-mei,FAN Qing-gang.Texture image analysis based on discrete fourier transform and permutation entropy[J].Electronic Science and Technology,2011(1):9-11.
[6]高新波,路文.視覺信息質(zhì)量評價方法[M].西安:西安電子科技大學(xué)出版社,2010.
[7]WANG Zhou,LU Li-gang,Bovik,et al.Video quality assessment based on structural distortion measurement[J].Signal Processing:Image Communication,2004,19(2):121-132.