徐 梅 張顯強(qiáng)*
(貴州警察學(xué)院實(shí)驗(yàn)中心,貴州 貴陽(yáng) 550002 )
隨著日新月異的智能化和大數(shù)據(jù)技術(shù)發(fā)展,圖像復(fù)原技術(shù)承載著先進(jìn)性供于軍事、測(cè)控中心、醫(yī)學(xué)成像和公安偵查等領(lǐng)域使用。隨著全國(guó)平安城市建設(shè)的推進(jìn),攝像頭24 h不間斷監(jiān)控已經(jīng)成為對(duì)重點(diǎn)防控區(qū)域進(jìn)行監(jiān)控的技術(shù)手段。目前,諸多單位、公共場(chǎng)所均已安裝攝像頭和監(jiān)控錄像系統(tǒng)以便實(shí)時(shí)檢測(cè),例如:政府機(jī)關(guān)、銀行、公安、軍事基地、收費(fèi)站、商場(chǎng)、超市、工廠、居民小區(qū)等,它們利用自身優(yōu)勢(shì)對(duì)日常發(fā)生事件及社會(huì)人的行為進(jìn)行實(shí)時(shí)觀察、記錄、特殊事件下對(duì)特定場(chǎng)所、特定人員的音頻、視頻信息進(jìn)行處理。監(jiān)控錄像對(duì)保障人民利益和監(jiān)督公共安全方面責(zé)無(wú)旁貸,尤其是記錄了大量犯罪分子作案的現(xiàn)場(chǎng)視頻、痕跡以及其他有用信息。然而,監(jiān)控在獲取圖像的過(guò)程中,由于監(jiān)控位置安裝不當(dāng)、光學(xué)系統(tǒng)散焦背景下光線太暗或太亮、監(jiān)控與景物之間的相對(duì)運(yùn)動(dòng)、存儲(chǔ)介質(zhì)的局部損壞以及傳感器硬件設(shè)備性能的局限性等多種因素,使得視頻圖像的質(zhì)量退化現(xiàn)象無(wú)法規(guī)避,造成圖像模糊不清。不能為城市視頻監(jiān)控系統(tǒng)質(zhì)量評(píng)估提供依據(jù)支撐,也不能為偵查破案提供有價(jià)值的線索。在一定條件下,通過(guò)圖像處理技術(shù)(圖像去霧、圖像去噪、圖像復(fù)原等)對(duì)監(jiān)控錄像帶中的模糊圖像(或退化圖像)進(jìn)行處理,可獲得可辨認(rèn)的人像或車(chē)牌號(hào)碼等較清晰的圖像信息,從而使視頻圖像的質(zhì)量評(píng)價(jià)分?jǐn)?shù)得以提高,為公安機(jī)關(guān)破案提供正確的偵查方向和范圍,提高破案效率。
圖像退化過(guò)程中有效高頻信息的缺失是導(dǎo)致圖像模糊的成因。這些高頻信息正是體現(xiàn)圖像細(xì)節(jié)的關(guān)鍵所在,圖像復(fù)原與圖像退化互為逆過(guò)程,圖像復(fù)原即是找回缺失的高頻信息,這種復(fù)原技術(shù)過(guò)程是對(duì)圖像退化的過(guò)程進(jìn)行分析,依據(jù)退化原因建立圖像退化模型,采取精準(zhǔn)的復(fù)原技術(shù)算法復(fù)原成盡可能清晰的高質(zhì)量圖像。由于方法的誤差性,各種算法過(guò)程大都是近似的,一般用某些最佳準(zhǔn)則來(lái)作為約束,其基本理論是解析延拓理論[1]和正則化理論[2]。根據(jù)采集者的需求,將退化后圖像的各個(gè)部分進(jìn)行復(fù)原可以得到許多有用的信息[3]。例如在刑事偵查中,犯罪嫌疑人的模糊行為可以通過(guò)圖像復(fù)原的方法進(jìn)行恢復(fù)等,因此研究圖像視頻的清晰度復(fù)原具有重要的技術(shù)價(jià)值和現(xiàn)實(shí)意義。文章主要針對(duì)模糊圖像的復(fù)原方法原理進(jìn)行研究,在對(duì)圖像去噪、圖像復(fù)原、圖像去霧等算法進(jìn)行分析,介紹小波閾值去噪聲法、維納濾波復(fù)原法、正則化復(fù)原法、圖像去霧算法等方法的關(guān)鍵技術(shù)。
近年來(lái),小波理論以?xún)?yōu)良的時(shí)頻特性及實(shí)際應(yīng)用廣泛等特點(diǎn)而受到去噪領(lǐng)域中研究者的青睞和重視?;谛〔ㄗ儞QDonoho提出了小波閾值去噪理論[4-5]。其中,軟硬閾值去噪方法因具有較強(qiáng)的實(shí)際應(yīng)用及優(yōu)良的運(yùn)算性能效果,其方法備受各界人士關(guān)注。基于小波閾值去噪算法的主要思想是:基于二維圖像構(gòu)造含噪公式,如式(1)所示,在考慮圖像去噪的基礎(chǔ)上結(jié)合閾值思想,將這個(gè)閾值作為臨界點(diǎn)分離含噪成分。
其中,無(wú)噪圖像表示為f(x, y),非高斯噪聲表示為n(x, y),均值為零,方差為σ[6]。去噪過(guò)程主要分為五個(gè)步驟完成,第一步,由離散小波變換對(duì)e(x, y)=f(x, y)+n(x, y)含噪圖像進(jìn)行處理,得到有用信息的小波系數(shù)和噪聲對(duì)應(yīng)的小波系數(shù)。第二步,經(jīng)過(guò)小波分解,得到高頻幅值大的有用信號(hào)小波系數(shù)和低頻幅值小的噪聲小波系數(shù),此時(shí)設(shè)定一個(gè)合適的閾值λ。第三步,過(guò)渡到分尺度閾值去噪階段,以閾值λ為分界點(diǎn),將小于、大于閾值的分解系數(shù)分離開(kāi)。第四步,對(duì)分離結(jié)果進(jìn)行處理,舍棄小于閾值λ部分由噪聲引起的分解系數(shù),保留經(jīng)篩選程序大于閾值λ的分解系數(shù)(硬閾值方法);對(duì)閾值λ小于或是等于分解系數(shù)絕對(duì)值的值做平移收縮處理(軟閾值方法),最后一步是用處理后的小波系數(shù)進(jìn)行重構(gòu)信號(hào),即可重構(gòu)去噪圖像,以此為依據(jù)完成對(duì)圖像的高效去噪。其基本流程圖如圖1所示。
圖1 小波閾值去噪流程圖
硬閾值函數(shù):
軟閾值函數(shù):
其中,sgn(x)為符號(hào)函數(shù)。在閾值的確定上,Donoho首先提出了通用的閾值為其中,σ為噪聲標(biāo)準(zhǔn)方差,M代表了圖像像素的行,N代表了圖像像素的列,如何選取閾值的范圍,噪聲的標(biāo)準(zhǔn)方差和信號(hào)的長(zhǎng)度是復(fù)原圖像的關(guān)鍵。
影響小波降噪效果的因素很多,但閾值函數(shù)和閾值的選取對(duì)實(shí)現(xiàn)小波閾值去噪具有決定性作用,是其核心因素。雖然軟、硬閾值函數(shù)對(duì)圖像去噪效果較好,但也存在硬閾值函數(shù)不連續(xù)的缺陷,軟閾值函數(shù)相較于硬閾值函數(shù)雖然連續(xù),若出現(xiàn)某個(gè)閾值小于系數(shù)時(shí),恒定偏差就會(huì)產(chǎn)生,這一結(jié)果的產(chǎn)生會(huì)導(dǎo)致了圖像變得光滑,而未能顯現(xiàn)出較多細(xì)節(jié),不利于圖像的去噪。
維納濾波復(fù)原法和逆濾波復(fù)原算法兩者均建立在圖像退化這個(gè)基礎(chǔ)上,且前者是在后者的基礎(chǔ)上改進(jìn)而得。因此,下面簡(jiǎn)單對(duì)圖像退化機(jī)制和逆濾波復(fù)原算法進(jìn)行介紹。
圖像模糊、降質(zhì)、失真、含噪等現(xiàn)象普遍存在于圖像退化過(guò)程中,影響了圖像的清晰度,要得到盡可能清晰的圖像,了解圖像退化的機(jī)制和構(gòu)建降質(zhì)圖像相應(yīng)的數(shù)學(xué)模型成為至關(guān)重要的因素。為了使數(shù)學(xué)模型得以簡(jiǎn)化,通常將圖像的降質(zhì)過(guò)程看作一個(gè)線性不變的過(guò)程。設(shè)原始圖像函數(shù)f(x,y)經(jīng)過(guò)一個(gè)系統(tǒng)函數(shù)H(x, y)作用后,與噪聲函數(shù)n(x, y)相加,形成退化后的圖像函數(shù)g(x, y),即可得到實(shí)際的圖像,這一過(guò)程用數(shù)學(xué)表達(dá)式為:所以,圖像退化的一般模型可如圖2表示。
如果把公式(4)寫(xiě)成卷積形式則可以用公式(5)表示:
無(wú)噪聲時(shí),又可表示為
圖像逆濾波復(fù)原算法是一種較簡(jiǎn)單、使用最早的無(wú)約束復(fù)原方法[7]。此算法是基于傅立葉變換中的卷積定理,對(duì)模型做傅立葉變換處理,得到式(7)的表達(dá)式。
式中:F(u, v)—未失真圖像;H(u, v)—退化模型;G(u, v)—退化圖像;N(u, v)—含噪聲的離散傅立葉變換。
尋找傳輸函數(shù)為H(u, v)的?濾 波 器成為維納濾波方法的核心步驟,它使復(fù)原出的圖像(x ,y)與原始圖像f(x, y)的均方誤差達(dá)到最小,如公式(8)所示:
采用維納濾波恢復(fù)得到的最佳估計(jì),由公式(9)給出:
其中,式中[]—維納濾波器;H*(u,v)—H(u, v)的共軛序列;pn(u, v)—噪聲圖像的功率譜;pf(u, v)—未降質(zhì)圖像的功率譜,兩者的比值為歸一化的計(jì)算提供條件??陀^上,很難估計(jì)pn(u, v)和pf(u, v),因此,通常用下式來(lái)近似維納波復(fù)原[8-9]:
式中:γ—常數(shù),在數(shù)值上取Lagrange乘子λ的倒數(shù)。
基于最小均方誤差為準(zhǔn)則的維納濾波方法,解決圖像的噪聲方面有較好的效果,但也存在不足之處。其在視覺(jué)效果方面不滿(mǎn)足人眼視覺(jué)特性。人眼對(duì)諸如暗處和高梯度等地的誤差敏感度會(huì)大大下降;此外大部分圖像實(shí)際是非平穩(wěn)的隨機(jī)過(guò)程,使用維納濾波復(fù)原的前提條件較難實(shí)現(xiàn)。
從圖2的圖像退化模型可知,圖像退化模型中或多或少存在不同程度的噪聲因素,在整個(gè)求解清晰圖像的過(guò)程中可能存在以下三種情況:
(1)無(wú)解。當(dāng)出現(xiàn)噪聲引入在采集視頻圖像中,此時(shí)由于噪聲大、成分復(fù)雜會(huì)導(dǎo)致復(fù)原圖像嚴(yán)重畸變,這樣就無(wú)法求解出原始清晰圖像。
(2)非唯一解。在一個(gè)圖像序列中,高頻信息往往能夠體現(xiàn)諸多相似特性的細(xì)節(jié),且序列圖像之間存在著空間和時(shí)間連續(xù)性,某一特定特征對(duì)應(yīng)了特定的高頻細(xì)節(jié)信息,如果此對(duì)應(yīng)的高頻細(xì)節(jié)信息缺失;最終可能會(huì)出現(xiàn)多個(gè)解的現(xiàn)象,對(duì)應(yīng)的也能求解出多個(gè)原始圖像。
(3)非連續(xù)解。出現(xiàn)此種情況主要是噪聲和 PSF(點(diǎn)擴(kuò)散函數(shù))對(duì)成像過(guò)程中有一定的影響。PSF在成像過(guò)程中扮演了有限沖激響應(yīng)濾波器的角色,對(duì)盲復(fù)原來(lái)說(shuō),提高解卷積恢復(fù)出的原始圖像質(zhì)量通常依賴(lài)于PSF準(zhǔn)確性的估計(jì),因此,PSF估計(jì)的準(zhǔn)確性對(duì)整個(gè)圖像的復(fù)原效果是決定因素之一。而噪聲一般分布在高頻信號(hào)中,若高頻部分出現(xiàn)稍小的噪聲擾動(dòng)、PSF的估計(jì)不準(zhǔn)確、出現(xiàn)偏差都會(huì)導(dǎo)致圖像突發(fā)性及較大幅度的改變,圖像的嚴(yán)重畸變成為一個(gè)不可避免的結(jié)果,這樣就很可能存在非連續(xù)解。
超圖像復(fù)原過(guò)程中通常發(fā)生這種不適定的求逆問(wèn)題[10]。正則化方法[11-12]成為解決此類(lèi)問(wèn)題的首選方法。其主要思想步驟是從式(4)中得到g、H與n的相關(guān)知識(shí),再求原圖像的近似解,它是利用圖像的先驗(yàn)知識(shí)等約束對(duì)解空間,從而創(chuàng)造約束條件,其優(yōu)化解可以由式(5)轉(zhuǎn)變而得,即:
圖2 圖像退化模型圖
在霧天環(huán)境下,拍攝到的圖像視頻具有霧雜質(zhì),為獲得去霧清晰圖片,追根溯源是要對(duì)造成圖像退化的物理機(jī)理深入了解。霧天條件下大氣中會(huì)懸浮過(guò)多的小微粒,在光系統(tǒng)的作用下這些小微粒發(fā)生散射效應(yīng)。散射現(xiàn)象的主要表現(xiàn)是使物體表面反射光減少,相應(yīng)地也會(huì)引起觀測(cè)到的光強(qiáng)度降低,即隨著傳播距離越遠(yuǎn),傳播過(guò)程中有各類(lèi)介質(zhì)阻礙光沿原來(lái)的路徑傳播,偏離原路徑使光強(qiáng)度隨之削弱。同時(shí),基于光源特性霧周邊環(huán)境的大氣光也對(duì)這些粒子有散射作用,經(jīng)試驗(yàn)證明這種光強(qiáng)度與傳播距離成反比關(guān)系[13]。所以上述情況最終導(dǎo)致霧天拍攝圖像視覺(jué)效果不好,如對(duì)比度低、顏色暗淡等特征有明顯的退化。1975年,Mc Cartney根據(jù)著名的Mie散射理論提出了新的大氣散射模型[14],此模型的應(yīng)用率較高,已普及到計(jì)算機(jī)視覺(jué)及圖像處理領(lǐng)域。
在計(jì)算機(jī)圖像處理學(xué)中,霧天圖像的退化模型采用式(12)來(lái)描述:
其中,I(x)=(I(x), I(x), I(x))T— 實(shí)際得到的霧天圖像;
rgbJ(x)=(Jr(x), Jg(x), Jb(x))T—無(wú)霧圖像,A—大氣光估計(jì)值;t(x)表示透射率。
霧天圖像復(fù)原算法的成功與否取決于能否準(zhǔn)確估計(jì)出透射率t(x)和大氣光值A(chǔ)。對(duì)式(11)進(jìn)行變換得可得到退化前的圖像。該算法首先輸入霧天圖像得到暗原色圖像,通過(guò)Levin的soft摳圖方法[15]計(jì)算得到拉普拉斯矩陣L,以暗原色圖像為基礎(chǔ)可粗略估計(jì)出大氣光值A(chǔ)和透射率t(x)。將拉普拉斯矩陣與透射率t(x)共同作用,可計(jì)算求得稀疏線性系統(tǒng)得到精細(xì)化的透射率圖t ′(x)。將所得到大氣光值A(chǔ)和精細(xì)化透射率t ′(x)結(jié)合求解出無(wú)霧圖像J(x),根據(jù)霧天圖像的退化模型實(shí)現(xiàn)對(duì)霧天圖像的復(fù)原。其流程圖如圖3所示。
圖3 去霧算法流程圖
基于暗原色先驗(yàn)的圖像去霧法是一種對(duì)圖像景物要求較高的去霧算法,滿(mǎn)足暗原色先驗(yàn)特征的圖像還原效果較理想,圖像中出現(xiàn)天空或者白色物體的景象,會(huì)產(chǎn)生一定誤差的大氣光值和透射率估計(jì),因此還原圖像的效果較不理想 。
通過(guò)以上對(duì)四種圖像復(fù)原技術(shù)算法的介紹,正則化復(fù)原方法是諸多經(jīng)典復(fù)原算法中使用率較多的算法,它的解能夠更好地趨近清晰圖像的解,使復(fù)原過(guò)程中存在的病態(tài)問(wèn)題得以解決,其應(yīng)用更加普遍。以上四種復(fù)原技術(shù)都能很好地對(duì)圖像進(jìn)行復(fù)原。然而任何一種單一的復(fù)原技術(shù)都不是獲得圖像清晰的最佳方法,因此,目前大多數(shù)的研究人員利用復(fù)原技術(shù)的優(yōu)缺點(diǎn)將多種方法結(jié)合還原圖像的清晰度,以期為研究圖像模糊復(fù)原技術(shù)在各行各業(yè)中的應(yīng)用專(zhuān)家和學(xué)者提供理論參考依據(jù)。