呂美琪,孫忠貴

(聊城大學(xué) 數(shù)學(xué)科學(xué)學(xué)院,山東 聊城 252059)

0 引言

數(shù)學(xué)形態(tài)學(xué)早在20世紀60年代就被提出,因其嚴謹?shù)睦碚摶A(chǔ)和豐富的算子實現(xiàn),至今仍在圖像處理的眾多領(lǐng)域有著廣泛應(yīng)用,如圖像濾波[1],邊緣檢測[2],特征提取[3],目標識別[4]及圖像分割[5]等圖像處理的眾多領(lǐng)域有著廣泛應(yīng)用。最初的形態(tài)學(xué)應(yīng)用主要針對二值圖像,隨后逐步拓展到灰度圖像和彩色圖像[6]。其基本思想是結(jié)合不同任務(wù)采用不同大小與形狀的結(jié)構(gòu)體,完成對待處理圖像的度量。結(jié)構(gòu)體在本質(zhì)上是一個與任務(wù)先驗相關(guān)的圖像子集,一般分為平坦結(jié)構(gòu)體和非平坦結(jié)構(gòu)體兩類。前者的構(gòu)建僅依賴于空間位置,這意味著其成員具有相同的灰度值;后者,即非平坦結(jié)構(gòu)體,在構(gòu)建上除依賴空間位置外,其不同成員還往往具有不同的灰度值。在結(jié)構(gòu)體的基礎(chǔ)上,一系列的形態(tài)學(xué)算子被定義出來,其中腐蝕和膨脹是兩個最基本算子。其他算子,如開運算和閉運算,一般可通過腐蝕和膨脹算子的組合形式實現(xiàn)。具體到經(jīng)典形態(tài)學(xué)(Traditional mathematical morphology,TMM),其算子由平坦結(jié)構(gòu)體定義,通常具備良好的數(shù)學(xué)性質(zhì),其中最具代表性的是保序性和附益性。正是由于這些數(shù)學(xué)性質(zhì)使經(jīng)典形態(tài)學(xué)具備了堅實的理論基礎(chǔ)。然而,由于其結(jié)構(gòu)體的局部性(成員來源于當(dāng)前像素點附近),經(jīng)典形態(tài)學(xué)仍屬于局部算法。

非局部算法通過利用圖像的自相似性,使得濾波器在處理圖像時能夠更好的保留邊緣及具有周期性的紋理。隨著基于片的非局部均值濾波器(Nonlocal means filter,NLM)[7]的提出,許多著名的非局部算法,如K-SVD[8]和BM3D[9]應(yīng)運而生。非局部算法在近年受到越來越多專家們的關(guān)注。許多傳統(tǒng)的局部算法也被擴展到非局部或局部非局部結(jié)合的形式,并獲得了更好的算法性能。事實上,經(jīng)典形態(tài)學(xué)的非局部拓展也是近年來一個比較活躍的研究方向。為方便描述,本文將這些拓展算法統(tǒng)稱為非局部形態(tài)學(xué)(Nonlocal mathematical morphologies,NLMMs)。

通過借用圖像的非局部相似性權(quán)值與像素灰度值直接相加構(gòu)建結(jié)構(gòu)體,文獻[10]最早嘗試將經(jīng)典形態(tài)學(xué)由局部拓展到非局部,但其算子的許多數(shù)學(xué)性質(zhì)無法得到保持。為彌補這一缺陷,文獻[11]通過定義結(jié)構(gòu)體系統(tǒng),提出了一種改進的非局部形態(tài)學(xué),使得兩個基本算子(腐蝕和膨脹)的附益性得到了保持。遺憾的是,其保序性依然不能成立[12]。并且,上述權(quán)值與像素灰度值兩個不同量綱因素直接組合相加構(gòu)建結(jié)構(gòu)體的方式缺乏明確的物理意義,這給實際應(yīng)用帶來困難。針對這一缺陷,近年有相關(guān)工作通過將像素灰度值引入非局部權(quán)值項增強了其結(jié)構(gòu)體的物理可解釋性,同時也保留了相應(yīng)形態(tài)學(xué)算子的保序性和附益性[12,13]。需要指出,現(xiàn)有的這些形態(tài)學(xué)非局部拓展算法,其結(jié)構(gòu)體包括了所有非局部(搜索窗)成員。這種過于寬泛的成員選取,導(dǎo)致結(jié)構(gòu)體的可靠性較差,進而,不可避免會降低算法的有效性[14]。此外,相對于固定結(jié)構(gòu)體的經(jīng)典形態(tài)學(xué),作為一類自適應(yīng)(結(jié)構(gòu)體可變)算法,NLMMs還具有對噪聲較為敏感[15]的缺陷。

基于上述分析,本文提出了一種新的非局部形態(tài)學(xué)算子(Reciprocal nonlocal mathematical morphology,RNLMM)。首先,我們通過相互近鄰(k-reciprocal nearest neighbors,KRNN)[16]策略對文獻[12]中的結(jié)構(gòu)體施加對稱性約束,有效克服了使用經(jīng)典K近鄰算法可能造成的非對稱性,從而使所提形態(tài)學(xué)算子保持了更多的數(shù)學(xué)性質(zhì)。其次,通過形態(tài)學(xué)算子的串行(局部與非局部相組合)實現(xiàn),增強對噪聲的魯棒性。理論表明,所提形態(tài)學(xué)(RNLMM)的數(shù)學(xué)性質(zhì)得到較好保持。同時,自然圖像與卡通圖像的去噪實驗均初步驗證了RNLMM的有效性。

1 相關(guān)工作

為便于算法描述,本節(jié)將對相關(guān)知識進行簡要回顧。首先對經(jīng)典形態(tài)學(xué)(TMM)進行介紹,其次描述了非局部均值濾波器(NLM),最后討論了近年所提出的三種代表性的非局部形態(tài)學(xué)算法(NLMMs)。

1.1 形態(tài)學(xué)基本概念及相關(guān)性質(zhì)

數(shù)字圖像I可以看作是一個從定義域Ω到值域F的數(shù)值函數(shù)。對于n維圖像,Ω是離散空間?n的子集,F是圖像灰度值的集合。則I可表示為集合Ω到集合F的映射函數(shù)x?I(x),式中x∈Ω且I∈Fun(Ω,F)。

經(jīng)典形態(tài)學(xué)(TMM)為圖像處理提供了一類廣泛的非線性算子。這些算子的本質(zhì)是待處理圖像與結(jié)構(gòu)體之間的相互作用。在形態(tài)學(xué)算子中,腐蝕和膨脹是兩個最基本的算子。其他算子,如開運算和閉運算,都以它們的組合形式來表示。

對于平坦結(jié)構(gòu)體,其對應(yīng)腐蝕(ε)和膨脹(δ)算子分別定義為

對于非平坦結(jié)構(gòu)體,腐蝕和膨脹算子分別定義為

這里SE(x)(y)為像素y處的SE(x)灰度值。

腐蝕和膨脹作為經(jīng)典形態(tài)學(xué)的兩種基本算子,具有良好的數(shù)學(xué)性質(zhì)。其中保序性(定理1)和附益性(定理2)尤為重要。

定理1對圖像I∈Fun(Ω,F),

定理2對圖像J1,J2∈Fun(Ω,F),

式中保序性是形態(tài)梯度定義的理論依據(jù),而形態(tài)學(xué)梯度在邊緣提取中有著重要應(yīng)用[6]。另一方面,附益性刻畫了腐蝕與膨脹算子之間的密切關(guān)系,從而保證了閉運算和開運算的數(shù)學(xué)合理性。

開運算和閉運算定義如

需要注意,盡管經(jīng)典形態(tài)學(xué)的算子具有上述良好的數(shù)學(xué)性質(zhì),受結(jié)構(gòu)體局部性的影響,其仍屬于局部方法。

1.2 非局部均值濾波器

與局部濾波器相比,NLM有兩個明顯的優(yōu)點。一方面,它利用非局部鄰域的加權(quán)平均估計像素值,可以很好地利用圖像的自相似性;另一方面,通過圖像塊間的塊匹配來計算權(quán)重,對噪聲具有魯棒性。

給定待處理圖像I,用非局部均值算法計算像素的估計值,如

式中權(quán)值W I(x,y)為以像素x為中心的片P I(x)和以y為中心的片P I(y)之間的相似性,下標表示所有的計算依賴于圖像I。具體來說,相似性權(quán)值定義為

式中

這里h為平滑參數(shù),為具有標準差α的高斯加權(quán)L2范數(shù)。此外,0≤W I(x,y)≤1且y)＝1。

盡管非局部均值濾波器的實施非常復(fù)雜,但它提供了良好的濾波結(jié)果。因此,非局部方法已成為設(shè)計濾波器的主流。

1.3 現(xiàn)有的非局部形態(tài)學(xué)改進

Philippe Salembier最早嘗試借用NLM的非局部權(quán)值,對經(jīng)典形態(tài)學(xué)進行非局部拓展[10]。與傳統(tǒng)的結(jié)構(gòu)體被限制在局部區(qū)域的方法不同,此算法在非局部搜索窗(甚至整個圖像)上定義結(jié)構(gòu)體。其中,結(jié)構(gòu)體是非平坦的,其成員灰度值直接借用NLM中的片相似性。與經(jīng)典形態(tài)學(xué)(公式(3)和公式(4))定義的形式一樣,在文獻[10]中非局部形態(tài)學(xué),即NLMM的兩個基本算子(腐蝕和膨脹)分別定義為

式中I仍為待處理圖像,SE I為定義的結(jié)構(gòu)體,β是控制非平坦程度的參數(shù)。

在4類產(chǎn)品中，2007年，約旦的RCA為1，說明該產(chǎn)品出口具有中度的國際競爭力；在2008年、2009年中，約旦的RCA介于1.25-2.5之間，說明該產(chǎn)品出口具有較強的國際競爭力；2010年-2016年，約旦的RCA均小于0.8，說明約旦在該類產(chǎn)品出口中，國際競爭力較弱；在中國的RCA小于0.1，該類產(chǎn)品出口國際競爭力較弱。

不幸的是,在上述的非局部拓展過程中,腐蝕和膨脹算子的保序性和附益性都丟失了。文獻[11]定義了一個結(jié)構(gòu)體系統(tǒng),即對任意x,y∈Ω,相應(yīng)的結(jié)構(gòu)體應(yīng)滿足如下自反性與對稱性

此外,文獻[17]指出為了使算子保持好的數(shù)學(xué)性質(zhì),其結(jié)構(gòu)體應(yīng)當(dāng)是固定的,即“一旦自適應(yīng)鄰域從初始輸入圖像導(dǎo)出,就必須對其進行固定”。

基于此結(jié)構(gòu)體系統(tǒng),文獻[11]的NLMM所相應(yīng)的腐蝕和膨脹算子被重新定義為

式中SE I(x)來自結(jié)構(gòu)體系統(tǒng),W I(x,y)為公式(10)中所定義的非局部權(quán)值。

我們在文獻[12]指出,盡管上述兩個算子的附益性得到了保持,其保序性依然不能滿足。且相應(yīng)的非平坦結(jié)構(gòu)體是通過兩個不同量綱的因素(即灰度值和權(quán)重)直接相加得到,丟失了物理上的可解釋性。如文獻[18]所述,“當(dāng)使用非平坦結(jié)構(gòu)體時,它們的灰度值應(yīng)該與輸入圖像的灰度值具有相同的量綱”。為彌補這一缺陷,文[12]通過將灰度值引入結(jié)構(gòu)體的定義,相應(yīng)NLMM的腐蝕和膨脹算子分別為

這里λ是一個控制結(jié)構(gòu)體的非平坦范圍的參數(shù)。作為一個通用模型,其中W I(x,y)是一個一般的非局部相似性度量,不再局限于NLM中的權(quán)值,D I(x,y)表示像素x與y的灰度值之間的差值。在減小量綱差異的同時,文獻[12]還從理論上保證了上述兩個算子的附益性和保序性。

然而,正如文獻[14]所指出,在非局部濾波算法中,將整個搜索窗中的所有像素點全部用于當(dāng)前像素點的估計,會導(dǎo)致過多不可靠像素點的參與,致使估計精度下降。上述所介紹的三個非局部形態(tài)學(xué)(即NLMMs)[10-12],結(jié)構(gòu)體成員均包括了整個搜索窗,這顯然會削弱其相應(yīng)算子的性能。此外,作為一類自適應(yīng)算法,這些算子也極易受到噪聲的影響[15]。針對這些現(xiàn)有非局部拓展算法存在的缺陷,本文提出了一個基于相互近鄰結(jié)構(gòu)體的非局部形態(tài)學(xué)。

2 基于相互近鄰結(jié)構(gòu)體的非局部形態(tài)學(xué)

本文工作,即RNLMM,是在文作[12]的基礎(chǔ)上展開的,其改進主要體現(xiàn)在兩個方面。首先,利用相互近鄰策略對結(jié)構(gòu)體的構(gòu)建施加約束,提高其成員的可靠性;然后,將經(jīng)典形態(tài)學(xué)(局部)與非局部形態(tài)學(xué)相結(jié)合,設(shè)計出一個算子的串行實現(xiàn)方式,有效提高了其對噪聲的魯棒性,并且理論證明了相應(yīng)算子的保序性與附益性能夠同時得到保持。下面分別圍繞這兩部分內(nèi)容展開論述。

2.1 基于相互近鄰的非局部結(jié)構(gòu)體構(gòu)建

如公式(16)與公式(17)所示,文[12]采用將非局部權(quán)值與像素灰度值相乘的方式構(gòu)建結(jié)構(gòu)體。正如上述分析,這種結(jié)構(gòu)體的構(gòu)建方式會導(dǎo)致成員的不可靠性。針對這一缺陷,我們采用相互近鄰策略[16]進行結(jié)構(gòu)體構(gòu)建。這樣的構(gòu)建方式不單能夠篩選出可靠的結(jié)構(gòu)體成員,還能使相應(yīng)結(jié)構(gòu)體具有對稱性。后者對算子數(shù)學(xué)性質(zhì)的保持尤為重要[11]。

首先以非局部權(quán)值作為度量函數(shù),利用K近鄰的方法選取權(quán)值較大的像素點作為當(dāng)前像素x的候選結(jié)構(gòu)體成員,即

式中y k為像素x的第k個近鄰,成員的置信度由參數(shù)k決定。

進一步,通過施加對稱性約束,便可得到如下基于相互近鄰的結(jié)構(gòu)體

由于每個像素點與它自身的相似性最大,顯然結(jié)構(gòu)體SE IN(x)在滿足對稱性的同時也滿足了自反性。

相應(yīng)地,基于上述結(jié)構(gòu)體,我們得到非局部形態(tài)學(xué)腐蝕和膨脹兩個基本算子的初步形式

下面將其與經(jīng)典形態(tài)學(xué)的相應(yīng)算子進行串行組合得到非局部形態(tài)學(xué)(RNLMM)算子的最終形式。

2.2 串行形態(tài)學(xué)算子及其性質(zhì)證明

盡管非局部形態(tài)學(xué)能夠較好保持圖像邊緣、紋理等周期性信息,但其本質(zhì)上的自適應(yīng)性會使相應(yīng)算子容易受到噪聲的影響,即對噪聲不夠魯棒。相比之下,經(jīng)典形態(tài)學(xué)采用固定結(jié)構(gòu)體,其對應(yīng)算子具有平移不變性,從而對噪聲展現(xiàn)出了更好的魯棒性。這一事實啟發(fā)我們將具有固定結(jié)構(gòu)體的經(jīng)典形態(tài)學(xué)算子與上述非局部形態(tài)學(xué)算子(式(20)和式(21))進行串行組合,以期在更好地保持邊緣及周期性紋理的同時也能對噪聲較為魯棒。本文非局部形態(tài)學(xué),即RNLMM,所最終采用的兩個基本算子定義如

定理3和定理4表明,上述腐蝕和膨脹算子的保序性和附益性均得到保持。

定理3(保序性)對任意圖像I∈Fun(Ω,F),有ε(I)≤I≤δ(I)。

證明由結(jié)構(gòu)體的自反性,即x∈SE IN(x)與x∈SE(x)對?x∈Ω成立,有,即,則有。根據(jù)公式(5)中,有J≤。類似可證。

定理4 (附益性) 對任意圖像。

證明 由相互近鄰結(jié)構(gòu)體的構(gòu)建過程可知本文RNLMM的結(jié)構(gòu)體具有對稱性。同時,為了簡化證明過程,分別用符號T1和T2表示膨脹與腐蝕操作,即。

在上述準備基礎(chǔ)上,開展證明

即

定理得證。

3 分析

通過圖像去噪初步驗證所提RNLMM的有效性?？紤]到經(jīng)典形態(tài)學(xué)中結(jié)構(gòu)體越大,對圖像的細節(jié)信息破壞越嚴重,我們在RNLMM的串行算子中,經(jīng)典形態(tài)學(xué)部分的結(jié)構(gòu)體半徑設(shè)置為1。故試驗所涉及的比較算法除了前面所介紹的三個代表性的非局部形態(tài)學(xué)(NLMMs)[10-12],還有結(jié)構(gòu)體半徑為1的經(jīng)典形態(tài)學(xué)。需指出,由于經(jīng)典形態(tài)學(xué)的高效性,本文將其與非局部形態(tài)學(xué)相結(jié)合的串行算子實現(xiàn)在時間復(fù)雜度上較其他非局部形態(tài)學(xué)并未有明顯增加。同時,盡管結(jié)構(gòu)體構(gòu)建時KRNN的引進引起復(fù)雜度的增加,幸運的是,形態(tài)學(xué)的所有操作算子共享同一個結(jié)構(gòu)體,也就是說KRNN的運算在本文RNLMM中只需進行一次,且其復(fù)雜度也明顯小于非局部運算本身。故本算法在復(fù)雜度上較其他非局部算法沒有明顯增加。

所具體采用的形態(tài)學(xué)濾波為OCCO濾波器[19](取開運算-閉運算和閉運算-開運算的平均值)。由于其輸出具有自對偶優(yōu)勢,OCCO已成為形態(tài)學(xué)去噪的一種典型方法。我們分別在一幅自然圖像和一幅卡通圖像上進行不同噪聲程度的去噪實驗,并采用客觀的峰值信噪比(Peak Signal to Noise Ration,PSNR)和主觀視覺效果作為評價指標。根據(jù)經(jīng)驗,我們令所提算法中的結(jié)構(gòu)體構(gòu)建的近鄰數(shù)k＝50。為了公平起見,其他實驗比較的非局部算法中所涉及參數(shù),如結(jié)構(gòu)體大小、圖像塊大小、高斯平滑參數(shù)等均被設(shè)為其原始文獻的推薦值。

圖1和圖2是低噪聲場景(σ＝20)下的去噪實驗。由結(jié)果可以看出,經(jīng)典形態(tài)學(xué)在去除噪聲方面表現(xiàn)良好。盡管NLMMs[10-12]獲得了較為平滑的視覺效果,由于其對噪聲的魯棒性較差,圖像的細節(jié)信息并未得到較好保持。本文所提RNLMM的結(jié)構(gòu)體的串行實現(xiàn)策略,實現(xiàn)了經(jīng)典形態(tài)學(xué)與非局部形態(tài)學(xué)的較好折中。相應(yīng)輸出結(jié)果在結(jié)構(gòu)保持和去噪之間取得了較好的平衡,其無論在視覺效果還是PSNR指標均優(yōu)于其他方法。

圖1 比較了不同形態(tài)學(xué)算法在噪聲水平σ＝20下對House圖像的PSNR值及視覺效果

圖2 比較了不同形態(tài)學(xué)算法在噪聲水平σ＝20下對Chessboard圖像的PSNR值及視覺效果

圖3和圖4展示了高噪聲場景(σ＝40)下的實驗結(jié)果。此種情況下,經(jīng)典形態(tài)學(xué)已不能很好地去除噪聲,且產(chǎn)生了棋盤效應(yīng)[20]的視覺缺陷。盡管NLMMs[10-12]通過非局部策略能夠有效去除噪聲且避免了棋盤效應(yīng),但過光滑現(xiàn)象依然沒有解決。在此條件下,RNLMM在所有算法中仍然保持著最好的實驗結(jié)果。

圖4 比較了不同形態(tài)學(xué)算法在噪聲水平σ＝40下對Chessboard圖像的PSNR值及視覺效果

圖3比較了不同形態(tài)學(xué)算法在噪聲水平σ＝40下對House圖像的PSNR值及視覺效果

4 結(jié)論

本文提出了一種新的非局部形態(tài)學(xué)算子,即RNLMM。一方面,與其他非局部形態(tài)學(xué)算法不同,本文通過相互近鄰策略有效提高了結(jié)構(gòu)體成員的可靠性。另一方面,為提高算法對噪聲的魯棒性,RNLMM采用串行方式構(gòu)造算子,實現(xiàn)了經(jīng)典形態(tài)學(xué)與非局部形態(tài)學(xué)的很好折中。且理論上保證了其相應(yīng)算子依然具備良好的數(shù)學(xué)性質(zhì)。初步的去噪實驗也驗證了RNLMM的優(yōu)良性能。需要注意的是,非局部運算本身是造成非局部形態(tài)學(xué)算法復(fù)雜度高的主要原因,近年已有一些相應(yīng)加速算法[21,22]被提出,如何將其用于非局部形態(tài)學(xué)改進,值得嘗試。此外,如何將這些非局部形態(tài)學(xué)的場景由單模態(tài)推廣至多模態(tài)也值得嘗試。最后需要指出,近年,圖形態(tài)學(xué)已成為一個經(jīng)典形態(tài)學(xué)的非局部拓展的重要研究方向[23]。故將本文RNLMM的相關(guān)策略擴展到圖上也極具研究價值。