王 輝，王 悅，劉暢祖，莊珊娜，曹俊杰

(1．石家莊鐵道大學(xué)信息科學(xué)與技術(shù)學(xué)院，石家莊050043; 2．大連理工大學(xué)數(shù)學(xué)科學(xué)學(xué)院，遼寧大連116024)(*通信作者電子郵箱wanghui19841109@163．com)

0 引言

結(jié)構(gòu)保持的紋理平滑在計(jì)算機(jī)視覺(jué)和圖形學(xué)的很多應(yīng)用中起著重要的作用，例如，細(xì)節(jié)編輯、色調(diào)映射、特征邊提取和圖像分割等。近些年來(lái)，對(duì)結(jié)構(gòu)保持的紋理平滑的研究得到了越來(lái)越多的關(guān)注［1－11］，然而，這依然還是一個(gè)比較具有挑戰(zhàn)性的問(wèn)題，因?yàn)閷⒓y理和結(jié)構(gòu)區(qū)分開很困難。

目前，大多數(shù)結(jié)構(gòu)保持的紋理平滑方法利用圖像上矩形片的統(tǒng)計(jì)量來(lái)區(qū)分紋理和結(jié)構(gòu)，例如，雙邊紋理濾波(Bilateral Texture Filtering， BTF)［1］、相 對(duì) 全 變 分 (Relative Total Variation，RTV)［3］、相 應(yīng) 圖 像 特 征 的 協(xié) 方 差 (Region Covariances，RC)［4］等。由于矩形片的邊長(zhǎng)對(duì)于所有像素都是固定的，因此選擇合適的矩形片邊長(zhǎng)很困難，如果邊長(zhǎng)取值比較小就不能夠有效去除紋理，如圖1(b)所示;相反，如果邊長(zhǎng)取值比較大，就會(huì)將一些細(xì)小的尖銳結(jié)構(gòu)平滑掉，如圖1(c)所示。圖1(d)中本文參數(shù)為T=0．9 m，niter=5。

圖1 本文方法與單尺度雙邊紋理濾波的比較Fig．1 Comparison between the proposed method and single-scale bilateral texture filtering

借鑒圖像分割、目標(biāo)跟蹤和濾波等工作中自適應(yīng)尺度的選取方法，本文提出了一種自適應(yīng)尺度的紋理平滑方法，使得每個(gè)像素可以根據(jù)局部信息進(jìn)行自適應(yīng)地選取最合適的矩形片邊長(zhǎng)，這樣可以在保持圖像結(jié)構(gòu)的同時(shí)有效去除紋理，如圖1(d)。相對(duì)于以前自適應(yīng)尺度的紋理濾波方法［10－11］，本文方法取得更好的結(jié)果。

1 相關(guān)工作

1．1 結(jié)構(gòu)保持的紋理平滑

傳統(tǒng)的保持特征邊的圖像平滑方法主要是基于顏色對(duì)比度，將對(duì)比度低的細(xì)節(jié)平滑，而保持具有高對(duì)比度的特征邊。由于紋理的對(duì)比度往往比較高，從而上述方法不能夠有效地去除紋理。

Subr等［2］將細(xì)節(jié)定義為給定尺度下的極值包絡(luò)曲面之間的差，利用局部極值(Local Extrema，LE)可以在一定程度上去除紋理。Xu等［3］對(duì)于每個(gè)像素定義了一種稱之為相對(duì)全變分的度量來(lái)區(qū)分圖像中的紋理和主要結(jié)構(gòu)，其中像素上的相對(duì)全變分是以該像素為中心的矩形區(qū)域中梯度的一個(gè)統(tǒng)計(jì)量。文獻(xiàn)［4］中提出了一種加權(quán)平均的保持結(jié)構(gòu)的紋理平滑方法，其中兩個(gè)像素之間的相似性是由以像素為中心矩形片上一些特征的協(xié)方差矩陣的相似性決定的。

基于圖像上最小生成樹距離的濾波方法也用到保持結(jié)構(gòu)的紋理平滑中［6，9］。有的結(jié)構(gòu)保持的紋理平滑方法先通過(guò)高斯濾波平滑掉圖像中的紋理，然后利用特定的策略來(lái)恢復(fù)出圖像中的主要結(jié)構(gòu)［5，7－8］。Zhang 等［7］提出旋轉(zhuǎn)引導(dǎo)濾波(Rolling Guidance Filter，RGF)，先利用高斯濾波去除紋理，然后利用雙邊濾波進(jìn)行邊緣恢復(fù)。

上述紋理平滑方法中所用的矩形片邊長(zhǎng)對(duì)于所有像素都是固定的:若邊長(zhǎng)取值較大，圖像過(guò)平滑;若取值較小，不能去除紋理。為此，本文提出一種自適應(yīng)的紋理平滑方法，在紋理均勻區(qū)域采用較大的矩形片邊長(zhǎng)，結(jié)構(gòu)邊緣區(qū)域采用較小邊長(zhǎng)的矩形片。

1．2 自適應(yīng)尺度選取

在計(jì)算機(jī)視覺(jué)和圖像處理中，自適應(yīng)尺度的方法已經(jīng)廣泛應(yīng)用于圖像分割和濾波等應(yīng)用中［10－16］，其中比較常用的是Linderberg［12－13］提出的尺度空間方法。它先對(duì)圖像進(jìn)行高斯濾波，得到不同尺度的圖像;然后根據(jù)尺度圖像的梯度或拉普拉斯等微分量為每個(gè)像素選取最優(yōu)尺度。比如，對(duì)圖像進(jìn)行斑點(diǎn)檢測(cè)時(shí)，每個(gè)像素的最優(yōu)尺度為具有最大歸一化拉普拉斯的尺度。本文基于該方法，利用尺度圖像上歸一化后的梯度和拉普拉斯的線性組合來(lái)自適應(yīng)地選取矩形片邊長(zhǎng)，從而進(jìn)行自適應(yīng)的紋理平滑。

Lin等［10］提出利用矩形片上梯度的統(tǒng)計(jì)量來(lái)區(qū)分紋理與主要結(jié)構(gòu)，給定一個(gè)矩形邊長(zhǎng)，如果統(tǒng)計(jì)量小于給定閾值，則選擇該邊長(zhǎng)，否則選取比給定邊長(zhǎng)小2的矩形片邊長(zhǎng)。這種從兩個(gè)尺度中進(jìn)行選擇的自適應(yīng)方法，它的結(jié)果很大程度上依賴于事先給定的邊長(zhǎng)，如果給定邊長(zhǎng)取得不合適會(huì)出現(xiàn)紋理未平滑或者過(guò)平滑的現(xiàn)象。在雙邊紋理濾波［1］的基礎(chǔ)上將從x、y方向計(jì)算相對(duì)全變分改為從不同角度進(jìn)行計(jì)算，然后利用標(biāo)準(zhǔn)化后的整體平滑度(Collective Fatness，CF)為每個(gè)像素選擇最優(yōu)的矩形片邊長(zhǎng)［11］。文獻(xiàn)［17－18］則根據(jù)圖像中噪聲點(diǎn)選擇濾波窗口的尺度，然后利用中值濾波進(jìn)行濾波。本文借鑒經(jīng)典的尺度空間理論［12－13］，在給定候選邊長(zhǎng)集中為每個(gè)像素自適應(yīng)地選取矩形片邊長(zhǎng)，然后利用雙邊紋理濾波進(jìn)行圖像平滑，最后取得比CF更好的結(jié)果。

2 自適應(yīng)尺度選取

給定一幅圖像I，對(duì)圖像進(jìn)行自適應(yīng)選擇尺度前，需要先對(duì)圖像進(jìn)行高斯濾波［12－13］，得到尺度圖像 L(x，y;σ):

其中:gσ為高斯函數(shù)，參數(shù)c為常數(shù)2．1214，Kj∈K，其中K為給定的σ候選參數(shù)集。

本文采用Linderberg［12－13］提出的尺度圖像歸一化的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)的線性組合，

對(duì)于每個(gè)像素，按照K中元素的順序，計(jì)算相應(yīng)的σ與ΔLσ，如果ΔLσ小于閾值T，則選擇該像素尺度為σ，紋理平滑時(shí)矩形片邊長(zhǎng)kσ=round(3σ)(若其為偶數(shù)，kσ=kσ+1)，否則，選取K中下一個(gè)元素的ΔLσ與T進(jìn)行比較。本文借鑒文獻(xiàn)［10］中降序思想對(duì)圖像進(jìn)行自適應(yīng)選取矩形片邊長(zhǎng)，K={2．5，2，1．5，1，0，－1，－ 2}，可選取的矩形片邊長(zhǎng)集為Kp={15，13，11，9，7，5，3}，其中包含了紋理平滑時(shí)常用的矩形片邊長(zhǎng)，從而對(duì)于不同的紋理圖像，可選取合適的矩形片邊長(zhǎng)，既可以保持圖像的邊緣結(jié)構(gòu)又可以去除紋理。

本文中閾值與σ相關(guān)，在每個(gè)尺度下首先計(jì)算輸入圖像ΔLσ的平均值mσ，然后對(duì)所有尺度下mσ求平均值得到m。一般情況下，閾值T的取值范圍為［0．5 m，1．5 m］時(shí)即可取得不錯(cuò)結(jié)果，對(duì)于大多數(shù)紋理圖像，閾值T=0．9 m時(shí)可以取得很好的結(jié)果。

對(duì)于彩色圖像，先分別計(jì)算像素p在RGB三個(gè)顏色通道上的偏導(dǎo) Lx、Ly、Lxx、Lyy、Lxy，然后利用三個(gè)通道的和計(jì)算ΔLσ，進(jìn)而找到合適的矩形片邊長(zhǎng)。

3 雙邊紋理濾波

本章簡(jiǎn)單地介紹結(jié)構(gòu)保持的雙邊紋理濾波方法，具體細(xì)節(jié)請(qǐng)參見文獻(xiàn)［1］。給定一幅灰度圖像I，雙邊紋理濾波方法主要包含以下兩個(gè)步驟:

步驟1 給定紋理圖像平滑時(shí)的矩形片邊長(zhǎng)k，利用片漂移的策略生成紋理描述的圖像G'用來(lái)引導(dǎo)步驟2中的雙邊濾波。對(duì)于每一個(gè)像素p，在k2個(gè)k×k的包含p的矩形片中，最能描述該像素紋理信息的矩形片Ωq具有最小的相對(duì)全變分(mRTV):

其中:Ωq是以像素q為中心的k×k的矩形片，|(I)r|=是像素r∈Ωq上梯度的模，參數(shù)ε=10－9是為了避免除數(shù)為0，Δ(Ωq)是灰度范圍:

其中:Imax(Ωq)和Imin(Ωq)分別代表矩形片Ωq上像素灰度值中的最大值和最小值。

像素p上代表性的紋理矩形片Ωq選好后，引導(dǎo)圖像G在p上的灰度值定義為Ωq上像素灰度值的平均值，記為Bq，即Gp=Bq。最后，為了避免噪聲的敏感性，引導(dǎo)圖像G'在p上的灰度值定義為Gp和Bp的線性組合:其中:，參數(shù)σ固定為5k。

步驟2 得到引導(dǎo)的紋理描述圖像G'后，對(duì)于原始圖像I上的引導(dǎo)的雙邊濾波為:

其中:kn是歸一化項(xiàng);N(p)是以p為中心的s×s矩形片中的相鄰像素;f和g是兩個(gè)高斯函數(shù) f(x)=對(duì)應(yīng)的參數(shù)分別為δs和δr。

在上述算法中，一些參數(shù)固定為s=2k－1，δs=k－1，δr=0．05sqrt(c)，其中c為引導(dǎo)圖像中顏色通道的數(shù)目。一般來(lái)說(shuō)，一幅圖像需要迭代3～5次才能得到理想的結(jié)果。對(duì)于彩色圖像，先對(duì)RGB三個(gè)通道上分別計(jì)算式(3)中的相對(duì)全變分，然后利用它們的和在每個(gè)通道上進(jìn)行片漂移，得到一幅彩色的引導(dǎo)圖像G'。

4 本文算法

本文提出的自適應(yīng)尺度的雙邊紋理濾波主要分為兩部分:自適應(yīng)地選取矩形片的邊長(zhǎng)和進(jìn)行自適應(yīng)的雙邊紋理濾波。算法1描述了本文自適應(yīng)的雙邊紋理濾波方法的一次迭代過(guò)程，對(duì)應(yīng)的中間結(jié)果如圖2所示。其中，圖2(b)為自適應(yīng)尺度的選取結(jié)果，其中在圖像的邊緣結(jié)構(gòu)處選取較小的矩形片邊長(zhǎng)，在紋理區(qū)域選取較大邊長(zhǎng)，圖2(c)為雙邊紋理濾波時(shí)的引導(dǎo)圖像，圖2(d)為第一次迭代的結(jié)果，圖2(e)為最終結(jié)果。圖2(e)中參數(shù)為T=0．9 m，niter=5。

首先，從 K={2．5，2，1．5，1，0，－1，－2}候選集中，為每個(gè)σ計(jì)算尺度圖像歸一化的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)的線性組合ΔLσ，并與閾值進(jìn)行比較，選取小于閾值的ΔLσ，從而為每個(gè)像素自適應(yīng)地選取最合適的 σ，進(jìn)而根據(jù) kσ=round(3σ)選擇最合適的矩形片邊長(zhǎng)，這樣既可以在紋理均勻區(qū)域采用較大邊長(zhǎng)的矩形片，又可以在結(jié)構(gòu)邊緣區(qū)域采用較小邊長(zhǎng)的矩形片，具體方法見第2章。

然后，對(duì)每個(gè)像素及其選擇的矩形片邊長(zhǎng)進(jìn)行自適應(yīng)的雙邊紋理濾波。傳統(tǒng)的雙邊紋理濾波［1］中矩形片邊長(zhǎng)k對(duì)于所有的像素都是固定的，而本文方法中，矩形片邊長(zhǎng)kp是根據(jù)圖像的局部信息，從相應(yīng)的候選矩形片邊長(zhǎng)集中自適應(yīng)地選擇合適的邊長(zhǎng)，如圖2(b)所示。在此基礎(chǔ)上與傳統(tǒng)雙邊紋理濾波類似，計(jì)算它們的相對(duì)全變分，利用片漂移得到引導(dǎo)圖像，再根據(jù)式(6)中的雙邊紋理濾波得到最終的平滑結(jié)果。圖3將本文與其他紋理平滑方法中引導(dǎo)圖像進(jìn)行比較，通過(guò)對(duì)比，可以看出本文的引導(dǎo)圖像在去除紋理的同時(shí)能更好地保持圖像的邊緣結(jié)構(gòu)。圖3參數(shù)為CF:σ=5，BTF:k=5，niter=5，本文方法:T=0．5 m，niter=5。

圖2 自適應(yīng)尺度雙邊紋理濾波方法的中間過(guò)程Fig．2 Intermediate process of adaptive scale bilateral textture filtering method

圖3 本文引導(dǎo)圖像與其他保持結(jié)構(gòu)方法引導(dǎo)圖像的比較Fig．3 Guidance image comparison between the proposed method and other structure-preserving methods

算法1 自適應(yīng)尺度的雙邊紋理濾波。

輸入 圖像I和按降序排列的候選參數(shù)集合K={2．5，2，1．5，1，0，－1，－ 2}。

輸出 紋理平滑后的圖像J。

通過(guò)式(1)得到L(x，y;σ)，利用式(2)得到圖像歸一化后的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)的線性組合ΔLσ

if ΔLσ＜ T

kp=kσ，跳出循環(huán)

end if

end for

end for

利用kp計(jì)算引導(dǎo)圖像在p上的像素值

以G'為引導(dǎo)圖像對(duì)I進(jìn)行引導(dǎo)的雙邊濾波，得到平滑后圖像J

與原有的雙邊紋理濾波類似，參數(shù)δr固定為δr=0．05×sqrt(c)，其中c為引導(dǎo)圖像中顏色通道的數(shù)目，s=round(2kaver－1)，δs=kaver－1，kaver為每個(gè)圖像所用矩形片邊長(zhǎng)的平均值。本文算法需要用戶選擇的參數(shù)為:閾值T和迭代次數(shù)niter，一般來(lái)說(shuō)，T=0．9 m，迭代3～5次可以得到比較理想的結(jié)果。

5 實(shí)驗(yàn)比較與應(yīng)用

在實(shí)驗(yàn)中，采用Xu提供的圖像集［3］進(jìn)行測(cè)試，其中包括十字繡、涂鴉藝術(shù)圖、瓷磚鑲嵌藝術(shù)圖等。本文所有實(shí)驗(yàn)均在Matlab R2012a下進(jìn)行，使用中央處理器是Intel Xeon CPU E5-2620 v3的臺(tái)式電腦。本文需要計(jì)算圖像在每個(gè)σ下的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)的線性組合進(jìn)行自適應(yīng)尺度選擇，然后在自適應(yīng)尺度下進(jìn)行引導(dǎo)的雙邊紋理濾波，所以本文方法時(shí)間主要消耗在得到自適應(yīng)的引導(dǎo)圖像和進(jìn)行雙邊紋理濾波，迭代一次所用時(shí)間如表1所示。

在圖1和圖4～6中，本文自適應(yīng)尺度的雙邊紋理濾波方法與一些經(jīng)典的保持結(jié)構(gòu)的紋理平滑方法進(jìn)行了比較，例如傳統(tǒng)的雙邊紋理濾波(BTF)［1］、局部極值(LE)［2］、相對(duì)全變分(RTV)［3］、區(qū)域協(xié)方差(RC)［4］、旋轉(zhuǎn)引導(dǎo)濾波(RGF)［7］、保持邊緣結(jié)構(gòu)的整體平滑度(CF)［11］。通過(guò)實(shí)驗(yàn)結(jié)果比較，可以得出本文方法在去除紋理的同時(shí)，更好地保持圖像的邊緣結(jié)構(gòu)，圖7為本文方法更多的實(shí)驗(yàn)結(jié)果。圖4參數(shù)為RGF:δs=3，k=5，BTF:k=5，niter=5，本文方法:T=0．5 m，niter=5，圖5參數(shù)為BTF:k=5，niter=3，LE:k=8，RTV:λ =0．02，δ=3，CF:σ =7，本文方法:T=0．9 m，niter=5，圖6參數(shù)為BTF:k=5，niter=3，CF:σ =5，本文方法:T=0．9 m，niter=5。

表1 本文方法運(yùn)行時(shí)間Tab．1 Running times of the proposed method

5．1 實(shí)驗(yàn)比較

雙邊紋理濾波 本文將傳統(tǒng)雙邊紋理濾波中用于紋理分析的矩形片邊長(zhǎng)由原來(lái)的所有像素共用同一個(gè)邊進(jìn)行推廣，使每個(gè)像素根據(jù)局部信息自適應(yīng)地從候選參數(shù)中選擇最合適的尺度。通過(guò)圖1可以看到本文方法能夠在去除紋理的同時(shí)有效地保持結(jié)構(gòu)，特別是細(xì)小的尖銳的結(jié)構(gòu)。原因是本文方法能夠在鄰近圖像結(jié)構(gòu)邊的區(qū)域自適應(yīng)地選取具有較小邊長(zhǎng)的矩形片用于紋理平滑，從而能夠有效保持這些細(xì)小的尖銳特征。

其他方法 在圖4，5中，本文還與其他經(jīng)典的保持結(jié)構(gòu)的紋理平滑方法進(jìn)行了比較，從中可以看出本文方法在去除紋理的同時(shí)，有效地保持細(xì)小的尖銳結(jié)構(gòu)。主要原因是這些方法大都利用以像素為中心的矩形片上的統(tǒng)計(jì)量來(lái)區(qū)分圖像中的紋理和結(jié)構(gòu)，并且所有像素共用同一個(gè)矩形片邊長(zhǎng)。這些單尺度的方法為了有效去除紋理，往往把矩形片取得比較大，從而模糊了一些細(xì)小的尖銳結(jié)構(gòu)。

圖4 本文方法與單尺度結(jié)構(gòu)保持紋理平滑方法的比較Fig．4 Comparison between the proposed method and single-scale structure-preserving methods

圖5 本文方法與經(jīng)典的結(jié)構(gòu)保持紋理平滑方法的比較Fig．5 Comparison between the proposed method and classical structure-preserving texture smoothing methods

在圖5和6中，通過(guò)將本文方法與自適應(yīng)尺度的CF［11］比較，可以看出本文方法效果更好，原因是CF［11］進(jìn)行尺度選擇時(shí)，每個(gè)像素的尺度與初始尺度相關(guān)，當(dāng)初始尺度較大時(shí)，邊緣處尺度較大，圖像邊緣處模糊;反之，初始尺度較小時(shí)，紋理均勻區(qū)域矩形片尺度也較小，紋理不能有效去除。

5．2 應(yīng)用

將紋理圖像進(jìn)行自適應(yīng)平滑后，可以將平滑后的圖像應(yīng)用在許多方面，比如紋理增強(qiáng)、邊緣檢測(cè)等。

圖6 本文方法與BTF和CF方法的比較Fig．6 Comparison between the proposed method，BTF and CF methods

圖7 本文方法的更多的實(shí)驗(yàn)結(jié)果Fig．7 More results of the proposed method

5．2．1 紋理增強(qiáng)

紋理增強(qiáng)可以產(chǎn)生更加清楚的圖像細(xì)節(jié)，獲得更好的視覺(jué)效果，如圖8所示。輸入圖像I，經(jīng)過(guò)平滑后得到圖像J，對(duì)紋理圖像進(jìn)行紋理增強(qiáng)，得到圖像

其中，λ控制紋理增強(qiáng)的尺度。圖8(d)中，λ=2，即對(duì)原圖紋理增強(qiáng)2倍，從而可以清楚地看出原圖的紋理組成。圖8(b)參數(shù)為 T=0．8 m，niter=5。

圖8 紋理增強(qiáng)Fig．8 Texture enhancement

5．2．2 邊緣檢測(cè)

對(duì)紋理圖像進(jìn)行Canny邊緣檢測(cè)時(shí)會(huì)產(chǎn)生很多噪聲，但對(duì)平滑后圖像進(jìn)行邊緣檢測(cè)時(shí)，由于紋理去除，可以得到理想的結(jié)果。如圖9所示，對(duì)紋理圖像進(jìn)行邊緣檢測(cè)時(shí)，圖像中枯草和兩旁的泥土被檢測(cè)出來(lái)，誤以為是邊界，如圖9(c)所示。運(yùn)用本文方法進(jìn)行紋理平滑后再檢測(cè)邊緣，圖像中大量的偽邊緣被去除，圖像的主要結(jié)構(gòu)得到有效檢測(cè)，結(jié)果如圖9(d)所示。圖9(b)中參數(shù)為T=1．5 m，niter=7。

圖9 紋理圖像邊緣檢測(cè)Fig．9 Edge detection of texture image

6 結(jié)語(yǔ)

結(jié)構(gòu)保持的紋理平滑方法的關(guān)鍵是找到一個(gè)合適的度量來(lái)區(qū)分紋理和圖像結(jié)構(gòu)，目前大多數(shù)方法是利用矩形片上像素的統(tǒng)計(jì)量區(qū)分紋理和圖像的結(jié)構(gòu)，然而矩形片的邊長(zhǎng)對(duì)于所有像素都是固定的，為了能夠有效地去除紋理，一般選取一個(gè)較大的邊長(zhǎng)，在此過(guò)程中往往會(huì)模糊掉小于給定尺度的細(xì)小的尖銳特征。本文提出一種自適應(yīng)尺度的方法，通過(guò)對(duì)每個(gè)像素的局部信息進(jìn)行統(tǒng)計(jì)分析，從候選矩形片參數(shù)中自適應(yīng)地選擇最合適的邊長(zhǎng)，然后進(jìn)行自適應(yīng)的雙邊紋理濾波。實(shí)驗(yàn)結(jié)果表明，本文方法可以取得不錯(cuò)的效果。