李　磊，董卓莉，張德賢，費　選

(河南工業(yè)大學信息科學與工程學院，河南鄭州 450001)

?

基于區(qū)域限制的EM和圖割的非監(jiān)督彩色圖像分割方法

李磊，董卓莉，張德賢，費選

(河南工業(yè)大學信息科學與工程學院，河南鄭州 450001)

提出一種基于區(qū)域限制的EM(Expectation Maximization)和圖割的非監(jiān)督彩色圖像分割方法,以解決自動確定分割類數(shù)問題.首先，生成圖像的超像素，提取圖像的CIE Lab顏色特征和多尺度四元數(shù)Gabor濾波特征；為了高效自動地確定分割類數(shù)，同時避免因直接使用超像素造成的奇異值問題，對每一個超像素采樣并使用采樣像素表示超像素;然后采用高斯混合模型對采樣像素集合進行建模，使用加入?yún)^(qū)域限制的分量EM自動獲取模型組件數(shù)及參數(shù)，最后使用圖割結合高斯混合模型對圖像進行優(yōu)化，獲取最終分割結果.實驗結果表明，該方法在分割效率和分割質量上均得到較大提升.

彩色圖像分割；區(qū)域限制；超像素；分量EM；圖割

1　引言

彩色圖像分割是計算機視覺和圖像處理領域的基本任務之一，其目的是把一幅彩色圖像劃分為有意義且同質的區(qū)域.目前，圖像分割方法大致可以分為：基于特征的方法、基于區(qū)域/邊界的方法、基于模型優(yōu)化的方法及其它擴展方法等.其中經(jīng)典的非監(jiān)督彩色紋理圖像分割方法如JSEG[1]、CTM[2]、TBES[3]及mean shift[4]等均取得較好的分割效果，但由于每種方法都有各自優(yōu)缺點，并沒有一種通用方法能夠處理所有類型的圖像.因此，圖像分割[5,6]仍具有較大的研究空間.

近年來，圖割優(yōu)化方法[7]已成為計算機視覺和圖像處理領域研究的熱點，它廣泛應用于圖像分割、視覺跟蹤和去噪等領域.對于基于圖割的非監(jiān)督圖像分割方法而言，初始模型參數(shù)的估計、分割數(shù)目(標簽數(shù))的確定及合適的勢能函數(shù)的構造等是這類方法研究的重點和難點.初始模型參數(shù)的估計一般可采用K-means、期望最大化(Expectation Maximization，EM)等方法來實現(xiàn)，但以此得到的初始分割并沒有考慮像素之間的空間關系，盡管在圖割優(yōu)化過程中通過平滑勢能對此加以彌補，但增加了圖割尋優(yōu)時間，也會造成過分割.為此，一些文獻[8,9]通過在模型學習中加入空間限制來解決該問題，但求解這些模型往往過于復雜.另一方面，標簽數(shù)與圖割優(yōu)化時間呈指數(shù)關系，對優(yōu)化性能影響較大.因此，獲取合適的初始分割結果和標簽數(shù)目是基于圖割的非監(jiān)督圖像分割方法研究的重點.Chen等[10]提出了基于最大后驗概率(Maximum a Posteriori,MAP)和最大似然(Maximum Likelihood,ML)估計的分割方法(MAP-ML)，使用MAP和ML估計結合區(qū)域重標記能夠自動獲取分割結果，但易造成過分割結果，且分割效率較低；Yang等[11]借助于混合模型的分量期望最大化方法(Component-wise EM for Mixture Models,CEMM)[12]和學生t分布來自動確定模型組件數(shù)，并交替執(zhí)行圖割和區(qū)域合并來獲取最優(yōu)分割結果，后續(xù)他們又提出了基于圖割和變分公式的非監(jiān)督分割方法[13]，但這兩種方法的初始分割并沒有考慮區(qū)域一致性，運行效率仍然較低.Li等[14]提取彩色圖像的多尺度四元數(shù)Gabor濾波(Multi-scale Quaternion Gabor Filter,MQGF)特征，使用標準圖割并結合最小描述長度以迭代分裂的方式實現(xiàn)圖像的非監(jiān)督分割，該方法在Berkeley數(shù)據(jù)庫[15]的部分圖像上取得了較好的結果，但在最小描述長度的參數(shù)選擇上，不具有魯棒性.

近年來，大量文獻[2,3,16]在分割過程中使用超像素代替像素，以提高分割的效率和一致性.采用超像素使這些方法的性能得到了較大的提升.相對于直接使用像素，使用超像素具有以下優(yōu)點：(1)提高分割效率；(2)一定程度上提高了分割質量，減少了噪聲影響.但基于超像素的分割同樣有自身的缺陷：(1)分割結果的質量依賴于超像素生成的質量；(2)每一個超像素表示為一個節(jié)點，并沒有考慮超像素面積大小的影響；(3)由于超像素樣本較少，容易造成欠擬合和奇異值問題.

綜上所述，本文提出一種基于區(qū)域限制的CEMM和圖割的非監(jiān)督彩色圖像分割方法，該方法包括圖像預處理、基于區(qū)域限制的CEMM和圖割優(yōu)化三個過程.首先通過對超像素采樣生成采樣像素集合，在高斯混合模型參數(shù)估算中由采樣像素代替超像素，以自動獲取模型參數(shù)(包括組件數(shù))；然后使用圖割優(yōu)化方法結合模型參數(shù)對彩色圖像進行優(yōu)化，獲取最終分割結果.新方法具有以下優(yōu)點：(1)在模型組件估計過程中，不再把一個超像素看作一個節(jié)點，而是使用超像素內采樣像素來表示該超像素，超像素面積大，所包含的的采樣像素就多，確保面積較大的超像素在組件參數(shù)估計過程中所占的比率；(2)由于采樣像素多于超像素，因此能盡可能避免奇異值問題；(3)在同一個超像素內，像素的標簽先驗概率保持一致，即考慮了像素的空間一致性.

2　圖像預處理

新方法的預處理階段主要包括圖像的超像素生成、超像素采樣及圖像的顏色和紋理特征提取.

2.1特征提取

提取合適的特征將有助于提高圖像分割的質量.對于彩色圖像的紋理特征而言，目前主要有兩種提取方法：基于cut-off窗口的方法[2]和基于濾波族的方法[14].為了提高分割性能，本文采用MQGF方法[14]提取彩色圖像的紋理特征Ftex.針對圖像的顏色特征，由于RGB顏色空間具有非線性化特性，而CIE Lab顏色空間能較好地表達圖像像素之間色度和亮度變化，因此用像素的CIE Lab顏色值來表示圖像的顏色特征Fcol.最后，彩色圖像的特征F則由其紋理特征和顏色特征融合而成：

F=(Fcol,Ftex)T

(1)

2.2超像素和采樣像素生成

如前所述，眾多文獻使用超像素代替像素以提高分割效率、減少噪聲影響.采用該思想，新方法首先生成圖像的超像素，利用超像素信息進行模型學習.不同于類似的其它方法，在模型估計中，為了避免由于樣本較少可能造成欠擬合和奇異值問題，新方法不再簡單使用超像素代替像素，而是使用指定大小的窗口對每一個超像素按照一定步長進行采樣，提取采樣像素集合.超像素面積越大，所采樣的像素個數(shù)就越多.相對于直接使用超像素內像素的均值表示超像素，這種方法更能反映超像素內部和超像素之間的變化信息.具體采樣步驟描述如下.

(1)首先使用mean shift[4]生成圖像的超像素，如圖1所示，圖像過分割為6個部分(超像素)，分別標記為1～6；

(2)使用大小為w×w的窗口按照一定步長對每一個超像素進行采樣，如圖1所示，本文采用窗口長度的一半作為采樣步長，每個超像素只提取其中心部分像素，即滿足以這些像素為中心的窗口所包含的像素均屬于同一超像素的條件.使用超像素中心部分的像素代替超像素，顯然可以減少超像素邊界的影響；

(3)對于一些細長或較小的超像素而言，如圖1中標記為6的超像素，將得不到相應的采樣像素，為此，采用超像素內像素的均值，或者按照超像素的面積把所包含的像素按照空間關系劃分為幾個部分，并計算其均值來表示該超像素.本文使用超像素的均值來表示這類超像素.

每一個超像素對應一個采樣像素集合，本文假設每一個超像素的采樣像素集合都是同質的.這種超像素和采樣像素之間的關系，將為新方法后續(xù)模型參數(shù)估算提供像素之間的空間關系.

3　基于區(qū)域限制的CEMM

為此，在CEMM的E步驟中，結點i相對于第m個組件的隸屬度(條件期望)定義為

(2)

p(y|θm)=N (μm,Σm)

(3)

(4)

(5)

其中m=1,2,…,k，N為每一個組件參數(shù)的個數(shù)，k為參數(shù)估算過程組件的個數(shù).

在M步驟中，模型參數(shù)協(xié)方差和均值由式(6)和(7)計算得到：

(6)

(7)

其中，nS表示所有采樣像素的個數(shù).

如算法1所示，基于區(qū)域限制的CEMM的完整步驟描述如下：

在模型參數(shù)初始化方面，給定最大和最小組件數(shù)kmin和kmax，依據(jù)文獻[12]采用隨機的方式初始化均值參數(shù)μ，而協(xié)方差Σ的初始化值則根據(jù)整個樣本空間的全局協(xié)方差計算得到.值得說明的是，采用一些初始化策略[11]取代隨機選擇策略，可能會進一步提高模型學習的效果.

算法1基于區(qū)域限制的CEMM

輸入：FS,PS,ε,kmin和kmax

輸出：最佳混合模型參數(shù)

form=1,…,kmax且i=1,…,nS

2.whileknz≤kmindo

3.repeat

4.t←t+1

5.form=1 tokmaxdo

9.根據(jù)式(6),(7)和(3)更新組件參數(shù)和概率密度函數(shù)

10.else

11.knz←knz-1

12.end if

13.end for

18.end if

20.end while

4　圖割優(yōu)化

(8)

(9)

而平滑項則使用一般的Potts模型[7]：

本文使用α-expansion[7]根據(jù)式(8)定義的能量函數(shù)對圖像進行迭代優(yōu)化.為了使初始分割結果更加具有空間一致性，在基于區(qū)域限制的CEMM獲取組件個數(shù)和組件參數(shù)后，計算圖像概率密度函數(shù)p(y|θm)，類似于基于EM的圖像分割方法獲取每一個像素的標簽，然后根據(jù)超像素內每一個像素的標簽計算超像素的主標簽(即超像素內像素最多的標簽)，以主標簽重標記該超像素的每一個像素，以此進一步增加超像素內像素之間的空間關系，減少噪聲的影響.在迭代過程中，通過像素標簽更新組件參數(shù)，去除一些面積較小的噪聲區(qū)域.

α-expansion的目的是基于給定的能量泛函，使能量盡可能最小化，但會導致一些同質區(qū)域被弱(假)邊界分裂.為了解決該問題，采用類似于文獻[14]的策略去除一些較為明顯的弱邊界.

5　實驗結果及分析

5.1實驗環(huán)境設置

選擇Berkeley分割圖像數(shù)據(jù)庫[9]中的300幅圖像作為測試對象，使用JSEG[1]、MAP-ML[10](MM)、CTM[2]及Yang提出的兩種方法(簡稱為Y13[11]和Y14[13])和本文方法進行比較.由于CTM對圖像大小有要求，因此在實驗過程中，CTM的輸入圖像均歸一化為最長邊為320個像素；JSEG的參數(shù)設定為默認值；MM的參數(shù)γ設置為默認值4000；CTM的參數(shù)γ設定為0.1.

本文分割方法的大部分參數(shù)均可設置為缺省值，其中，mean shift的參數(shù)(hs,hr)=(11,7)，最小面積為100個像素；采樣窗口大小設置為7×7；多尺度四元數(shù)Gabor濾波的參數(shù)按照文獻[14]設置缺省值；在基于空間限制的CEMM中，組件最大值和最小值根據(jù)圖像分割的特點和實驗結果分別為設置為15和2；圖割優(yōu)化參數(shù)γ固定為20，最小區(qū)域面積設置為原圖像面積的0.001倍.

為了更好評價各比較方法的分割性能，采用四個常用的評價指標函數(shù)[2]：PRI(The Probabilistic Rand Index)、VoI(The Variation of Information)、GCE(The Global Consistency Error)和BDE(The Boundary Displacement Error)對分割結果進行評價，其中PRI是統(tǒng)計機器分割和多個人工分割之間標簽一致的像素對的個數(shù)占整個像素對個數(shù)的比率；VoI則把機器分割和人工分割之間的距離定義為在給定人工分割的條件下機器分割的平均條件熵，它能夠測量機器分割中不能被人工分割所解釋的隨機性的量；GCE測量一個分割可被看作為另外一個分割的程度；BDE則是測量兩個分割結果中邊界像素的平均位移誤差.量化結果中PRI值越大、VoI、GCE和BDE值越小，則機器分割結果與人工分割結果越接近.

5.2實驗結果與分析

為了驗證基于區(qū)域限制的CEMM結合采樣像素(REMS)、CEMM結合采樣像素(EMS)、CEMM結合超像素(EMSP)及CEMM結合圖像像素(EMP)估算組件參數(shù)之間的差別，圖2展示了4種不同方法獲取模型組件參數(shù)及初始分割結果的比較，其中K和T分別表示最佳組件數(shù)和時間消耗(s).

從圖2可以看出，由于增加了樣本的數(shù)量，本文提出的基于區(qū)域限制的CEMM(REMS)一般不會產(chǎn)生奇異值和可能的欠擬合問題，通過該方法計算得到的標簽數(shù)大于EMSP和EMS所得到的標簽數(shù)，但后兩種方法容易發(fā)生過分割和奇異解問題，如EMSP的第一行及EMS的第二行，因此通過式(4)為每一個超像素內的采樣像素加入空間關系，可以有效避免以上問題.相對于直接使用像素的CEMM，REMS方法不僅有效提高了算法的運行效率，而且所獲得標簽數(shù)相對較少，進而有助于提高后續(xù)圖割優(yōu)化的效率.

此外，對于通過模型組件參數(shù)得到的分割結果而言，REMS獲取的初始分割結果區(qū)域一致性更好，分割錯誤相對較少，如圖2第二行中的分割結果； EMSP雖然獲取的標簽個數(shù)較少，但分割結果存在較大偏差，如圖2第三行中，EMSP并沒有把豹子分割出來；而對于其它方法，易造成過分割(如圖2第三行EMS和EMP的結果)或者奇異解問題(如圖2第二行EMS的結果).

圖3和圖4展示了本文方法和其它3種方法分割300幅Berkeley圖像數(shù)據(jù)庫部分圖像的結果比較，從中可以看出，本文方法分割結果中，噪聲區(qū)域比較少，邊界保持較好；其次，從本文方法和MM分割結果的比較可以看出，兩種方法都采用了圖割優(yōu)化方法，分割結果的邊界保持較好(如圖3中MM的分割結果第1～3及第5行)，但圖像的標簽數(shù)對分割結果影響較大，盡管MM在分割過程中能夠根據(jù)能量的變換自動調整標簽數(shù)，但容易造成過分割或欠分割.

對于其它比較方法，JSEG能夠得到較同質的區(qū)域，但易得到過分割結果，并且不能很好地區(qū)分視覺差異不明顯的區(qū)域.CTM采用了基于超像素的區(qū)域合并策略對圖像進行分割，從圖3和圖4中可以看出，其分割結果邊界不光滑、錯位，采用的最小描述長度準則并不能較好的適應Berkeley 數(shù)據(jù)庫300幅圖像，造成過分割或者欠分割.

表1給出了6種方法分割300幅圖像的結果在6種評價指標上的量化分析，可以看出，本文方法在PRI、和VoI及GCE指標上要優(yōu)于其它5種方法，在BDE指標上僅次于CTM，相對于JSEG和MM，本文方法的分割結果更加接近于人工分割結果.其中分割方法Y13和Y14的數(shù)據(jù)來源于其所在的文獻[11,13].

表1　本文方法和其它5種方法分割300幅圖像性能比較

表2展示了當kmax取不同值時本文方法分割300幅圖像的結果，從中可以看出kmax取值[10～15]區(qū)間時，本文方法的分割性能變化不大，這說明：基于區(qū)域限制的CEMM方法具有較好的收斂性；在模型參數(shù)學習的基礎上，圖割利用條件隨機場模型能夠較好的保持像素的空間信息.因此，本文方法具有一定的魯棒性.

表2　參數(shù)kmax取不同值時本文方法的分割結果

從以上實驗可以看出，對超像素進行采樣，雖然降低了抗噪能力，但能夠捕捉超像素內部像素之間的差異，而且增加了樣本的數(shù)量，從而降低了奇異解發(fā)生的可能；在CEMM中加入?yún)^(qū)域限制可以保證超像素內部像素之間區(qū)域一致性.這種策略也可以應用到K-means中，即在每次K-means更新中，強制把超像素內的像素標簽設置為主標簽，再進行聚類中心的更新.本文采用Matlab結合C++語言實現(xiàn)所提分割方法.所有實驗均在4-G內存、3.20-GHz Intel(R) core (TM) i5-4570 CPU的臺式機上執(zhí)行.

6　結語

本文提出了基于區(qū)域限制的模型學習方法，該方法結合圖割以實現(xiàn)彩色圖像的非監(jiān)督分割.通過使用窗口對超像素采樣獲取超像素中心區(qū)域的像素集合，由采樣像素集合代替超像素參與模型學習，并增加了超像素和內部像素之間的空間關系，能夠自動獲取模型組件個數(shù)及其參數(shù).相對于直接使用超像素或者像素的模型學習方法，采樣像素能夠反映超像素內部的變化，能夠有效避免欠擬合和奇異值問題，并能增加像素之間的區(qū)域一致性.獲取的組件個數(shù)和基于超像素的初始分割將有效提高圖割優(yōu)化的性能.實驗結果表明，該方法在分割質量和處理效率上均得到有效提升.

[1]Deng Y,et al.Unsupervised segmentation of color-texture regions in images and video[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(8):800-810.

[2]Yang A Y,Wright J,Ma Y,et al.Unsupervised segmentation of natural images via lossy data compression[J].Computer Vision and Image Understanding,2008,110(2):212-225.

[3]Mobahi H,Rao S R,Yang A Y,et al.Segmentation of natural images by texture and boundary compression[J].International journal of computer vision,2011,95(1):86-98.

[4]Comaniciu D,Meer P.Mean shift:a robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.

[5]王順鳳,冀曉娜,張建偉,等.局部熵驅動的GAC模型在生物醫(yī)學圖像分割中的應用[J].電子學報,2013,41(12):2487-2492.

WANG SHUN-feng,JI Xiao-na,ZHANG Jian-wei，et al.Application of GAC model driven by the local entropy on medical image segmentation[J].Acta Electronica Sinica,2013,41(12):2487-2492.(in Chinese)

[6]趙榮昌,馬義德.一種用于圖像編碼的區(qū)域分割新方法[J].電子學報,2014,42(7):1277-1283.ZHAO Rong-chang,MA Yi-de.A novel region segmentation algorithm with neural network for segmented image coding[J].Acta Electronica Sinica,2014,42(7):1277-1283.(in Chinese)

[7]Boykov Y,Veksler O,Zabih R.Fast approximate energy minimization via graph cuts[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(11):1222-1239.

[8]Nguyen T M,Wu Q J.Gaussian mixture model-based spatial neighborhood relationships for pixel labeling problem[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B:Cybernetics,2012,42(1):193-202.

[9]Ji Z,Liu J,Cao G,et al.Robust spatially constrained fuzzy c-means algorithm for brain MR image segmentation[J].Pattern Recognition,2014,47(7):2454-2466.

[10]Chen S,Cao L,Wang Y,et al.Image segmentation by MAP-ML estimations[J].IEEE Transactions on Image Processing,2010,19(9):2254-2264.

[11]Yang Y,Han S,Wang T,et al.Multilayer graph cuts based unsupervised color-texture image segmentation using multivariate mixed student's t-distribution and regional credibility merging[J].Pattern Recognition,2013,46(4):1101-1124.

[12]Figueiredo M A,Jain A K.Unsupervised learning of finite mixture models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(3):381-396.

[13]Yang Y,Guo L,Wang T,et al.Unsupervised multiphase color-texture image segmentation based on variational formulation and multilayer graph[J].Image and Vision Computing,2014,32(2):87-106.

[14]Li L,Jin L,Xu X,et al.Unsupervised color-texture segmentation based on multiscale quaternion Gabor filters and splitting strategy[J].Signal Processing,2013,93(9):2559-2572.

[15]Martin D,Fowlkes C,Tal D,et al.A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[A].Proceedings of the Eighth IEEE International Conference on Computer Vision[C].Vancouver,British Columbia,Canada:IEEE,2001.416-423.

[16]Kim T H,Lee K M,Lee S U.Learning full pairwise affinities for spectral segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(7):1690-1703.

李磊男，1979年出生，河南杞縣人，博士，講師，主要研究方向：圖像處理、計算機視覺與機器學習.

E-mail:llhaut@163.com

董卓莉女，1980年出生，河南洛寧人，講師，主要研究方向：圖像處理、計算機視覺與機器學習.

E-mail:dong-lily2002@haut.edu.cn

An Unsupervised Color Image Segmentation Method Based on Region-constrained EM and Graph cuts

LI Lei,DONG Zhuo-li,ZHANG De-xian,FEI Xuan

(CollegeofInformationScienceandEngineering,HenanUniversityofTechnology,Zhengzhou,Henan450001,China)

A new unsupervised color segmentation method based on region-constrained EM (Expectation Maximization) and graph cuts is proposed,which can automatically determine the number of segments for a color image.The proposed method first obtains the superpixels of the image and extracts CIE Lab color feature and multi-scale quaternion Gabor filter feature.In order to automatically and efficiently determine the number of segments for the image and avoid the problem caused by using superpixels directly,a window is used to sample each superpixel to obtain a pixel subset which represents the superpixel.Then the feature space of the sampled pixel subsets is modeled with Gaussian mixture model,and the model parameters (including the number of components) are obtained by a region-constraint component-wise EM algorithm.Finally,the segmentation result can be obtained byα-expansion with the learned model parameters.Experimental results demonstrate the good performance of the proposed method.

color image segmentation;region constraint;superpixel;component-wise EM;graph cuts

2014-10-22；修回日期：2015-04-08；責任編輯：梅志強

河南省教育廳自然科學項目(No.13A520177,No.15A520057);河南省科技廳自然科學項目(No.132102210494);高層次人才基金(No.21476062，No.31401918)

TP391.41

A

0372-2112 (2016)06-1349-06