陳 娟, 應 駿, 王 健, 曾 爽

(上海師范大學 信息與機電工程學院 數(shù)字社區(qū)與智能家居研究中心,上海 200234)

一種基于幀間差與圖像分割的運動目標分割方法

陳 娟, 應 駿*, 王 健, 曾 爽

(上海師范大學 信息與機電工程學院 數(shù)字社區(qū)與智能家居研究中心,上海 200234)

視頻圖像中對運動目標進行分割是十分有意義的.傳統(tǒng)的背景減除法和幀間差法在提取運動目標的時候各有自身難以克服的缺點.基于閾值、邊緣、直方圖的圖像分割一般只適合于靜態(tài)目標的分割.提出一種結合圖像分割(Graph Cuts)和幀間差的新方法進行運動目標分割.幀間差法具有良好的穩(wěn)健性,而Graph Cuts算法則彌補了幀間差無法獲得完整運動信息的缺點.利用幀間差法得到不完整的運動信息對Graph Cuts進行分割約束可以準確、穩(wěn)定地提取出運動目標.

幀間差法; 圖像分割; 運動分割

0 引 言

在視頻圖像場景中分割出運動物體,這在安全監(jiān)控、火焰識別、醫(yī)學圖像、人機交互等領域都有重要意義.在視頻中對動態(tài)目標提取常用的方法有背景減除法、幀間差法、光流法以及基于這幾種方法改進或者兩兩結合的方法;在圖像分割中常用的有閾值分割法、基于邊緣的分割法、直方圖法等.對于運動目標的分割,文獻[1]采用馬爾科夫隨機場的算法以及迭代優(yōu)化算法,獲得最小能量函數(shù)對運動目標進行分割.文獻[2]在環(huán)境復雜,目標移動緩慢,目標本身體積微小的情況下采用基于人工神經(jīng)網(wǎng)絡和聚類的方法對微弱運動進行檢測和跟蹤,但是神經(jīng)網(wǎng)絡的訓練需要花費大量的時間.文獻[3]采用動態(tài)規(guī)劃算法來檢測和跟蹤運動目標.文獻[4]和[5]采用背景減除法進行運動目標檢測,并在FPGA上實現(xiàn),其優(yōu)點是實時性好,缺點是隨著場景的不斷變化,需要不停更新背景來提高檢測的穩(wěn)健性.本文作者利用幀間差法結合圖像分割(Graph Cuts)算法提出一種新的運動目標分割的方法.

1 一種新的運動目標分割的方法

Graph Cuts在摳圖時要進行相關的約束,需要給出前景圖像的大致位置以及若干前景像素點和若干背景像素點.這些約束通常都是經(jīng)過人機交互手動完成的.

對于視頻中的運動目標往往存在許多幀,手動約束顯然不現(xiàn)實.通過幀間差分法可以檢測出運動物體的大致輪廓,根據(jù)物體輪廓構建一個最小外接矩形作為Graph Cuts分割前景時的約束矩形,矩形邊緣內(nèi)部為前景像素點,矩形邊緣外部為背景像素點;取部分點作為種子前景點,取部分點作為種子背景點作為Graph Cuts分割前景時的參考像素點.

1.1 Graph Cuts算法

Graph Cuts是一種十分有用和流行的能量優(yōu)化算法,20世紀90年代末Boykov等人[6]提出基于Graph Cuts的前景提取,目前在計算視覺領域Graph Cuts普遍應用于前景分割、摳圖等.

Graph Cuts在進行圖像分割時,需要手動對圖像的前景和背景進行標記作為約束.然后根據(jù)圖形的邊界和區(qū)域特性定義一個能量函數(shù).通過全局最優(yōu)使能量函數(shù)最小從而對未標記的部分自動分割.圖像的能量

E(L)=aR(L)+B(L),

(1)

其中,R(L)為區(qū)域項(regional term),B(L)為邊界項(boundary term),a是區(qū)域項和邊界項之間的重要因子,決定它們對能量影響的大小.如果a為0,那么就只考慮邊界因素,不考慮區(qū)域因素.E(L)表示能量函數(shù),圖割的目標就是優(yōu)化能量函數(shù)使其值達到最小[7].區(qū)域項

(2)

其中Rp(lp)表示為像素p分配標簽lp的懲罰因子.Rp(lp)能量項的值可以通過比較像素p的灰度與給定的目標和前景的灰度直方圖來獲得.將預定義的種子點作為前景的概率表示為:Pr(Ip|′obj′);將預定義的種子點作為背景的概率表示為:Pr(Ip|′bkg′).分割時希望能量最小,所以懲罰因子R取概率的負對數(shù)值,0代表背景,1代表前景則

Rp(1) = -lnPr(Ip|′obj′),

(3)

Rp(0) = -lnPr(Ip|′bkg′).

(4)

由(3)式和(4)式可以看到,當像素p的灰度值屬于目標的概率Pr(Ip|′obj′)大于背景Pr(Ip|′bkg′),那么Rp(1)就小于Rp(0),也就是說當像素p更有可能屬于目標時,將p歸類為目標就會使能量R(L)小.如果全部的像素都被正確劃分為目標或者背景,這時候能量就是最小的.邊界項

(5)

邊界平滑項主要體現(xiàn)分割L的邊界屬性,其中,p和q為鄰域像素,B可以解析為像素p和q之間不連續(xù)的懲罰.一般來說如果p和q越相似,那么B越大,如果他們非常不同,那么B就接近于0[6].換句話說,如果兩鄰域像素差別很小,那么它屬于同一個目標或者同一背景的可能性就很大,如果他們的差別很大,那說明這兩個像素很有可能處于目標和背景的邊緣部分,則被分割開的可能性比較大.所以當兩鄰域像素差別越大,B越小,即能量越小[8].

1.2 幀間差分

幀間差法是利用兩幀圖像相減從而得到運動信息.圖像中物體位置發(fā)生了變化,則該處的像素灰度值也相應變化,而物體位置沒有發(fā)生變化則該處的像素灰度值基本不變化.由于兩幀之間時間間隔短,受光線等外界因素干擾小,幀間差法檢測出的前景目標像素點準確,對光線場景的適應能力很強,不會引入較多的噪聲點[9].

但是幀間差法往往無法提取出完整的運動目標信息,在運動目標本身灰度值較為均勻且運動速度較慢的情況下,利用幀間差法檢測出的一般為運動物體的邊緣像素點.

1.3 Graph Cuts與幀間差分相結合的前景分割法

如圖1所示,假設圖中是一個水平向右運動的矩形的第N幀與第N+1幀,兩幀相減后得到的區(qū)域可以分為I、II、III三個部分.對于一般灰度值均勻的運動目標,區(qū)域III在經(jīng)過幀間差后的閾值處理會被歸納到非運動部分.這也是幀間差提取目標時發(fā)生空洞的原因.而區(qū)域I和區(qū)域II則被認識是運動的,該部分為運動物體的邊緣.因而可以根據(jù)區(qū)域I和區(qū)域II確定運動物體的輪廓.

圖1 水平向右運動的矩形框

在定義Graph Cuts摳圖約束矩形框的時候,矩形框應該是包含區(qū)域I和區(qū)域II的最小外接矩形.如果將區(qū)域I作為種子目標像素點,區(qū)域II作為種子背景像素點,所得到的則是第N幀的運動目標;如果將區(qū)域II作為種子目標像素點,區(qū)域I作為種子背景像素點,所得到的則是第N+1幀的運動目標.

2 實驗結果

不同的幀間間隔所得到的I、II、III區(qū)域也不同,幀間間隔越長所獲得的種子像素點越多,但是同時外接矩形面積也會越大.表1是720×480的圖像,二值化像素閾值設置為90,在不同幀率下的實驗結果.

表1 不同幀率下的實驗結果

當幀間間隔時間變長,雖然增加了種子像素點但是同樣會引入許多錯誤的種子點,也會擴大了最小外接矩形的面積.對于不同的幀間間隔時間需要設定不同的閾值排除錯誤種子點的干擾.圖2是不同幀率下得到的種子點集合.

圖2 不同幀率下得到的種子點

圖3和圖4分別是本文實驗中行人運動的第N幀和第N+1幀.圖5是將第N幀與第N+1進行幀間差后再經(jīng)過閾值處理的結果.圖6是根據(jù)幀間差得到的運動信息對Graph Cuts進行約束分割后的圖像.

圖3 第N幀圖像

圖4 第N+1幀圖像

圖5 第N+1減去第N幀圖像

圖6 Graph Cuts進行目標分割圖像

2 總 結

本文利用Graph Cuts結合幀間差分的方法對運行目標進行分割.幀間差分無法獲得完整的運動信息,但是具有良好的穩(wěn)健性.利用幀間差分獲得的有限運動信息,構建Graph Cuts在目標分割時的約束矩形框和種子前景點以及種子背景點,從而得到運動目標分割的效果.實驗證明該方法具有良好的穩(wěn)健性和準確性.但是Graph Cuts算法較為復雜,降低了目標提取的效率.這是以后有待改進的地方.

[1] Chen G H,Li Y J.Research of adaptive frame difference moving target segmentation based on MRF [C].International Conference on Image & Graphics,Washington,D.C.:IEEE,2013.

[2] Patra J C,Widjaja F,Das A,et al.A fast neural network-based detection and tracking of dim moving targets in FLIR imagery [C].Proceedings 2005 IEEE International Joint Conference on Neural Networks,Montreal:IEEE,2005.

[3] Barniv Y.Dynamic programming solution for detecting dim moving targets [J].IEEE Transactions on Aerospace & Electronic Systems,1985,21(1):144-156.

[4] Sanchez-Ferreira C,Mori J Y,Llanos C H.Back ground subtraction algorithm for moving object detection in FPGA [J].Middle East Journal of Scientific Research,2014,20(2):198-204.

[5] Hu G,Lian H,Wang P.Design and research on the motion target detection and tracking algorithm [C].International Conference on Information Science & Engineering,2010,2:1114-1117.

[6] Boykov Y Y,Jolly M.Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images [C].Proceedings of eighth IEEE international conference on computer vision,2001,1:105-112.

[7] Ramya R,Jayanthi K B.Automatic image segmentation by graph cuts for bio-medical applications [C].International Conference on Advances in Engineering Science & Management,Nagapattinam:IEEE,2012.

[8] V K,R.Z.What energy functions can be minimized via graph cuts? [J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2002,26(2):147-159.

[9] Liu H,Hou X.Moving detection research of background frame difference based on gaussian model [C].International Conference on Computer Science & Service System,Nanjing:IEEE,2012.

(責任編輯：包震宇)

A method of moving object segmentation based oninter frame difference and Graph Cuts

Chen Juan, Ying Jun*, Wang Jian, Zeng Shuang

(Digital Community and Smart Home Research Center, College of Information Mechanical and Electrical Engineering,Shanghai Normal University,Shanghai 200234,China)

Motion segmentation is meaningful video processing.Traditional method like background subtraction and frame difference shortcomings.Image segmentation based on threshold,EDGE histogram only used for static object segmentation.Frame difference method has good robutness and Graph Cuts can get complete motion.Segmentation of Graph Cuts is restricted by incomplete motion information provided by frame moving object can be extract accurately and stably.

frame difference; Graph Cuts; motion segmentation

2015-11-02

陳 娟(1993-),女,碩士研究生,主要從事圖像處理方面的研究.E-mail:jchen@shmiic.com

導師簡介: 應 駿(1973-),男,講師,主要從事圖像處理、嵌入式系統(tǒng)方面的研究.E-mail:junying@shnu.edu.cn

TN 919.8

A

1000-5137(2017)02-0242-05

*通信作者