武治國(guó),李桂菊
(中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,吉林 長(zhǎng)春 130033)
運(yùn)動(dòng)目標(biāo)檢測(cè)在工業(yè)控制、生物醫(yī)學(xué)、交通監(jiān)控、安防、天文觀測(cè)等領(lǐng)域有著廣泛的應(yīng)用。因此,一直以來(lái)是圖像處理領(lǐng)域的重要研究熱點(diǎn)。在應(yīng)用中根據(jù)被檢測(cè)的場(chǎng)景與攝像機(jī)之間是否存在相對(duì)運(yùn)動(dòng),而分為靜止背景和運(yùn)動(dòng)背景兩類。對(duì)于復(fù)雜的巡航場(chǎng)景的目標(biāo)探測(cè),相對(duì)于只存在目標(biāo)運(yùn)動(dòng)的靜止背景或者背景只發(fā)生微小變化的動(dòng)態(tài)目標(biāo)檢測(cè),由于目標(biāo)與背景物體融合在一起并且二者都處于運(yùn)動(dòng)中,大大地增加了運(yùn)動(dòng)目標(biāo)檢測(cè)和識(shí)別的復(fù)雜度。
針對(duì)復(fù)雜巡航場(chǎng)景目標(biāo)檢測(cè)的工程應(yīng)用,通常需要補(bǔ)償背景圖像與當(dāng)前圖像的全局運(yùn)動(dòng),計(jì)算圖像間的位置偏移,將巡航場(chǎng)景目標(biāo)檢測(cè)問(wèn)題轉(zhuǎn)化為靜止背景識(shí)別問(wèn)題。比較簡(jiǎn)單的方式是通過(guò)攝像機(jī)的實(shí)時(shí)旋轉(zhuǎn)運(yùn)動(dòng)參數(shù)計(jì)算圖像的位置偏移,但是由于攝像機(jī)曝光時(shí)刻以及攝像機(jī)抖動(dòng)等所造成的影響,無(wú)法準(zhǔn)確計(jì)算出圖像的運(yùn)動(dòng)偏移量。因此需要結(jié)合圖像間的信息實(shí)現(xiàn)場(chǎng)景的運(yùn)動(dòng)估計(jì)。模板匹配方法,實(shí)時(shí)性高,但具有抗噪聲、抗干擾能力比較差的局限性[1-5]。SIFT 算子,Harris角點(diǎn)檢測(cè)算子等特征提取方法具有能夠適應(yīng)環(huán)境光照變化等優(yōu)點(diǎn),但計(jì)算代價(jià)較大,運(yùn)算時(shí)間較長(zhǎng)。C Kuglin,D Hines采用傅立葉變換的相位相關(guān)法進(jìn)行背景運(yùn)動(dòng)補(bǔ)償,由于其邊界效應(yīng)會(huì)影響圖像的交叉能量譜,從而降低偏移量估計(jì)的精度,同時(shí)計(jì)算復(fù)雜無(wú)法滿足工程上的實(shí)時(shí)性應(yīng)用要求。
為了避免以上方法存在的問(wèn)題,本文根據(jù)圖像邊緣信息具有抗光照變化,抗干擾能力強(qiáng)的性質(zhì),計(jì)算背景圖像與當(dāng)前幀圖像間邊緣位置互相關(guān)性,檢測(cè)出兩幅圖像之間的平移量,估計(jì)運(yùn)動(dòng)參數(shù),從而實(shí)現(xiàn)實(shí)時(shí)準(zhǔn)確的場(chǎng)景運(yùn)動(dòng)檢測(cè)。
圖像的邊緣是具有不同灰度的區(qū)域的邊界,它反映了灰度的階越變化,是圖像灰度的急劇變化區(qū)域,包含著場(chǎng)景中有價(jià)值的邊界信息,是圖像分析的重要依據(jù)。Sobel算子能夠平滑噪聲,對(duì)噪聲具有抑制能力,同時(shí)它計(jì)算方法簡(jiǎn)單,有利于實(shí)時(shí)處理的應(yīng)用要求。因此本文采用Sobel算子對(duì)背景和當(dāng)前圖像進(jìn)行卷積處理,提取邊緣。
Sobel算子是基于一階微分的邊緣檢測(cè)方法,本文采用如下x和y方向的窗口算子。
圖1 Sobel窗口算子Fig.1 Sobel window operator
為了檢測(cè)背景幀圖像相對(duì)于當(dāng)前幀圖像的偏移量,通常采用方法是在背景幀圖像和當(dāng)前幀圖像中計(jì)算匹配點(diǎn)或匹配塊,根據(jù)匹配的位置差異計(jì)算幀間偏移量。
如果背景圖像中的特征信息不足,場(chǎng)景較單一或存在較多干擾。這樣就造成浪費(fèi)大量的處理時(shí)間,甚至場(chǎng)景運(yùn)動(dòng)檢測(cè)失效。因此配準(zhǔn)模型應(yīng)該選取圖像中信息豐富的部分。局部熵刻畫了圖像中局部區(qū)域變化的劇烈程度。局部熵反映了邊緣圖像的離散程度,在局部熵大的地方,邊緣圖像相對(duì)均勻;局部熵小的地方,邊緣圖像離散性越大。
設(shè)F(i,j)為邊緣圖像中點(diǎn)(i,j)處的灰度值,對(duì)于M×N的局部窗口,局部熵為:
βi,j反映了邊緣圖像窗口內(nèi)的灰度變化率大小。在邊緣圖像中相對(duì)較均勻的地方,局部熵就大,βi,j的值也越大;邊緣圖像相差較大的地方,局部熵小。
局部熵計(jì)算涉及到對(duì)數(shù)運(yùn)算,計(jì)算工作量大運(yùn)行速度慢??捎商├照归_舍去高次項(xiàng),得到近似計(jì)算公式:
本文將背景幀邊緣圖像分成N塊,計(jì)算每塊的局部熵,選取局部熵最小的M塊邊緣圖像作為配準(zhǔn)模型。這樣既減小匹配計(jì)算量,同時(shí)又提高運(yùn)動(dòng)矢量檢測(cè)準(zhǔn)確性。
圖像配準(zhǔn)是將圖像中的場(chǎng)景穩(wěn)定在同一幀圖像的相同位置上,即計(jì)算當(dāng)前幀相對(duì)背景幀來(lái)說(shuō)在X方向和Y方向上各運(yùn)動(dòng)了多少像素,然后根據(jù)偏移量移動(dòng)當(dāng)前幀圖像與前一幀配準(zhǔn)。
由于背景幀中選取的配準(zhǔn)模型可能在當(dāng)前幀圖像中包含運(yùn)動(dòng)目標(biāo),但一般情況下,運(yùn)動(dòng)目標(biāo)與場(chǎng)景相比只占圖像的小部分區(qū)域,如果考慮匹配的圖像中局部熵塊的運(yùn)動(dòng)矢量,無(wú)目標(biāo)塊的矢量應(yīng)該具有一致性,也就是說(shuō)大部分塊運(yùn)動(dòng)矢量的長(zhǎng)度應(yīng)該相等,相關(guān)性強(qiáng),而當(dāng)前圖像中含有目標(biāo)的塊的相關(guān)性差。
兩幅圖像之間的匹配是通過(guò)將模板圖像與待匹配圖像進(jìn)行相關(guān)運(yùn)算,得到一個(gè)相似度,根據(jù)相似度的大小就可以判斷二者是否匹配。當(dāng)二者匹配時(shí),可以得到模板圖像在待匹配圖像中的位置。邊緣的場(chǎng)景圖像與當(dāng)前幀圖像的相似度計(jì)算公式為:
為了消除匹配的誤差及運(yùn)動(dòng)目標(biāo)的干擾,對(duì)M塊背景模板邊緣圖像分別計(jì)算運(yùn)動(dòng)矢量,統(tǒng)計(jì)其直方圖分布,濾除奇異值。對(duì)剩余的K塊模版計(jì)算所得的運(yùn)動(dòng)矢量,根據(jù)它們的相似度分別計(jì)算x方向和y方向的位移矢量。
取得場(chǎng)景運(yùn)動(dòng)矢量后,動(dòng)態(tài)目標(biāo)檢測(cè)便可根據(jù)運(yùn)動(dòng)矢量,補(bǔ)償當(dāng)前幀圖像。對(duì)背景圖像和補(bǔ)償后的圖像,采用差分運(yùn)算消除場(chǎng)景圖像,提取前景運(yùn)動(dòng)目標(biāo)。
為了驗(yàn)證算法的有效性和實(shí)時(shí)性,以PC機(jī)(Pentium 4CPU 2.8GHz,2GB內(nèi)存)做為實(shí)驗(yàn)平臺(tái),對(duì)上述算法進(jìn)行仿真,測(cè)試效果分別如圖所示。
(1)實(shí)驗(yàn)一 山林中放火的長(zhǎng)波紅外數(shù)字圖像
實(shí)驗(yàn)圖像分辨率為320×256,14位灰度級(jí)。紅外圖像如圖2所示。圖像中背景圖像和當(dāng)前幀圖像位置發(fā)生偏移,火點(diǎn)位置火焰面積和亮度發(fā)生變化。
圖2 紅外實(shí)驗(yàn)圖像Fig.2 Infrared images experiment
圖2(d)為本文方法場(chǎng)景運(yùn)動(dòng)補(bǔ)償后,背景圖像與當(dāng)前幀補(bǔ)償后圖像相減并二值化后的結(jié)果。算法耗時(shí)13ms,完全滿足工程中紅外圖像50frame/s的實(shí)時(shí)圖像處理要求。檢測(cè)結(jié)果為x方向運(yùn)動(dòng)41個(gè)像素,y方向運(yùn)動(dòng)3個(gè)像素。結(jié)果中可以看出背景圖像已經(jīng)背完全剔除,只剩下發(fā)生變化的火點(diǎn)。而圖像(e)為背景圖像與當(dāng)前幀圖像直接相減并二值化后的結(jié)果,圖像中包含大量的山脈及林木背景。
(2)實(shí)驗(yàn)二 林區(qū)中煙霧的可見光模擬圖像
實(shí)驗(yàn)圖像如圖3所示,分辨率為768×576,8位灰度級(jí)。可以看到兩幅圖像中煙霧發(fā)生明顯變化,在圖像上包含大量鏡頭上的臟點(diǎn)所成的像,這對(duì)場(chǎng)景運(yùn)動(dòng)估計(jì)造成很大影響。
圖3 可見光實(shí)驗(yàn)圖像Fig.3 Visible image experiment
圖3(d)為本文方法場(chǎng)景運(yùn)動(dòng)補(bǔ)償后,背景圖像與當(dāng)前幀補(bǔ)償后圖像相減并二值化后的結(jié)果。算法耗時(shí)24ms,低于模擬視頻圖像25frame/s的采集頻率。檢測(cè)結(jié)果為x方向運(yùn)動(dòng)11個(gè)像素,y方向運(yùn)動(dòng)2個(gè)像素。差分結(jié)果圖像只檢測(cè)出了發(fā)生變化的動(dòng)態(tài)煙霧目標(biāo)。而圖3(e)為中不僅包含了煙霧,而且含有背景中物體,對(duì)運(yùn)動(dòng)目標(biāo)識(shí)別造成嚴(yán)重影響。
在復(fù)雜運(yùn)動(dòng)場(chǎng)景中的動(dòng)態(tài)目標(biāo)識(shí)別檢測(cè)的工程應(yīng)用中,通常需要首先檢測(cè)計(jì)算出背景圖像的運(yùn)動(dòng),再依據(jù)目標(biāo)的特征來(lái)識(shí)別目標(biāo)。為了滿足處理速度實(shí)時(shí)并保證目標(biāo)檢測(cè)準(zhǔn)確有效的需要,本文首先對(duì)背景及當(dāng)前幀圖像提取邊緣圖像,根據(jù)背景邊緣圖像中不同分塊的局部熵,合理選取配準(zhǔn)模型,進(jìn)而通過(guò)計(jì)算與當(dāng)前幀邊緣圖像的相關(guān)性,實(shí)現(xiàn)當(dāng)前幀圖像相對(duì)于背景的運(yùn)動(dòng)估計(jì)。通過(guò)紅外與可見光圖像的實(shí)驗(yàn),結(jié)果表明本文方法實(shí)時(shí)準(zhǔn)確的檢測(cè)出了當(dāng)前幀與背景之間的運(yùn)動(dòng)偏移,通過(guò)背景與補(bǔ)償后的圖像有效的計(jì)算出了當(dāng)前幀中的運(yùn)動(dòng)變化目標(biāo),是一種非常適合于工程中應(yīng)用的場(chǎng)景運(yùn)動(dòng)檢測(cè)技術(shù)。
[1]劉文萍,賀娜.一種新的背景減運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].計(jì)算機(jī)工程與應(yīng)用,2011,47(22):175-179.LIU W P,HE N.Moving object detection method based on background subtraction [J].Computer Engineering and Applications,2011,47(22):175-179.(in Chinese)
[2]梅躍松,于劍橋,陳曦.移動(dòng)背景下的運(yùn)動(dòng)目標(biāo)跟蹤[J].紅外與激光工程,2011,40(4):757-761.Mei Y S,Yu J Q,Chen X.Moving object tracking in the moving background[J].Infrared and Laser Engineering,2011,40(4):757-761.(in Chinese)
[3]Guan Y P.Spatio-temporal motion-based foreground segmentation and shadow suppression [C].Proceedings of Computer Vision,2010:50-60.
[4]Hafiz F.Foreground segmentation-based human detection with shadow removal[C].Proceedings of International Conference on Computer and Communication Engineering,2010:1-6.
[5]Bayona A.Stationary foreground detection using background sub-traction and temporal difference in video surveillance[C].Proceedings of the 17th IEEE International Conference on Image Processing,2010:4657-4660.
[6]Huang M.A study of moving object detection based on combining background profile difference algorithm [C].Proceedings of the 2nd International Conference on Industrial and Information Systems,2010:425-428.
[7]吳本濤,吳敏淵,曾霖.自適應(yīng)搜索的快速分塊跟蹤[J].光學(xué)精密工程,2011,19(3):703-708.Wu B T,Wu M Y,Zeng L.Fast fragment based tracking using adaptive search [J].Optics and Precision Engineering,2011,19(3):703-708.(in Chinese)
[8]侯晴宇,張偉,武春風(fēng),等.改進(jìn)的均值移位紅外目標(biāo)跟蹤[J].光學(xué)精密工程,2010,18(3):764-770.Hou Q Y,Zhang W,Wu C F,et al.Improved mean-shift based IR target tracking algorithm [J].Optics and Precision Engineering,2010,18(3):764-770.(in Chinese)
[9]吳君欽,劉昊,羅勇.靜態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].液晶與顯示,2012,27(5):682-685.Wu J Q,LIU H,Luo Y.Algorithm of moving object detection in static background[J].Chinese Journal of LiquidCrystals and Displays,2012,27(5):682-685.(in Chinese)
[10]孫輝.相位相關(guān)技術(shù)實(shí)現(xiàn)離焦模糊圖像運(yùn)動(dòng)估計(jì)[J].液晶與顯示,2012,27(2):223-228.Sun H.Estimation of displacement for out-of-focus blurred image using phase-only correlation[J].Chinese Journal of Liquid Crystals and Displays,2012,27(2):223-228.(in Chinese)
[11]盧官明,謝雙.自適應(yīng)背景更新及運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].南京郵電大學(xué)學(xué)報(bào):自然科學(xué)版,2013,33(3):12-17.Lu G M,Xie S.Adaptive background update and moving object detection[J].Journal of Nanjing University of Posts and Telecommunications :Natural Science,2013,33(3):12-17.(in Chinese)
[12]Denman S,F(xiàn)ookes C,Sridharan S.Improved simultaneous computation of motion detection and optical flow for object tracking[C].Proceedings of Digital Image Computing:Techniques and Applications,2009:175-182.
[13]Xiao B X.Moving object detection and recognition based on the frame difference algorithm and moment invariant features[C].Proceedings of the 27th Chinese Control Conference,2008:578-581.