劉澤平 劉明興 李曉帆 姚明杰 麻方達(dá) 符朝興
文章編號(hào):10069798(2022)02006106;DOI:10.13306/j.10069798.2022.02.010
摘要:針對(duì)移動(dòng)目標(biāo)檢測(cè)方法存在的受背景環(huán)境影響而導(dǎo)致檢測(cè)結(jié)果不準(zhǔn)確的問(wèn)題,本文提出一種融合高斯混合模型的背景減除法。算法與頻率調(diào)諧顯著性區(qū)域檢測(cè)(frequency-tuned,F(xiàn)T)算法的移動(dòng)目標(biāo)檢測(cè)方法。該研究以攝像頭拍攝到的遙控車行走視頻為分析材料,在降采樣圖像上用MOG2算法檢測(cè)移動(dòng)目標(biāo),經(jīng)二值化和濾波去噪后框選移動(dòng)目標(biāo)感興趣區(qū)域,采用FT算法檢測(cè)此感興趣區(qū)域,并利用置信度結(jié)合兩次檢測(cè)結(jié)果完成移動(dòng)目標(biāo)檢測(cè)。實(shí)驗(yàn)結(jié)果顯示,在置信度分別為α=0.6,β=0.4時(shí),本文檢測(cè)方法將檢測(cè)300幀圖像時(shí)平均交并比由0.72提高到0.78,說(shuō)明該算法可以消除背景陰影及鬼影影響,從而有效提高移動(dòng)目標(biāo)的檢測(cè)精度。
關(guān)鍵詞:移動(dòng)目標(biāo)檢測(cè);MOG2算法;FT算法;高斯混合模型;背景減除法
中圖分類號(hào):TP391.41文獻(xiàn)標(biāo)識(shí)碼:A
隨著計(jì)算機(jī)視覺(jué)技術(shù)的不斷發(fā)展,移動(dòng)目標(biāo)檢測(cè)越來(lái)越廣泛的應(yīng)用于智能交通、智能安防、無(wú)人駕駛、航空航天和醫(yī)學(xué)等領(lǐng)域,使移動(dòng)目標(biāo)檢測(cè)技術(shù)成為研究的熱點(diǎn)\[1\]。目前,廣泛運(yùn)用的移動(dòng)目標(biāo)檢測(cè)方法是基于高斯混合模型的背景減除法(backgroundsubtractormixtureofgaussians,MOG2)。1999年,C.STAUFFER等人\[2\]采用多個(gè)高斯分布擬合背景,首先運(yùn)用高斯混合模型對(duì)背景進(jìn)行建模,該方法可以在復(fù)雜場(chǎng)景下檢測(cè)出運(yùn)動(dòng)物體;2012年,O.BARNICH等人\[3\]提出VIBE算法,對(duì)單幀圖像進(jìn)行建模,后續(xù)幀開(kāi)始通過(guò)歐氏距離將像素點(diǎn)分為前景和背景,并采用無(wú)記憶更新和重采樣更新,該算法雖然計(jì)算速度快,但仍會(huì)出現(xiàn)鬼影現(xiàn)象;戚海永\[4\]提出了一種基于累積差分更新的背景減除法,較好地消除了場(chǎng)景變化及噪聲影響等的干擾,有效地檢測(cè)出運(yùn)動(dòng)物體;梁碩\[5\]把LaBGen方法生成的背景圖像作為背景模型初始化的輸入幀,改進(jìn)出一種基于LaBGen的自適應(yīng)閡值ViBe算法;寧志雄\[6\]基于高斯混合模型,對(duì)泊車緩沖區(qū)中的動(dòng)態(tài)物體進(jìn)行了有效檢測(cè);黎陽(yáng)羊\[7\]采用基于高斯混合模型的背景減除法,利用當(dāng)前圖像與背景圖像的差分來(lái)檢測(cè)出運(yùn)動(dòng)區(qū)域;為提高運(yùn)動(dòng)目標(biāo)輪廓邊緣的精確度,殷夢(mèng)妮\[8\]在進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)時(shí),結(jié)合高斯混合模型的背景減除法和最小核值相似區(qū)(smallestunivaluesegmentassimilatingnucleus,SUSAN)邊緣檢測(cè)算子。以上研究雖在某些方面改善了目標(biāo)檢測(cè)方法,但并未充分考慮移動(dòng)物體陰影的影響。有陰影影響情況下,檢測(cè)結(jié)果會(huì)出現(xiàn)明顯的不準(zhǔn)確現(xiàn)象。因此,本文主要對(duì)融合MOG2算法與FT算法的移動(dòng)目標(biāo)檢測(cè)方法進(jìn)行研究,充分考慮陰影的影響,提出一種魯棒性較高的移動(dòng)目標(biāo)檢測(cè)方法,即檢測(cè)移動(dòng)目標(biāo)時(shí),首先采用MOG2方法檢測(cè)出存在移動(dòng)目標(biāo)的感興趣區(qū)域,然后結(jié)合FT算法,得到更為準(zhǔn)確的移動(dòng)目標(biāo)區(qū)域。研究結(jié)果表明,本研究改進(jìn)后的算法,其檢測(cè)精度明顯高于原算法,有效的解決了背景減除法檢測(cè)移動(dòng)目標(biāo)時(shí)存在的問(wèn)題。該研究具有一定的創(chuàng)新性以及學(xué)術(shù)性。-
1基本原理
1.1MOG2算法
MOG2是OpenCV中開(kāi)源的一種背景提取算法,通過(guò)對(duì)比當(dāng)前幀和生成的背景模型,區(qū)分出視頻序列中變化較大的運(yùn)動(dòng)物體,其中背景模型隨場(chǎng)景變化實(shí)時(shí)更新\[9\]。MOG2采用的高斯混合模型(gaussianmixturemodel,GMM)是背景建模中的經(jīng)典算法\[10\],它通過(guò)多個(gè)高斯概率分布函數(shù)線性組合,表示像素在時(shí)域概率分布模型。像素在時(shí)域概率分布模型為
式中,xti,j代表i,j位置的像素點(diǎn)x在t時(shí)刻的像素值;ωtk為t時(shí)刻第k個(gè)高斯分布的加權(quán)系數(shù)\[11\];∑Nk=1ωtk=1;Gxti,j,μtk,(σtk)2表示t時(shí)刻期望值為μtk,(σtk)2為標(biāo)準(zhǔn)差,即
將每個(gè)像素點(diǎn)x與此刻的背景模型進(jìn)行比較,當(dāng)像素點(diǎn)與第k個(gè)高斯模型匹配時(shí),像素為背景,否則為移動(dòng)目標(biāo),并用一個(gè)新的分布替換模型中的權(quán)重最小分布。其比較公式為
權(quán)重更新公式為
式中,α為更新因子;Dtk為匹配結(jié)果標(biāo)識(shí)符,當(dāng)匹配成功時(shí)為1,否則為0。匹配成功后,模型更新為
1.2FT算法
FT算法是R.ACHANTA等人\[12\]在2009年提出的全頻域分析算法,它將圖像傅里葉變換,并將時(shí)域圖像轉(zhuǎn)換到頻域,在頻域的圖像,可分為代表圖像整體信息的低頻部分和反映圖像細(xì)節(jié)信息的高頻部分\[13\]。顯著性區(qū)域檢測(cè)主要使用低頻部分信息,因此FT方法采用高斯平滑來(lái)去除圖像高頻。
將圖像由顏色空間RGB轉(zhuǎn)換為顏色空間LAB,計(jì)算整幅圖像L、A、B的平均值,并計(jì)算每一個(gè)像素點(diǎn)與平均值間的歐式距離,得到顯著圖像\[14\]。像素的顯著性為
式中,Iμ為圖像在LAB空間像素算術(shù)平均值;Iωhc(p)為圖像高斯模糊模板,用來(lái)消除紋理細(xì)節(jié)和噪聲;‖‖為歐氏距離\[15\]。
將顯著圖像通過(guò)每一點(diǎn)顯著值除以最大顯著值,歸一化后,將PAX作為每個(gè)點(diǎn)對(duì)應(yīng)的數(shù)值,PAX是像素為區(qū)域內(nèi)前景的概率,即
2實(shí)驗(yàn)過(guò)程
2.1環(huán)境搭建
本文實(shí)驗(yàn)所使用的攝像頭為??低旸SIPCT12I,焦距為4mm,分辨率為1920d/i×1080d/i,將攝像頭懸掛在天花板上方,對(duì)地面傾斜照射,攝像頭懸掛高度為5m,采集的模擬環(huán)境大小為4m×6m。攝像頭拍攝的模擬實(shí)驗(yàn)場(chǎng)景如圖1所示,本研究將位于圖中間的遙控車作為移動(dòng)目標(biāo)來(lái)檢測(cè)。
基于本文方法檢測(cè)移動(dòng)目標(biāo),不同的硬件和軟件環(huán)境效果有所不同,本文仿真所用系統(tǒng)為Ubuntu18.04LTD,圖形處理器(graphicsprocessingunit,GPU)為NVIDIA1070Ti,隨機(jī)存取存儲(chǔ)器(randomaccessmemory,RAM)為16GB,運(yùn)行程序的環(huán)境為Python3.7+OpenCV3.4.2。
2.2實(shí)驗(yàn)步驟
實(shí)驗(yàn)流程圖如圖2所示。本文對(duì)采集的圖像降采樣處理,然后應(yīng)用MOG2算法進(jìn)行移動(dòng)目標(biāo)檢測(cè),對(duì)檢測(cè)結(jié)果圖像進(jìn)行去噪處理,得到MOG2移動(dòng)目標(biāo)檢測(cè)的結(jié)果和去噪后的結(jié)果一,在結(jié)果一基礎(chǔ)上框選移動(dòng)目標(biāo)區(qū)域,利用置信度結(jié)合MOG2算法與FT算法得出實(shí)驗(yàn)結(jié)果二。
本文采用監(jiān)控?cái)z像頭捕捉圖像,攝像頭位置固定不變,屬于靜態(tài)背景,車間內(nèi)主要影響運(yùn)動(dòng)目標(biāo)識(shí)別的因素有光照、陰影及雜亂背景。對(duì)采集的圖像運(yùn)用MOG2進(jìn)行移動(dòng)目標(biāo)檢測(cè),然后進(jìn)行去噪處理,MOG2檢測(cè)移動(dòng)目標(biāo)結(jié)果如圖3所示。
由圖3可以看出,基于混合高斯模型檢測(cè)移動(dòng)目標(biāo)時(shí),受光照影響較大,易將陰影區(qū)域檢測(cè)為移動(dòng)目標(biāo),并且會(huì)出現(xiàn)鬼影現(xiàn)象,因此對(duì)移動(dòng)目標(biāo)區(qū)域再次檢測(cè),通過(guò)計(jì)算像素點(diǎn)為移動(dòng)目標(biāo)的概率重新檢測(cè)。
移動(dòng)目標(biāo)檢測(cè)的主要目標(biāo)是前景目標(biāo),對(duì)于背景環(huán)境的變化不太關(guān)注。本文將除了要檢測(cè)的目標(biāo)外都劃為背景,因此識(shí)別結(jié)果的像素點(diǎn)狀態(tài)可分為移動(dòng)的前景和背景兩類,每個(gè)像素點(diǎn)為移動(dòng)前景的概率為P,PA為前景的概率,PB為移動(dòng)的概率,當(dāng)一個(gè)像素點(diǎn)為背景像素時(shí),其大概率是不移動(dòng),移動(dòng)事件與背景事件是相關(guān)事件;當(dāng)像素為背景時(shí),移動(dòng)的概率無(wú)法計(jì)算。因此,概率P為
式中,PAX表示通過(guò)像素為區(qū)域內(nèi)前景的概率;PBX表示通過(guò)區(qū)域內(nèi)像素移動(dòng)的概率;α和β分別為PAX和PBX的置信度,α+β=1\[16\]。PAX和PBX為存在移動(dòng)目標(biāo)區(qū)域內(nèi)像素為移動(dòng)目標(biāo)概率的測(cè)量值,都具有一定誤差。
為提高運(yùn)算速度,本文將MOG2算法檢測(cè)出的移動(dòng)目標(biāo)區(qū)域框選出來(lái),既能減少不必要區(qū)域的計(jì)算,又能選擇出存在移動(dòng)目標(biāo)區(qū)域,存在移動(dòng)目標(biāo)區(qū)域如圖4所示。
假設(shè)此時(shí)選擇出的存在移動(dòng)目標(biāo)區(qū)域已足夠小,且該區(qū)域內(nèi)前景目標(biāo)大部分是移動(dòng)的,因此采用圖像顯著圖表示概率PAX\[17\],應(yīng)用顯著性檢測(cè)方法FT算法,得到區(qū)域顯著圖如圖5所示。由圖5可以看出,圖中遙控車部分能區(qū)別于不感興趣的背景,并且遙控車的輪廓較為清晰。
將移動(dòng)目標(biāo)區(qū)域內(nèi)MOG2算法的檢測(cè)結(jié)果進(jìn)行高斯模糊后,看作將該結(jié)果每一像素點(diǎn)值作為存在移動(dòng)目標(biāo)區(qū)域內(nèi)移動(dòng)的概率,區(qū)域移動(dòng)目標(biāo)檢測(cè)結(jié)果如圖6所示。由圖6可以看出,此時(shí)遙控車和背景陰影都被認(rèn)為成移動(dòng)目標(biāo),并且遙控車邊界不清晰。此時(shí),像素點(diǎn)范圍為0~255,對(duì)其歸一化\[18\],將歸一化后結(jié)果作為PBX。
圖4存在移動(dòng)目標(biāo)區(qū)域圖5區(qū)域顯著圖圖6區(qū)域移動(dòng)目標(biāo)檢測(cè)結(jié)果-對(duì)于置信度α和β,不同置信度效果對(duì)比如圖7所示。由圖7可以看出,對(duì)結(jié)果進(jìn)行二值化操作,當(dāng)概率P大于0.5時(shí),像素置為白色,否則為黑色。在本文采集的視頻上,α=0.6,β=0.4時(shí)的效果好于其他權(quán)重效果。為提高檢測(cè)速度及效果,本文引入了圖像金字塔模型,所有目標(biāo)檢測(cè)均在下采樣圖像上進(jìn)行。圖7不同置信度效果對(duì)比
3實(shí)驗(yàn)結(jié)果
3.1目標(biāo)檢測(cè)結(jié)果
將本文算法在置信度α=0.6,β=0.4時(shí),與基于高斯混合模型的背景減除法進(jìn)行對(duì)比,背景減除法效果對(duì)比如圖8所示。由圖8可以看出,改進(jìn)后的算法可消除背景陰影及鬼影影響\[19\],基于高斯混合模型方式的檢測(cè)速度為17.38f/s,本改進(jìn)方法的檢測(cè)速度為13.65f/s,由于本改進(jìn)方法需要對(duì)存在移動(dòng)目標(biāo)區(qū)域內(nèi)的檢測(cè)結(jié)果進(jìn)行重新運(yùn)算,因此檢測(cè)速度低于原方法。
3.2目標(biāo)檢測(cè)精度
本文采用交并比(intersectionoverunion,IOU),評(píng)價(jià)移動(dòng)目標(biāo)檢測(cè)精度。IOU為檢測(cè)框與原圖片中標(biāo)記框的重合程度\[20\],其計(jì)算方法是檢測(cè)結(jié)果與實(shí)際結(jié)果的交集與并集之比,即
其中,D表示檢測(cè)結(jié)果;T表示實(shí)際結(jié)果。
在同一段視頻上,分別采用MOG2和本文改進(jìn)算法進(jìn)行實(shí)驗(yàn),檢測(cè)200幀圖像時(shí)的兩種方法對(duì)比結(jié)果如表1所示,檢測(cè)300幀圖像時(shí)的兩種方法對(duì)比結(jié)果如表2所示,并對(duì)表1和表2中兩種算法檢測(cè)移動(dòng)目標(biāo)時(shí)的花費(fèi)時(shí)間和平均交并比進(jìn)行統(tǒng)計(jì)。-移動(dòng)目標(biāo)檢測(cè)結(jié)果如圖9所示。圖中,a表示真實(shí)框;c表示MOG2算法檢測(cè)框;b表示本文改進(jìn)算法的檢測(cè)框。在背景光照干擾下,本文改進(jìn)后的算法檢測(cè)精度明顯好于原算法,但檢測(cè)速度與原算法相比略慢。
4結(jié)束語(yǔ)
本文提出了一種改進(jìn)的移動(dòng)目標(biāo)檢測(cè)方法,該方法利用置信度結(jié)合MOG2算法與FT算法完成移動(dòng)目標(biāo)檢測(cè)。應(yīng)用本文方法可將300幀圖像移動(dòng)目標(biāo)檢測(cè)的平均交并比由0.72提高到0.78,提高了移動(dòng)目標(biāo)檢測(cè)精度,改進(jìn)了原方法中容易出現(xiàn)的噪聲、鬼影等現(xiàn)象,有效解決了光影變化導(dǎo)致檢測(cè)區(qū)域過(guò)大問(wèn)題,對(duì)應(yīng)用移動(dòng)目標(biāo)檢測(cè)方法較多的智能交通、無(wú)人駕駛等領(lǐng)域有一定的幫助。本方法需要對(duì)框選目標(biāo)區(qū)域內(nèi)的檢測(cè)結(jié)果進(jìn)行重新運(yùn)算,所以檢測(cè)速度略慢于原算法,另外本文提出改進(jìn)方法的置信度參數(shù)需要手動(dòng)設(shè)定,如何計(jì)算自適應(yīng)的置信度是下一步研究的重點(diǎn)。
參考文獻(xiàn):
\[1\]王迪聰,白晨帥,鄔開(kāi)俊.基于深度學(xué)習(xí)的視頻目標(biāo)檢測(cè)綜述\[J\].計(jì)算機(jī)科學(xué)與探索,2021,15(9):15631577.
\[2\]STAUFFERC,GRIMSONWEL.Adaptivebackgroundmixturemodelsforreal-timetracking\[C\]∥1999IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.FortCollins:IEEE,1999:246252.
\[3\]BARNICHO,VANDROOGENBROECKM.ViBe:Auniversalbackgroundsubtractionalgorithmforvideosequences\[J\].IEEETransactionsonImageProcessing,2011,20(6):17091724.
\[4\]戚海永.基于累積差分更新背景減除法的運(yùn)動(dòng)目標(biāo)檢測(cè)算法研究\[J\].辦公自動(dòng)化,2020,25(15):4244,60.
\[5\]梁碩.基于背景減除法的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究\[D\].西安:西安石油大學(xué),2019.
\[6\]寧志雄.泊車AGV的車輛位姿檢測(cè)系統(tǒng)設(shè)計(jì)\[D\].哈爾濱:哈爾濱工業(yè)大學(xué),2019.
\[7\]黎陽(yáng)羊.基于背景減除法的高斯混合模型在電纜溝預(yù)防動(dòng)物的應(yīng)用\[J\].信息技術(shù)與信息化,2020(1):5557.
\[8\]殷夢(mèng)妮.基于高斯混合模型的運(yùn)動(dòng)目標(biāo)檢測(cè)\[D\].哈爾濱:哈爾濱工程大學(xué),2012.
\[9\]SAKPALNS,SABNISM.Adaptivebackgroundsubtractioninimages\[C\]∥2018InternationalConferenceonAdvancesinCommunicationandComputingTechnology(ICACCT).Sangamner:IEEE,2018:439444.
\[10\]ZIVKOVICZ.ImprovedadaptiveGaussianmixturemodelforbackgroundsubtraction\[C\]∥Proceedingsofthe17thInternationalConferenceonPatternRecognition.Cambridge:IEEE,2004:2831.
\[11\]朱松.MOG2算法在區(qū)域入侵檢測(cè)的應(yīng)用\[J\].科技風(fēng),2019(5):248.
\[12\]ACHANTAR,HEMAMIS,ESTRADAF,etal.Frequency-tunedsalientregiondetection\[C\]∥2009IEEEConferenceonComputerVisionandPatternRecognition.Miami:IEEE,2009:15971604.
\[13\]李富生.視覺(jué)顯著性檢測(cè)及其在視頻編碼中的應(yīng)用研究\[D\].深圳:深圳大學(xué),2015.
\[14\]黃梨.基于改進(jìn)的FT算法在自然圖像中的應(yīng)用研究\[J\].微型機(jī)與應(yīng)用,2015,34(21):3739.
\[15\]范明亮,郭子涵,柴曉楠,等.面向FT-M7002的Sobel邊緣檢測(cè)算法優(yōu)化實(shí)現(xiàn)\[J/OL\].計(jì)算機(jī)工程,2021:18\[20210729\].https:∥doi.org/10.19678/j.issn.10003428.0061903.
\[16\]成科揚(yáng),孫爽,王文杉,等.結(jié)合置信度加權(quán)融合與視覺(jué)注意機(jī)制的前景檢測(cè)\[J\].中國(guó)圖象圖形學(xué)報(bào),2021,26(10):24622472.
\[17\]夏衛(wèi)生,方向瑤,楊帥,等.基于頻率調(diào)諧的焊縫紅外圖像顯著性檢測(cè)算法\[J\].焊接,2021(4):812.
\[18\]吳煌,李凱勇.基于DCT域的數(shù)字圖像隱寫容量歸一化方法\[J\].計(jì)算機(jī)仿真,2021,38(8):207211.
\[19\]安世全,張莉,瞿中.基于導(dǎo)向?yàn)V波的鬼影消除多曝光圖像融合\[J\].計(jì)算機(jī)工程與設(shè)計(jì),2020,41(11):31543160.
\[20\]孫世強(qiáng),左海維,趙露婷.聯(lián)合特征相似性度量和交并比的檢測(cè)框優(yōu)選研究\[J\].電腦知識(shí)與技術(shù),2019,15(29):190193.作者與作者單位英譯
1)作者:中國(guó)人名按漢語(yǔ)拼音拼寫;其他非英語(yǔ)國(guó)家人名按作者自己提供的羅馬字母拼法拼寫。
2)單位:?jiǎn)挝幻Q要寫全(由小到大),并附地址和郵政編碼,確保聯(lián)系方便。另外,英譯單位不能采取縮寫,且一定要采用本單位統(tǒng)一的譯法,切不可隨意改寫。
AMovingTargetDetectionMethodCombiningMOG2AlgorithmandFTAlgorithm
LIUZeping,LIUMingxing,LIXiaofan,YAOMingjie,MAFangda,F(xiàn)UChaoxing
(CollegeofMechanicalandElectricalEngineering,QingdaoUniversity,Qingdao266071,China)Abstract:
Themovingtargetdetectionmethodisaffectedbythebackgroundenvironment,resultingininaccuratedetectionresults.AmovingtargetdetectionmethodcombiningMOG2algorithmandfrequencytunedsignificantregiondetection(FT)algorithmisproposed.Takingtheremotecontrolvehiclewalkingvideocapturedbythecameraastheanalysismaterial,themovingtargetisdetectedbyMOG2algorithmonthedownsampledimage.Afterbinarizationandfilteringdenoising,theregionofinterestofthemovingtargetisframed,theregionofinterestisdetectedbyFTalgorithm,andthemovingtargetdetectioniscompletedbyusingconfidencecombinedwiththetwodetectionresults.Whentheconfidenceisα=0.6,β=0.4,theaverageintersectiontounionratioof300framesisincreasedfrom0.72to0.78,whichshowsthatthealgorithmcaneliminatetheinfluenceofbackgroundshadowandghost,soastoeffectivelyimprovethedetectionaccuracyofmovingtargets.
Keywords:
movingtargetdetection;MOG2algorithm;FTalgorithm;Gaussianmixturemodel;backgroundsubstraction
收稿日期:20211020;修回日期:20211212
作者簡(jiǎn)介:劉澤平(1996),男,碩士研究生,主要研究方向?yàn)槿斯ぶ悄堋?/p>
通信作者:符朝興(1968),男,博士,副教授,主要研究方向?yàn)槿斯ぶ悄芎蜋C(jī)械振動(dòng)。Email:cx_f@163.com
-