張全法，李宏成，楊海彬，任朝棟

（鄭州大學(xué) 物理工程學(xué)院，鄭州450001）

以掃描線為單位的背景提取與更新算法研究

張全法，李宏成，楊海彬，任朝棟

（鄭州大學(xué) 物理工程學(xué)院，鄭州450001）

基于背景差分法的視頻車(chē)輛監(jiān)控系統(tǒng)實(shí)時(shí)性與準(zhǔn)確性的設(shè)計(jì)要求，提出了一種新的背景提取與更新算法.該算法以掃描線為單位進(jìn)行運(yùn)算處理，簡(jiǎn)單易行.在背景提取和背景更新階段，分別利用幀間差分和背景差分檢測(cè)運(yùn)動(dòng)前景，再配合適當(dāng)?shù)倪\(yùn)動(dòng)區(qū)域判定條件，很好地消除了運(yùn)動(dòng)前景的影響，提高了準(zhǔn)確性.通過(guò)將背景更新任務(wù)分解到多幀中處理，大大縮短了處理一幀圖像的耗時(shí)，提高了系統(tǒng)實(shí)時(shí)性.實(shí)踐證明該方法可行.

背景提取；背景更新；掃描線；運(yùn)動(dòng)檢測(cè)；任務(wù)分解

在基于視頻的車(chē)輛監(jiān)控系統(tǒng)中，通常利用背景差分法來(lái)檢測(cè)運(yùn)動(dòng)車(chē)輛，背景提取是其關(guān)鍵技術(shù)［1］.一個(gè)優(yōu)良的背景應(yīng)該能夠根據(jù)外界環(huán)境的變化實(shí)時(shí)地更新［2］.在進(jìn)行系統(tǒng)設(shè)計(jì)的時(shí)候，除了要求背景提取與更新的準(zhǔn)確度足夠高之外，還要求背景更新的耗時(shí)盡量短.因?yàn)橄到y(tǒng)在實(shí)際工作過(guò)程中，不僅需要進(jìn)行背景更新，還需要對(duì)視頻中的每幀圖像進(jìn)行很多環(huán)節(jié)的實(shí)時(shí)處理，包括灰度化、平滑濾波、抖動(dòng)消除、背景差分、圖像分割、陰影消除、車(chē)輛識(shí)別與跟蹤、違章判定和交通參數(shù)計(jì)算等.

目前，國(guó)內(nèi)外常用的背景提取與更新算法及其改進(jìn)算法主要有多幀圖像平均法、連續(xù)幀差法、直方圖分析法、統(tǒng)計(jì)中值法、高斯模型法、IIR濾波法、卡爾曼濾波器法等.這些方法存在著諸如準(zhǔn)確性欠佳、受運(yùn)動(dòng)前景影響大、占用內(nèi)存多等缺點(diǎn).它們的共同缺點(diǎn)是當(dāng)以像素或塊為單位對(duì)整幅圖像進(jìn)行處理時(shí)，處理一幀圖像的耗時(shí)太長(zhǎng).本文通過(guò)對(duì)常用背景提取與更新算法的分類(lèi)分析，提出了一種新的以掃描線為單位的背景提取與更新算法.

1 算法的提出

1.1 背景提取算法的提出

主要的背景提取算法可以分為2類(lèi)：

（1）完整提取法，是指通過(guò)一次處理提取出完整的背景.此方法也可以分為2類(lèi)：① 將第一幀圖像作為背景的方法，此方法在單高斯模型法等算法中有應(yīng)用，但是其準(zhǔn)確性欠佳，因?yàn)榈谝粠瑘D像通常都是包含前景的［1］；② 通過(guò)考察視頻中最前面的多幀圖像，根據(jù)某種規(guī)律對(duì)背景進(jìn)行估計(jì)，此方法在直方圖分析法等算法中有應(yīng)用，其缺點(diǎn)是所得背景受車(chē)流量的影響比較大［3］.

（2）拼湊提取法，是指對(duì)于每幀圖像僅提取部分像素或圖像塊作為背景，經(jīng)過(guò)一段時(shí)間的拼湊得到完整背景.此方法在連續(xù)幀差法等算法中有應(yīng)用.這類(lèi)方法需要確定運(yùn)動(dòng)區(qū)域，若當(dāng)前幀中非運(yùn)動(dòng)區(qū)域所對(duì)應(yīng)的背景尚未提取，就提取其數(shù)據(jù)作為初始背景，反之就更新背景，所以它也屬于背景更新算法.其缺點(diǎn)是容易把相鄰兩幀之間的相似前景交疊區(qū)誤認(rèn)為背景［4］.文獻(xiàn)［5］通過(guò)填充連通區(qū)域中的空洞來(lái)減小相似前景交疊區(qū)的影響，算法復(fù)雜性增加了許多，但是效果不太明顯.因?yàn)榍熬俺３１环指畛啥鄠€(gè)連通區(qū)域，甚至出現(xiàn)大面積斷續(xù)現(xiàn)象（如圖1所示），其上難免有地方被誤認(rèn)為背景.圖1（a）是一段視頻中的第47幀圖像，圖1（b）和圖1（c）分別是監(jiān)控區(qū)域內(nèi)該幀與上一幀及背景的二值化差分圖像.

如果有前景混入背景，在其影響消除之前，將導(dǎo)致交通參數(shù)的誤算、交通違章的誤判和漏判等.其影響又很難通過(guò)后續(xù)的迭代更新消除，甚至?xí)掷m(xù)積累［2］.目前，對(duì)于靜止前景尚沒(méi)有很好的檢測(cè)方法.在得到可靠的背景之前，幀間差分法可以較好地檢測(cè)出運(yùn)動(dòng)前景，但是需要更好的方法來(lái)消除相似前景交疊區(qū)的影響.通過(guò)分析圖1（b）可知，對(duì)于圖中的每個(gè)白點(diǎn)，其上下左屬于前景.于是提出以掃描線為單位，只要其二值化幀間差分圖像上存在白點(diǎn)，其上下一定范圍內(nèi)的掃描線皆被看作運(yùn)動(dòng)區(qū)域，對(duì)每幀圖像僅提取非運(yùn)動(dòng)區(qū)域作為背景，經(jīng)過(guò)一段時(shí)間的拼湊提取出完整背景.

新算法存在將部分非運(yùn)動(dòng)區(qū)域判定為運(yùn)動(dòng)區(qū)域的情況，以致須較長(zhǎng)時(shí)間的拼湊才能夠提取出完整背景.但是，只要參數(shù)設(shè)置合理，就不會(huì)將運(yùn)動(dòng)區(qū)域判定為非運(yùn)動(dòng)區(qū)域，將部分非運(yùn)動(dòng)區(qū)域判定為運(yùn)動(dòng)區(qū)域，背景提取的準(zhǔn)確度將大大提高.

1.2 背景更新算法的提出

主要的背景更新算法分為2類(lèi)：

（1）盲目更新法，即將增加的所有新的像素給背景而不管它是否屬于背景.此方法又可以分為2類(lèi)：① 非迭代更新法，通過(guò)考察當(dāng)前幀之前的多幀圖像，根據(jù)某種規(guī)律對(duì)當(dāng)前幀的背景進(jìn)行估計(jì)，此方法在多幀圖像平均法等算法中均有應(yīng)用.在實(shí)際程序設(shè)計(jì)中初次選擇的即為完整提取法的背景提取算法，其具有占用內(nèi)存多、速度慢等缺點(diǎn)［4］；② 迭代更新法，通過(guò)將上一幀的背景與當(dāng)前幀進(jìn)行加權(quán)平均，從而對(duì)當(dāng)前幀的背景進(jìn)行估計(jì).此方法在IIR濾波法等算法中有應(yīng)用.它無(wú)需大的存儲(chǔ)空間，但更新效果受限于加權(quán)系數(shù)，不能有效地濾除運(yùn)動(dòng)前景和跟蹤環(huán)境光的改變［2］.

（2）選擇更新法，是指將像素加入背景時(shí)根據(jù)它是否屬于背景而采取不同的措施.如果所選判據(jù)不合適，任何誤檢都將持續(xù)影響后續(xù)工作［1］.此方法可以分為3類(lèi)：① 基于概率分布的，根據(jù)像素灰度值的歷史數(shù)據(jù)，計(jì)算當(dāng)前幀中像素值的概率，用來(lái)決定它是否屬于背景，例如混合高斯模型法等；② 通過(guò)時(shí)域低通濾波將視頻中的快速變化過(guò)程分離出去，從而預(yù)測(cè)緩變的背景圖像，例如卡爾曼濾波器法等；③ 基于運(yùn)動(dòng)檢測(cè)的，僅將非運(yùn)動(dòng)區(qū)域加入背景，其又分為3種：方法一，通過(guò)背景差分進(jìn)行運(yùn)動(dòng)檢測(cè)；方法二，通過(guò)幀間差分進(jìn)行運(yùn)動(dòng)檢測(cè)；方法三，結(jié)合背景差分與幀間差分進(jìn)行運(yùn)動(dòng)檢測(cè).

設(shè)計(jì)背景更新算法時(shí)，考慮到盲目更新法的準(zhǔn)確度比較低而不采用，更新法中①、②兩種方法因計(jì)算太復(fù)雜也不采用.比較圖1（b）和圖1（c）可知，背景差分比幀間差分檢測(cè)出的前景更加準(zhǔn)確和完整.因此，選擇更新法中③的各個(gè)方法相比較可知：方法一比方法二具有較高的準(zhǔn)確度，比方法三具有更快的速度.不過(guò)它仍然有可能將部分前景混入背景，速度也不夠快，因?yàn)樗且韵袼貫閱挝粚?duì)整幅圖像進(jìn)行處理的.而以掃描線為單位，只有當(dāng)某條掃描線的二值化背景差分圖像上不存在白點(diǎn)、其上下一定范圍內(nèi)的掃描線上也不存在白點(diǎn)的時(shí)候，才將它作為新的背景，且每幀僅更新一條掃描線，通過(guò)循環(huán)不斷地更新背景.

新算法完成一次背景更新需要的時(shí)間比較長(zhǎng)，但是它大大縮短了處理一幀圖像的耗時(shí)，將更多的時(shí)間留給了其他不能分解到多幀圖像之間進(jìn)行處理的環(huán)節(jié).而且，由于其準(zhǔn)確度大大提高，在一定程度上彌補(bǔ)了更新速度慢的不足.從另一角度看，一般情況下環(huán)境光變化緩慢，按照這樣的速度來(lái)更新背景是足夠的；對(duì)于極少數(shù)情況（如閃電造成的環(huán)境光急劇改變），可以采取不處理對(duì)應(yīng)幀的方法，這樣對(duì)系統(tǒng)整體性能的影響并不大.

2 算法描述

背景提取與更新算法皆是針對(duì)灰度圖像進(jìn)行的.當(dāng)彩色圖像灰度化時(shí)，采用文獻(xiàn)［6］中的快速算法，灰度化之后進(jìn)行平滑濾波處理，然后采用文獻(xiàn)［7］中的快速算法進(jìn)行防抖動(dòng)處理.在系統(tǒng)剛開(kāi)始運(yùn)行時(shí)，進(jìn)行背景提取，提取出完整背景之后再進(jìn)行背景更新及后續(xù)處理.背景提取與更新算法描述如下：

2.1 背景提取算法描述

（1）對(duì)于第k（k≥2）幀圖像，按照下式求其與第k－1幀圖像的二值化差分圖像：式中：d（x，y）為二值化差分圖像上坐標(biāo)為（x，y）的點(diǎn)的像素值（取值為1，對(duì)應(yīng)白點(diǎn)；取值為0，對(duì)應(yīng)黑點(diǎn)）；fk（x，y）和fk－1（x，y）分別為第k和第k－1幀圖像上同一點(diǎn)的灰度值；T為灰度閾值，當(dāng)某點(diǎn)的灰度變化大于T時(shí)認(rèn)為它屬于運(yùn)動(dòng)區(qū)域，T越小，準(zhǔn)確度越高、提取時(shí)間越長(zhǎng).

（2）按照下式確定哪些掃描線上存在白點(diǎn)、哪些掃描線上不存在白點(diǎn)

式中：l（y）取值為1、0時(shí)分別表示第y條掃描線上存在和不存在白點(diǎn)；W 為每條掃描線上的像素?cái)?shù).

（3）按照從小到大的順序，根據(jù)背景提取的歷史數(shù)據(jù)查找尚未提取背景的掃描線.假設(shè)查找到第y0條掃描線時(shí)尚未提取背景，按照下式確定其能否提取背景：

式中：y1＝max（0，y0－h(huán)），y2＝min（H，y0＋h）；e（y0）取值為1、0時(shí)分別表示能和不能提取第y0條掃描線作為背景；h為范圍閾值，表示在y0上下多大范圍內(nèi)不存在白點(diǎn)時(shí)才能夠提取背景，h越大，準(zhǔn)確度越高、提取時(shí)間越長(zhǎng)；H為掃描線的條數(shù).

（4）若e（y0）＝1，則提取第k幀圖像上第y0條掃描線作為背景，并修改第y0條掃描線的背景提取歷史數(shù)據(jù)為已經(jīng)提取，否則不提取也不修改.

（5）若y0＜H，返回步驟（3），以便對(duì)每幀圖像提取盡量多的掃描線，從而縮短拼湊時(shí)間.這樣做是允許的，因?yàn)榇藭r(shí)系統(tǒng)尚未真正開(kāi)始工作，背景提取環(huán)節(jié)耗時(shí)長(zhǎng)一些沒(méi)有關(guān)系.若y0≥H，令k＝k＋1，返回步驟（1），進(jìn)入下一幀圖像的處理，直至提取出完整背景.

2.2 背景更新算法描述

（1）二值化第m幀圖像與背景的差分圖像.為了在后續(xù)環(huán)節(jié)中能夠準(zhǔn)確地檢測(cè)出車(chē)輛，在二值化時(shí)采用文獻(xiàn)［8］中的多閾值圖像分割法以消除陰影的影響，

式中：fm（x，y）和b（x，y）分別為第m 幀圖像和背景上坐標(biāo)為（x，y）的點(diǎn)的灰度值；T1、T2為大小和符號(hào)皆不相同的2個(gè)灰度閾值，并且按照文獻(xiàn)［8］中的方法根據(jù)環(huán)境光的變化進(jìn)行自適應(yīng)調(diào)整.

（2）根據(jù)背景更新歷史數(shù)據(jù)查找最需要更新的掃描線.假設(shè)應(yīng)該從第Y條掃描線開(kāi)始查找，則利用循環(huán)隊(duì)列從Y處開(kāi)始查找尚未更新的掃描線，若掃描線皆更新過(guò)，清除背景更新歷史數(shù)據(jù)并令Y＝0，以便重新開(kāi)始逐線更新；若長(zhǎng)時(shí)間未清除過(guò)歷史數(shù)據(jù)，說(shuō)明出現(xiàn)了車(chē)輛停留等現(xiàn)象，將未更新的掃描線上各像素的灰度值乘以比例系數(shù)r，之后清除歷史數(shù)據(jù)并令Y＝0（r等于第m幀圖像的平均灰度與背景平均灰度之商）.

（3）假設(shè)所得掃描線序號(hào)為y0，根據(jù)式（3）求e（y0），用來(lái)確定能否更新背景，所用l（y）根據(jù)式（2）求得.

（4）若e（y0）＝1，提取第m幀圖像上第y0條掃描線，用以替代背景中的第y0條掃描線，并修改其背景更新歷史數(shù)據(jù)為已經(jīng)更新，否則不替代也不修改.無(wú)論這條掃描線更新與否，令Y＝（y0＋1）%H，使得再次查找的時(shí)候從下一條掃描線開(kāi)始，以防車(chē)輛停留處不能更新造成其他地方也不能更新.

（5）令m＝m＋1，返回步驟（1），以便縮短處理時(shí)間.如此不停地更新背景，直至系統(tǒng)停止運(yùn)行.

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)所用視頻圖像大小為320×240像素，程序用Visual C＋＋6.0編寫(xiě)，背景提取與更新過(guò)程如圖2所示.為了減小各種干擾的影響，所有處理皆在監(jiān)控區(qū)域內(nèi)進(jìn)行.從第2幀開(kāi)始提取背景，到第20幀完成背景提取.由圖2可以看出，所提取的背景非常準(zhǔn)確，不受運(yùn)動(dòng)前景的影響.之后進(jìn)入背景更新，到第815幀時(shí)背景更新效果已經(jīng)很明顯，從圖上可以看出背景灰度整體上減小了，而且也不受運(yùn)動(dòng)前景的影響.

通過(guò)對(duì)各種測(cè)試條件下拍攝的視頻片段進(jìn)行處理，也證明了其可行性.測(cè)試條件包括不同的十字或丁字路口與非交叉路口、不同的車(chē)道數(shù)、全天的不同時(shí)段、不同的天氣等.

4 結(jié) 語(yǔ)

以掃描線為單位的背景提取與更新算法，通過(guò)合理地設(shè)置參數(shù)，能夠準(zhǔn)確地消除運(yùn)動(dòng)前景的影響，提高背景提取與更新算法的準(zhǔn)確度，而且該方法具有算法簡(jiǎn)單、易于實(shí)現(xiàn)等優(yōu)點(diǎn).特別是通過(guò)任務(wù)分解將每幀圖像的背景更新耗時(shí)降到最低，為保證系統(tǒng)的整體實(shí)時(shí)性作出了重要貢獻(xiàn).該方法已經(jīng)在設(shè)計(jì)的視頻車(chē)輛監(jiān)控系統(tǒng)中得到了應(yīng)用，并且已經(jīng)對(duì)該系統(tǒng)進(jìn)行了全面的現(xiàn)場(chǎng)測(cè)試，能夠滿足對(duì)實(shí)時(shí)性和準(zhǔn)確性的設(shè)計(jì)要求.

［1］ 楊珺，史忠科.基于改進(jìn)單高斯模型法的交通背景提?。跩］.光子學(xué)報(bào)，2009，38（5）：1293－1296.

［2］ 何云，許建龍，孫樹(shù)森，等.一種改進(jìn)的視頻監(jiān)控背景更新算法［J］.浙江理工大學(xué)學(xué)報(bào)，2010，27（4）：585－589.

［3］ 吳亮，馬宏興.交通信息的背景提取技術(shù)分析［J］.西安科技大學(xué)學(xué)報(bào)，2010，30（1）：117－122.

［4］ 吳眾山，雷蘊(yùn)奇，吳綠芳，等.一種實(shí)用的背景提取與更新算法［J］.廈門(mén)大學(xué)學(xué)報(bào)（自然科學(xué)版），2008，47（3）：348－352.

［5］ 袁偉才，徐向民.一種有效的動(dòng)態(tài)背景提取及更新方法［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46（4）：191－192.

［6］ 張全法，楊海彬，任朝棟，等.彩色圖像的快速高保真灰度化方法研究［J］.鄭州大學(xué)學(xué)報(bào)（理學(xué)版），2011，43（3）：66－69.

［7］ 張全法，任朝棟，李煥，等.視頻車(chē)輛監(jiān)控系統(tǒng)圖像抖動(dòng)快速消除算法研究［J］.鄭州大學(xué)學(xué)報(bào)（理學(xué)版），2011，43（4）：44－47.

［8］ 任朝棟，張全法，李煥，等.快速消除車(chē)輛陰影的多閾值圖像分割法［J］.應(yīng)用光學(xué)，2010，31（6）：961－964.

Study on New Algorithm for Background Extraction and Updating in Unit of Scan Line

ZHANG Quan－fa，LI Hong－cheng，YANG Hai－bin，REN Chao－dong
（
Zhengzhou University，Zhengzhou 450001，China）

To meet the requirements for real－time and accuracy of a video－based vehicle monitoring system based on background subtraction，a new background extraction and updating algorithm is proposed.In the algorithm，both the extraction and updating in unit of scan line are carried out，which was simply and easy.In the stage of extraction and updating，moving objects by frame difference and background subtraction separately are detected，and influence with appropriate moving region criterions is removed，thus raised the accuracy.Through dividing updating tasks of one frame into several frames，greatly reduced the one frame processing time，thus raised the real－time property of the whole system.Experiments demonstrates that the algorithm is available for practice.

background extraction；background updating；scan line；moving object detection；task dividing

TP391.41

A

10.3969／j.issn.1671－6906.2012.01.012

1671－6906（2012）02－0054－04

2012－02－23

張全法（1966－），男，河南安陽(yáng)人，副教授，碩士.