董永峰　劉沛東　李林昊　李英雙

摘要 基于魯棒主成分分析（RPCA）的方法有一個(gè)潛在的假設(shè)，即場(chǎng)景中移動(dòng)物體的像素是稀疏離群值，其往往忽略了物體的時(shí)間和空間結(jié)構(gòu)，導(dǎo)致這些方法在動(dòng)態(tài)背景、遮擋、光照變化等場(chǎng)景下檢測(cè)效果降低。針對(duì)這一問題，提出了一種基于張量魯棒主成分分析（TRPCA）的張量非凸稀疏模型。首先，利用三種常見收縮算子的優(yōu)點(diǎn)，引入了二階廣義收縮閾值算子（GSTO），探索適用于高階張量數(shù)據(jù)的高階廣義閾值收縮算子（HoGSTO），進(jìn)而提升背景建模的魯棒性；然后，為了表征視頻前景中移動(dòng)目標(biāo)像素之間的相關(guān)性，在視頻前景建模的過程中，利用張量全變分正則化（TTV）增強(qiáng)前景的時(shí)空連續(xù)性；接著，通過自適應(yīng)l1范數(shù)對(duì)視頻中的動(dòng)態(tài)成分建模，避免了對(duì)前景建模產(chǎn)生干擾。多個(gè)視頻幀的實(shí)驗(yàn)結(jié)果表明，該方法在移動(dòng)目標(biāo)檢測(cè)任務(wù)中優(yōu)于現(xiàn)有的方法，能夠更好地分離前景和背景。

關(guān) 鍵 詞 移動(dòng)目標(biāo)檢測(cè)；張量魯棒主成分分析；收縮閾值；張量全變分；自適應(yīng)l1范數(shù)

中圖分類號(hào) TP391.4? ? ?文獻(xiàn)標(biāo)志碼 A

Foreground detection based on tensor total variation and

threshold operator

DONG Yongfeng LIU Peidong LI Linhao LI Yingshuang

（1. School of Artificial Intelligence， Hebei University of Technology， Tianjin 300401， China; 2. Hebei Province Key Laboratory of Big Data Computing， Tianjin 300401， China; 3. Hebei Engineering Research Center of Data-Driven Industrial Intelligent， Tianjin 300401， China; 4. Information Security and Technology Service Center， Hebei University of Technology， Tianjin 300401， China）

Abstract Robust Principal Component Analysis （RPCA） methods have an underlying assumption that the pixels of moving objects in the scene are sparse outliers， which often ignore the temporal and spatial structure of objects， leading to the reduced detection effect of these methods in dynamic background， occlusion， lighting changes and other scenses. To solve this problem， a tensor nonconvex sparse model based on tensor robust principal component analysis （TRPCA） is proposed. Firstly， take advantage of the advantages of three common contraction operators， a second-order generalized shrinkage is introduced. Generalized Shrinkage Threshold Operator （GSTO） explore the high-order generalized threshold shrinkage operator （HoGSTO） suitable for high-order tensor data， and then improve the robustness of background modeling; then， in order to characterize the correlation between moving target pixels in the video foreground in the process of video foreground modeling， tensor total variational regularization （TTV） is used to enhance the temporal and spatial continuity of the foreground; then， the dynamic components in the video are modeled through the adaptive l1 norm， which avoids modeling the foreground Produce interference. Experimental results in multiple video frames show that the proposed method is superior to the existing methods in moving target detection tasks， and can better separate the foreground and background.

Key words moving object detection; TRPCA; shrinkage thresholding; tensor total variational; adaptive l1 norm

0 引言

作為人工智能領(lǐng)域中的一項(xiàng)重要技術(shù)，計(jì)算機(jī)視覺已經(jīng)越來越多地應(yīng)用到了各種實(shí)際任務(wù)當(dāng)中，如智能視頻監(jiān)控、交通數(shù)據(jù)采集、車輛識(shí)別、無人駕駛等。近年來移動(dòng)目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺中的一個(gè)重要分支，受到了很多研究者的關(guān)注，大量研究人員在嘗試解決移動(dòng)目標(biāo)檢測(cè)中遇到的一系列挑戰(zhàn)。移動(dòng)目標(biāo)檢測(cè)的目的是將變化的區(qū)域（運(yùn)動(dòng)目標(biāo)）從視頻序列中提取出來。由于光照變化、噴泉水流、搖曳的樹木等動(dòng)態(tài)因素的影響使得背景發(fā)生改變，影響檢測(cè)精度。此外，前景運(yùn)動(dòng)狀態(tài)的改變也會(huì)使目標(biāo)與背景難以分割[1]。

比較經(jīng)典的移動(dòng)目標(biāo)檢測(cè)方法是Candès等[2]提出的魯棒主成分分析（Robust Principal Component Analysis，RPCA）方法，由于其模型簡(jiǎn)單，在移動(dòng)目標(biāo)檢測(cè)領(lǐng)域中得到了廣泛的應(yīng)用。RPCA能夠從較大且噪聲污染的觀測(cè)數(shù)據(jù)中恢復(fù)出本質(zhì)上低秩的數(shù)據(jù)，然而，l1范數(shù)只是獨(dú)立的考慮每一個(gè)像素，丟失了時(shí)空結(jié)構(gòu)的約束，因此在面對(duì)復(fù)雜背景或者較小的移動(dòng)目標(biāo)時(shí)，l1范數(shù)不能有效地處理這些問題。

為了應(yīng)對(duì)上述這些挑戰(zhàn)，近年來學(xué)者們提出了大量RPCA的擴(kuò)展方法來改善移動(dòng)目標(biāo)檢測(cè)的效果，并引入了結(jié)構(gòu)化約束構(gòu)建算法。Zhou等[3]提出一種基于運(yùn)動(dòng)的目標(biāo)檢測(cè)算法，稱為低秩表示和連續(xù)離群值檢測(cè)算法（Detecting Contiguous Outliers in the Low-Rank Representation，DECOLOR），該算法主要通過矩陣低秩表示中的連續(xù)突出點(diǎn)檢測(cè)來實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)，在優(yōu)化的過程中還可以對(duì)背景進(jìn)行建模，同時(shí)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測(cè)和背景分割的目的。雖然在檢測(cè)效果上有提升，但是馬爾可夫隨機(jī)場(chǎng)[4]會(huì)導(dǎo)致其具有貪婪的特性，嚴(yán)格的平滑約束會(huì)使前景被過度平滑，背景區(qū)域被檢測(cè)為運(yùn)動(dòng)目標(biāo)的一部分。Xin等[5]為了解決由于光照變化、動(dòng)態(tài)背景等因素導(dǎo)致前景分割包含空洞和背景噪聲的問題，引入了自適應(yīng)廣義融合套索正則化作為一種柔性的結(jié)構(gòu)，用于建模前景對(duì)象。Cao等[6]將三維全變分正則化和l1正則化相結(jié)合提出了全變分正則化魯棒主成分分析算法（Total Variation Robust Principal Component Analysis，TVRPCA），利用前景的空間連續(xù)性從移動(dòng)目標(biāo)中將動(dòng)態(tài)背景分離出來，從前景的時(shí)間連續(xù)性中提取殘留目標(biāo)的運(yùn)動(dòng)軌跡并檢測(cè)。Yong等[7]提出了基于混合高斯的在線矩陣因子分解算法（Online Mixture of Gaussians-Low-rank Matrix Factorization，OMoGMF），利用在線子空間學(xué)習(xí)與全變分相結(jié)合的方法來提升檢測(cè)效果。Li等[8]提出了一種基于視頻靜止分量的非凸稀疏性模型（Generalized Shrinkage Thresholding Operator，GSTO），設(shè)計(jì)了可顯示求解的廣義閾值收縮算子對(duì)背景進(jìn)行低秩約束，并結(jié)合背景減除和時(shí)空連續(xù)性約束來檢測(cè)前景目標(biāo)。

在實(shí)際應(yīng)用中，真實(shí)的數(shù)據(jù)結(jié)構(gòu)在本質(zhì)上是高階的。因此，張量結(jié)構(gòu)作為向量和矩陣的自然推廣，應(yīng)用于移動(dòng)目標(biāo)檢測(cè)領(lǐng)域。Lu等[9]基于張量魯棒主成分分析（Tensor RPCA，TRPCA）框架提出了一種改進(jìn)的方法—結(jié)合張量核范數(shù)的張量魯棒主成分分析方法（Tensor RPCA with Tensor Nuclear Norm，TRPCA-TNN），該方法的核心在于定義了一種新的張量核范數(shù)，旨在加強(qiáng)背景低秩性，更好地構(gòu)造背景來恢復(fù)前景。盡管RPCA和TRPCA方法在移動(dòng)目標(biāo)檢測(cè)中取得了一定的效果，但是在面對(duì)動(dòng)態(tài)背景干擾時(shí)仍然不夠穩(wěn)定，并且沒有同時(shí)利用背景和前景的結(jié)構(gòu)特性，所以在復(fù)雜場(chǎng)景下對(duì)前景的檢測(cè)仍有一定的難度。

因此，本文提出了一種基于張量框架的非凸稀疏移動(dòng)目標(biāo)檢測(cè)方法，該方法克服了動(dòng)態(tài)背景的干擾，可以檢測(cè)到滯留物體，對(duì)噪聲具有一定的魯棒性。本文沒有采用矩陣框架進(jìn)行研究，而是將整個(gè)視頻序列認(rèn)為是一個(gè)三維張量空間，保留了原始視頻幀之間的空間結(jié)構(gòu)；利用高階廣義閾值收縮算子的自適應(yīng)性對(duì)背景進(jìn)行低秩約束，更加接近實(shí)際高維數(shù)據(jù)的秩，加強(qiáng)了背景的低秩性；同時(shí)利用張量全變分正則化（Tensor Total Variational Regularization，TTV）對(duì)前景進(jìn)行建模，考慮了視頻前景的時(shí)空連續(xù)性，并通過自適應(yīng)l1范數(shù)對(duì)動(dòng)態(tài)背景干擾部分建模，有效減少動(dòng)態(tài)背景對(duì)視頻前景提取的干擾，避免前景空洞現(xiàn)象，提升了目標(biāo)檢測(cè)精度。

1 TRPCA模型

2 本文模型的建立

2.1 前景建模

2.1.1 張量全變分正則化

2.1.2 自適應(yīng)[l1]范數(shù)

2.2 背景建模

傳統(tǒng)上，基于矩陣的算法使用單一低秩子空間約束進(jìn)行背景建模，對(duì)靜態(tài)背景的刻畫效果較好，但無法有效表示背景中的變化成分；基于張量的算法采用張量核范數(shù)對(duì)低秩背景進(jìn)行凸松弛，但其沒有考慮不同奇異值對(duì)秩產(chǎn)生的影響，對(duì)所有的奇異值施加同等程度的懲罰，無法準(zhǔn)確表征奇異值所代表的信息，不能充分提取出張量數(shù)據(jù)的低秩結(jié)構(gòu)[18]。

奇異值往往對(duì)應(yīng)著數(shù)據(jù)中的重要信息，數(shù)據(jù)的重要性與奇異值的大小正相關(guān)，如果對(duì)奇異值進(jìn)行同等程度的收縮，則會(huì)對(duì)背景信息產(chǎn)生嚴(yán)重干擾，無法構(gòu)建出清晰的背景模型，背景中的動(dòng)態(tài)成分也會(huì)被消除。因此，本文充分考慮到奇異值的特性，利用廣義收縮閾值算子的自適應(yīng)性和非凸稀疏性，在保證圖像信息可被精確識(shí)別的前提下，保留或者縮小較大的奇異值，舍去或者減小較小的奇異值，更好地表征背景信息，將更多的動(dòng)態(tài)成分融入到背景中。廣義收縮閾值算子的顯示表達(dá)式如式（12）所示：

2.3 高階廣義閾值收縮算子與張量全變分模型的建立

3 模型求解

4 實(shí)驗(yàn)結(jié)果及分析

4.1 數(shù)據(jù)集和指標(biāo)選取

4.2 實(shí)驗(yàn)結(jié)果及分析

通過視頻前背景分離實(shí)驗(yàn)驗(yàn)證本算法的優(yōu)勢(shì)，以9個(gè)視頻序列為對(duì)象，進(jìn)行視頻前景背景分離仿真實(shí)驗(yàn)，并隨機(jī)選取WaterSurface視頻的第1 601幀、Fountain視頻的1 190幀、Curtain視頻的22 849幀、Escalator視頻的3 585幀、Lobby視頻的1 634幀、Hall視頻的1 656幀、ShoppingMall視頻的1 606幀、Bootstrap視頻的2 918幀、Campus視頻的1 812幀。實(shí)驗(yàn)結(jié)果如圖5所示，可以看出本算法比RPCA、TVRPCA等算法有更好的前景檢測(cè)結(jié)果。

在動(dòng)態(tài)背景場(chǎng)景下，RPCA與TVRPCA模型不適用于復(fù)雜背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)，容易將動(dòng)態(tài)背景檢測(cè)為前景目標(biāo)，檢測(cè)結(jié)果空洞較大，但TVRPCA的檢測(cè)結(jié)果要優(yōu)于RPCA，主要原因是該方法利用3D-TV范數(shù)約束前景，利用了前景的空間連續(xù)性分離動(dòng)態(tài)背景與移動(dòng)前景；TRPCA-TNN雖然保留了視頻的空間結(jié)構(gòu)，但在復(fù)雜的動(dòng)態(tài)背景下，提取結(jié)果會(huì)造成前景的空洞，導(dǎo)致檢測(cè)精度較低。雖然DECOLOR對(duì)動(dòng)態(tài)噪聲的抑制效果較好，但其融合運(yùn)動(dòng)目標(biāo)連續(xù)性導(dǎo)致過度平滑約束，會(huì)產(chǎn)生少量的誤檢測(cè)區(qū)域和虛警現(xiàn)象。由于OMoGMF+TV引入了TV正則化，檢測(cè)到的前景比較完整，沒有產(chǎn)生空洞現(xiàn)象。本文算法相較于以上5種算法，在整個(gè)視頻數(shù)據(jù)集中較好地提取出前景目標(biāo)，通過自適應(yīng)算子對(duì)背景矩陣進(jìn)行低秩約束，同時(shí)考慮前景的時(shí)空連續(xù)性，對(duì)動(dòng)態(tài)背景成分進(jìn)行約束以去除噪聲干擾，最終得到完整的運(yùn)動(dòng)目標(biāo)，提高了前景目標(biāo)的提取精度。

為了定量分析本文算法的優(yōu)勢(shì)，計(jì)算了召回率（Recall）、精確率（Precision）和F-measure值對(duì)視頻前背景分離效果進(jìn)行評(píng)估，與其他5中算法進(jìn)行對(duì)比，評(píng)價(jià)指標(biāo)總結(jié)如表3所示，表中數(shù)據(jù)最優(yōu)用加粗表示，次優(yōu)用下劃線表示。

從表3可以看出，本算法與RPCA、TVRPCA、DECOLOR、TRPCA-TNN、OMoGMF+TV 5種算法相比，Recall值與Precision值有處于較低的情況，但總體上處于最優(yōu)或次優(yōu)。雖然DECOLOR模型與其他模型相比有著較高的召回率，但是由于在高度動(dòng)態(tài)背景中產(chǎn)生了許多虛假警報(bào)，導(dǎo)致其精度下降。在大部分場(chǎng)景下，本算法的查準(zhǔn)率與查全率相差不大，與其它算法相比，穩(wěn)定性更高，并且本算法的F-measure值均高于對(duì)比算法。因此，本算法在前景提取的完整度和精確度方面效果更好，可以更好地抑制動(dòng)態(tài)背景產(chǎn)生的噪聲。

5 結(jié)語(yǔ)

本文提出的算法以TRPCA模型為基礎(chǔ)，將傳統(tǒng)移動(dòng)目標(biāo)檢測(cè)任務(wù)擴(kuò)展到張量空間中，對(duì)張量框架的使用有效利用了視頻的空間結(jié)構(gòu)，彌補(bǔ)了現(xiàn)有RPCA相關(guān)方法的不足；通過將廣義閾值算子推廣到高階張量中，對(duì)背景進(jìn)行低秩約束，提升了背景建模的魯棒性；利用TTV代替l1范數(shù)約束前景，并構(gòu)造了自適應(yīng)l1范數(shù)對(duì)動(dòng)態(tài)背景進(jìn)行建模，有效抑制了動(dòng)態(tài)背景的噪聲干擾，解決了前景空洞問題。實(shí)驗(yàn)結(jié)果表明，與經(jīng)典算法以及現(xiàn)有主流算法相比，本文提出的算法對(duì)目標(biāo)檢測(cè)的效果更佳，可有效減少動(dòng)態(tài)背景干擾，且檢測(cè)移動(dòng)緩慢目標(biāo)的效果較好，減少了對(duì)前景目標(biāo)的誤判，顯著提升了移動(dòng)目標(biāo)檢測(cè)精度。

參考文獻(xiàn)：

[1]? ? 楊永鵬，楊真真，李建林，等. 改進(jìn)的截?cái)嗪朔稊?shù)及在視頻前背景分離中的應(yīng)用[J]. 工程科學(xué)與技術(shù)，2021，53（5）：219-226.

[2]? ? CAND?S E J，LI X D，MA Y，et al. Robust principal component analysis？ [J]. Journal of the ACM，2011，58（3）：1-37.

[3]? ? ZHOU X W，YANG C，YU W C. Moving object detection by detecting contiguous outliers in the low-rank representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（3）：597-610.

[4]? ? SCHICK A，B?UML M，STIEFELHAGEN R. Improving foreground segmentations with probabilistic superpixel Markov random fields[C]//2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Providence，RI，USA：IEEE，2012：27-31.

[5]? ? XIN B，YUAN T，WANG Y Z，et al. Background Subtraction via generalized fused lasso foreground modeling[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston，MA，USA：IEEE，2015：4676-4684.

[6]? ? CAO X C，YANG L，GUO X J. Total variation regularized RPCA for irregularly moving object detection under dynamic background[J]. IEEE Transactions on Cybernetics，2016，46（4）：1014-1027.

[7]? ? YONG H W，MENG D Y，ZUO W M，et al. Robust online matrix factorization for dynamic background subtraction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（7）：1726-1740.

[8]? ? LI L H，WANG Z，HU Q H，et al. Adaptive nonconvex sparsity based background subtraction for intelligent video surveillance[J]. IEEE Transactions on Industrial Informatics，2021，17（6）：4168-4178.

[9]? ? LU C Y，F(xiàn)ENG J S，CHEN Y D，et al. Tensor robust principal component analysis with a new tensor nuclear norm[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（4）：925-938.

[10]? LU C Y，F(xiàn)ENG J S，CHEN Y D，et al. Tensor robust principal component analysis：exact recovery of corrupted low-rank tensors via convex optimization[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA：IEEE，2016：5249-5257.

[11]? CHEN L，JIANG X，LIU X Z，et al. Robust low-rank tensor recovery via nonconvex singular value minimization[J]. IEEE Transactions on Image Processing，2020，29：9044-9059.

[12]? 陶星朋，徐宏輝，鄭建煒，等. 基于非凸低秩矩陣逼近和全變分正則化的高光譜圖像去噪[J]. 計(jì)算機(jī)科學(xué)，2021，48（8）：125-133.

[13]? YANG S，WANG J，F(xiàn)AN W，et al. An efficient ADMM algorithm for multidimensional anisotropic total variation regularization problems[C]// KDD '13：Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining. Chicago，Illinois，USA：ACM，2013：641-649.

[14]? 陳利霞，班穎，王學(xué)文. 基于張量核范數(shù)與3D全變分的背景減除[J]. 計(jì)算機(jī)應(yīng)用，2020，40（9）：2737-2742.

[15]? 張超婕，余勤. 時(shí)空RPCA在復(fù)雜場(chǎng)景下的運(yùn)動(dòng)目標(biāo)檢測(cè)[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2020，41（1）：197-202.

[16]? SHIJILA B，TOM A J，GEORGE S N. Moving object detection by low rank approximation and l1-TV regularization on RPCA framework[J]. Journal of Visual Communication and Image Representation，2018，56：188-200.

[17]? KIM H，SAKAMOTO R，KITAHARA I，et al. Robust foreground extraction technique using background subtraction with multiple thresholds[J]. Optical Engineering，2007，46（9）：097004.

[18]? LIU Y P，CHEN L X，ZHU C. Improved robust tensor principal component analysis via low-rank core matrix[J]. IEEE Journal of Selected Topics in Signal Processing，2018，12（6）：1378-1389.

[19]? CHARTRAND R. Fast algorithms for nonconvex compressive sensing：MRI reconstruction from very few data[C]//2009 IEEE International Symposium on Biomedical Imaging：From Nano to Macro. Boston，MA，USA：IEEE，2009：262-265.

[20]? ALHASSAN J A，OKIKE O，CHUKWUDE A E. Testing the simultaneity of Forbush decreases with algorithm-selected Forbush event catalogue[J]. Journal of Astrophysics and Astronomy，2022，43（1）：1-20.

[21]? SU Y R，WU X H，LIU G G. Nonconvex low tubal rank tensor minimization[J]. IEEE Access，2019，7：170831-170843.

[22]? BOYD S，PARIKH N，CHU W，et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends in Machine Learning，2011，3（1）：1-122.

[23]? LIN Z C，CHEN M M，MA Y. The augmented lagrange multiplier method for exact recovery of corrupted low-rank matrices[EB/OL]. （2013-10-18）[2022-05-15]. https：//arxiv. org/abs/1009. 5055.

[24]? WEN F，CHU L，LIU P L，et al. A survey on nonconvex regularization-based sparse and low-rank recovery in signal processing，statistics，and machine learning[J]. IEEE Access，6：69883-69906.

[25]? CHEN L X，LIU J L，WANG X W. Background subtraction with Kronecker-basis-representation based tensor sparsity and L1，1，2 norm[J]. Multidimensional Systems and Signal Processing，2021，32（1）：77-90.

[26]? 金靜. 復(fù)雜視頻場(chǎng)景下的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤研究[D]. 蘭州：蘭州交通大學(xué)，2020：32-33.