王紫煙,張立華,2,3,4,翟 鵬,5,杜洋濤

1（復(fù)旦大學(xué) 智能機器人研究院,上海 200433）

2（季華實驗室,佛山 528200）

3（智能機器人教育部工程研究中心,上海 200433）

4（吉林省人工智能與無人系統(tǒng)工程研究中心,長春 130012）

5（上海智能機器人工程技術(shù)研究中心,上海 200433）

時空行為定位技術(shù)是一種針對目標行為的智能視頻分析技術(shù),即在視頻幀進行行為分類并產(chǎn)生與行人空間位置相關(guān)的定位框序列.旨在不需要人為干預(yù)的情況下,利用計算機視覺和視頻分析方法對攝像頭下的人類行為或視頻網(wǎng)站上的視頻進行自動分析,在智能體育和智能監(jiān)控領(lǐng)域有著廣泛的應(yīng)用.

時空行為定位技術(shù)在時間和空間上同時定位人體的行為,這在計算機視覺領(lǐng)域是一項非常重要的任務(wù).為了解決這個任務(wù),早期Weinzaepfel等[1]采用CNN網(wǎng)絡(luò)和時空運動直方圖描述符對軌跡進行評分來確定行為的空間位置,并采用多尺度滑動窗口進行時間定位.在雙流網(wǎng)絡(luò)和3D-CNN網(wǎng)絡(luò)應(yīng)用于行為識別任務(wù)之后,由于其優(yōu)秀的性能,此后的時空行為定位工作大多基于這兩個框架進行.這些算法通常又包括兩個部分:生成幀級動作和生成幀間關(guān)聯(lián).為了生成更準確的幀級動作,Peng等[2]將RPN擴展到光流數(shù)據(jù)上訓(xùn)練運動的RPN,以此來提高幀級行為檢測的性能.Yang等[3]提出了級聯(lián)方案,采用級聯(lián)區(qū)域提議網(wǎng)絡(luò)生成幀級動作.

幀間關(guān)聯(lián)一般又稱為行為管道的構(gòu)建,多采用貪婪算法和動態(tài)規(guī)劃算法.為了更高效地找到行為管道的多重路徑,Alwanda等[4]開發(fā)了一種低成本的動態(tài)規(guī)劃算法并利用相鄰幀的時間一致性修正了不準確的行為邊界框.此外,因為行為管道可以利用視頻幀的時間連續(xù)性特征定位行為的時空位置,所以為了更好的利用這一特性,Hou等[5]在3D-CNN的基礎(chǔ)上提出了一個tol池化層,緩解了行為管道上時空的再變化問題.Kalogeiton等[6]則對每個行為框進行精修來得到更準確的行為管道.Li等[7]利用LSTM結(jié)構(gòu)捕捉時間信息,并使用維特比算法連接每一幀的行為框形成行為管道.在以上工作的基礎(chǔ)上,He等[8]構(gòu)建了一個新的行為定位框架,并利用TPN生成了通用的行為管道.

以上的工作在行為定位任務(wù)上均有著不錯的表現(xiàn),但是其中很多工作基于雙流網(wǎng)絡(luò)或者3D-CNN進行,雙流網(wǎng)絡(luò)中的光流網(wǎng)絡(luò)分支計算效率低,而3D-CNN參數(shù)量大,在一定程度上也存在著精度與計算效率之間的矛盾.為了緩解該矛盾,Qiu等[9]提出了P3D網(wǎng)絡(luò),在這個網(wǎng)絡(luò)中用二維空間卷積和一維時間卷積來模擬3D卷積以降低參數(shù)量.在P3D的基礎(chǔ)上,Tran等[10]做了大量的實驗探索類似的架構(gòu),并將其重新演繹為（2+1）D.

本文為了解決3D-CNN計算量大的問題,從3D卷積核自身出發(fā),將二維層面的SVD思想擴展到3D-CNN中得到3D-SVD,有效的降低了3D卷積網(wǎng)絡(luò)的參數(shù)量,并基于3D-SVD提出了一個時空行為定位網(wǎng)絡(luò)框架.首先,在數(shù)據(jù)集的處理上,我們加入了mixup算法進行數(shù)據(jù)增強,豐富了數(shù)據(jù)集的內(nèi)容.其次,我們構(gòu)建雙流網(wǎng)絡(luò)架構(gòu)對行為進行識別并定位,采用空間定位網(wǎng)絡(luò)和時空特征提取網(wǎng)絡(luò)融合的方式,并使用3D-SVD對三維卷積網(wǎng)絡(luò)進行優(yōu)化.最后,采用序列重排序算法和動態(tài)規(guī)劃算法對行為管道進行構(gòu)建,可以有效降低行為的空間漂移對定位結(jié)果的影響.根據(jù)實驗結(jié)果表明,我們的網(wǎng)絡(luò)在兩個公開的數(shù)據(jù)集上指標都有所提升.

1 相關(guān)工作

本文的主要研究內(nèi)容包括時空行為定位,行為管道構(gòu)建和數(shù)據(jù)增強3個部分.時空行為定位和行為管道構(gòu)建可以對視頻中的行為進行定位和分類.而時空行為定位網(wǎng)絡(luò)需要大量的視頻數(shù)據(jù)來進行訓(xùn)練,因此數(shù)據(jù)增強也是時空行為定位任務(wù)中常見的子任務(wù).

1.1 數(shù)據(jù)增強

數(shù)據(jù)增強是一種數(shù)據(jù)擴增技術(shù),可以在有限的數(shù)據(jù)集上進行擴充得到更多的數(shù)據(jù)來幫助訓(xùn)練.常用的數(shù)據(jù)增強技術(shù)有圖像翻轉(zhuǎn)、裁剪、縮放等幾何層面上的增強方式,也有增加噪聲、進行填充、顏色變換等顏色層面上的增強方式,這兩種圖像增強方式都是在單個圖像上進行操作的圖像增強技術(shù).除此之外,還有在多個圖像上進行操作從而產(chǎn)生新圖像的圖像增強技術(shù).其中,SMOTE算法[11]利用插值來改變數(shù)據(jù)集的類不平衡現(xiàn)象,SamplePairing算法[12]將不同的圖像分別進行處理后再疊加來得到新的樣本.近幾年生成對抗網(wǎng)絡(luò)[13]逐漸興起,這種網(wǎng)絡(luò)可以通過一個生成網(wǎng)絡(luò)隨機的生成圖像,再通過一個判別網(wǎng)絡(luò)判斷生成的圖像是否“真實”.這樣通過網(wǎng)絡(luò)的學(xué)習(xí),來隨機生成與數(shù)據(jù)集分布一致的圖像集合,將有限的數(shù)據(jù)內(nèi)容變得更加的豐富.

1.2 時空行為定位

時空行為定位任務(wù)可以同時完成行為檢測和行為分類兩個任務(wù).行為檢測實質(zhì)上是一個目標檢測任務(wù),可以檢測出目標行為在時空的具體位置.一般目標檢測任務(wù)是幀級層面上的檢測任務(wù),RCNN[14]作為基于區(qū)域的檢測算法,使用選擇搜索算法在圖像上提取出可能包含物體的區(qū)域,然后使用分類網(wǎng)絡(luò)得到每個區(qū)域內(nèi)物體的類別.在此基礎(chǔ)上,Faster RCNN[15]提出了RPN代替了RCNN中的選擇搜索算法,Fast-RCNN[16]共享了卷積計算提高了特征的利用效率.為了進一步提高目標檢測算法的實時性,YOLO[17]和SSD[18]將檢測任務(wù)統(tǒng)一為一個端到端的回歸問題,目前的YOLO版本能夠現(xiàn)階段最優(yōu)的檢測結(jié)果.在幀級目標檢測的基礎(chǔ)上,時空行為定位任務(wù)還需要對行為進行時序上的檢測,大多采用構(gòu)建行為管道的方法,輔以雙流網(wǎng)絡(luò)[19]和3D-CNN[20]網(wǎng)絡(luò)來進行時空行為定位.最近有工作將2D特征和3D特征構(gòu)建雙流網(wǎng)絡(luò)[21],進行了通道融合得到了很好的結(jié)果.但上述時空行為定位方法采用的3D-CNN網(wǎng)絡(luò)具有很大的參數(shù)量,導(dǎo)致整體網(wǎng)絡(luò)計算負擔(dān)過大.

1.3 行為管道構(gòu)建方法

構(gòu)建行為管道即從視頻片段每一幀檢測到的一系列行為框中找到最優(yōu)的行為框路徑,將其鏈接為行為管道,行為管道的構(gòu)建方法決定了時空行為定位的準確性.行為管道構(gòu)建實際上是一個最優(yōu)路徑搜索問題,有學(xué)者采用貪婪算法[12]增量的生成多個行為管道,再利用動態(tài)規(guī)劃的方法找出最優(yōu)的行為管道.還有學(xué)者采用維特比算法[7]鏈接不斷遞增的行為框以此形成多通道的行為序列.為了更高效地搜索到行為管道,優(yōu)化動態(tài)規(guī)劃算法來增強整體算法效率也成了研究方向之一,基于此有學(xué)者開發(fā)了一種低成本的能在單次運行中找到多重路徑的算法[4].除此之外,HISAN[22]在動態(tài)規(guī)劃的基礎(chǔ)上采用了SR算法減少了邊界框在鏈接過程中遮擋和背景的影響,并采用多路徑搜索算法進行優(yōu)化,一次迭代就能找到所有可能的路徑.

2 基于3D-SVD的行為定位算法

本文構(gòu)建了一個端到端的框架,可以定位視頻中的多個行為,在這個框架下可以同時提取到關(guān)鍵幀的二維特征和輸入片段的三維特征.基于3D-SVD的行為定位算法整體框架如圖1所示,分為3個主要部分:空間定位網(wǎng)絡(luò)、時空特征提取網(wǎng)絡(luò)和行為管道構(gòu)建.接下來,介紹本文框架的具體結(jié)構(gòu).

圖1 整體框架圖

2.1 雙流網(wǎng)絡(luò)結(jié)構(gòu)

空間定位網(wǎng)絡(luò)和時空特征提取網(wǎng)絡(luò)組成了一個雙流網(wǎng)絡(luò).空間定位網(wǎng)絡(luò)分支采用Darknet-53[23]作為主干網(wǎng)絡(luò),利用視頻關(guān)鍵幀的二維特征來實現(xiàn)行為的空間定位.時空特征提取網(wǎng)絡(luò)分支在傳統(tǒng)三維卷積網(wǎng)絡(luò)的基礎(chǔ)上采用SVD的思想,SVD矩陣分解如圖2（a）所示.本文將SVD的矩陣分解思想擴展到三維層面,將3D卷積核進行分解,這樣分解矩陣能夠共享視頻不同維度的權(quán)值,減少傳統(tǒng)三維卷積網(wǎng)絡(luò)的參數(shù)量,我們將其稱為3D-SVD.

圖2 SVD和3D-SVD分解對比

3D-SVD將3D卷積核分解的過程可以用Tucker分解來表示,如圖2（b）所示.假設(shè)X是大小為t×h×w的三階張量,進行Tucker分解后為:

其中,g的大小為r1×r2×r3,T的大小為t×r1,H的大小為h×r2,W的大小為w×r3,即:

當g為h×t×w時,可以得到視頻的3個視角,正常視角W-H、沿著時間維度的高度信息視角H-T和沿著時間維度的寬度信息視角W-T,與CoST網(wǎng)絡(luò)[24]相似.

設(shè)輸入的特征圖的大小為T×H×W×C1,是輸入通道.那么3個視角的輸出特征圖為:

然后將3組特征圖進行加權(quán)求和:

如式（3）所示,3個視角的卷積核共享權(quán)重,3DSVD能夠?qū)σ曨l3個視角的特征進行融合,從而實現(xiàn)視頻的行為分類.

3D-ResNeXt-101網(wǎng)絡(luò)[25]在Kinetics數(shù)據(jù)集上獲得了很好的表現(xiàn),因此將3D-ResNeXt-101網(wǎng)絡(luò)作為時空特征提取網(wǎng)絡(luò)的主干網(wǎng)絡(luò).3D-ResNeXt-101的網(wǎng)絡(luò)結(jié)構(gòu)如表1所示,在此基礎(chǔ)上將其中的中間層卷積替換為如圖3（b）所示的3D-SVD結(jié)構(gòu)即可有效的減少參數(shù)量,并能得到所需要的時空信息.

圖3 殘差單元對比

表1 3D-ResNeXt-101結(jié)構(gòu)

在時空特征提取網(wǎng)絡(luò)這個分支中,輸入是由一系列連續(xù)幀所組成的視頻片段,經(jīng)過3D-ResNeXt-101網(wǎng)絡(luò)后輸出為[幀數(shù)×高度×寬度×3]的特征圖,為了和空間定位分支網(wǎng)絡(luò)輸出的特征圖相匹配,將時空特征提取網(wǎng)絡(luò)輸出的特征圖的深度維數(shù)減少到1.

2.2 基于序列重排序的行為管道構(gòu)建

在進行定位和分類的過程之中,行為的空間漂移會導(dǎo)致其定位精度的降低.因此,采用序列重排序算法,可以減少運動漂移對檢測的影響從而鏈接到行為管道的正確路徑.

接著采用非最大值抑制算法將邊界框的數(shù)量減少到Nnms

2.3 數(shù)據(jù)增強—mixup算法

在實際的行為定位任務(wù)中,Okan等[21]采用了圖像抖動、改變圖像飽和度、色調(diào)和曝光度等技術(shù)對行為定位數(shù)據(jù)集的訓(xùn)練部分進行了圖像增強.這些圖像增強操作可以有效的生成不同光照條件,不同視角以及不同環(huán)境下的圖像,提高了訓(xùn)練的效果.但是這些變換都是基于單個圖像進行的操作.行為定位任務(wù)實際環(huán)境復(fù)雜,所以我們需要一種增加數(shù)據(jù)多樣性的數(shù)據(jù)增強方法來增加算法的魯棒性.考慮到系統(tǒng)的效率,我們增加了同樣是利用了插值特性的mixup算法對已有的數(shù)據(jù)集進行進一步的圖像增強操作.這種算法是一種利用了線性插值增強新樣本數(shù)據(jù)的數(shù)據(jù)增強方法,基于領(lǐng)域風(fēng)險最小化原則的數(shù)據(jù)增強方法.

設(shè)x為數(shù)據(jù),y為數(shù)據(jù)標簽,P（x,y）為兩者的聯(lián)合分布,l（.）為損失函數(shù),經(jīng)驗風(fēng)險為:

訓(xùn)練集{x,y}用狄拉克函數(shù)近似表示為:

數(shù)據(jù)量完成由n到m的增廣之后,式子變換為:

其中,v代表鄰域分布,mixup采用了線性插值的方法,用線性表達代表鄰域分布.

設(shè)（xi,yi）和（xj,yj）為在訓(xùn)練集中隨機選取的兩個樣本點,則插值產(chǎn)生的新的數(shù)據(jù)點為:

3 實驗結(jié)果及分析

為了評估算法的性能,本節(jié)在UCF101-24和JHMDB-21兩個流行且具有挑戰(zhàn)性的數(shù)據(jù)集上進行了訓(xùn)練和測試實驗,并將實驗結(jié)果與其它算法的結(jié)果進行比較和分析.

本文的實驗均在配有4張32 GB顯存的DGX STATION上進行,在Linux操作系統(tǒng)下使用PyTorch框架作為運行環(huán)境.

3.1 實驗數(shù)據(jù)集和評價指標

UCF101-24是UCF-101的子類數(shù)據(jù)集,包含24種行為類別和3207個帶有行為邊界框標注的視頻,提供了行為的類別和空間標注信息.

J-HMDB-21是HMDB-51的子類數(shù)據(jù)集,包含21種行為類別和928個短視頻.在每個視頻的所有幀中都有一個行為實例.

兩個公開數(shù)據(jù)集中的數(shù)據(jù)來源于視頻網(wǎng)站上真實場景下所拍攝的視頻,主要包含體育運動行為和日常生活行為,如圖4和圖5所示.

圖4 UCF101-24數(shù)據(jù)集

圖5 J-HMDB-21數(shù)據(jù)集

評價指標:在時空行為定位任務(wù)中最常用的評價指標為Frame-mAP和Video-mAP,前者是對于幀的度量,代表了每幀檢測的召回曲線下的區(qū)域,后者是對于行為管道的度量,視頻平均每幀與真實標簽的IOU超過了實驗設(shè)定的閾值,并且準確的預(yù)測了行為的類別,則行為管道是正確的實例.最后計算每個行為類別的平均精度.

3.2 實現(xiàn)細節(jié)

本文采用了雙流網(wǎng)絡(luò)的框架,需要對提取空間信息的2D網(wǎng)絡(luò)參數(shù)和提取時間信息的3D網(wǎng)絡(luò)參數(shù)進行初始化.采用了在PASCAL VOC上進行了預(yù)訓(xùn)練的2D模型和在Kinetics上進行了預(yù)訓(xùn)練的3D模型.在本文的模型之中,兩個網(wǎng)絡(luò)的參數(shù)可以進行聯(lián)合更新.設(shè)置初始的學(xué)習(xí)速率為0.0001.

對于時空特征提取網(wǎng)絡(luò)輸入的視頻剪輯長度,因為長序列往往包含更多的時間信息,因此采用16幀的剪輯長度,并將下采樣率設(shè)置為1.在模型進行訓(xùn)練之前,除了采用mixup算法進行數(shù)據(jù)增強之外,同時采用了圖像水平翻轉(zhuǎn)、隨機剪裁、改變圖像色調(diào)和飽和度這樣基礎(chǔ)的數(shù)據(jù)增強操作,將圖像統(tǒng)一隨機縮放為224×224大小的圖像輸入網(wǎng)絡(luò).

3.3 雙流網(wǎng)絡(luò)消融實驗

本文采用了雙流網(wǎng)絡(luò)框架.在傳統(tǒng)的雙流網(wǎng)絡(luò)中,單獨的二維卷積網(wǎng)絡(luò)和單獨的光流網(wǎng)絡(luò)都無法對行為的時空信息進行準確的判斷,所以一般采用兩個網(wǎng)絡(luò)融合的結(jié)果.為了對每條網(wǎng)絡(luò)分支的作用做出更準確的判斷,本文設(shè)置了消融實驗來判斷雙流結(jié)構(gòu)是否能得到更好的結(jié)果.

實驗采用Frame-mAP、定位召回率和行為分類準確率3個指標.其中,定位召回率指的是正確定位的行為數(shù)與真實標簽行為總數(shù)之比.

在兩個數(shù)據(jù)集上分別進行的消融實驗表明,空間定位網(wǎng)絡(luò)和時空特征提取網(wǎng)絡(luò)進行融合后能得到更好的平均精準度,比單獨的時空特征提取網(wǎng)絡(luò)提高了9.5%和15.9%,如表2和表3所示.此外,空間定位網(wǎng)絡(luò)在定位上能得到更好的結(jié)果,定位精度比時空特征提取網(wǎng)絡(luò)高3%和14.4%,時空特征提取網(wǎng)絡(luò)在行為分類上能得到更好的結(jié)果,分類精度比空間定位網(wǎng)絡(luò)高8.3%和16.1%.因此空間定位網(wǎng)絡(luò)更關(guān)注空間特征,時空特征提取網(wǎng)絡(luò)更關(guān)注時間特征.采用這兩個網(wǎng)絡(luò)融合的方法能更好的融合時空信息.

表2 在UCF101-24上的實驗結(jié)果（%）

表3 在J-HMDB-21上的實驗結(jié)果（%）

3.4 數(shù)據(jù)增強算法消融實驗

為了更直觀的判斷mixup算法對于本文行為定位方法的影響,進行了關(guān)于數(shù)據(jù)增強算法的消融實驗,結(jié)果如表4所示.根據(jù)表4可知,增加mixup算法能有效的擴充數(shù)據(jù)集,使訓(xùn)練過程更加的有效,得到更好的結(jié)果.

表4 不同數(shù)據(jù)增強下的Frame-mAP（%）

3.5 比較實驗

本小節(jié)比較了本文提出的算法和其它相關(guān)算法在UCF101-24和J-HMDB-21兩個公開數(shù)據(jù)集上的Frame-mAP和Video-mAP,并在不同的IOU上進行了對比實驗.本小節(jié)對比的算法皆為近幾年論文產(chǎn)出結(jié)果,其中一部分方法在某些指標上擁有先進的結(jié)果[5,6,26],一部分采用了與本文相似的雙流網(wǎng)絡(luò)結(jié)構(gòu)和動態(tài)規(guī)劃算法,具有比較意義[2,4,27,28].

實驗結(jié)果如表5所示,對比兩個數(shù)據(jù)集上的FramemAP指標,本文提出的方法相對于之前的方法分別提升了7.1%和5.8%,具有良好的性能.

表5 不同模型Frame-mAP對比（%）

此外,我們對比了兩個數(shù)據(jù)集上的Video-mAP性能指標,如表6和表7所示.在IoU閾值分別為0.2和0.5的情況下,本文提出的方法在J-HMDB-21數(shù)據(jù)集上總是優(yōu)于當前的方法,分別提高了5.2%和5.3%,另外在UCF101-24數(shù)據(jù)集上的改進稍遜色于在J-HMDB-21上的結(jié)果,這是由于J-HMDB-21擁有更多相似子行為序列的行為類別.根據(jù)目前的實驗,隨著IoU數(shù)值的改變,Video-mAP也會隨之變化,實驗結(jié)果表明,在IoU為0.2時,能得到最好的結(jié)果.

表6 不同模型在UCF101-24上Video-mAP對比（%）

表7 不同模型在J-HMDB-21上Video-mAP對比（%）

3.6 結(jié)果可視化

最后,對圖6的時空定位網(wǎng)絡(luò)可視化輸出結(jié)果進行分析.由圖6（a）-圖6（c）可得,本文所用的方法在背景簡單的情況下可以準確的進行視頻行為定位任務(wù),在視頻序列中定位行為發(fā)生的空間位置并識別行為的類別.圖6（d）和圖6（e）則表明,面對同一類行為的時空定位,在背景有與行為類別無關(guān)的行為發(fā)生時,可能會產(chǎn)生誤判的行為.同時,圖6（d）和圖6（e）與Saha等[28]的可視化結(jié)果進行對比表明,本文的方法在行為產(chǎn)生重疊的情況下也能得到準確的結(jié)果.

圖6 定位和行為識別可視化

4 結(jié)論與展望

本文提出了一種基于3D-SVD的時空行為定位算法,用于解決行為定位任務(wù)中3D網(wǎng)絡(luò)參數(shù)量過大的問題.本文算法基于雙流網(wǎng)絡(luò)的框架實現(xiàn),在雙流網(wǎng)絡(luò)的框架下同時訓(xùn)練了空間定位網(wǎng)絡(luò)和時空特征提取網(wǎng)絡(luò),將SVD算法引入3D卷積中,構(gòu)建了能將3D卷積核進行分解的3D-SVD,降低了網(wǎng)絡(luò)的參數(shù)量,實現(xiàn)了行為的定位和分類; 利用mixup算法進行了數(shù)據(jù)增強,輔以基礎(chǔ)數(shù)據(jù)增強操作對數(shù)據(jù)集進行增廣; 并采用序列重排序算法和動態(tài)規(guī)劃算法構(gòu)建了更為合適的行為管道.在兩個常用的公開數(shù)據(jù)集上進行實驗的結(jié)果表明,本文的模型在各指標上能獲得較優(yōu)的結(jié)果.