崔 瑞,賈子彥

(江蘇理工學(xué)院,江蘇 常州 213000)

0 引言

隨著城市現(xiàn)代化、智慧化進(jìn)程不斷加快,城市車輛的使用也越來越普遍,監(jiān)控?cái)z像隨處可見。與此同時(shí),車輛的系統(tǒng)管理正在向智能化過渡。多攝像頭環(huán)境下的目標(biāo)車輛的檢測(cè)和跟蹤已經(jīng)日益引起高度重視,成為當(dāng)下的研究熱點(diǎn)。目前,智能視頻監(jiān)控主要有兩大關(guān)鍵技術(shù):一是對(duì)運(yùn)動(dòng)目標(biāo)的識(shí)別跟蹤;二是對(duì)目標(biāo)行為的定義[1-2]。

多攝像頭車輛識(shí)別與跟蹤是現(xiàn)代智能交通系統(tǒng)中研究的重點(diǎn)內(nèi)容。在多攝像頭的切換過程中,可能出現(xiàn)因目標(biāo)車輛的外形檢測(cè)發(fā)生變化導(dǎo)致錯(cuò)檢、漏檢的情況。尤其是在十字路口等事故高發(fā)地點(diǎn),監(jiān)控視頻背景復(fù)雜、目標(biāo)車輛遮擋等問題也對(duì)識(shí)別跟蹤的準(zhǔn)確度及誤檢率提出了巨大的挑戰(zhàn)[3-4]。

對(duì)于同一車輛在多攝像頭重疊監(jiān)控區(qū)域下的定位,不僅是區(qū)別于單一攝像頭車輛的識(shí)別與定位,而且也是多個(gè)攝像頭車輛的識(shí)別與定位的難點(diǎn)所在。對(duì)于同一車輛的識(shí)別既包括對(duì)同一車輛在不同攝像頭監(jiān)控區(qū)域下的匹配確定[5],同時(shí)也包括對(duì)車輛出現(xiàn)被遮擋狀態(tài)時(shí)的判斷,通過對(duì)車輛的行駛狀態(tài)和被遮擋情況的分析判斷,完成同一車輛在不同監(jiān)控區(qū)域下的連續(xù)識(shí)別與跟蹤。

針對(duì)上述問題,本文提出一種多攝像頭車輛實(shí)時(shí)跟蹤系統(tǒng)。該方法首先采用車輛檢測(cè)算法進(jìn)行車輛的識(shí)別,同時(shí)結(jié)合多個(gè)攝像頭之間的單應(yīng)性矩陣來確定多個(gè)攝像頭重疊區(qū)域下同一車輛的位置,然后結(jié)合HSV顏色空間和車輛特征來進(jìn)行車輛的匹配,提高車輛的識(shí)別匹配精度,最后將特征識(shí)別和全卷積網(wǎng)絡(luò)的跟蹤算法結(jié)合起來,實(shí)現(xiàn)多角度對(duì)車輛的實(shí)時(shí)跟蹤。本文的應(yīng)用場(chǎng)景以十字路口為主。本文提出的車輛跟蹤流程如圖1所示。

圖1 車輛跟蹤流程

1 多攝像頭車輛識(shí)別與定位

1.1 車輛檢測(cè)模型

YOLO算法系列在車輛檢測(cè)方面有著非常顯著的識(shí)別能力。近些年來,隨著科技的發(fā)展和變遷,YOLO算法系列不斷地更新?lián)Q代,而YOLO系列近幾年最新推出的YOLOv5模型則是更加適合當(dāng)代工程和實(shí)際應(yīng)用的需求。

目前,YOLOv5算法有4個(gè)不同的版本,每個(gè)版本之間的網(wǎng)絡(luò)結(jié)構(gòu)有些許的差別[6]。本文采用的YOLOv5s算法是4個(gè)版本中網(wǎng)絡(luò)最小的版本,主要以檢測(cè)像車輛等之類的大目標(biāo)為主。相對(duì)于其他的版本,YOLOv5s的檢測(cè)速度快,識(shí)別準(zhǔn)確度比其他算法高,非常適合在嵌入式設(shè)備中應(yīng)用。本文對(duì)出現(xiàn)在交通視頻中的各種交通車輛進(jìn)行檢測(cè),選擇YOLOv5s結(jié)構(gòu)進(jìn)行研究。

YOLOv5s網(wǎng)絡(luò)主要有3個(gè)組成部分。

(1)Backbone:提取特征的主干網(wǎng)絡(luò),主要用來提取圖片中的信息以供后面的網(wǎng)絡(luò)使用。常用的Backbone有resnet系列(resnet的各種變體)、NAS網(wǎng)絡(luò)系列(RegNet)、Mobilenet系列、Darknet系列、HRNet系列、Transformer系列和ConvNeXt。主要結(jié)構(gòu)包括focus、conv、bottle-neckcsp和空間金字塔層。

(2)Neck(空間金字塔池化):它是通過將圖像特征進(jìn)行糅合并重新組合成一個(gè)新的網(wǎng)絡(luò)結(jié)構(gòu),將提取到的圖像特征傳遞到預(yù)測(cè)層。

(3)Head:主要是針對(duì)圖像的特征進(jìn)行預(yù)測(cè),然后生成檢測(cè)框并且預(yù)測(cè)其類別。

本文的車輛檢測(cè)方案使用改進(jìn)后的YOLOv5s檢測(cè)算法對(duì)車輛數(shù)據(jù)集進(jìn)行訓(xùn)練,并引入CA注意力機(jī)制,用改進(jìn)后的檢測(cè)模型對(duì)相關(guān)的車輛數(shù)據(jù)集進(jìn)行測(cè)試,經(jīng)過實(shí)驗(yàn)驗(yàn)證提高了檢測(cè)精度,更好地完成車輛檢測(cè)目標(biāo)。

1.2 多攝像頭空間模型的確立

單應(yīng)性矩陣能夠?qū)⑹致房?個(gè)攝像頭之間的相互關(guān)系形象生動(dòng)地表達(dá)出來,通過將拍攝到的同一車輛不同角度的圖片進(jìn)行像素坐標(biāo)之間的變換,能夠?qū)崿F(xiàn)車輛在不同監(jiān)控角度下的像素位置的轉(zhuǎn)換,從而實(shí)現(xiàn)同一車輛在不同監(jiān)控視角下的車輛位置的定位。在通常情況下,單應(yīng)性矩陣一般采用人工標(biāo)定的方法來進(jìn)行特征點(diǎn)之間的匹配,但是由于人工標(biāo)定會(huì)產(chǎn)生一定的誤差,導(dǎo)致得出的單應(yīng)性矩陣也存在一定的誤差。因此,鑒于這一問題,本文采用精確的棋盤格來求取匹配點(diǎn),結(jié)合張正友棋盤標(biāo)定的方法,求取相對(duì)準(zhǔn)確的單應(yīng)性矩陣。首先,打印一張8×8的黑白相間的棋盤方格;其次,將打印好的棋盤格放置在十字路口的中間,用4個(gè)方向的攝像頭對(duì)其進(jìn)行拍攝;然后,對(duì)4個(gè)視角下的棋盤格圖片進(jìn)行特征點(diǎn)的檢測(cè);最后,根據(jù)棋盤格中獲取的匹配點(diǎn)求取4個(gè)攝像頭之間的單應(yīng)性矩陣。

通過模擬十字路口4個(gè)攝像頭同時(shí)對(duì)視野區(qū)域內(nèi)的棋盤格上特征點(diǎn)求取單應(yīng)性矩陣,對(duì)同一標(biāo)定點(diǎn)在4個(gè)攝像頭之間的空間位置進(jìn)行定位。本文根據(jù)實(shí)際十字路口的環(huán)境,按照一定的比例搭建了十字路口的實(shí)際模型進(jìn)行研究。本文采用UA-detrac車輛檢測(cè)數(shù)據(jù)集與自建數(shù)據(jù)集進(jìn)行三維空間模型構(gòu)建,求取單應(yīng)性矩陣。在自建數(shù)據(jù)庫中,在模型上放置標(biāo)記物進(jìn)行標(biāo)記,按照東西南北4個(gè)方向分別標(biāo)定為1、2、3、4號(hào)攝像頭,同時(shí)以第3攝像頭為基準(zhǔn),分別求取1、2、4號(hào)攝像頭與該攝像頭的轉(zhuǎn)換矩陣H13、H23、H43。自建數(shù)據(jù)庫的標(biāo)定如圖2所示,紅圈表示選取的特征匹配點(diǎn)。

圖2 人工標(biāo)定圖

其他視角到該視角的轉(zhuǎn)換矩陣為:

經(jīng)過本文實(shí)驗(yàn)證明,與人為標(biāo)定特征點(diǎn)求取單應(yīng)性矩陣的方法相比,用棋盤標(biāo)定通過特征點(diǎn)之間的匹配進(jìn)行單應(yīng)性矩陣的求取精度會(huì)更高,這是由于相對(duì)于人工標(biāo)定,采用棋盤標(biāo)定的方法,匹配點(diǎn)的數(shù)量更多,相互之間匹配點(diǎn)的位置關(guān)系會(huì)更加準(zhǔn)確,減少了人為標(biāo)定方法產(chǎn)生的誤差,同時(shí)還提高了求取單應(yīng)性矩陣的準(zhǔn)確性。

1.3 車輛顏色特征匹配

車輛的顏色特征能夠更加直觀地反映車輛的外部整體信息,通常采用RGB顏色空間與HSV顏色空間來提取車輛的顏色特征。RGB顏色空間和HSV兩個(gè)顏色空間雖然都是用來表示圖像的顏色特性。相比而言,RGB顏色空間獲取車輛的顏色特征更加準(zhǔn)確。HSV顏色空間更容易被人眼所接受,從而更方便人們觀察。因此,本文首先通過RGB顏色空間獲取車輛的全局外觀顏色特征,之后再轉(zhuǎn)換到HSV顏色空間進(jìn)行顏色特征的量化,車輛的顏色特征可以直觀地反映車輛的全區(qū)信息,由于HSV顏色空間可以對(duì)顏色空間進(jìn)行量化,降低顏色空間的特征維數(shù),從而減少提取匹配的計(jì)算量,提高算法的運(yùn)算效率。HSV顏色空間具有自然性,與人類的視覺神經(jīng)感知接近,反映了人類對(duì)于色彩的觀察,同時(shí)有助于查找圖像。

由此分析,本文采用了基于HSV顏色空間模型對(duì)車輛的全局外觀進(jìn)行顏色提取。通常來說,拍攝到的車輛圖像基本都是以RGB的方式保存。圖像從RGB顏色空間轉(zhuǎn)換到HSV空間。RGB顏色空間將圖片進(jìn)行R、G、B的3種通道的劃分,設(shè)(r,g,b)分別是一個(gè)顏色的紅、綠和藍(lán)顏色的坐標(biāo),他們的值是0～1的實(shí)數(shù),令max等于r、g、b3個(gè)分量中的最大值,min等于r、g、b3個(gè)分量中的最小值,則從RGB顏色空間到HSV顏色空間的變換過程可用如下公式來表示:

ν=max

輸入的車輛圖片的顏色特征通常用顏色直方圖來表示,它的算法簡(jiǎn)單,速度較快。它具有尺度平、平移和旋轉(zhuǎn)不變形的特征,在特征提取、圖像分類方面有著非常好的應(yīng)用。

本文通過HSV顏色空間對(duì)多組相同車型不同顏色和相同顏色不同車型的車輛分組圖片進(jìn)行顏色特征的提取和匹配。本研究對(duì)UA-detrac車輛檢測(cè)數(shù)據(jù)集和自建模型拍攝的多角度下不同顏色的車輛進(jìn)行顏色特征提取,并計(jì)算其顏色相似度。對(duì)比結(jié)果如表1所示。

表1 顏色特征相似程度對(duì)比結(jié)果

通過表1的顏色特征相似度的結(jié)果可以看出,顏色特征相似度越大,表示兩輛車之間的相似程度越高。相同的一輛車在4個(gè)方向下的相似度的范圍均在0.8以上,顏色相似的兩輛車之間的相似度均在0.8以下。顏色不同但是車型相同的兩輛車之間的相似度均在0.6以下。由此可知,顏色特征可以用來區(qū)分車型相同或相似但顏色差別大的車輛。同一輛車在不同攝像頭的監(jiān)控視野內(nèi)由于拍攝角度的問題會(huì)出現(xiàn)導(dǎo)致同一輛車的顏色特征存在一定的差異的情況發(fā)生。若是直接將相似度設(shè)置為0.8可能會(huì)存在在不同的監(jiān)控角度下,同一車輛被漏檢的情況。若閾值設(shè)置得過低又可能誤檢一些顏色相近的車輛。只是顏色特征識(shí)別并不能滿足不同角度下車輛的匹配,存在一定的缺陷,因此還需要通過局部特征的匹配來提高匹配的精度。

1.4 SURF特征匹配

鑒于顏色特征能針對(duì)局部特征對(duì)于顏色信息不區(qū)分這一缺點(diǎn)進(jìn)行補(bǔ)充,而SURF的特點(diǎn)是具備光線照射、角度的調(diào)整以及尺寸不變性,速度比較快而且相對(duì)比較穩(wěn)定。由于僅是局部特征或者僅是全局特征很容易發(fā)生在多攝像頭切換角度時(shí)出現(xiàn)跟蹤錯(cuò)誤的信息,從而導(dǎo)致跟蹤失敗。因此,本文將全局特征和局部特征結(jié)合起來,從而提高匹配的準(zhǔn)確性。

相對(duì)而言,SURF特征提取的數(shù)量雖然比SIFT特征提取少很多,但還是存在錯(cuò)誤匹配的情況。因此,本文根據(jù)SURF的算法特性,特征匹配點(diǎn)之間的歐式距離越近,相似度越高,匹配得越準(zhǔn)確。對(duì)匹配點(diǎn)之間的歐氏距離進(jìn)行篩選,選擇合適的閾值,對(duì)歐式距離進(jìn)行排序,從而選出最優(yōu)的SURF特征匹配點(diǎn),減少匹配的誤差,降低錯(cuò)誤匹配的概率。

2 融合多特征與全卷積孿生網(wǎng)絡(luò)的跟蹤算法

因?yàn)樵诙鄶z像頭切換角度時(shí)對(duì)同類型的車輛誤檢、漏檢的情況時(shí)有發(fā)生,所以本文對(duì)全卷積孿生網(wǎng)絡(luò)跟蹤算法中的圖像特征向量相似度與多特征融合進(jìn)行改進(jìn),并引入注意力通道機(jī)制網(wǎng)絡(luò)結(jié)構(gòu),針對(duì)錯(cuò)檢、漏檢的情況進(jìn)行改進(jìn),提升準(zhǔn)確度。

使用上述提到的HSV顏色特征提取和SURF特征作為匹配的特征,與全卷積孿生網(wǎng)絡(luò)跟蹤模型計(jì)算的相似度進(jìn)行結(jié)合,即使在發(fā)生目標(biāo)車輛部分遮擋的情況下,在切換到另一角度的攝像頭時(shí)仍然能對(duì)同一車輛繼續(xù)進(jìn)行定位跟蹤。在出現(xiàn)完全遮擋的情況或者在多攝像頭角度切換后,目標(biāo)車輛短時(shí)間內(nèi)未再次出現(xiàn)的情況下仍然繼續(xù)工作,在等待目標(biāo)車輛再次出現(xiàn)時(shí),繼續(xù)對(duì)目標(biāo)車輛進(jìn)行定位檢測(cè)與跟蹤,以保證目標(biāo)車輛的持續(xù)跟蹤。

跟蹤模塊首先利用全卷積網(wǎng)絡(luò)訓(xùn)練的跟蹤模型提取目標(biāo)車輛圖片,通過提取檢測(cè)車輛圖像的特征向量,計(jì)算目標(biāo)車輛與待檢測(cè)車輛之間的相似度,然后通過HSV顏色空間得出車輛的全局特征的相似度,最后對(duì)SURF特征進(jìn)行車輛的局部特征匹配,過濾掉錯(cuò)誤的匹配點(diǎn),提高準(zhǔn)確度,因?yàn)镾URF特征點(diǎn)之間的距離長(zhǎng)短表示特征點(diǎn)之間匹配值的高低,所以在所有檢測(cè)到的車輛中選擇特征點(diǎn)之間距離最短的也就是匹配值最小的目標(biāo)車輛,對(duì)目標(biāo)車輛進(jìn)行定位,并利用上述計(jì)算的3種目標(biāo)車輛判斷的值對(duì)初定位的目標(biāo)車輛進(jìn)行閾值比較處理,從而最終定位目標(biāo)車輛。目標(biāo)車輛實(shí)驗(yàn)結(jié)果如表2所示。

表2 在自建數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果 (單位:%)

3 結(jié)語

本文提出的多攝像頭車輛實(shí)時(shí)跟蹤系統(tǒng),通過多個(gè)攝像頭之間的單應(yīng)性矩陣對(duì)十字交通路口的車輛進(jìn)行定位,并結(jié)合顏色特征和SURF特征進(jìn)行匹配,利用多特征和全卷積孿生網(wǎng)絡(luò)相結(jié)合的跟蹤模型,得到最終的檢測(cè)結(jié)果,在車輛的檢測(cè)和跟蹤程度上有一定的提高。該系統(tǒng)在一定程度上解決了因遮擋問題造成的誤檢、漏檢的問題,提高了檢測(cè)精度和跟蹤的準(zhǔn)確性。根據(jù)實(shí)踐表明,本文提出的方法效果比單一攝像頭的檢測(cè)方法更加可靠。