潘 超, 王雪涵, 高俊平, 王贏慶,尹棟程, 李 佳, 肖 巍*

(1.長春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院， 吉林 長春 130102;2.長春市十一高中北湖學(xué)校， 吉林 長春 130102)

0 引 言

中國汽車工業(yè)協(xié)會(huì)公布的數(shù)據(jù)顯示，2019年國內(nèi)汽車銷量2 576.9萬輛，2020年國內(nèi)汽車銷量2 531.1萬輛。從數(shù)據(jù)上可以看出，每年都有眾多的汽車源源不斷地融入到交通系統(tǒng)，給交通系統(tǒng)帶來了巨大的壓力，可以說交通系統(tǒng)的管理能力決定了社會(huì)生活的方方面面。交通問題的解決離不開計(jì)算機(jī)技術(shù)大加持，而人工智能技術(shù)的不斷革新突破可以進(jìn)一步提升交通系統(tǒng)的工作效率。因此對(duì)交通場景智能識(shí)別系統(tǒng)(Traffic Scene Intelligent Recognition System)的需求越來越高。

高效準(zhǔn)確地完成交通場景的智能識(shí)別依賴于計(jì)算機(jī)視覺的目標(biāo)檢測技術(shù)。目標(biāo)檢測是區(qū)分視頻或圖像中感興趣的區(qū)域與其他區(qū)域，判斷目標(biāo)存在與否，確定目標(biāo)的位置并識(shí)別其種類的計(jì)算機(jī)視覺任務(wù)。近年來,隨著深度學(xué)習(xí)理論的日趨成熟以及硬件性能的飛速提升，目標(biāo)檢測任務(wù)也從基于計(jì)算機(jī)視覺與手工特征提取的傳統(tǒng)算法轉(zhuǎn)向基于深度神經(jīng)網(wǎng)絡(luò)的檢測方法[1]，基于深度學(xué)習(xí)的視覺處理方法以各種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型為代表，合并特征提取、選擇和分類過程，通過端對(duì)端訓(xùn)練來自動(dòng)提取特征，達(dá)到分類效果，這類方法精度較高[2]。一般常用的深度學(xué)習(xí)方法包括： R-CNN、Fast/Faster R-CNN、SSD、YOLO系列等。

計(jì)算機(jī)目標(biāo)檢測算法的發(fā)展歷程見表1。

表1 計(jì)算機(jī)目標(biāo)檢測算法的發(fā)展歷程

2001年，維奧拉-瓊斯通過滑動(dòng)窗口的檢測方法首次實(shí)現(xiàn)了人臉的實(shí)時(shí)檢測，使用傳統(tǒng)的目標(biāo)檢測算法進(jìn)行檢測。2005年，N Dalal等[4]對(duì)尺度不變特征變換和性狀上下文作出改進(jìn)，提出HOG。2008年，傳統(tǒng)目標(biāo)檢測算法發(fā)展達(dá)到頂點(diǎn)，P Felzenszwalb等[5]提出DPM算法，經(jīng)過多人改進(jìn)，使用“邊界框回歸”技術(shù)提高了檢測精度。

2012年，隨著GPU技術(shù)的不斷發(fā)展，進(jìn)入基于深度學(xué)習(xí)的目標(biāo)檢測算法時(shí)期。Hinton教授團(tuán)隊(duì)利用卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了AlexNet, 在ImageNet數(shù)據(jù)集上打敗所有傳統(tǒng)方法的團(tuán)隊(duì)，使得CNN成為計(jì)算機(jī)視覺領(lǐng)域中最為重要的工具[14]。

2014-2017年間,涌現(xiàn)出R-CNN、SPPNet、Fast R-CNN、Faster R-CNN、YOLO、SSD、Retina-Net、Pyramid Networks等深度學(xué)習(xí)算法，可分為One-stage和Two-stage兩類。

Two-stage 識(shí)別錯(cuò)誤率較低[15]。R-CNN 首次將深度學(xué)習(xí)應(yīng)用到目標(biāo)檢測上，SPPNet 輸入具有靈活性，能在輸入尺寸任意的情況下產(chǎn)生固定大小的輸出，F(xiàn)ast R-CNN主網(wǎng)絡(luò)是VGG16，比R-CNN 和SPPNet 快數(shù)倍，F(xiàn)aster R-CNN相較于Fast R-CNN改為多參考檢測，Pyramid Networks融入特征融合，使得基于深度學(xué)習(xí)的目標(biāo)檢測算法逐漸成熟。

One-stage 檢測速度較快[16]，YOLO 將物體檢測作為回歸問題求解，檢測網(wǎng)絡(luò)pipeline簡單，SSD引入多分辨檢測和難分類樣本挖掘的思想，Retina-Net在分類損失上進(jìn)行改動(dòng)，加上權(quán)重因子，加大難分類樣本的相對(duì)權(quán)重。

不少學(xué)者將這些算法應(yīng)用到交通路口智能識(shí)別產(chǎn)品中，而目前比較傳統(tǒng)的交通路口智能識(shí)別產(chǎn)品在固定角度、固定距離的條件下雖具有較好的識(shí)別效果，但在不同角度條件下識(shí)別效果較差。在這些算法中，YOLO V3版本算法主要在損失函數(shù)上做了改進(jìn)，在開放目標(biāo)檢測數(shù)據(jù)集上的檢測效果和性能都很出色。文中利用YOLO V3檢測算法適應(yīng)性強(qiáng)的特點(diǎn)，從實(shí)際問題的特性出發(fā)，嘗試使用YOLO V3實(shí)現(xiàn)交通場景的分析。

1 關(guān)鍵技術(shù)的研究

1.1 YOLO V3檢測算法

YOLO系列算法是基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法[17]，以YOLO V3算法為基礎(chǔ)進(jìn)行車輛檢測研究。

對(duì)物體進(jìn)行識(shí)別時(shí)，網(wǎng)絡(luò)通過特征提取的方式對(duì)目標(biāo)進(jìn)行識(shí)別。識(shí)別時(shí)將目標(biāo)圖像分為若干個(gè)小塊，根據(jù)待識(shí)別物體的大小可以分為13×13，26×26，52×52的小格，在實(shí)際使用中,如果待識(shí)別的物體更小(如小昆蟲、小零件等),還可以將圖像分割的更小(如104×104)。當(dāng)物體的中心坐標(biāo)被分入某個(gè)格中，就由這個(gè)格子預(yù)測物體。物體有固定數(shù)量的外框(bounding box)，YOLO V3 使用邏輯回歸確定用來預(yù)測物體的回歸框。原理如圖1和圖2所示。

圖1 YOLO實(shí)現(xiàn)原理1

圖2 YOLO實(shí)現(xiàn)原理2

總體上講，YOLO V3網(wǎng)絡(luò)結(jié)構(gòu)包括輸入部分、基礎(chǔ)網(wǎng)絡(luò)部分、特征融合層。輸入部分要求輸入數(shù)據(jù)為 416×416像素，如果數(shù)據(jù)過大，需要對(duì)輸入數(shù)據(jù)進(jìn)行Resize操作，使之變?yōu)楹线m的尺寸。雖然YOLO V3本身使用的是全卷積層，輸入數(shù)據(jù)和特征圖尺寸的修改都是通過卷積層來實(shí)現(xiàn)。但是輸入圖片過大仍然可能影響識(shí)別效果的完整性。

基礎(chǔ)網(wǎng)絡(luò)部分中YOLO V3采用Darknet-53網(wǎng)絡(luò)。該網(wǎng)絡(luò)綜合考慮了Darknet-19和ResNet的Residual殘差結(jié)構(gòu)。既增加了網(wǎng)絡(luò)的深度，提升了擬合能力，又減小了訓(xùn)練難度。

Darknet-53 模型結(jié)構(gòu)如圖3所示。

圖3 Darknet-53 模型結(jié)構(gòu)

Darknet-53由BDL組件和5個(gè)RES(殘差塊)聯(lián)合構(gòu)成。由于YOLO V3是全卷積網(wǎng)絡(luò)，所以DBL由卷積網(wǎng)絡(luò)、歸一化組件BN(Batch Normalize)、激活函數(shù)(LeakyRelu)構(gòu)建而成[18]。YOLO V3的總網(wǎng)絡(luò)一共有75個(gè)卷積層，采用深度學(xué)習(xí)中常用的LeakyReLu作為激活函數(shù)，并使用batch normalization對(duì)數(shù)據(jù)進(jìn)行正則化,加速收斂速度,提高了模型的擬合能力，但是模型結(jié)構(gòu)冗長也有產(chǎn)生梯度消失問題的風(fēng)險(xiǎn)。為解決此問題,模型引入了殘差模塊，每個(gè)殘差塊中包含若干個(gè)殘差單元，殘差塊中包含具體殘差單元的數(shù)量由殘差塊res的n值確定。由于網(wǎng)絡(luò)主體是由許多殘差模塊組成，這種結(jié)構(gòu)減小了梯度爆炸風(fēng)險(xiǎn)，很好地加強(qiáng)了網(wǎng)絡(luò)的學(xué)習(xí)能力[19]。

算法允許在速度和準(zhǔn)確率之間做出選擇，根據(jù)需要可以選擇側(cè)重于速度而犧牲一些準(zhǔn)確率或側(cè)重準(zhǔn)確率而犧牲一些算法效率。從V2版本中使用的darknet-19到V3版本中使用的darknet-53，YOLO版本表現(xiàn)的提升很大程度上取決于backbone網(wǎng)絡(luò)性能的提升。

Joseph Redmon實(shí)驗(yàn)表明，在分類準(zhǔn)確度與效率平衡上，Darknet-53模型比ResNet-101、 ResNet-152和Darknet-19表現(xiàn)得更好[20]。YOLO V3并沒有那么追求速度，而是在保證實(shí)時(shí)性(fps>60)的基礎(chǔ)上追求performance。同時(shí),V3提供了可以替換的backbone-tiny darknet。對(duì)于注重性能的準(zhǔn)確性場景可以使用darknet53，對(duì)于注重效率的場景可以選用tiny darknet。 YOLO V3的這種特性使其具有非常好的適應(yīng)性，適合應(yīng)用于實(shí)際的工程場景[21]。

1.2 物體重識(shí)別算法設(shè)計(jì)

YOLO檢測算法可以對(duì)每一幀進(jìn)行分析，找到畫面中的各個(gè)目標(biāo)，但在實(shí)際交通場景中，大部分監(jiān)控場景都是一個(gè)復(fù)雜連續(xù)的過程。識(shí)別出每個(gè)畫面中的物體只是第一步，還要提取物體的靜態(tài)特征，對(duì)每個(gè)物體進(jìn)行追蹤，以判斷是否存在違反交通規(guī)則的情況。

算法: 物體重識(shí)別算法

輸入: 每幀畫面中物體中心點(diǎn)坐標(biāo)(xi，yi)，特定距離閾值m

輸出: 是否為同一物體

1.計(jì)算前后兩幀畫面物體中心點(diǎn)的歐氏距離di；

2.比較di與m，

2.1.若di≤m，則將兩個(gè)物體視作前后兩幀畫面中的同一對(duì)象。

2.2.否則，

2.2.1.若(xi-1，yi-1)不存在，而(xi，yi)存在，則對(duì)于本幀新出現(xiàn)的點(diǎn)記作新的物體；

2.2.2.若(xi-1，yi-1)存在，而(xi，yi)不存在，則對(duì)于本幀畫面未能配對(duì)的點(diǎn)予以注銷。

在進(jìn)行物體重識(shí)別設(shè)計(jì)時(shí)，主要依據(jù)歐氏距離進(jìn)行檢測，上一幀和本幀畫面中物體中心點(diǎn)之間的歐氏距離為

di=(xi-1-xi)2+(yi-1-yi)2，

在畫面分析結(jié)束后，獲取YOLO的分析結(jié)構(gòu)，將YOLO識(shí)別出的物體中心點(diǎn)作為檢測依據(jù)，分別比較上一幀畫面和本幀畫面中物體中心點(diǎn)的變化情況：若先后兩個(gè)點(diǎn)之間歐氏距離小于特定值，則將兩個(gè)物體視作前后兩幀畫面中的同一對(duì)象；對(duì)于新出現(xiàn)的點(diǎn)記作新的物體；對(duì)于上一幀畫面中存在，而本幀畫面未能配對(duì)的點(diǎn)予以注銷，算法示意圖如圖4所示。

圖4 物體重識(shí)別算法示意圖

1.3 距離判斷

在交通管理的場景中，距離檢測運(yùn)用最為廣泛，通過距離檢測判斷識(shí)別車輛與車道線的距離、車輛與行人的距離、車輛與人行道的距離。通過車輛與車道線的距離，可以判斷車輛是否紅燈越線，以及是否有闖紅燈等行為；在車輛與行人的距離判定中，可以判斷車輛的車速，以及車輛是否禮讓行人；根據(jù)車輛與人行道的距離，判斷車輛是否進(jìn)入或者通過人行道，用車輛與中心線之間的距離來統(tǒng)計(jì)車流量。

在判定車輛是否闖紅燈時(shí)，首先采用距離算法來判斷車輛具體在哪個(gè)車道上，從而得到車道導(dǎo)向,并通過信號(hào)燈的識(shí)別獲取對(duì)應(yīng)的紅綠燈信息，判斷車輛所在導(dǎo)向是否為紅燈。當(dāng)為紅燈時(shí)，判斷車輛所在位置是否在對(duì)面車道線和當(dāng)前車道線之間，如果是，則判定該車輛闖紅燈。

算法:判定車輛是否闖紅燈

輸入:車道對(duì)應(yīng)的紅綠燈信息

輸出:車輛是否闖紅燈

1.判斷車輛所在導(dǎo)向是否為紅燈，若為紅燈；

1.1判斷車輛所在位置是否在對(duì)面車道線和當(dāng)前車道線之間，若是，輸出車輛闖紅燈；

2.否則，輸出車輛未闖紅燈。

車速計(jì)算示意圖如圖5所示。

圖5 車速計(jì)算示意圖

測量車速時(shí)，利用人行橫道作為參照物，只要利用車輛經(jīng)過人行橫道的時(shí)間就可以粗略測量出車輛速度，那么關(guān)鍵就集中于如何判斷車輛經(jīng)過人行橫道的時(shí)間。車輛未到達(dá)人行橫道時(shí)，車輛入點(diǎn)與人行橫道下沿之差為正數(shù)，在某視頻幀下，此差變?yōu)樨?fù)數(shù)時(shí)，則代表車輛經(jīng)過人行橫道下沿，記錄時(shí)間點(diǎn)；接下來就是車輛入點(diǎn)與人行橫道上沿進(jìn)行作差，過程與人行橫道下沿相同，然后記錄時(shí)間點(diǎn)；前后兩個(gè)時(shí)間點(diǎn)作差，就可以得到車輛通過人行橫道的時(shí)間，從而可以判斷車輛是否超速。

算法：車輛超速判斷算法

輸入：人行橫道寬度s，人行橫道上沿縱坐標(biāo)y上，人行橫道下沿縱坐標(biāo)y下，每幀車輛入點(diǎn)縱坐標(biāo)yi，限速v限

輸出：車輛是否超速

記錄yi-y下由正變負(fù)的時(shí)間點(diǎn)t1和yi-y上由負(fù)變正變化時(shí)的時(shí)間點(diǎn)t2；

比較vi與v限，

若vi≤v限，輸出車輛未超速

否則，輸出車輛超速

判斷禮讓行人示意圖如圖6所示。

圖6 判斷禮讓行人示意圖

車輛是否禮讓行人與距離密切相關(guān)，通過計(jì)算車輛與行人之間的距離判斷行人在人行道上，還是在人行橫道的區(qū)域內(nèi)。人行道的行人無須判斷，而對(duì)于在人行橫道上的行人，如果車輛與行人的距離過近,則觸發(fā)車輛未禮讓行人的事件。

車流量計(jì)數(shù)示意圖如圖7所示。

圖7 車流量計(jì)數(shù)示意圖

車流量計(jì)數(shù)是通過判斷車輛點(diǎn)與中心線之間的關(guān)系實(shí)現(xiàn)的。車輛通過中心線則記錄，無論哪個(gè)方向駛來的車輛都會(huì)加入車流量計(jì)數(shù)的行列。算法方面則是通過判斷當(dāng)前點(diǎn)是否比中心線縱坐標(biāo)大或者小來判斷車輛是否通行。如果有小到大或者大到小的變化，則可將車輛加入計(jì)數(shù)中。

2 實(shí)驗(yàn)結(jié)果

為了配合YOLO以及其他功能的實(shí)現(xiàn)，系統(tǒng)整體使用Python語言實(shí)現(xiàn)。前臺(tái)使用PYQT繪制界面并提供交互，使用OpenCV讀取視頻文件，VideoCapture獲取視頻幀用于分析。系統(tǒng)產(chǎn)生的信息用json格式進(jìn)行存儲(chǔ)，便于日后的讀取和進(jìn)一步分析。

系統(tǒng)對(duì)路口視頻進(jìn)行測試的結(jié)果如圖8所示。

圖8 視頻分析結(jié)果

系統(tǒng)可以正確識(shí)別車輛、行人、非機(jī)動(dòng)車、信號(hào)燈，模型mAP均值見表2。

表2 各模型mAP均值

繪制車道線后可以識(shí)別出車輛壓線、未禮讓行人等違反交通規(guī)則的行為，并將違反交通規(guī)則的瞬間進(jìn)行取證保存以備查看。

系統(tǒng)將數(shù)據(jù)輸出到主面板的視頻顯示窗口，以及主面板的速度顯示窗口、車速檢測窗口、車流量統(tǒng)計(jì)窗口、紅綠燈顯示，違章顯示窗口顯示YOLO前端檢測的車輛、車牌、紅綠燈等信息的數(shù)據(jù)結(jié)果，為用戶提供最為直觀的數(shù)據(jù)。

3 結(jié) 語

交通場景智能識(shí)別是現(xiàn)代智能交通系統(tǒng)重要組成部分。首先對(duì)攝像機(jī)拍攝的車輛圖像或者視頻圖像進(jìn)行處理分析，得到每輛車的車牌號(hào)碼，從而完成識(shí)別過程。文中實(shí)現(xiàn)結(jié)合基于深度學(xué)習(xí)的智能交通, 從車輛壓線檢測、距離判斷等方向進(jìn)行研究, 并根據(jù)實(shí)際應(yīng)用環(huán)境進(jìn)行具體的分析工作, 對(duì)檢測算法與物體重識(shí)別算法進(jìn)行了論述。研究成果能夠幫助管理者實(shí)時(shí)掌握交通整體運(yùn)行態(tài)勢，有效地維護(hù)道路交通秩序, 特別是交通違規(guī)行為識(shí)別，對(duì)于實(shí)現(xiàn)智慧交通可視化管理具有較強(qiáng)的實(shí)用價(jià)值。將計(jì)算機(jī)視覺技術(shù)應(yīng)用于實(shí)際工程場景,對(duì)于維護(hù)交通安全和城市治安，防止交通堵塞，提升道路通行效率有現(xiàn)實(shí)意義。