韋勇 萬旭 徐海黎 沈標(biāo)

摘 要： 針對(duì)交叉路口行人頻繁闖紅燈的現(xiàn)象，提出一種基于人臉跟蹤和人臉識(shí)別的行人闖紅燈取證解決方案。行人闖紅燈取證系統(tǒng)分為前端抓拍部分和后臺(tái)比對(duì)查詢部分，主要包括信息采集模塊、人臉檢測(cè)跟蹤模塊、報(bào)警模塊和比對(duì)識(shí)別模塊。系統(tǒng)采用改進(jìn)的AdaBoost算法檢測(cè)人臉，提出基于Camshift和軌跡預(yù)測(cè)的多人臉跟蹤算法，以解決傳統(tǒng)Camshift算法跟蹤目標(biāo)需手動(dòng)繪制、跟蹤目標(biāo)單一和背景區(qū)域干擾大的缺點(diǎn)，實(shí)現(xiàn)了多人臉實(shí)時(shí)跟蹤。后臺(tái)比對(duì)查詢部分采用基于卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)人臉進(jìn)行比對(duì)識(shí)別。實(shí)際使用結(jié)果表明，該系統(tǒng)具有良好的穩(wěn)定性和實(shí)時(shí)性，可有效杜絕“中國式過馬路”現(xiàn)象。

關(guān)鍵詞： 行人闖紅燈； 多功能報(bào)警； 人臉檢測(cè)； 人臉跟蹤； 人臉抓拍； 人臉識(shí)別

中圖分類號(hào)： TN911.73?34； TP391.4 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）19?0036?04

Abstract： Aiming at the phenomenon that pedestrians frequently cross the intersections on a red light， a solution about how to warn the pedestrians and collect the evidences of pedestrians′ red?light running is put forward， which is based on face tracking and recognition. The pedestrians′ red?light running evidence?collection system is divided into front?end capture section and background matching query section， which includes information acquisition module， face detection tracking module， alarm module and matching recognition module. The improved AdaBoost algorithm is adopted in the system to detect the human face. The multi?face tracking algorithm based on Camshift and trajectory prediction is proposed to overcome the shortcomings of the tracking target manual drawing of traditional Camshift algorithm， single tracking target and large interference of background area， and realize the multi?face real?time tracking. The method based on convolutional neural network is used in the background matching query section to compare and recognize the faces. The practical usage result of this system shows that the system has high stability and real?time performance， and can effectively eliminate the phenomenon of ″Chinese style of crossing road″.

Keywords： pedestrians′ red?light running； multi?function alarm； face detection； face tracking； face capture； face recognition

0 引 言

近年來，隨著城市道路交通的迅速發(fā)展，機(jī)動(dòng)車的數(shù)量日益增多。在我國城市交叉路口，行人過馬路闖紅燈的現(xiàn)象較為常見，尤其當(dāng)群體行人數(shù)量達(dá)到4人時(shí)，最容易激發(fā)人群的集體闖紅燈行為，這種行為被稱為“中國式過馬路”[1?4]。行人闖紅燈的行為不僅會(huì)威脅人身安全，還會(huì)誘發(fā)交通事故，影響交通秩序。為了提高城市交通秩序、保障人民群眾的生命安全、倡導(dǎo)文明出行，需要對(duì)行人闖紅燈行為進(jìn)行檢測(cè)識(shí)別，并做出一些相應(yīng)的提醒和處罰措施，提高行人在道路交通中的自覺意識(shí)[5?6]。本文提出了基于人臉跟蹤和識(shí)別技術(shù)的行人闖紅燈取證系統(tǒng)的解決方案，用信息化、智能化的手段加強(qiáng)對(duì)城市道路交通的管理，推動(dòng)智慧交通、智慧城市的建設(shè)。本系統(tǒng)對(duì)路口的實(shí)時(shí)視頻流進(jìn)行處理，檢測(cè)視頻中闖紅燈的行人并對(duì)其進(jìn)行跟蹤，在斑馬線上設(shè)置3條虛擬檢測(cè)線，行人每至一處便存取一張圖片作為闖紅燈憑證，將對(duì)比獲得的清晰人臉圖片送至后臺(tái)服務(wù)器進(jìn)行提取特征和比對(duì)識(shí)別，最終得到此人闖紅燈的次數(shù)。

1 行人闖紅燈取證系統(tǒng)設(shè)計(jì)方案

行人闖紅燈取證系統(tǒng)分為前端抓拍部分和后臺(tái)識(shí)別查詢部分。抓拍客戶端通過星光級(jí)高清攝像機(jī)的SDK中相關(guān)回調(diào)函數(shù)將采集到的視頻信息進(jìn)行顯示，當(dāng)路口信號(hào)燈為紅燈時(shí)將H264編碼方式的每一幀圖像數(shù)據(jù)用于人臉檢測(cè)和人臉跟蹤，若為綠燈時(shí)則只顯示不處理。檢測(cè)到行人闖紅燈時(shí)，則語音播報(bào)“請(qǐng)不要闖紅燈”，LCD液晶屏顯示當(dāng)前闖紅燈人臉圖像且LED文字屏顯示“您闖紅燈了”。抓拍客戶端將抓拍的行人闖紅燈軌跡圖、提取的人臉圖像通過FTP傳至后臺(tái)服務(wù)器。后臺(tái)服務(wù)器將這些存入數(shù)據(jù)庫，并與庫中人臉進(jìn)行比對(duì)識(shí)別，最終可通過網(wǎng)頁查詢每位行人闖紅燈的總次數(shù)。行人闖紅燈系統(tǒng)的結(jié)構(gòu)如圖1所示。

2 行人闖紅燈取證系統(tǒng)模塊設(shè)計(jì)

2.1 信息采集模塊

信息采集模塊的主要功能是采集紅綠燈信號(hào)和圖像數(shù)據(jù)，并對(duì)采集到的圖像數(shù)據(jù)進(jìn)行預(yù)處理。紅綠信號(hào)使用紅燈信號(hào)檢測(cè)板獲得，紅燈時(shí)工控機(jī)將通過RS 232串口接收數(shù)據(jù)。該模塊首先結(jié)合星光相機(jī)SDK中的回調(diào)函數(shù)實(shí)現(xiàn)視頻實(shí)時(shí)播放，若接收到紅燈信號(hào)則將H264編碼方式的每一幀圖像數(shù)據(jù)作預(yù)處理，使得光線等外界因素對(duì)人臉的影響減小，人臉特征信息凸顯，且圖像數(shù)據(jù)四字節(jié)對(duì)齊以滿足后續(xù)人臉檢測(cè)跟蹤算法的要求。

2.2 檢測(cè)跟蹤模塊

檢測(cè)跟蹤模塊的主要功能是紅燈時(shí)檢測(cè)每一幀圖像中是否存在人臉，若存在則在視頻序列中對(duì)其進(jìn)行跟蹤，在3條虛擬檢測(cè)帶處抓拍圖片并提取最清晰人臉。該模塊具有人臉檢測(cè)、人臉跟蹤、虛擬檢測(cè)帶處抓拍等功能。

2.2.1 人臉檢測(cè)

人臉檢測(cè)的目的是確定圖像數(shù)據(jù)中人臉的數(shù)量、位置和大小。人臉檢測(cè)算法在速率和準(zhǔn)確性上很難同時(shí)達(dá)到最優(yōu)，目前使用最廣泛且速度和準(zhǔn)確性較好的是AdaBoost算法。傳統(tǒng)的AdaBoost算法的一種分類器只能檢測(cè)一個(gè)角度的人臉，而且對(duì)環(huán)境的要求較高，一般用于實(shí)驗(yàn)室中對(duì)靜態(tài)正面人臉的檢測(cè)[7?8]。本系統(tǒng)的工作環(huán)境為交叉路口的人行橫道區(qū)，需要考慮人臉多角度多姿態(tài)等問題。針對(duì)本系統(tǒng)復(fù)雜的工作環(huán)境，對(duì)原始的AdaBoost算法進(jìn)行改進(jìn)，訓(xùn)練正臉分類器、側(cè)臉分類器，分別用于檢測(cè)水平旋轉(zhuǎn)角度為[-15°，15°]，[-30°，-15°]，[15°，30°]的人臉，使用時(shí)通過串聯(lián)分類器檢測(cè)人臉，當(dāng)正臉分類器檢測(cè)到人臉則無需使用側(cè)臉分類器。這種方法很好地解決了以往AdaBoost分類器只能檢測(cè)靜態(tài)圖像中正臉的問題。

2.2.2 人臉跟蹤

人臉跟蹤的目的是根據(jù)前一幀圖像中檢測(cè)到的人臉位置、人臉膚色等信息，確定下一幀圖像中該人臉的位置。通常人臉檢測(cè)后才可進(jìn)行人臉跟蹤，因此檢測(cè)是跟蹤的必要前提和鋪墊[9?10]。本系統(tǒng)需要抓拍3張不同位置的圖片記錄行人闖紅燈的過程，所以在檢測(cè)到目標(biāo)人臉后需要對(duì)人臉進(jìn)行跟蹤。目前人臉跟蹤使用最多的是Camshift算法。Camshift算法主要通過對(duì)設(shè)定的初始區(qū)域建立顏色模型，然后在視頻序列中尋找最優(yōu)匹配目標(biāo)從而達(dá)到跟蹤的目的，魯棒性較好。但Camshift算法只能對(duì)單一目標(biāo)進(jìn)行跟蹤，初始區(qū)域需要手動(dòng)設(shè)定，當(dāng)背景顏色與跟蹤目標(biāo)相近會(huì)出現(xiàn)混亂甚至跟丟的現(xiàn)象。本系統(tǒng)工作環(huán)境為交叉路口的人行橫道區(qū)，背景復(fù)雜且會(huì)有多個(gè)行人同時(shí)出現(xiàn)的情況。針對(duì)此問題，對(duì)傳統(tǒng)Camshift進(jìn)行改進(jìn)，提出一種基于Camshift和軌跡預(yù)測(cè)的多人臉跟蹤算法。該算法將上一步檢測(cè)到的人臉區(qū)域自動(dòng)設(shè)為跟蹤初始區(qū)，采用多線程，每一線程跟蹤一個(gè)人臉，并結(jié)合軌跡預(yù)測(cè)實(shí)現(xiàn)多人臉的對(duì)應(yīng)跟蹤，經(jīng)驗(yàn)證該算法具有很好的穩(wěn)定性。

2.2.3 虛擬檢測(cè)帶處抓拍

虛擬檢測(cè)帶是視頻檢測(cè)技術(shù)的一種，本系統(tǒng)中在視頻中的馬路區(qū)域設(shè)置3條虛擬的檢測(cè)線，在實(shí)現(xiàn)人臉跟蹤后，當(dāng)跟蹤目標(biāo)到達(dá)檢測(cè)線位置時(shí)便抓拍1張圖片，由此抓拍3張過程圖片作為行人闖紅燈憑證[11]。

檢測(cè)跟蹤模塊工作流程如圖2所示。

2.3 報(bào)警模塊

報(bào)警模塊的主要功能是對(duì)闖紅燈的行人進(jìn)行提示和警告，由人臉顯示液晶屏、LED文字提示屏和語音提示喇叭三部分組成。當(dāng)有行人闖紅燈時(shí)則LCD液晶屏顯示當(dāng)前闖紅燈清晰人臉圖像，LED文字屏顯示紅色文字“您闖紅燈了”，且語音提示喇叭提示“請(qǐng)不要闖紅燈”。當(dāng)綠燈或無行人闖紅燈時(shí)則LCD液晶屏循環(huán)顯示最近10張闖紅燈人臉圖，LED文字屏顯示綠色“請(qǐng)注意交通安全”。

2.4 比對(duì)識(shí)別模塊

比對(duì)識(shí)別模塊的主要功能是將FTP接收的行人闖紅燈3張過程圖和優(yōu)選清晰的人臉圖錄入管理數(shù)據(jù)庫，并提取清晰人臉圖特征與數(shù)據(jù)庫中已有的人臉庫進(jìn)行比對(duì)識(shí)別，統(tǒng)計(jì)出該行人闖紅燈的次數(shù)，然后更新記錄數(shù)據(jù)庫以便網(wǎng)頁查詢。

人臉識(shí)別的核心問題就是提取出人臉的特征值[12?14]，并將其與人臉庫中的特征值進(jìn)行比對(duì)。本系統(tǒng)中在獲取清晰人臉圖片后先采用一個(gè)九層的卷積神經(jīng)網(wǎng)絡(luò)來提取特征，然后進(jìn)行特征比對(duì)識(shí)別[15]。本系統(tǒng)使用的人臉識(shí)別模型是開源的，由140萬張人臉圖像訓(xùn)練得到，這些訓(xùn)練圖像來自于約1.6萬人，其中既有東方人也有西方人。實(shí)際測(cè)試表明，該引擎在本系統(tǒng)所在場(chǎng)景中具有良好的性能。

比對(duì)識(shí)別模塊工作流程如圖3所示。

3 系統(tǒng)實(shí)現(xiàn)與實(shí)驗(yàn)結(jié)果

行人闖紅燈取證系統(tǒng)的開發(fā)工具是Visual Studio 2013，使用了主流計(jì)算機(jī)開放視覺庫Open Source Computer Vision Library（OpenCV），OpenCV版本是2.4.10，數(shù)據(jù)庫采用的是SQL 2008。系統(tǒng)的抓拍客戶端主界面和網(wǎng)頁查詢界面如圖4，圖5所示。

在南京市浦口區(qū)某路口安裝本系統(tǒng)實(shí)際測(cè)試，通過對(duì)前后一個(gè)月行人闖紅燈數(shù)量統(tǒng)計(jì)后發(fā)現(xiàn)，該路口每天約有10 000人經(jīng)過，安裝前每天闖紅燈的人數(shù)在1 000～2 000人之間，占總?cè)藬?shù)的10%～20%，而在安裝后每天闖紅燈行人數(shù)為200～300人，只占總?cè)藬?shù)的2%～3%。本系統(tǒng)有效緩解了行人闖紅燈現(xiàn)象，具有很好的實(shí)用性和穩(wěn)定性，不僅維持了交通秩序，也促進(jìn)了智慧交通的發(fā)展。

4 結(jié) 語

本文設(shè)計(jì)了一種新的行人闖紅燈取證系統(tǒng)，介紹了該系統(tǒng)的總體結(jié)構(gòu)，詳細(xì)闡述了各個(gè)模塊的功能。同時(shí)，通過與沒有安裝系統(tǒng)前的路口情況作了對(duì)比測(cè)試，驗(yàn)證了基于人臉跟蹤與識(shí)別的行人闖紅燈取證系統(tǒng)的實(shí)用性和穩(wěn)定性，為提高城市交通秩序提供了新的可行的辦法。

注：本文通訊作者為徐海黎。

參考文獻(xiàn)

[1] ZHANG W， WANG K， WANG L， et al. Exploring factors affecting pedestrians′ red?light running behaviors at intersections in China [J]. Accident analysis prevention， 2016， 96： 71?78.

[2] 武強(qiáng)，洪趙駿，呂美.“中國式過馬路”背景下的交叉路口行人闖紅燈現(xiàn)象調(diào)查——基于西安市交叉路口觀測(cè)數(shù)據(jù)分析[J].決策與信息，2016（9）：121.

WU Qiang， HONG Zhaojun， L? Mei. Investigation on pheno?menon of pedestrian running red traffic lights at cross roads under the background of "Chinese?style crossing the road"： based on analysis of observation data at crossroads in Xian [J]. Decision & information， 2016（9）： 121.

[3] 陳亦新，徐婷，孫小端.信號(hào)交叉口個(gè)體行人與群體行人過街闖紅燈行為分析[J].科學(xué)技術(shù)與工程，2017，17（8）：288?292.

CHEN Yixin， XU Ting， SUN Xiaoduan. Study on red?light violation behavior of individual pedestrian and pedestrian group at signalized intersections [J]. Science technology and enginee?ring， 2017， 17（8）： 288?292.

[4] 張高煜.行人闖紅燈事件視頻檢測(cè)算法與實(shí)現(xiàn)[J].信息技術(shù)，2013（12）：53?56.

ZHANG Gaoyu. Pedestrian red light running event video detection algorithm [J]. Information technology， 2013（12）： 53?56.

[5] 嚴(yán)官林，沈昱明，張民.基于視頻的行人闖紅燈檢測(cè)方法[J].信息技術(shù)，2015（3）：165?169.

YAN Guanlin， SHEN Yuming， ZHANG Min. Detecting method of pedestrian running red light with video [J]. Information technology， 2015（3）： 165?169.

[6] 唐曉東.基于視頻分析的行人闖紅燈違法行為檢測(cè)系統(tǒng)[J].中國人民公安大學(xué)學(xué)報(bào)（自然科學(xué)版），2014，20（1）：60?63.

TANG Xiaodong. Pedestrian detection system for red light violation based on video analysis [J]. Journal of Chinese People′s Public Security University （science and technology）， 2014， 20（1）： 60?63.

[7] 汪翠.基于OpenCV的人臉檢測(cè)與跟蹤算法研究與實(shí)現(xiàn)[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2014.

WANG Cui. Research on algorithm of face detection and tracking based on OpenCV [D]. Harbin： Harbin Institute of Technology， 2014.

[8] 廖廣軍.復(fù)雜條件下的人臉檢測(cè)與識(shí)別應(yīng)用研究[D].廣州：華南理工大學(xué)，2014.

LIAO Guangjun. Research of face detection & recognition and its application under complex environment [D]. Guangzhou： South China University of Technology， 2014.

[9] 陳春林.基于pcDuino的人臉檢測(cè)追蹤系統(tǒng)[D].蘭州：蘭州大學(xué)，2015.

CHEN Chunlin. Face detection and tracking system based on pcDuino [D]. Lanzhou： Lanzhou University， 2015.

[10] KANG S， CHOI B， JO D. Faces detection method based on skin color modeling [M]. North?Holland： Elsevier North?Holland Inc.， 2016.

[11] 郭鵬飛，徐海黎，潘臘青，等.基于視頻虛擬檢測(cè)帶的交通流量檢測(cè)方法[J].測(cè)控技術(shù)，2016，35（2）：28?31.

GUO Pengfei， XU Haili， PAN Laqing， et al. Traffic volume detection methods based on video virtual strip [J]. Measurement & control technology， 2016， 35（2）： 28?31.

[12] 卓成龍.基于視頻的多目標(biāo)人臉跟蹤算法研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2013.

ZHUO Chenglong. The study and implementation of the algorithm for the video?based multiple faces tracking [D]. Chengdu： University of Electronic Science and Technology of China， 2013.

[13] 吳丹陽.基于視頻的實(shí)時(shí)多人臉檢測(cè)、識(shí)別與跟蹤方法研究[D].沈陽：沈陽工業(yè)大學(xué)，2013.

WU Danyang. Research on video based real?time multiple face detection， recognition and tracking methods [D]. Shenyang： Shenyang University of Technology， 2013.

[14] CHAUDHRY S， CHANDRA R. Face detection and recognition in an unconstrained environment for mobile visual assistive system [J]. Applied soft computing， 2017， 53： 168?180.

[15] 孟繁靜.基于視頻的實(shí)時(shí)多人臉檢測(cè)跟蹤與優(yōu)選方法研究[D].長(zhǎng)春：東北師范大學(xué)，2016.

MENG Fanjing. Research on real?time video?based multiple faces detection， tracking and optimization methods [D]. Changchun： Northeast Normal University， 2016.