蔡英鳳 王 海

(1江蘇大學汽車工程研究院, 鎮(zhèn)江 212013)(2江蘇大學汽車與交通工程學院, 鎮(zhèn)江 212013)

視覺車輛識別遷移學習算法

蔡英鳳1王 海2

(1江蘇大學汽車工程研究院, 鎮(zhèn)江 212013)(2江蘇大學汽車與交通工程學院, 鎮(zhèn)江 212013)

針對采用大樣本離線訓練的車輛識別分類器在新場景中性能顯著下降的問題,提出了一種具有樣本自標注能力的車輛識別遷移學習算法,并采用概率神經網絡(probability neural network, PNN)進行分類器訓練.首先,提出一種基于多細節(jié)先驗信息的樣本標注策略,融合復雜度、垂直平面和相對速度等先驗信息實現(xiàn)新樣本的自動標注;然后,充分利用PNN訓練速度快以及增加新樣本時只需分類器進行局部更新的特點,將其引入到分類器訓練模型中,取代傳統(tǒng)機器學習算法中的Adaboost分類器.實驗結果表明:該算法在新場景下的新樣本標注準確率高達99.76%.通過遷移學習,新場景的車輛識別分類器性能較通用分類器在檢測率和誤檢率指標上均有顯著提升.

車輛識別;遷移學習;樣本自標注;概率神經網絡;先進駕駛輔助系統(tǒng)

近年來,全球每年由于車輛交通事故而造成的人員傷亡約為1 200萬;每年和車輛事故有關的財產損失和醫(yī)療花費等約占全球GDP總數(shù)的1%～3%.因此,進行與車輛駕駛輔助信息相關的道路環(huán)境感知技術的研究顯得尤為重要.

目前,毫米波雷達、激光雷達等主動式傳感器已經被廣泛應用,并且在障礙物檢測應用中表現(xiàn)出良好的效果.但是,高成本、高能耗以及安裝不便是主動式傳感器短期內難以解決的缺點.近年來隨著計算機技術的發(fā)展,以機器視覺為代表的被動式信息傳感方式逐漸成為先進駕駛輔助系統(tǒng)(advanced driver assistant system,ADAS)研究的熱點[1-5].車載機器視覺感知方式能夠獲得傳統(tǒng)主動式傳感器無法比擬的豐富信息量,這些環(huán)境信息可以用在目標檢測、車道線檢測、交通標志識別等眾多ADAS應用中.同時,攝像機系統(tǒng)成本低、安裝方便的優(yōu)勢使之更適合在需要配備ADAS的中低端車型中使用.

早期基于視覺的車輛檢測研究多集中在通過圖像中對稱性、邊緣、車底陰影等初級且具有明確物理意義特征的檢測和辨識來檢測車輛,這類基于初級特征的方法檢測率低、環(huán)境適應性差,現(xiàn)已不被采用[6-7].近來,研究者將基于視覺的車輛檢測問題建模成一個模式識別中的二分類問題,并在此框架下進行研究,取得了巨大的進步.二分類框架下的車輛檢測問題中,樣本(車輛及非車輛圖像)的特征表征和分類器設計是其最核心的2個方面.特征表達中,常用的特征有HOG特征[8]、Gabor特征[9]、類Haar特征[10]、SIFT特征[11]、SURF特征[12]等;在分類器設計中, SVM[13]，Adaboost[14]以及BP人工神經網絡[15]等結構的分類器較為常見.

盡管基于機器學習的方法已顯示出巨大的優(yōu)越性,但仍存在一些不足.現(xiàn)有車輛識別算法大多采用大樣本離線訓練方法來獲得通用的車輛識別分類器,然而當實際使用場景和訓練樣本所涉及場景下的樣本集分布特性差異較大時,容易導致分類器性能明顯下降,因此不能滿足ADAS可靠性的要求.針對該問題,本文引入了遷移學習的思路和方法,提出了一種具有樣本自標注能力的車輛識別遷移學習算法,并采用概率神經網絡(probability neural network, PNN)進行分類器訓練.通過遷移學習,新場景的車輛識別分類器性能較通用分類器在檢測率和誤檢率指標上均有顯著提升.可以認為,所提出的視覺車輛識別遷移學習算法在多方面要優(yōu)于傳統(tǒng)離線訓練算法.

1 遷移學習方法

遷移學習方法是指首先采用較少的樣本構建通用初始分類器;然后在新場景下,通過不斷引入新樣本,對初始分類器進行重訓練和更新,從而達到提升分類器新場景下分類能力的目的.遷移學習方法的基本流程框圖如圖1所示.

圖1 遷移學習方法流程圖

目前,現(xiàn)有基于遷移學習的識別算法存在以下不足:① 在樣本選取階段,現(xiàn)有研究通常由人工標注新生成正負樣本[16-17].這使得訓練器遷移學習的全部階段都需要有人參與,極大降低了整個分類器訓練的自動化程度,效率較低.② 目前在初始分類器構建中,通常采用較常見的分類器模型,如BP神經網絡、SVM、Adaboost等,這類分類器的優(yōu)點是分類效果好,但缺點是訓練時間長,海量樣本時訓練時間甚至可達數(shù)天甚至十幾天.因此,在遷移學習中若仍采用該類分類器則會在增加樣本后訓練時間較長,在多次樣本輸入的疊加效應下,分類器學習的總訓練時間更長,分類器性能提升速度極慢,難以實現(xiàn)對不同場景的快速適應.

針對以上不足,本文提出了基于多細節(jié)(multi-cue)先驗知識的樣本標注策略和基于概率神經網絡的遷移學習方法.提出了一種融合復雜度、車體垂直平面和兩車相對運動等多細節(jié)先驗知識的正負樣本自動標注方法,避免了人工參與,提高了自動化程度;利用PNN概率神經網絡分類器在增加新樣本時不需要對舊樣本重新訓練的優(yōu)點,設計了一種訓練時間短的分類器.

2 基于多細節(jié)先驗信息的樣本標注

在典型的離線分類器訓練中,訓練樣本由人工事先選取并標注為正樣本或負樣本.在已有的遷移學習分類器訓練中,樣本的標注工作仍然需要由人工實現(xiàn).為實現(xiàn)樣本的自動標注,本文采用一種多細節(jié)先驗知識的樣本標注方法,使用了復雜度、車體垂直平面和相對運動這3種判斷因子.樣本標注實現(xiàn)框圖如圖2所示.

圖2 樣本標注實現(xiàn)框圖

(1)

當某個圖像的復雜度C<δC時,就可以將其劃分為負樣本.δC是復雜度判斷閾值,通過對5 000幅車輛圖片和10 000幅非車輛圖片的統(tǒng)計發(fā)現(xiàn),所有車輛樣本的復雜度都高于0.4,而非車輛樣本的復雜度則在0.1～0.8之間呈均勻分布.因此取閾值δC=0.35,即復雜度低于0.35的樣本可以認為是負樣本,而復雜度高于0.35的樣本輸入至下一個判斷環(huán)節(jié).

2) 垂直平面 根據道路特點,單幅圖像中道路場景的幾何信息主要分為天空、平面物體和垂直物體3類.而垂直物體往往是車輛、樹木、護欄等物體,不存在垂直面的物體則一定不是車輛.Hoiem等[18]通過一個預先訓練完成的回歸Adaboost分類器,得到圖片中每個像素的所屬類別(天空、平面物體、垂直物體).本文采用Hoiem等[18]提出的圖像平面信息提取方法,提取出道路圖片中的垂直物體.典型圖片的分類如圖3所示,圖3(a)中的平面物體、天空和垂直于路面的物體在圖3(b)中以不同的灰度顏色標出,并用黑”×”對垂直于路面的物體進行強調.

(a) 原始道路圖像

(b) 圖像垂直面提取

若某樣本含有垂直面的像素點數(shù)低于一定的比例δK，則可認為是非車輛,即負樣本；否則將該樣本輸入給下一個判斷環(huán)節(jié).

3 基于概率神經網絡的分類器設計

分類器選擇是遷移學習系統(tǒng)中的一個重要環(huán)節(jié),它決定著最終分類器的性能.從遷移學習的框架中可以看出,在遷移學習的過程中,分類器需要反復不斷地進行重訓練.因此,分類器的訓練時間有著較為嚴苛的要求.過長的訓練會導致分類器難以及時對新增樣本進行反應,并使得分類器性能提升緩慢.

PNN 是Specht[19]于1988年提出的一種神經網絡模型,其實質是基于貝葉斯最小風險準則發(fā)展而來的一種并行算法,具有全局優(yōu)化的特點.用于模式識別的PNN神經網絡是一個前饋的神經網絡結構,由輸入層、模式層、求和層與輸出層構成.

1) 輸入層接收來自待判斷的樣本值,將特征向量傳遞給網絡,其神經元數(shù)目和待判斷樣本的維數(shù)相等.

2) 模式層計算輸入特征向量與訓練樣本集中各個模式的匹配關系,模式層神經元數(shù)等于各個類別訓練樣本數(shù)之和,該層每個模式單元的輸出為

(2)

式中,X為輸入特征向量;Wi為輸入層到模式層連接的權值;σ為平滑參數(shù).

3) 求和層屬于某一類的概率累計,按式(2)計算,從而得到分類模式的估計概率密度函數(shù).求和層單元的輸出與各類基于Kernel的各類密度估計成比例,通過輸出層的歸一化處理就能得到各類概率估計.

4) 輸出層在各個分類模式的估計概率密度中，選擇一個具有最大后驗概率密度的神經元作為整個系統(tǒng)的輸出.

正是由于PNN的前饋網絡結構,因此與傳統(tǒng)的神經網絡(如BP網絡)、SVM和Adaboost等算法相比, PNN具有結構設計靈活、訓練速度快、收斂性好的優(yōu)點,因此本文選用PNN構建了遷移學習分類模型.

4 實驗與分析

針對分類器的樣本自標注的正確率、最終分類器識別能力、分類器訓練時間3個關鍵性能指標進行實驗和比較.

4.1 實驗樣本

實驗樣本來源于Caltech1999數(shù)據庫,它包括126幅含有車輛后視圖的靜態(tài)圖片.此外,另外一部分樣本來源于項目組在多個時間段分別采集的道路圖片.類Haar(Haar-like)特征在包括車輛識別在內的諸多模式識別應用中識別效果很好[4],因而本文所有正負樣本均采用類Haar特征進行表征.但是由于多尺度類Haar特征生成的特征維數(shù)特別巨大(超過105維),本文首先利用主成分分析(principal component analysis, PCA)的方法將其簡化為1 280維(保留約96%的信息量).部分正負樣本如圖4所示.

4.2 分類器性能指標

在分類器的性能實驗中,所有分類器首先使用726個正樣本和約2 000個負樣本離線訓練一個初始分類器.然后將項目組實際采集的2個新場景(約4 500幅道路圖片)分別輸入到遷移學習分類器的框架中，進行遷移學習,得到最終的分類器.

(a) 正樣本

(b) 負樣本

4.2.1 樣本自標注的正確率

在對約4 500幅圖片的樣本生成，即自標注的遷移學習過程中,共產生和標注新樣本1 657個,同時未能標注樣本(可視為被忽略樣本)506個.在進行標注的樣本中,其準確率如表1所示.可以看出,本文的基于多細節(jié)先驗信息的樣本標注方法能夠很好地保證標注樣本的正確性.

表1 樣本自標注的正確率

4.2.2 分類器識別能力

在分類器識別能力的評價中,本文選取了常用的TPR(true positive rate)和FDR(false detection rate)2個指標,并與采用離線訓練的傳統(tǒng)分類器進行了比較.TPR和FDR指標計算式為

(3)

(4)

式中,VTP為識別正確的車輛數(shù);Vall為所有車輛數(shù);VFP為錯誤識別的車輛數(shù).

本文在多個場景下進行了實驗,結果表明,由于利用新場景下樣本對分類器進行了重訓練及參數(shù)更新,本文所提出的分類器在識別性能上要明顯優(yōu)于傳統(tǒng)離線訓練分類器.2個典型場景下采用Adaboost離線訓練分類器和本文提出的樣本自標注遷移學習分類器的ROC性能曲線如圖5所示.

(a) 場景1

(b) 場景2

4.2.3 分類器訓練時間

在加入新樣本時,分類器需要不斷進行訓練來進行參數(shù)更新.因此,其重訓練時間是一個十分關鍵的指標.在車輛主動安全的高實時性應用中,訓練和更新時間越快意味著分類器適應場景能力越強.本文與文獻[20]的基于類Haar特征和Adaboost的分類器進行比較.運行平臺均為Intel酷睿2雙核2.67 GHz處理器,2 GB內存,Matlab 2012a.其訓練時間如表2所示.

表2 分類器訓練更新耗時 s

從表2中可以看出,本文采用PNN前饋神經網絡結構,訓練時間較Adaboost縮短約30倍.

4.2.4 實驗分析和討論

通過對樣本自標注的正確率、最終分類器識別能力、分類器訓練時間這3個指標的實驗可以看出，與傳統(tǒng)離線學習的車輛識別系統(tǒng)相比,本文提出的基于樣本自標注和PNN的車輛識別遷移學習分類器僅通過極少的訓練時間,獲得了優(yōu)于傳統(tǒng)離線訓練分類器的車輛識別能力.同時,由于本分類器具有樣本自生成和標注的能力,與已有遷移學習分類器相比,提高了訓練的自動化程度和適應性.

5 結語

針對現(xiàn)有基于遷移學習識別算法存在樣本產生需要人工參與、訓練自動化程度低以及訓練時間長的缺點,提出了基于多細節(jié)先驗知識的樣本標注方法和基于PNN的遷移學習方法.實驗表明,本分類器具有樣本自生成和標注的能力,與已有遷移學習分類器相比,提高了訓練的自動化程度和適應性.此外,與傳統(tǒng)車輛識別系統(tǒng)相比,所提方法在較大減少訓練時間的基礎上,獲得了優(yōu)于傳統(tǒng)離線訓練分類器的車輛識別能力.

在下一步的工作中,將針對PNN網絡結構中增加新樣本時,模式層節(jié)點需要相應增加從而導致系統(tǒng)開銷持續(xù)增加的缺點進行相應的改進,在不影響分類器識別率的基礎上進一步減少分類器的資源消耗,以滿足未來車載低成本嵌入式系統(tǒng)的資源需求.

References)

[1]Trivedi M M, Gandhi T, McCall J. Looking-in and looking-out of a vehicle: computer-vision-based enhanced vehicle safety [J].IEEETransactionsonIntelligentTransportationSystems, 2007, 8(1): 108-120.

[2]Wang H, Zhang W, Cai Y. Design of a road vehicle detection system based on monocular vision [J].JournalofSoutheastUniversity:EnglishEdition, 2011, 27(2): 169-173.

[3]許慶,高峰,徐國艷.基于Haar特征的前車識別算法[J].汽車工程,2013,35(4):381-384. Xu Qing, Gao Feng, Xu Guoyan. An algorithm for front-vehicle detection based on Haar-like feature [J].AutomotiveEngineering, 2013, 35(4): 381-384. (in Chinese)

[4]文學志,方巍,鄭鈺輝.一種基于類Haar特征和改進AdaBoost分類器的車輛識別算法[J].電子學報,2011,39(5):1121-1126. Wen Xuezhi, Fang Wei, Zhen Yuhui. An algorithm based on Haar-like features and improved AdaBoost classifier for vehicle recognition [J].ActaElectronicaSinica, 2011, 39(5): 1121-1126. (in Chinese)

[5]馬雷,臧俊杰,張潤生.不同光照條件下前方車輛識別方法[J].汽車工程,2012,36(4):360-366. Ma Lei, Zang Junjie, Zhang Runsheng. Front vehicle identification under different lighting conditions [J].AutomotiveEngineering, 2012, 36(4): 360-366. (in Chinese)

[6]Sun Z, Bebis G, Miller R. On-road vehicle detection: a review [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2006, 28(5): 694-711.

[7]Sivaraman S, Trivedi M M. Looking at vehicles on the road: a survey of vision-based vehicle detection, tracking, and behavior analysis [J].IEEETransactionsonIntelligentTransportationSystems, 2013, 14(4): 1773-1795.

[8]Dalal N, Triggs B. Histograms of oriented gradients for human detection [C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. San Diego, CA, USA, 2005, 1: 886-893.

[9]Sun Z, Bebis G, Miller R. Monocular precrash vehicle detection: features and classifiers [J].IEEETransactionsonImageProcessing, 2006, 15(7): 2019-2034.

[10]Viola P, Jones M. Rapid object detection using a boosted cascade of simple features [C]//2001IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. Hawaii, USA, 2001, 1: I-511-I-518.

[11]Zhang X, Zheng N, He Y, et al. Vehicle detection using an extended hidden random field model [C]//14thInternationalIEEEConferenceonIntelligentTransportationSystems. Washington, DC, USA, 2011: 1555-1559.

[12]Lin B F, Chan Y M, Fu L C, et al. Integrating appearance and edge features for sedan vehicle detection in the blind-spot area [J].IEEETransactionsonIntelligentTransportationSystems, 2012, 13(2): 737-747.

[13]Yuan Q, Thangali A, Ablavsky V, et al. Learning a family of detectors via multiplicative kernels [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2011, 33(3): 514-530.

[14]Caraffi C, Vojir T, Trefny J, et al. A system for real-time detection and tracking of vehicles from a single car-mounted camera [C]//15thInternationalIEEEConferenceonIntelligentTransportationSystems. Anchorage, AK, USA, 2012: 975-982.

[15]Ludwig O, Nunes U. Improving the generalization properties of neural networks: an application to vehicle detection [C]//11thInternationalIEEEConferenceonIntelligentTransportationSystems. Beijing, China, 2008: 310-315.

[16]Fossati A, Sch?nmann P, Fua P. Real-time vehicle tracking for driving assistance [J].MachineVisionandApplications, 2011, 22(2): 439-448.

[17]Kapoor A, Grauman K, Urtasun R, et al. Gaussian processes for object categorization [J].InternationalJournalofComputerVision, 2010, 88(2): 169-188.

[18]Hoiem D, Efros A A, Hebert M. Recovering surface layout from an image [J].InternationalJournalofComputerVision, 2007, 75(1): 151-172.

[19]Specht D F. Enhancements to probabilistic neural networks [C]//InternationalJointConferenceonNeuralNetworks. Baltimore, MD, USA, 1992, 1: 761-768.

[20]Sivaraman S, Trivedi M M. A general active-learning framework for on-road vehicle recognition and tracking [J].IEEETransactionsonIntelligentTransportationSystems, 2010, 11(2): 267-276.

Vision based vehicle detection transfer learning algorithm

Cai Yingfeng1Wang Hai2

(1Research Institute of Automotive Engineering, Jiangsu University, Zhenjiang 212013, China)(2School of Automotive and Traffic Engineering, Jiangsu University, Zhenjiang 212013, China)

Existing classifiers for vehicle recognition are mainly trained offline with a large number of samples， of which the performance may decline dramatically in a new scenario. In order to solve the problem, a sample self-marking transfer learning algorithm for vehicle recognition based on the probabilistic neural network (PNN) is proposed. First, a sample self-marking strategy is proposed based on multi-cue prior knowledge including complexity, vertical plane and relative velocity. Then, instead of traditional classifiers such as Adaboost, PNN is used to establish the transfer learning model by utilizing its features such as high architecture flexibility, fast training speed and no retraining requirement when new samples are added. Experimental results demonstrate that this algorithm can mark new samples with high accuracy (99.76%). Besides, new classifier trained in a new scenario with transfer learning performs better in true positive rate and false detection rate than traditional general classifiers.

vehicle recognition; transfer learning; sample self-marking; probability neural network; advanced driver assistant system

10.3969/j.issn.1001-0505.2015.02.015

2014-09-10. 作者簡介: 蔡英鳳(1985—),女,博士,講師,caicaixiao0304@126.com.

國家自然科學基金資助項目(61403172,51305167,61203244)、交通運輸部信息化資助項目(2013364836900)、江蘇省自然科學基金資助項目(BK20140555)、中國博士后科學基金資助項目(2014M561592)、江蘇省“六大人才”高峰資助項目(2014-DZXX-040)、江蘇省博士后基金資助項目(1402097C)、江蘇大學高級專業(yè)人才科研啟動基金資助項目(12JDG010,14JDG028).

蔡英鳳,王海.視覺車輛識別遷移學習算法[J].東南大學學報:自然科學版,2015,45(2):275-280.

10.3969/j.issn.1001-0505.2015.02.015

TP391.4

A

1001-0505(2015)02-0275-06