李志為，張百睿，盧偉雄，鐘清華

(華南師范大學(xué)物理與電信工程學(xué)院，廣東廣州510631)

駕駛員的過度疲勞與疏忽導(dǎo)致車輛偏離車道造成重大交通事故的比例逐年增長．車道偏離警告系統(tǒng)(LDWS，Lane DepartureWarning System)的研究已成為國內(nèi)外的研究熱點［1-3］．目前車道線檢測多采用機器視覺的識別方法［4-5］，分為特征識別和模型識別．前者目前應(yīng)用較廣，但當?shù)缆烦霈F(xiàn)陰影和車道線邊緣受損時，該方法易失效．后者能有效克服路面污染、陰影、光照不均等外界環(huán)境影響．但由于外界環(huán)境的復(fù)雜易出現(xiàn)識別錯誤．

車道偏移警告系統(tǒng)有實時性要求高、運行環(huán)境復(fù)雜的特點，而且路況具有較大的不確定性和多樣性，需使用多種復(fù)雜處理算法以提高車道線檢測的準確率［6-8］．魯棒性即系統(tǒng)的強壯性，指系統(tǒng)在擾動或不確定的情況下仍能保持其特征．利用魯棒性強的霍夫變換算法將原始圖像中給定形狀的直線變換到參數(shù)空間，該方法要求的計算量和存儲空間較大．采用高性能ARM處理器或數(shù)字信號處理芯片(Digital Signal Processing，DSP)的成本較高，高頻線路的設(shè)計難度較大［9-11］．利用現(xiàn)場可編程門陣列(Field Programmable Gate Array，F(xiàn)PGA)的并行計算優(yōu)勢和軟硬件協(xié)同設(shè)計的靈活性，本文應(yīng)用ALTERA公司的片上NIOSⅡ系統(tǒng)CycloneⅡFPGA處理核心進行系統(tǒng)開發(fā)，設(shè)計中應(yīng)用了一種魯棒的快速車道線偏移警告算法，并利用Avalon總線進行IP核的定制，實現(xiàn)了車道偏移警告系統(tǒng)的軟硬件設(shè)計．系統(tǒng)的準確率和實時性能滿足全天候車道偏移警告需求．

1 系統(tǒng)架構(gòu)與硬件構(gòu)成

1．1 系統(tǒng)架構(gòu)

車道偏移警告系統(tǒng)框圖如圖1所示．采用Altera公司的CycloneⅡ系列FPGA(型號為EP2C35F672C6)作為處理核心．ADV7181視頻采集芯片對攝像頭輸出的模擬信號進行采集，經(jīng)FPGA處理完成后，通過蜂鳴器輸出警告信號．圖像采集使用Altera公司DE2開發(fā)套件提供的DE2_TV例程進行精簡，保留對ADV7181視頻采集芯片的驅(qū)動代碼，并把采集的圖像數(shù)據(jù)存儲在系統(tǒng)的SRAM中，以做后續(xù)處理．

圖1 系統(tǒng)結(jié)構(gòu)Figure 1 The structure of system

系統(tǒng)的實現(xiàn)既充分利用了FPGA并行處理特性，又結(jié)合其軟硬件協(xié)同設(shè)計的靈活性．在FPGA上建立了可編程片上系統(tǒng)(System on Programmable Chip，SoPC)，采用電路硬核和NIOSⅡ軟核協(xié)同處理方式，其中圖像處理算法采用硬核固件實現(xiàn)，而對處理速度要求不高的控制功能則用NIOSⅡ軟核來完成，以滿足系統(tǒng)靈活性需求．

1．2 基于Avalon總線接口的IP核設(shè)計

SoPC是Altera公司提供的一種高效、靈活的SOC解決方案，其關(guān)鍵技術(shù)之一IP核(Intellectual Property Core)可將數(shù)字電路中一些常用且較復(fù)雜的功能模塊，設(shè)計成參數(shù)可調(diào)的模塊，方便用戶靈活調(diào)用．Avalon交換式總線是由Altera公司開發(fā)的一種專用內(nèi)部連線技術(shù)，IP核可通過Avalon總線方便快捷地集成到系統(tǒng)，可在軟核中方便地設(shè)置參數(shù)，而不需添加任何邏輯接口．

Avalon總線是一種理想的用于系統(tǒng)處理器和外設(shè)之間的內(nèi)聯(lián)總線，可由SoPC Builder自動生成，從而進一步降低了系統(tǒng)集成的難度．Avalon總線有多種接口，其中 Avalon-MM接口(Avalon Memory Mapped Interface)是內(nèi)存映射系統(tǒng)下用于主從設(shè)備之間讀寫的接口，這些設(shè)備包括微處理器、存儲器、通用串行接口(UART)、定時器等(圖2)．

圖2 Avalon-MM接口Figure 2 Avalon Memory Mapped interface

本文提出的主要算法模塊如中值濾波、二值化閾值計算、車道線匹配及霍夫變換均采用Avalon總線接口的IP核方式進行設(shè)計．

2 車道線偏移快速檢測算法與實現(xiàn)

2．1 車道線偏移檢測算法

車道偏移檢測算法(圖3)用于對車道線進行檢測和識別，當車輛出現(xiàn)無意識的車道變換即越過車道線時，發(fā)出警告．

圖3 車道線偏移檢測算法Figure 3 Lane departure detection algorithm

采集車輛前方模擬攝像頭的亮度信號(Y信號)，得到灰度圖像(圖4)．

圖4 圖像區(qū)域劃分Figure 4 Divisions of the image

為減少計算量，提高處理速度，僅對圖4中2個160×160的感興趣區(qū)域(Region of Interest，ROI)進行檢測和識別．采用3×3的中值濾波器對ROI進行濾波，以去除圖像采集和傳輸過程中的噪聲．然后把圖像劃分為16級灰度，根據(jù)迭代法算出二值化閾值．考慮到FPGA讀寫存儲器費時較多，并不產(chǎn)生二值化圖像，僅以閾值作為區(qū)分黑白的依據(jù)．

經(jīng)過上述算法處理后，得到較好的二值化效果(圖5A)．由于車道線具有連續(xù)性和非突變性，在圖像中以行間距為5像素進行橫向檢測，基于車道線的寬度特征對車道線進行匹配．根據(jù)車道線的寬度規(guī)格和實驗所得數(shù)據(jù)，設(shè)定最小和最大車道線寬度匹配閾值分別為10和28個像素，對圖像進行分析，尋找車道線的中線，并記錄其中點的坐標．處理結(jié)果如圖5B所示．

圖5 預(yù)處理和匹配效果Figure 5 Prcprocessing and matching results

當?shù)玫杰嚨谰€中點坐標后，針對左右2個感興趣區(qū)域中每個像素點坐標di(x，y)，采用霍夫變換模塊根據(jù)公式ρ=x cosθ+y sinθ映射為變換空間中的1條曲線，并在ρ和θ構(gòu)成的變換空間中進行累加，累加結(jié)果代表直角坐標系中共線像素點的數(shù)量．實際環(huán)境中越線情況下左側(cè)車道線的θ取值范圍為10°～41°，右側(cè)車道線為 -41°～ -10°．

車道線提取目的是在霍夫變換所生成的2個感興趣變換矩陣中，提取有效的車道線參數(shù)．首先選取矩陣中數(shù)值最大且大于8的單元，當對應(yīng)直線與底邊的交點、夾角符合越線的判斷依據(jù)時發(fā)出警告．

2．2 中值濾波算法的電路實現(xiàn)

為實現(xiàn)3×3為窗口的中值濾波算法，采用FIFO結(jié)構(gòu)作為緩沖，以實現(xiàn)9個像素點的數(shù)據(jù)同時讀取，然后作中值濾波運算，完成后則讀取下一組9個像素點的數(shù)據(jù)進行運算，直至完成全部感興趣區(qū)域的濾波計算，以減少圖像采集和傳輸過程中所產(chǎn)生的噪聲．

2．3 二值化閾值計算的電路實現(xiàn)

二值化閾值計算電路采取了圖像灰度分布的方法．為避免復(fù)雜路面情況引起灰度分布曲線毛刺過多對二值化閾值的求解產(chǎn)生影響，將灰度空間劃分為16個等長空間的方式進行統(tǒng)計，即采用16個寄存器來存儲灰度直方圖，再根據(jù)32位Avalon總線的特性，每次讀取4個像素點的灰度值進行灰度直方圖統(tǒng)計．當直方圖統(tǒng)計完成后，采用迭代法計算閾值，得到的閾值通過Avalon總線，反饋給NIOSⅡ軟核．

2．4 車道線匹配及霍夫變換

在得到二值化閾值后，車道線匹配部分電路根據(jù)軟核中所設(shè)定的寬度閾值，對整個感興趣區(qū)域進行橫向掃描，利用寬度閾值對圖像中的車道線作匹配操作，并開辟1個寄存器空間，記錄匹配結(jié)果的橫縱坐標．

霍夫變換電路采用雙通道并行處理的方式，分別對左右2個感興趣區(qū)域中匹配所得的坐標點進行并行處理，充分發(fā)揮FPGA的優(yōu)勢．電路設(shè)計時，將處理所需的正余弦計算值預(yù)先存儲在寄存器中，大大減少了處理時間．

空間投票電路基于寄存器設(shè)計，將當前輸入直線參數(shù)對應(yīng)的存儲單元讀出，并將其加1后重新寫入該單元．霍夫變換矩陣需要存儲較大的投票空間數(shù)據(jù)量，而且一般需要把整幅圖像處理完成后，才能進行峰值檢測．為了解決這一問題，本文將空間投票和峰值檢測操作合二為一，在投票的同時記錄最大值的單元位置，使峰值檢測與投票操作一同完成，提高實時性．

3 系統(tǒng)仿真與測試

為了驗證系統(tǒng)的可靠性和準確性，搭建仿真系統(tǒng)進行測試(圖6)．測試輸入的視頻由實際道路上采集所得，包括了不同時段的正常道路和多重干擾路況，如含斑馬線、文字和其他路面標識的路面．測試視頻利用計算機播放，并通過顯卡AV輸出到DE2開發(fā)套件．DE2將采集的實時圖像信息通過VGA接口輸出到顯示器上，并在出現(xiàn)越車道線時，通過蜂鳴器發(fā)出警告．

圖6 系統(tǒng)仿真測試示意圖Figure 6 Structure of practical simnlation

對于高速公路、傍晚普通道路和夜晚普通道路等不同道路環(huán)境，系統(tǒng)能準確識別出車輛越線，解決了路面標識、夜間燈光等環(huán)境條件對車道線識別產(chǎn)生的干撓．系統(tǒng)以50 MHz的速度運行，處理單張靜態(tài)圖片花費時間約為19 ms，處理視頻數(shù)據(jù)每幀耗時約為24 ms(表1)，完全滿足實時性的要求．

表1 視頻處理結(jié)果統(tǒng)計Table 1 Video processing results

4 結(jié)論

開發(fā)了基于機器視覺的魯棒車道偏移警告系統(tǒng)，以Cyclone II FPGA作為處理核心進行系統(tǒng)開發(fā)，利用Avalon總線進行IP核的定制，實現(xiàn)了車道偏移警告系統(tǒng)的軟硬件設(shè)計．系統(tǒng)以50 MHz的速度運行，圖像處理速率可達到每秒30幀以上．測試結(jié)果表明，該系統(tǒng)的準確率和實時性均滿足全天候車道偏移警告需求．

［1］JEONG SG，KIM CS，YOON K S，etal．Real-time lane detection for autonomous navigation［C］∥IEEE Proceedings of Intelligent Transportation Systems(ITSC01)．Oakland，USA，2001:508-513．

［2］McCALL JC，TRIVEDIM M．Video-based lane estimation and tracking for driver assistance:Survey，system，and evaluation［J］．IEEE Trans on Intelligent Transportation Systems，2006，7(1):20-37．

［3］ASSIDIQ A A，KHALIFA O O，ISLAM M R，et al．Real time lane detection for autonomous vehicles［C］∥International Conference Computer and Communication Engineering(ICCCE)．Kuala Lumpur，Malaysia，2008:82-88．

［4］LEE JW．Amachine vision system for lane-departure detection［J］．Computer Vision and Image Understanding，2002，86(1):52-78．

［5］李旭，張為公．基于視覺的車道偏離報警系統(tǒng)的研究［J］．儀器儀表學(xué)報，2008，(7):1554-1558

［6］KIM S Y，OH S Y．A driver adaptive lane departure warning system based on image processing and a fuzzy evolutionary technique［C］∥ IEEE Intelligent Vehicles Symposium．Columbus，USA，2003:361-365．

［7］JUNG CR，KELBER CR．A lane departure warning system using lateral offset with uncalibrated camera［C］∥IEEE Proceedings of the International Conference on Intelligent Transportation Systems．Vienna，2005:348-353．

［8］JEONG P，NEDEVSCHIS．Efficient and robust classification method using combined feature vector for lane detection［J］．IEEE Trans on Circuits and Systems for Video Technology，2005，15(4):528-537．

［9］陳軍．基于DSP的高速公路車道偏離報警系統(tǒng)研究［D］．天津:天津大學(xué)，2010．

［10］HSIAO PY，YEH CW，HUANG SS．A portable visionbased real-time lane departure warning system:day and night［J］．IEEE Trans on Vehicular Technology，2009，58(4):2089-2094．

［11］TSENG S P，LIAO Y S，YEH C H．A DSP-based lane recognition method for the lane departure warning system of smart vehicles［C］∥International Conference on Networking，Sensing and Control(ICNSC09)．Okayama，Japan，2009:823-828．