王泓淇， 陳守滿， 文雅宏， 周超凡， 趙東勃

(安康學(xué)院，電子與信息工程學(xué)院， 陜西，安康 725000)

0 引言

伴隨著智慧城市的快速建設(shè)和發(fā)展，高速公路和高鐵的數(shù)量急劇增加，普通現(xiàn)場(chǎng)勘查的交通管理方式已不能滿足客觀要求[1-2]。智能化的交通系統(tǒng)正逐步成為解決交通管理問(wèn)題的重要技術(shù)手段，也是我國(guó)“十四五”交通重點(diǎn)建設(shè)項(xiàng)目。與此同時(shí)，西成高鐵和高速陜西段可稱為中國(guó)“最穿越”的路段，它將穿越由20條隧道組成的134公里長(zhǎng)的秦嶺隧道群[3-4]，隧道中車流量較大，行人、施工車和牲畜都會(huì)對(duì)行車造成一定影響，交通監(jiān)控技術(shù)的發(fā)展顯得尤為重要[5]。

由于隧道本身具有半封閉性、通達(dá)性低、情況不清等特點(diǎn)，秦嶺隧道路段較多，隧道內(nèi)外的光線過(guò)渡頻繁，駕駛員相繼經(jīng)歷“黑洞效應(yīng)”和“白洞效應(yīng)”的情況，其會(huì)導(dǎo)致交通事故頻發(fā)[6-7]。并且在轉(zhuǎn)彎口、盲區(qū)等特殊區(qū)域也存在安全問(wèn)題。因此，行車的檢測(cè)對(duì)智能交通監(jiān)控有著很大的現(xiàn)實(shí)意義。

基于以上的原因，本文提出了一種智能行車檢測(cè)系統(tǒng)，利用FPGA并行計(jì)算效率高，硬件成本低的特點(diǎn)[8]，實(shí)現(xiàn)對(duì)前方道路進(jìn)行實(shí)時(shí)監(jiān)測(cè)，出現(xiàn)突發(fā)情況時(shí)，系統(tǒng)發(fā)出預(yù)警信息，極大地降低事故發(fā)生概率，確保了人民群眾的生命財(cái)產(chǎn)安全。該系統(tǒng)將會(huì)給智慧交通智能化管理提供很強(qiáng)的實(shí)用價(jià)值和現(xiàn)實(shí)意義。

1 行車檢測(cè)系統(tǒng)實(shí)現(xiàn)方案

1.1 行車檢測(cè)系統(tǒng)設(shè)計(jì)模塊

基于以FPGA為核心的行車檢測(cè)系統(tǒng)的基本要求，采用FPGA設(shè)計(jì)中自頂向下的設(shè)計(jì)思想，將該系統(tǒng)大致分為四大模塊：CMOS視頻圖像采集模塊、SDRAM存儲(chǔ)器模塊、FPGA圖像處理模塊以及VGA顯示模塊。首先對(duì)OV7725的相關(guān)寄存器進(jìn)行配置，實(shí)現(xiàn)圖像采集，視頻圖像數(shù)據(jù)在圖像預(yù)處理模塊進(jìn)行灰度化、中值濾波和Sobel邊緣檢測(cè)，之后通過(guò)SDRAM將數(shù)據(jù)進(jìn)行緩存，并讀取相鄰兩幀進(jìn)行幀間差分，以并行方式將一幀圖像數(shù)據(jù)進(jìn)行腐蝕和膨脹處理[9-10]，最后在VGA顯示器上實(shí)時(shí)顯示。整體的系統(tǒng)框架圖如圖1所示。

圖1 行車檢測(cè)系統(tǒng)框圖

1.2 視頻采集模塊

本文主要利用OV7725攝像頭實(shí)現(xiàn)視頻圖像采集功能，其主要由I2C寄存器配置和驅(qū)動(dòng)模塊、CMOS圖像采集模塊構(gòu)成。I2C配置和驅(qū)動(dòng)模塊主要是利用I2C的相關(guān)接口協(xié)議來(lái)配置OV7725傳感器的內(nèi)部寄存器，完成OV7725的初始化操作。CMOS圖像采集模塊的作用是接收和捕獲來(lái)自O(shè)V7725的視頻圖像信號(hào)，完成行幀同步和16位圖像數(shù)據(jù)的拼接。

根據(jù)手冊(cè)的要求，在完成OV7725的SCCB配置之后，需要延時(shí)10幀，這樣OV7725才能處于穩(wěn)定狀態(tài)。

1.3 圖像預(yù)處理模塊

1.3.1 圖像灰度化處理

對(duì)于本設(shè)計(jì)來(lái)說(shuō)，彩色視頻圖像序列數(shù)據(jù)量大，對(duì)圖像進(jìn)行灰度化可以減少圖像數(shù)據(jù)量。通過(guò)CMOS攝像頭寄存器的配置，采集RGB565格式的圖像數(shù)據(jù)，通過(guò)高位補(bǔ)低位的方式將RGB565轉(zhuǎn)化為RGB888，然后根據(jù)圖像灰度轉(zhuǎn)換公式將其轉(zhuǎn)換成YCbCr格式[11]，如式(1)：

Y=0.299R+0.587G+0.114B

(1)

其中，Y表示亮度，也就是灰度，R、G、B分別表示紅色色度分量、綠色色度分量、藍(lán)色色度分量。

通過(guò)乘積、求和和移位三級(jí)流水線運(yùn)算方式，可以提高其系統(tǒng)的運(yùn)算速度。

1.3.2 中值濾波模塊

中值濾波能夠較好地濾除脈沖中的噪聲，同時(shí)也保護(hù)了信號(hào)的邊緣，使其不模糊。本設(shè)計(jì)選擇3*3區(qū)域?qū)D像進(jìn)行處理，其計(jì)算方法是將3*3矩陣的每一行從大到小排序，然后用排序法求出最大組的最小值，中間組的中間值和最小組的最大值，最后對(duì)求出的3個(gè)值進(jìn)行排序，這3個(gè)值的中間值就是此矩陣的中間值[12]。排序算法的思想如圖2：

圖2 中值濾波排序圖

中間位置的圖像數(shù)據(jù)表達(dá)式如式(2):

f(x,y)=med{f(x±k,Y±Z),(K≤(N-1)/2,

Z≤(N-1)/2)}

(2)

其中，f(x,y)表示處理后圖像，K、Z表示二維模板(區(qū)域)。

1.4 Sobel邊緣檢測(cè)模塊

由于灰度圖像原始的邊緣屬于梯度區(qū)域，所以特征信息不夠明顯。Sobel邊緣檢測(cè)算法的作用濾掉大量的無(wú)效信息，從而減少目標(biāo)檢測(cè)過(guò)程中帶來(lái)的干擾。

本設(shè)計(jì)中采用Shift_RAM IP核實(shí)現(xiàn)3*3矩陣，其與Sobel算子卷積得到目標(biāo)像素的梯度值。最后，設(shè)置閾值條件，當(dāng)像素梯度值小于閾值時(shí)，輸出為0，當(dāng)其大于閾值時(shí)，輸出為1。Sobel卷積算子如圖3所示。

此灰度圖像包含2組3*3矩陣，分別是橫向和縱向的。橫向和縱向亮度差分的近似值是由圖像進(jìn)行二維卷積得到的。其表達(dá)式如式(3)：

(3)

其中，A為原始灰度圖像，Gx和Gy為通過(guò)橫向邊緣檢測(cè)和縱向邊緣檢測(cè)的圖像灰度值。

圖像的灰度值可通過(guò)式(4)來(lái)獲得，以此獲得該方向上像素點(diǎn)的灰度值，G為圖像梯度。

(4)

為了提高魯棒性，可以使用無(wú)平方根的近似值，其表達(dá)式如式(5)：

|G|=|Gx|+|Gy|

(5)

1.5 SDRAM存儲(chǔ)控制模塊

視頻圖像數(shù)據(jù)經(jīng)過(guò)CMOS采集模塊和圖像處理模塊后，需要進(jìn)行緩存才能進(jìn)行后續(xù)算法處理。對(duì)于一幀分辨率為640*480的灰度圖像，需要2.34 Mbit(640*480*8 bit)的大小，F(xiàn)PGA內(nèi)部的RAM空間不能容納大容量的數(shù)據(jù)，因此需要大容量、高速的外部SDRAM存儲(chǔ)器來(lái)實(shí)現(xiàn)圖像存儲(chǔ)。

對(duì)于OV7725來(lái)說(shuō)，其輸出像素時(shí)鐘頻率為24 MHz，經(jīng)過(guò)圖像采集模塊后，時(shí)鐘頻率變?yōu)?2 MHz。然而，VGA顯示分辨率為640*480的圖像時(shí)，驅(qū)動(dòng)時(shí)鐘是25 MHz。因此，需要對(duì)其調(diào)用IP核中的fifo模塊，用來(lái)解決傳輸時(shí)鐘不同步和數(shù)據(jù)不能交互的問(wèn)題。

1.6 幀差分法模塊

幀差分法主要通過(guò)對(duì)圖像序列2個(gè)或者3個(gè)相鄰幀進(jìn)行差分運(yùn)算來(lái)實(shí)現(xiàn)的。在本設(shè)計(jì)中，選擇此方法是因?yàn)槠溧徑觾蓭g的間隔極短，可以將前一幀圖像作為當(dāng)前幀的背景模型，這樣可以使其具有較好的實(shí)時(shí)性，并且具有更新速度較快，算法簡(jiǎn)單，計(jì)算量不大的特點(diǎn)。

利用如下表達(dá)式即可實(shí)現(xiàn)幀差分，其具體表達(dá)式為

(6)

其中，x1和x2為當(dāng)前幀和上一幀在同一位置坐標(biāo)的像素點(diǎn)灰色值，T為預(yù)設(shè)的參考分割閾值。

1.7 形態(tài)學(xué)圖像處理模塊

此模塊主要利用形態(tài)學(xué)圖像處理中開(kāi)運(yùn)算(先腐蝕后膨脹)的方法消除異常的噪聲點(diǎn)和填充邊緣存在的空洞問(wèn)題，從而能夠得到較為清晰的目標(biāo)輪廓。其腐蝕和膨脹的具體表達(dá)式如下。

(1) 腐蝕運(yùn)算

腐蝕運(yùn)算可以將目標(biāo)區(qū)域范圍變小，尋找局部的極小值區(qū)域，消除圖像中孤立的異常噪聲點(diǎn)，使其目標(biāo)圖像的邊界向內(nèi)部收縮。其結(jié)果可以表示為

A?B=(x:Bx?A)

(7)

其中，A為二值化后的像素集合，B為腐蝕的結(jié)構(gòu)元素。

(2) 膨脹運(yùn)算

膨脹運(yùn)算是腐蝕運(yùn)算的對(duì)偶算法，它可以將目標(biāo)區(qū)域范圍變大，尋找局部的極大值區(qū)域，使其目標(biāo)圖像的邊界向外部擴(kuò)張，用來(lái)填補(bǔ)幀差分留下的空洞。膨脹結(jié)果可以表示為

(8)

其中，A為二值化后的像素集合，B為膨脹的結(jié)構(gòu)元素。

1.8 VGA顯示模塊

本設(shè)計(jì)的顯示模塊采用IBM公司1987年提出的標(biāo)準(zhǔn)VGA接口，支持RGB和YCbCr兩種圖像格式。由于VGA標(biāo)準(zhǔn)接口只能接收模擬信號(hào)，因此該系統(tǒng)需要利用GM7123芯片將信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換。

此系統(tǒng)采用的圖像分辨率為640*480，幀率為60 Hz，驅(qū)動(dòng)時(shí)鐘為25 MHz，可以通過(guò)PLL IP核對(duì)系統(tǒng)時(shí)鐘進(jìn)行分頻得到。

2 基于FPGA行車檢測(cè)系統(tǒng)仿真分析與實(shí)現(xiàn)

2.1 圖像采集模塊仿真

對(duì)于圖像采集模塊來(lái)說(shuō)，編寫Testbench仿真程序，在modelsim軟件上對(duì)其模塊進(jìn)行仿真驗(yàn)證。為了較好地觀察仿真結(jié)果和分析，在圖像采集的仿真中將有效像素設(shè)置成12行8列。圖4為CMOS圖像采集模塊局部放大圖。

圖4 CMOS圖像采集模塊仿真局部放大圖

從仿真波形圖4可知，當(dāng)cam_href為低電平時(shí)，cam_data的數(shù)據(jù)不變，coms_frame_data沒(méi)有輸出有效數(shù)據(jù)；當(dāng)cam_href為高電平時(shí)，coms_frame_vaild信號(hào)開(kāi)始周期性變化，cam_data開(kāi)始輸入有效值，經(jīng)過(guò)2個(gè)時(shí)鐘周期，coms_frame_data開(kāi)始輸出有效數(shù)據(jù)，每行2個(gè)cmos_data的8位數(shù)據(jù)在cmos_frame_data中轉(zhuǎn)換成為16位數(shù)據(jù)，完成RGB565格式的數(shù)據(jù)拼接，圖像采集模塊成功實(shí)現(xiàn)。

2.2 灰色圖像中值濾波模塊仿真

對(duì)于灰色圖像中值濾波模塊來(lái)說(shuō)，編寫Testbench仿真程序，在modelsim軟件上對(duì)其模塊進(jìn)行仿真驗(yàn)證。為了較好的觀察仿真結(jié)果和分析，在灰色圖像中值濾波的仿真中將有效像素設(shè)置成12行8列。圖5為灰色中值濾波局部放大圖。

圖5 灰色中值濾波仿真局部放大圖

從仿真波形圖5可知，將第一行、第二行、第三行的數(shù)據(jù)分別設(shè)置為:33，97，161;35，99，163;37，101，165。在一個(gè)時(shí)鐘周期之后，對(duì)每行數(shù)據(jù)的大小進(jìn)行排列，求出中值分別為97、99、101。由此表明，灰色圖像中值濾波算法正確。

2.3 Sobel邊緣檢測(cè)模塊仿真

對(duì)于Sobel邊緣檢測(cè)模塊來(lái)說(shuō)，編寫Testbench仿真程序，在modelsim軟件上對(duì)其進(jìn)行仿真驗(yàn)證。為了較好地觀察仿真結(jié)果和分析，在Sobel邊緣檢測(cè)的仿真中將有效像素設(shè)置成12行8列。圖6為Sobel邊緣檢測(cè)局部放大圖。

圖6 Sobel邊緣檢測(cè)仿真局部放大圖

從仿真波形圖6可以看出，將第一行、第二行、第三行的數(shù)據(jù)分別設(shè)置為:173，237，45;175，239，47;177，241，49。本設(shè)計(jì)將閾值Sobel_Threshold設(shè)置為250，其在一個(gè)時(shí)鐘周期后得到Gx_tmp1、Gx_tmp2、Gy_tmp1、Gy_tmp2的值，再經(jīng)過(guò)一個(gè)時(shí)鐘周期得到Gx_data、Gy_data的值，時(shí)鐘第三個(gè)上升沿到來(lái)時(shí)得到了Dim(即為Gxy)的值為512。與預(yù)設(shè)的閾值250進(jìn)行比較，最后得到post_img_bit為1，此結(jié)果與實(shí)際值相一致。由此表明，Sobel邊緣檢測(cè)算法是正確的。

3 行車檢測(cè)系統(tǒng)硬件測(cè)試

3.1 系統(tǒng)模擬測(cè)試

本設(shè)計(jì)模擬驗(yàn)證將通過(guò)電腦播放行車視頻以達(dá)到模擬效果。其監(jiān)測(cè)到的視頻結(jié)果和處理過(guò)后的行車視頻圖像如圖7、圖8所示。

(a)

(b)圖7 處理前的行車視頻圖像

(a)

(b)圖8 處理后行車視頻圖像

從圖8中可知，經(jīng)過(guò)行車檢測(cè)系統(tǒng)處理后的結(jié)果可以較好地驗(yàn)證行車檢測(cè)功能的實(shí)現(xiàn)。

3.2 系統(tǒng)硬件測(cè)試

通過(guò)綜合編譯后，將工程下載至開(kāi)發(fā)板，利用攝像頭對(duì)學(xué)校門前的行車進(jìn)行白天和夜晚實(shí)時(shí)監(jiān)測(cè)，其監(jiān)測(cè)到的和處理后的行車圖像如圖9～圖12所示。

(a)

(b)圖9 白天行車抓拍圖像

(a)

(b)圖10 白天行車檢測(cè)系統(tǒng)處理后的行車圖像

(a)

(b)圖11 夜晚行車抓拍圖像

(a)

(b)圖12 夜晚行車檢測(cè)系統(tǒng)處理后的行車圖像

從圖10和圖12中可知，行車檢測(cè)系統(tǒng)在白天和夜晚均可實(shí)現(xiàn)檢測(cè)功能。但由于攝像頭像素較低以及天氣的影響，導(dǎo)致檢測(cè)圖像模糊，但總體實(shí)現(xiàn)了行車檢測(cè)功能。

通過(guò)測(cè)試得知，由于雨天地面有積水，圖像經(jīng)系統(tǒng)處理后，會(huì)出現(xiàn)鏡像圖像(圖12(b))；在霧天，由于攝像頭像素較低，會(huì)降低原始圖像的清晰度，從而導(dǎo)致檢測(cè)圖像的重影(圖10)；夜晚由于攝像頭像素以及車燈影響，導(dǎo)致檢測(cè)車輛的部分信息丟失(圖12(a))。

4 總結(jié)

本文主要設(shè)計(jì)了一種以FPGA為核心的行車檢測(cè)系統(tǒng)，利用FPGA并行結(jié)構(gòu)的特點(diǎn)，提高了計(jì)算速度，結(jié)合邊緣檢測(cè)和幀差分圖像處理方式，在VGA上能夠?qū)崿F(xiàn)行車的檢測(cè)。該系統(tǒng)有較好的實(shí)用性，可以很好地應(yīng)用在目標(biāo)檢測(cè)、智能視頻監(jiān)控領(lǐng)域，為各種復(fù)雜環(huán)境下的行車安全帶來(lái)較好的保障。