付賽紅，常漢杰

(浙江廣播電視大學(xué)海寧學(xué)院，浙江海寧，314400)

引言

交通標(biāo)識(shí)牌識(shí)別是無(wú)人駕駛智能汽車(chē)視覺(jué)環(huán)境感知的重要組成，也是先進(jìn)駕駛輔助系統(tǒng)（ADAS）關(guān)鍵技術(shù)[1]，而無(wú)人駕駛技術(shù)和ADSA技術(shù)是智能交通系統(tǒng)的主要技術(shù)。交通標(biāo)識(shí)牌可以為智能車(chē)無(wú)人駕駛系

統(tǒng)提供了重要的視覺(jué)信息，如行車(chē)路線、車(chē)速限制、避障、行人專(zhuān)用道、目的地、道路入口、交通狀況等[2]。然而，實(shí)時(shí)魯棒的交通標(biāo)識(shí)牌識(shí)別是一項(xiàng)具有挑戰(zhàn)性的研究，因?yàn)槭芴鞖?、位置、運(yùn)動(dòng)等實(shí)際道路環(huán)境影響，采集的交通標(biāo)示牌圖像存在光照變化、傾斜、模糊、遮擋等問(wèn)題[2]。

目前，交通標(biāo)識(shí)牌識(shí)別方法大體可以分為基于統(tǒng)計(jì)分類(lèi)的方法[3]、基于模板匹配的方法[4]和基于機(jī)器學(xué)習(xí)的方法[5-8]。其中基于統(tǒng)計(jì)分類(lèi)的方法主要有KNN算法、相關(guān)系數(shù)法、聚類(lèi)分析方和決策樹(shù)分類(lèi)方法等，基于模塊匹配的方法主要有像素級(jí)的匹配方法、特征層的匹配方法和投影匹配法等，基于機(jī)器學(xué)習(xí)的方法有支持矢量機(jī)（SVM）和神經(jīng)網(wǎng)絡(luò)等。但由于車(chē)輛行駛過(guò)程中，無(wú)人駕駛智能汽車(chē)中的攝像機(jī)與交通標(biāo)識(shí)牌存在一定傾斜角度，導(dǎo)致所采集的交通標(biāo)識(shí)牌圖像存在一定程度的傾斜。這給現(xiàn)有的交通標(biāo)識(shí)牌識(shí)別算法帶了一定的難度，因此需要對(duì)這些傾斜的圖像進(jìn)行矯正處理。

劉紅等人[9]針對(duì)三角形交通牌圖像提出了一種基于仿射變換的三角形交通標(biāo)志矯正方法，利用仿射變換原理解決圖像矯正問(wèn)題?，F(xiàn)有的很多關(guān)于圖像傾斜矯正的研究，從研究對(duì)象來(lái)分有車(chē)牌傾斜校正[10]、圖像文本校正[11]、條碼校正[12]等，從研究方法來(lái)分有基于Cartesian矩的方法[13]、基于Radon變換的方法[14]、基于Hough變換的方法[15]等。采用Cartesian矩進(jìn)行圖像矯正的優(yōu)點(diǎn)是計(jì)算速度快，復(fù)雜度低，對(duì)平移、尺度矯正效果較好，但對(duì)旋轉(zhuǎn)、傾斜的矯正效果較差；通過(guò)Radon變換校正圖像，Radon變換的優(yōu)點(diǎn)是不依賴(lài)圖像的邊框，但是計(jì)算量較大；利用Hough變換圖像進(jìn)行矯正，優(yōu)點(diǎn)是可靠性高、適應(yīng)性強(qiáng)。

為了解決交通牌傾斜造成的識(shí)別率下降的問(wèn)題，本文提出了一種實(shí)時(shí)魯棒的矩形交通標(biāo)識(shí)牌傾斜校正方法。首先，對(duì)圖像進(jìn)行灰度化、Canny邊緣檢測(cè)等預(yù)處理，再通過(guò)Hough直線變換檢測(cè)交通標(biāo)識(shí)牌的邊緣線段，根據(jù)這些邊緣線段計(jì)算矩形的四個(gè)角點(diǎn)坐標(biāo)，然后再根據(jù)逆透視變換（IPM）原理得到矯正矩陣，最后利用IPM將傾斜的交通標(biāo)識(shí)牌圖像校正。實(shí)驗(yàn)表明該算法可以有效地矯正不同程度傾斜的矩形交通標(biāo)識(shí)牌圖像，具有很好的實(shí)時(shí)性、魯棒性，適用于無(wú)人駕駛系統(tǒng)中的交通標(biāo)識(shí)牌識(shí)別預(yù)處理技術(shù)。

1 算法整體流程

本文提出了一種基于Hough-IPM變換的圖像傾斜校正算法，以下是該算法的大致流程，流程圖如1所示：

（1）對(duì)圖像進(jìn)行預(yù)處理，如灰度化、Canny邊緣檢測(cè)，得到邊緣的二值化圖像；

（2）對(duì)二值化圖像進(jìn)行Hough直線變換，提取滿(mǎn)足一定條件的邊緣線段，對(duì)這些線段進(jìn)行延長(zhǎng)。

（3）根據(jù)線段相交計(jì)算所有的交點(diǎn)，并且通過(guò)這些交點(diǎn)估計(jì)出矩形的四個(gè)頂點(diǎn)。

（4）根據(jù)矩形的四個(gè)頂點(diǎn)圖像坐標(biāo)和對(duì)應(yīng)假設(shè)矯正模型的真實(shí)坐標(biāo)，可以計(jì)算得到IPM的單應(yīng)性矩陣H。根據(jù)單應(yīng)性矩陣H對(duì)傾斜圖像進(jìn)行IPM變換，即可得到校正后的圖像。

2 Hough-IPM矯正算法

2.1 圖像預(yù)處理

在進(jìn)行Canny邊緣檢測(cè)之前需要將彩色圖像進(jìn)行灰度處理，得到灰度圖像。RGB圖像轉(zhuǎn)灰度圖像的一般公式如下：

其中，R、G、B分別是紅色、藍(lán)色和綠色通道的值，其范圍為[0~255]。

為了提取交通標(biāo)識(shí)牌的邊緣，我們采用Canny算子對(duì)灰度圖像進(jìn)行邊緣提取。Canny算子在邊緣檢測(cè)方面要明顯優(yōu)于Laplacian、Sobel等算子，在進(jìn)行處理前，Canny算子先利用高斯平滑濾波器來(lái)平滑圖像以除去噪聲，Canny分割算法采用一階偏導(dǎo)的有限差分來(lái)計(jì)算梯度幅值和方向，在處理過(guò)程中，Canny算子還將經(jīng)過(guò)一個(gè)非極大值抑制的過(guò)程，最后Canny算子還采用兩個(gè)閾值來(lái)連接邊緣。

先將彩色圖像變成灰度圖像，然后進(jìn)行Canny算子邊緣檢測(cè)，得到交通標(biāo)識(shí)牌的邊緣信息。

2.2 Hough直線變換

Hough直線變換是一種用來(lái)尋找直線的方法.在使用Hough直線變換之前， 首先要對(duì)圖像進(jìn)行邊緣檢測(cè)的處理，也即Hough直線變換的直接輸入只能是邊緣二值圖像。

直線在直角坐標(biāo)系下可以用y=kx+b表示， 霍夫變換的主要思想是將該方程的參數(shù)和變量交換，即用x和y作為已知量，而k和b作為變量坐標(biāo)，所以直角坐標(biāo)系下的直線y=kx+b在參數(shù)空間表示為點(diǎn)(k，b)，而一個(gè)點(diǎn)(x1，y1)在直角坐標(biāo)系下表示為一條直線y1=x1k+b，其中(k，b)是該直線上的任意點(diǎn)。為了計(jì)算方便，通常將參數(shù)空間的坐標(biāo)表示為極坐標(biāo)下的γ和θ。在極坐標(biāo)系下，直線可以表示為如下方程：

因?yàn)橥粭l直線上的點(diǎn)對(duì)應(yīng)的),(qg是相同的， 可以先將圖像進(jìn)行邊緣檢測(cè)，再將圖像上每一個(gè)非零像素點(diǎn)在參數(shù)坐標(biāo)系下變換為一條直線，那么在直角坐標(biāo)下屬于同一條直線的點(diǎn)將在參數(shù)空間形成多條直線并內(nèi)交于一點(diǎn)。

2.3 矩形頂點(diǎn)坐標(biāo)估計(jì)

通過(guò)邊緣線段檢測(cè)以及線段延長(zhǎng)后，可以得到很多線段的交點(diǎn)，然而矯正只需要交通標(biāo)識(shí)牌的四個(gè)頂點(diǎn)信息。

通過(guò)對(duì)這些交點(diǎn)的分析，發(fā)現(xiàn)四個(gè)頂點(diǎn)分布在圖像的四個(gè)方向，且點(diǎn)的密度要比其他交點(diǎn)都高。利用這一特性，可以采用以下方法進(jìn)行矩形定點(diǎn)坐標(biāo)估計(jì)。

（1）孤立點(diǎn)濾波。本文設(shè)計(jì)一個(gè)5×5的卷積模板，模板如下所示：

對(duì)交點(diǎn)的二值化圖像進(jìn)行卷積，卷積過(guò)程可以用以下公式表示：

其中，g表示卷積后的圖像，即孤立點(diǎn)濾除了的圖像，f表示需要濾波的圖像。統(tǒng)計(jì)所有剩余的交點(diǎn)，計(jì)算這些點(diǎn)的平均中心點(diǎn)，假設(shè)中心點(diǎn)的圖像坐標(biāo)是，交點(diǎn)的數(shù)據(jù)集為：

，則計(jì)算公式如下：

其中，是圖像的尺寸大小。根據(jù)中心點(diǎn)，將圖像分成四個(gè)區(qū)域，分別對(duì)每個(gè)區(qū)域的交點(diǎn)進(jìn)行聚類(lèi)，根據(jù)密度和距離估計(jì)出每個(gè)區(qū)域的頂點(diǎn)。

交點(diǎn)聚類(lèi)。對(duì)所在區(qū)域的所有交點(diǎn)進(jìn)行局部性聚類(lèi)，采用種子鄰域聚類(lèi)方法，可以得到多個(gè)聚類(lèi)區(qū)。

密度計(jì)算和距離計(jì)算。對(duì)每個(gè)聚類(lèi)區(qū)進(jìn)行密度計(jì)算得到密度集。計(jì)算每個(gè)聚類(lèi)區(qū)核心點(diǎn)與中心點(diǎn)的歐式像素距離，得到距離集。頂點(diǎn)估計(jì)。密度和距離是判斷頂點(diǎn)兩個(gè)重要因素，我們?cè)O(shè)可信度為，則計(jì)算公式如下：

其中，為的最大值，為的最大值，即該區(qū)域內(nèi)最長(zhǎng)的距離。如果該區(qū)域中的某個(gè)聚類(lèi)核心點(diǎn)距離最遠(yuǎn)并且所在聚類(lèi)區(qū)密度最大，則該點(diǎn)的可信度。該區(qū)域可信度最大的核心點(diǎn)即為該區(qū)域的頂點(diǎn)。

2.4 逆透視變換與單應(yīng)性矩陣求解

逆透視變換是指將透視圖像坐標(biāo)系轉(zhuǎn)化為世界坐標(biāo)系。假設(shè)世界坐標(biāo)系（WCS）中的三維點(diǎn)用表示，如果只考慮二維平面的話(huà)，可以將。在這種有共面的特殊情況下，三維世界坐標(biāo)可以轉(zhuǎn)化成二維坐標(biāo)來(lái)表示。那么，將一個(gè)圖像坐標(biāo)系中的點(diǎn)映射到世界坐標(biāo)系中的點(diǎn)過(guò)程可以用以下公式表示：

其中，H是一個(gè)3×3的矩陣，稱(chēng)作為單應(yīng)性矩陣。H矩陣的表達(dá)形式如下：

根據(jù)公式（8），可得：

根據(jù)公式（9）可知H矩陣中有8個(gè)未知數(shù)，求解H時(shí)至少需要8個(gè)已知數(shù)，每個(gè)點(diǎn)對(duì)分別有x和y，所以只需要4個(gè)點(diǎn)對(duì)即可求解H矩陣。點(diǎn)對(duì)是指圖像中的點(diǎn)與其對(duì)應(yīng)的世界坐標(biāo)系中的點(diǎn)組成的一對(duì)點(diǎn)，圖像中的坐標(biāo)點(diǎn)可以通過(guò)上述步驟的頂點(diǎn)估計(jì)得到，而其對(duì)應(yīng)的世界坐標(biāo)點(diǎn)，也就是矯正后的坐標(biāo)點(diǎn)，可以由矩形交通牌的邊長(zhǎng)決定。

假設(shè)長(zhǎng)和寬分別是a和b，則對(duì)應(yīng)的四個(gè)世界坐標(biāo)點(diǎn)為，，分別代表左上、右上、左下和右下四個(gè)頂點(diǎn)。

當(dāng)求解得到H矩陣之后，可對(duì)原圖進(jìn)行逆透視變換得到矯正后的圖像。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證算法的性能，本文進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)環(huán)境是：Intel i7-363QM，GPU 2.20GHz，8G RAM，通過(guò)MATLAB語(yǔ)言編程實(shí)驗(yàn)實(shí)現(xiàn)。為了檢驗(yàn)算法的有效性，選取了多幅真實(shí)道路交通場(chǎng)景下的矩形標(biāo)識(shí)牌圖像。

3.1 實(shí)驗(yàn)結(jié)果

為了更好評(píng)價(jià)分析實(shí)驗(yàn)結(jié)果，本文選擇 4個(gè)具有有代表性的真實(shí)場(chǎng)景圖像，并對(duì)實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果和關(guān)鍵步驟進(jìn)行了展示，如圖2所示，(a)是傾斜的矩形交通牌圖像，(b)是二值化處理結(jié)果，(c)是邊緣檢測(cè)得到四個(gè)頂點(diǎn)結(jié)果，(d)是傾斜矯正后的結(jié)果。

圖2 實(shí)驗(yàn)結(jié)果和部分關(guān)鍵步驟結(jié)果

3.2 結(jié)果評(píng)價(jià)與分析

為了正確有效的評(píng)價(jià)本文算法的性能，采用主觀和客觀兼顧的方法對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行綜合評(píng)價(jià)。

主觀方法主要是通過(guò)人眼主觀觀察，對(duì)結(jié)果進(jìn)行等級(jí)評(píng)分：很好、好、一般、差、很差。

客觀評(píng)價(jià)主要是通過(guò)傾斜角度、矯正速度和矯正精確度三個(gè)指標(biāo)來(lái)評(píng)價(jià)算法的矯正效果。其中傾斜角度為交通標(biāo)識(shí)牌平面與鏡頭平面所成的角度，反映的是傾斜程度，評(píng)價(jià)算法的魯棒性；矯正速度是矯正一張圖像的使用時(shí)間，評(píng)價(jià)算法的實(shí)時(shí)性；矯正精確度是指為校正后圖像中交通牌水平邊與垂直邊夾角除以90度，評(píng)價(jià)算法的準(zhǔn)確性。

將上述實(shí)驗(yàn)結(jié)果的評(píng)價(jià)指標(biāo)數(shù)據(jù)進(jìn)行了統(tǒng)計(jì)，如表1所示，其中場(chǎng)景1-4分別對(duì)應(yīng)圖2中的第1行到第4行的交通場(chǎng)景。

表1 實(shí)驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)數(shù)據(jù)統(tǒng)計(jì)

分析：主觀地從圖2中的實(shí)驗(yàn)結(jié)果上來(lái)看，矯正效果很好，可以讓不同傾斜程度的矩形交通牌圖像得到矯正?？陀^地從表1的數(shù)據(jù)來(lái)分析，本算法具有實(shí)時(shí)性好、魯棒性強(qiáng)的優(yōu)點(diǎn)。

4 結(jié)束語(yǔ)

為了解決交通牌傾斜造成的識(shí)別率下降的問(wèn)題，本文提出了一種實(shí)時(shí)魯棒的矩形交通標(biāo)識(shí)牌傾斜校正方法。首先，對(duì)圖像進(jìn)行灰度化、Canny邊緣檢測(cè)等預(yù)處理，再通過(guò)Hough直線變換檢測(cè)交通標(biāo)識(shí)牌的邊緣線段，根據(jù)這些邊緣線段計(jì)算矩形的四個(gè)角點(diǎn)坐標(biāo)，然后再根據(jù)逆透視變換原理得到矯正矩陣，最后利用IPM將傾斜的交通標(biāo)識(shí)牌圖像校正。實(shí)驗(yàn)表明該算法可以有效地矯正不同程度傾斜的矩形交通標(biāo)識(shí)牌圖像，具有很好的實(shí)時(shí)性、魯棒性，適用于無(wú)人駕駛系統(tǒng)中的交通標(biāo)識(shí)牌識(shí)別預(yù)處理技術(shù)。

[1]ZHONG L, YU Y, Z Z.A Survey of Traffic Sign Recognition[C]//International Conference on Logistics Engineering, Management and Computer Science (LEMCS 2015)2015.

[2]GUDIGAR A, CHOKKADI S, RAGHAVENDRA U.A review on automatic detection and recognition of traffic sign[J].Multimedia Tools and Applications, 2016, 75(1):333-364.

[3]YUAN X, HAO X, CHEN H, ET AL.Robust Traffic Sign Recognition Based on Color Global and Local Oriented Edge Magnitude Patterns[J].Intelligent Transportation Systems IEEE Transactions on, 2014,15(4):1466-1477.

[4]LIU C, CHANG F, CHEN Z, ET AL.Fast Traffic Sign Recognition via High-Contrast Region Extraction and Extended Sparse Representation[J].IEEE Transactions on Intelligent Transportation Systems, 2016, 17(1):79-92.

[5]PEREIRA D R, SILVA F A D, ARTERO A O, ET AL.Traffic Sign Detection and Recognition using the AdaBoost and transition between pixels[C]//WVC.2015: 139-149.

[6]SUN Z L, WANG H, LAU W S, ET AL.Application of BW-ELM model on traffic sign recognition[J].International Journal of Computer Science &Network Security, 2014, 12(8): 153-159.

[7]JIN J, FU K, ZHANG C.Traffic Sign Recognition With Hinge Loss Trained Convolutional Neural Networks[J].IEEE Transactions on Intelligent Transportation Systems, 2014, 15(5): 1991-2000.

[8]QIAN R, YUE Y, COENEN F, ET AL.Traffic sign recognition with convolutional neural network based on max pooling positions[C]//International Conference on Natural Computation and, Fuzzy Systems and Knowledge Discovery.2016: 578-582.

[9]JANG C, KIM H, PARK E, ET AL.Data debiased traffic sign recognition using MSERs and CNN[C]// International Conference on Electronics,Information, and Communications.2016:1-4.

[10]劉紅, 高向東, 楊大鵬.一種基于仿射變換的三角形交通標(biāo)志矯正方法[J].汽車(chē)零部件, 2010, (06): 56-57+60.

[11]LIANG Z Y, ZHANG S Y.A Configurable Tilt License Plate Correction Method Based on Parallel Lines[J].Applied Mechanics & Materials, 2013,385-386: 1429-1433.

[12]TONG L, PENG Q, LI Y, ET AL.Document Image Skew Correction Method Based on Characteristic Sample Point Detection and Hough Transform[J].Lecture Notes in Electrical Engineering, 2014.

[13]JIA G.Research on A Rapid Correction Algorithm Based on the Third-order The Cartesian Moment the Image Tilt[J].Bulletin of Science & Technology,2013.

[14]李志明.一種基于Radon變換的文檔圖像傾斜校正改進(jìn)算法[J].物聯(lián)網(wǎng)技術(shù), 2016, 6(7): 62-65.

[15]SINGH C, BHATIA N, KAUR A.Hough transform based fast skew detection and accurate skew correction methods[J].Pattern Recognition,2008, 41(12): 3528-3546.