朱 松，曹丹華，吳裕斌

(華中科技大學(xué)光學(xué)與電子信息學(xué)院，湖北武漢 430074)

?

視覺導(dǎo)航中路面檢測方法與DSP實現(xiàn)

朱 松，曹丹華，吳裕斌

(華中科技大學(xué)光學(xué)與電子信息學(xué)院，湖北武漢 430074)

路面檢測在基于視覺導(dǎo)航的汽車自動駕駛中具有重要意義。針對路面的多樣性和場景的復(fù)雜性，文中研究并開發(fā)了基于DSP的路面檢測技術(shù)，提出了一種融合圖像灰度和圖像深度的路面檢測方法。系統(tǒng)首先采用雙目立體視覺方法獲取場景深度圖像，然后根據(jù)圖像灰度和圖像深度進行超像素分割，最后提取超像素的灰度和深度特征，用SVM分類器對超像素進行分類，實現(xiàn)路面的檢測。實際場景的測試證明了文中方法的可行性。街景圖像數(shù)據(jù)庫的實驗表明，文中路面檢測方法的準確性高。

路面檢測; 雙目立體視覺；超像素；深度特征

0 引言

在基于視覺導(dǎo)航的汽車自動駕駛和盲人導(dǎo)航中，檢測前方路面是關(guān)鍵技術(shù)之一，也是實現(xiàn)車輛的路徑規(guī)劃以及決策控制的重要前提。當(dāng)前基于視覺的路面檢測主要分為兩種：一種是汽車所行駛的結(jié)構(gòu)化道路的檢測[1]；另一種則是非結(jié)構(gòu)化道路的檢測[2]。前者利用了道路上的一些特殊信息(如車道線)進行檢測，所以只適用于某些特殊環(huán)境，如高速公路。后者考慮了道路的多樣性和環(huán)境的復(fù)雜性，只利用道路自身的特征(如顏色、形狀)進行檢測，其應(yīng)用范圍更加廣泛。

文中針對非結(jié)構(gòu)化道路，研究并開發(fā)了基于智能相機的路面檢測技術(shù)，提出了一種融合圖像灰度和深度的路面檢測方法。智能相機采用面陣CCD完成圖像采集，采用高速DSP實現(xiàn)圖像分析，以保障系統(tǒng)的實時性。文中將路面檢測問題當(dāng)作一個模式分類問題，將圖像中各個像素劃分為路面或非路面。最后分別通過實際場景和數(shù)據(jù)庫的測試驗證了方法的有效性。

1 基于DSP的視覺導(dǎo)航硬件平臺

系統(tǒng)中采用雙目立體視覺結(jié)構(gòu)，以獲取空間的三維信息，其核心是一個基于DSP的嵌入式圖像處理系統(tǒng)，如圖1所示。

系統(tǒng)采用雙目相機和面陣CCD傳感器采集圖像信息，經(jīng)過CCD控制電路編解碼后，送入各自的DSP模塊電路進行處理。同步觸發(fā)模塊產(chǎn)生同步信號，用于觸發(fā)DSP模塊獲取同一時間的左右兩幅圖像。2個DSP模塊能夠進行數(shù)據(jù)通信，從而具有同時處理兩幅圖像的能力。輸入的雙目圖像在DSP中處理后，輸出路面檢測的標記圖像信號，用于后續(xù)車輛的路徑規(guī)劃以及決策控制。

圖1 DSP嵌入式圖像處理系統(tǒng)硬件框圖

DSP采用的是TI的Davinci系列中的TMS320DM6437芯片。DM6437是一款高速多媒體處理器。它采用了TMS320C64x+核，其時鐘頻率為700 MHz，芯片內(nèi)部包括8個并行運算的功能單元和128 KB的IRAM支持圖像算法的快速運算。模塊中擴展了DDR2以及FLASH為系統(tǒng)程序和數(shù)據(jù)提供足夠的存儲空間。

2 路面檢測方法

2.1 算法總體框架

文中提出的融合圖像灰度信息和深度信息的路面檢測方法框架如圖2所示。路面檢測方法的輸入是雙目相機獲得的左右兩幅圖像，輸出則是路面的標記圖像，用于指示圖像中路面(白色)或非路面(黑色)的區(qū)域。圖2中實線框表示算法模塊，虛線框表示算法的輸入輸出結(jié)果，右側(cè)圖像與中間的輸出結(jié)果相對應(yīng)。

文中將路面檢測問題轉(zhuǎn)換為圖像模式識別的問題，最終將場景劃分為路面和非路面二類。算法總體上分為3個模塊。

(1)通過立體匹配算法獲取左圖像的深度信息。深度信息有助于圖像分割和路面的識別。

(2)融合灰度信息和深度信息對左圖像進行超像素分割，將圖像分割為數(shù)百個的超像素，減小分類樣本的規(guī)模，以增強系統(tǒng)的實時性。

(3)在灰度信息和深度信息中提取每個超像素的區(qū)域特征。將特征輸入到分類器中，判別對應(yīng)的超像素是否為路面，從而最終實現(xiàn)路面的檢測。

圖2 路面檢測算法框圖

2.2 立體匹配

匹配值的計算和匹配值的累積是局部立體匹配算法中的兩個關(guān)鍵步驟。在室外場景下，通常左、右圖像的光照具有不一致性，為了提高算法的魯棒性，文中采用了一種光照不變性的匹配值計算方法[3]。

在匹配值的累積中，文中通過引入平滑約束提高立體匹配的準確度[4]。為了提高算法的速度，文中采用遞歸的方式計算每個像素的累積匹配值，如式(1)。

Sr(p,d)=C(p,d)+min(s1,s2,s3,s4)

s1=Sr(p-r,d)

s2=Sr(p-r,d-1)+P1

(1)

s3=Sr(p-r,d+1)+P1

式中：Sr(p,d)表示像素p在r方向、在視差d時的匹配累積值;C(p,d)表示像素p在視差d時的匹配值;P1是較小的懲罰值，用來適應(yīng)室外場景下的斜面，比如路面；P2是較大的懲罰值，用于懲罰視差不連續(xù)的邊緣。

當(dāng)?shù)玫?個方向(左右上下)的累積值后，將其相加即可得到最終的匹配累積值。像素的視差與像素最小的累積匹配值一一對應(yīng)。

當(dāng)?shù)玫綀D像中每個像素的視差后，可以根據(jù)雙目相機模型計算每個像素三維空間點的位置，如式(2)所示。

(2)

式中：(Xw,Yw,Zw)表示像素(x,y)對應(yīng)的三維空間點坐標；B是雙目相機的基線；K是相機模型的內(nèi)參數(shù)。

2.3 超像素分割

為了提高系統(tǒng)的實時性，文中采用了一種實時的超像素分割算法[5]。超像素首先初始化為規(guī)則網(wǎng)格，然后根據(jù)距離函數(shù)進行迭代的邊緣優(yōu)化，最終形成內(nèi)部像素特性一致的區(qū)域，即超像素。方法的核心是定義像素與超像素聚類中心的距離，不同的距離將得到不同的超像素。文中將每個超像素作為一個整體進行識別，所以超像素內(nèi)部的所有像素應(yīng)該盡可能的屬于同一類別，即路面或者非路面。對于路面區(qū)域，其像素的灰度具有相似性，而空間上也是相近的。文中提出融合灰度圖像信息和空間位置信息的距離函數(shù)，如式(3)所示。

(3)

2.4 超像素分類

影響超像素分類準確率主要有兩個方面：一方面是超像素的區(qū)域特征，另一方面則是分類器的設(shè)計。

2.4.1 超像素的區(qū)域特征

文中提取了三類超像素的區(qū)域特征：灰度統(tǒng)計特征、幾何形狀特征、深度特征。

其中灰度統(tǒng)計特征包括均值、標準差、偏度系數(shù)、峰度系數(shù)。幾何形狀特征包括區(qū)域的面積、周長、重心、圓度、長短軸等[6]。這兩類特征都是一般模式分類系統(tǒng)中常用的特征。而針對路面檢測的應(yīng)用背景，文中則提出了基于深度信息的區(qū)域特征。

(4)

式中：Yw(p)表示區(qū)域Rk中p點的高度坐標；|Rk|表示區(qū)域Rk的面積。

以相機為原點時，當(dāng)把相機安裝在車頂上時(用于汽車的自動駕駛)，路面高度為負的車身高度，當(dāng)把相機安裝在眼鏡上時(用于盲人導(dǎo)航)，則路面高度為負的人的身高。一般情況下，路面的高度是固定不變的，這也成為了判斷某區(qū)域是否為路面的一個根據(jù)，所以文中將高度作為路面檢測的一個特征。

特征二：區(qū)域Rk的平面系數(shù)[ak,bk,ck] ，如式(5)

Zw(p)=ak·Xw(p)+bk·Yw(p)+ck，p∈Rk

(5)

其中平面系數(shù)可以通過對區(qū)域內(nèi)所有像素點的空間坐標進行平面擬合得到。一般情況下路面可以認為是平面，區(qū)分不同平面的重要依據(jù)是其平面系數(shù)，所以文中將平面系數(shù)作為路面檢測的特征。

2.4.2 分類器的設(shè)計

為了提高系統(tǒng)的實時性，文中采用復(fù)雜度低的線性分類器L(F)，如式(6)。

L(F)=sgn(WT·F+w0)

(6)

式中：F是輸入的特征向量；W是分類器通過訓(xùn)練得到的線性權(quán)值向量；w0是偏置閾值。

通過對符號函數(shù)sgn進行二值判斷，即可得到特征向量所對應(yīng)超像素的類別，即路面或非路面。

SVM[7-8]是建立在統(tǒng)計學(xué)習(xí)理論基礎(chǔ)上的一種分類器，在解決小樣本和高維模式識別問題中具有獨特的優(yōu)勢，已經(jīng)在模式分類系統(tǒng)中獲得了廣泛的應(yīng)用。所以文中采用SVM分類器進行離線訓(xùn)練。訓(xùn)練完畢后，只采用所得到的權(quán)值參數(shù)進行超像素的路面識別，最終完成路面檢測。

2.5 算法在DSP上的優(yōu)化

為了提高系統(tǒng)的處理速度，路面檢測算法的主要優(yōu)化技術(shù)包括：

(1)軟件流水優(yōu)化：充分利用TMS320C64x+核中的8個功能單元，實現(xiàn)循環(huán)程序中迭代算法的并行執(zhí)行；

(2)內(nèi)聯(lián)函數(shù)優(yōu)化：采用內(nèi)聯(lián)函數(shù)實現(xiàn)線性分類器算法，達到多組數(shù)據(jù)同時運算的目的；

(3)將浮點數(shù)據(jù)轉(zhuǎn)換為定點數(shù)據(jù)進行運算；

(4)將頻繁訪問的數(shù)據(jù)放入IRAM中，減少數(shù)據(jù)讀寫的時間。

3 試驗結(jié)果及分析

在室外的檢測結(jié)果如圖3所示。從圖3(d)中可以看出，大部分的路面區(qū)域(標記為白色)檢測正確，證明了系統(tǒng)的可行性。

為了進一步評價文中方法的性能，采用了街景圖像數(shù)據(jù)庫[9]進行測試。街景圖像的分辨率為1 024×440，利用其中300幅圖像進行訓(xùn)練，然后用另外的200幅圖像進行測試。對算法所得到的標記圖像與數(shù)據(jù)庫中標準的標記圖像的每個像素進行對比，得到了混淆矩陣如表1。由混淆矩陣可知，最終路面檢測在像素層面上的正確率為90.9%。

4 結(jié)束語

文中以智能車輛自動駕駛、盲人導(dǎo)航為應(yīng)用背景，研究了基于智能相機的路面檢測技術(shù)，提出了一種融合圖像灰度和深度的路面檢測方法。通過快速的立體匹配算法，獲取圖像的深度信息，同時在灰度圖像和深度圖像中提取區(qū)域特征，最終用于路面的識別，提高了路面檢測的準確度。通過實時的超像素分割算法，提高了系統(tǒng)的實時性。最終在實際場景中的試驗表明，文中的路面檢測方法能夠準確的檢測出場景中的路面區(qū)域。

(a)左圖像

(b)右圖像

(c)視差圖像

(d)路面標記圖像

表1 混淆矩陣

實際數(shù)據(jù)預(yù)測數(shù)據(jù)非路面路面非路面5.51×1072.8×106路面5.4×1062.68×107

注：表中數(shù)據(jù)表示像素的個數(shù)。

[1] BERTOZZI M,BROGGI A. GOLD: A parallel real-time stereo vision system for generic obstacle and lane detection. IEEE Transactions on Image Processing, 1998, 7(1): 62-81.

[2] MCCALL J C,TRIVEDI M M. Video-based lane estimation and tracking for driver assistance: survey, system, and evaluation. IEEE Transactions on Intelligent Transportation Systems, 2006, 7(1): 20-37.

[3] YAMAGUCHI K, MCALLESTER D,URTASUN R. Efficient joint segmentation, occlusion labeling, stereo and flow estimation. European Conference on Computer Vision, 2014.

[4] HIRSCHMULLER H. Stereo processing by semiglobal matching and mutual information. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 328-341.

[5] ZHU S, et al. A novel real-time superpixel segmentation algorithm. International Conference on Optical Instruments and Technology, Beijing, 2013.

[6] 朱銘煜,周武能. 圖像處理在藥片視覺檢測系統(tǒng)中的應(yīng)用. 儀表技術(shù)與傳感器, 2011(5): 94-97.

[7] CHANG C C,LIN C J. LIBSVM: a library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2011, 2(3): 27.

[8] 陳淵,馬宏偉. 基于粒子群優(yōu)化支持向量機的焊接缺陷分類. 儀表技術(shù)與傳感器, 2013(4): 81-83；86.

[9] SCHARW CHTER T, et al. Stixmantics: A medium-level model for real-time semantic scene understanding. European Conference on Computer Vision, Zurich, 2014.

Road Detection Method and DSP Implementation in Visual Navigation

ZHU Song, CAO Dan-hua, WU Yu-bin

(Huazhong University of Science and Technology, School of Optical and Electronic Information, Wuhan 430074, China)

Road detection is important in vision-based navigation in vehicle automatic driving. For the diversity of road and the complexity of the scene, this paper studied and developed road detection technique based on DSP, and proposed a road detection method, which fused the image intensity and the image depth. The system first used binocular stereo vision method to get the scene depth image, and then the image was segmented into super pixels according to the image intensity and the image depth, finally the road detection was realized through superpixels' gray and depth features, and superpixels were classified with SVM realizing. The actual scenario testing verifies the feasibility of the method. Experiments on the street image database show that the road detection method in this paper has high accuracy.

road detection; binocular vision; superpixel; depth features

2015-03-02 收修改稿日期：2015-07-11

TP216.1

A

1002-1841(2015)12-0110-03

朱松(1988—)，博士研究生，主要研究領(lǐng)域為機器視覺、模式識別。E-mail：hustsong880222@gmail.com 曹丹華(1966—)，教授，博士，主要研究領(lǐng)域為機器視覺、光電成像與信息處理、視覺檢測。 E-mail：dhcao@mail.hust.edu.cn