郜春艷,何秀娟,黃文美,劉卓錕
(河北工業(yè)大學(xué)省部共建電工裝備可靠性與智能化國(guó)家重點(diǎn)實(shí)驗(yàn)室,天津 300132)
場(chǎng)景識(shí)別是室內(nèi)移動(dòng)機(jī)器人研究的一個(gè)重要分支[1],移動(dòng)機(jī)器人的諸多功能如定位、導(dǎo)航、路徑規(guī)劃的實(shí)現(xiàn)都基于其良好的場(chǎng)景識(shí)別能力[2]。利用2-D測(cè)距信息進(jìn)行機(jī)器人場(chǎng)景識(shí)別技術(shù)的研究是當(dāng)前一大熱點(diǎn)[3]。不同的室內(nèi)場(chǎng)景由于結(jié)構(gòu)和布置不同而有著不同的形狀與大小特征,比如走廊呈現(xiàn)規(guī)則的矩形,又窄又長(zhǎng);臥室的床與墻之間存在窄縫;客廳面積寬闊且較為雜亂,衛(wèi)生間面積最小。這些特點(diǎn)都是基于2-D掃描進(jìn)行室內(nèi)場(chǎng)景識(shí)別的重要依據(jù)[4-5]。
安裝有激光雷達(dá)傳感器的移動(dòng)機(jī)器人在室內(nèi)行駛的過程中,范圍掃描數(shù)據(jù)也會(huì)被實(shí)時(shí)記錄下來(lái),這些數(shù)據(jù)描述了移動(dòng)機(jī)器人所處環(huán)境的輪廓特征?;诩す饫走_(dá)掃描的室內(nèi)場(chǎng)景識(shí)別問題可以描述為:給定一系列來(lái)自不同類型室內(nèi)場(chǎng)景的激光雷達(dá)測(cè)距樣本,利用機(jī)器學(xué)習(xí)算法對(duì)已知樣本進(jìn)行學(xué)習(xí),歸納總結(jié)出各類場(chǎng)景特有的數(shù)據(jù)特征,當(dāng)再給予陌生的測(cè)距樣本時(shí),可判斷出其所屬室內(nèi)場(chǎng)景的類型[6-8]。
本文在Ubuntu系統(tǒng)下,利用機(jī)器人操作系統(tǒng)(ROS)和仿真軟件 Gazebo搭建仿真環(huán)境,并采集虛擬激光雷達(dá)測(cè)距信息,對(duì)范圍掃描數(shù)據(jù)提取二值化圖像信息后,利用基于局部感受野的極限學(xué)習(xí)機(jī)(ELM-LRF)對(duì)特征信息進(jìn)行學(xué)習(xí)與分類。最后,利用公共數(shù)據(jù)集DR Dataset所提供的從123個(gè)真實(shí)生活場(chǎng)景中所采集到的激光雷達(dá)范圍掃描信息對(duì)所提出的方法進(jìn)行了驗(yàn)證。
ROS以其點(diǎn)對(duì)點(diǎn)設(shè)計(jì)、模塊化程度高、代碼可重利用性強(qiáng)、采用分布式架構(gòu)等優(yōu)點(diǎn)成為目前國(guó)內(nèi)外機(jī)器人研究者的主要操作平臺(tái)。在ROS操作平臺(tái)中利用仿真軟件Gazebo能夠模擬現(xiàn)實(shí)生活場(chǎng)景搭建3-D仿真環(huán)境。相比普通2-D仿真環(huán)境,如MobileSim,Gazebo能夠更加真實(shí)地模擬事物的各種屬性以及物體之間在物理上合理的相互作用,如摩擦、碰撞、打滑等。兩種仿真環(huán)境的直觀展現(xiàn)如圖1所示。
圖1 仿真環(huán)境Fig.1 Simulation environment
本文共搭建了4種仿真環(huán)境,包括客廳、臥室、廚房、衛(wèi)生間,每個(gè)房間的大小、形狀、位置都參考真實(shí)生活場(chǎng)景,每個(gè)場(chǎng)景中都有相應(yīng)的擺設(shè),如客廳擺放有茶幾、沙發(fā)等家具。由于Gazebo的編輯界面僅包含一些簡(jiǎn)單模型,衣柜、花盆等模型需在solidworks中進(jìn)行編輯,再將文件導(dǎo)入Gazebo。
在仿真場(chǎng)景中,模擬移動(dòng)機(jī)器人Pioneer 3-AT進(jìn)行數(shù)據(jù)采集,在該移動(dòng)機(jī)器人平臺(tái)上安裝激光雷達(dá)傳感器RP LIDAR A1,其最大掃描距離為6 m,掃描范圍為360°,每進(jìn)行一次范圍掃描,將提取到一組包含400個(gè)采樣點(diǎn)的距離數(shù)據(jù)的測(cè)距信息。
通過ROS節(jié)點(diǎn)發(fā)布命令消息控制移動(dòng)機(jī)器人的行駛方向與時(shí)間,使移動(dòng)機(jī)器人在仿真環(huán)境中無(wú)碰撞前行,且所經(jīng)路途均無(wú)重復(fù)。同時(shí)對(duì)激光雷達(dá)主題進(jìn)行訂閱,實(shí)時(shí)記錄并保存所采集到的測(cè)距信息。由于各房間大小不同,在每個(gè)房間中所采集到的樣本數(shù)量也有所差別,臥室樣本為751、廚房樣本為678、客廳樣本為1338、衛(wèi)生間樣本為572。
每一組原始的激光雷達(dá)測(cè)距數(shù)據(jù)均為單純的離散數(shù)據(jù)集,各個(gè)數(shù)據(jù)的關(guān)聯(lián)性很弱,邊緣特征和局部特征均很模糊,無(wú)法進(jìn)行有效的特征提取,故需要對(duì)數(shù)據(jù)進(jìn)行處理。特征提取過程如圖2所示。
圖2 特征提取過程Fig.2 Feature extraction process
以任意一組激光雷達(dá)所測(cè)得的距離數(shù)據(jù)為例,利用Matlab將其轉(zhuǎn)化為極坐標(biāo)圖,如圖2a所示,圖像的中心點(diǎn)為O,進(jìn)行范圍掃描時(shí),將裝有激光雷達(dá)或聲納傳感器的移動(dòng)機(jī)器人所處的位置相鄰的點(diǎn)連接起來(lái)便得到紅色邊緣部分,表示該時(shí)刻所掃描到的環(huán)境的輪廓信息。
為除去冗余信息,進(jìn)一步提取有效特征,如圖2b所示,將極坐標(biāo)圖提取到直角坐標(biāo)系中,生成矩形圖,矩形圖的中點(diǎn)為極坐標(biāo)圖的原點(diǎn)。為增強(qiáng)其特征信息,對(duì)極坐標(biāo)圖中的范圍輪廓內(nèi)部進(jìn)行顏色填充,此時(shí)所得到的圖像為以白色為背景的三通道彩色圖像。
圖像處理對(duì)計(jì)算機(jī)的性能要求較高,所占內(nèi)存較大,為簡(jiǎn)化計(jì)算,減少空間占用,先對(duì)彩色圖像進(jìn)行灰度化處理,將每個(gè)像素點(diǎn)的R,G,B分量分別求平均值,得到灰度圖像的像素信息矩陣,如圖2c所示。
隨后使用最大類間方差法找到灰度圖像像素點(diǎn)的一個(gè)合適的閾值,將大于閾值的像素點(diǎn)的值轉(zhuǎn)換為1,小于閾值的像素點(diǎn)的值轉(zhuǎn)換為0,完成灰度圖像到二值圖像的轉(zhuǎn)換,如圖2d所示。最后,二值化圖像像素矩陣將作為輸入基于局部感受野的極限學(xué)習(xí)機(jī)的訓(xùn)練樣本和測(cè)試樣本。
基于局部感受野的極限學(xué)習(xí)機(jī)(ELM-LRF)是一種快速有效的機(jī)器學(xué)習(xí)算法。該算法在輸入層節(jié)點(diǎn)和隱藏層節(jié)點(diǎn)引入了根據(jù)連續(xù)概率分布函數(shù)產(chǎn)生的局部感受野,提出利用組合節(jié)點(diǎn)將多個(gè)隱藏層節(jié)點(diǎn)的輸出進(jìn)行組合。并且可隨機(jī)生成卷積層節(jié)點(diǎn)與輸入層節(jié)點(diǎn)之間的輸入權(quán)重,各網(wǎng)絡(luò)參數(shù)在學(xué)習(xí)過程中均不需要進(jìn)行迭代調(diào)整,最終可產(chǎn)生唯一的最優(yōu)解,因此,與SVM相比,ELM-LRF的學(xué)習(xí)速度要快幾十倍[9]。
圖3 基于局部感受野的極限學(xué)習(xí)機(jī)原理圖
(1)
式中,i,j=1,2,…,(d-r+1)。
組合層節(jié)點(diǎn)即為池化節(jié)點(diǎn),對(duì)所得到的特征圖進(jìn)行平方根池化處理,這樣便將多個(gè)卷積節(jié)點(diǎn)所得到的特征值組合為一個(gè)節(jié)點(diǎn)值。設(shè)e為池化的大小,表示池化區(qū)域的中心到邊的距離,若hp,q,k表示第k個(gè)池化圖中的組合節(jié)點(diǎn)(p,q)的值,則hp,q,k的算式為
(2)
對(duì)池化層進(jìn)行全連接處理,即將某個(gè)輸入所得到的所有組合節(jié)點(diǎn)的值連接成一個(gè)行向量,假設(shè)共有N個(gè)輸入,則可得到N個(gè)組合的行向量,將它們組合在一起,形成組合層矩陣H∈RN×K·(d-r+1)2,采用正則化最小二乘法計(jì)算輸出權(quán)重矩陣β。
當(dāng)N>K·(d-r+1)2時(shí),
(3)
當(dāng)N≤K·(d-r+1)2時(shí),
(4)
式中:C為可調(diào)參數(shù);T為輸入樣本所對(duì)應(yīng)的標(biāo)簽矩陣。本文中,輸入為二值化圖像像素矩陣,其大小為43×43,局部感受野的大小為5×5。
每個(gè)房間隨機(jī)選取80%的樣本進(jìn)行訓(xùn)練學(xué)習(xí),其余樣本用于測(cè)試。則訓(xùn)練集共包含2670個(gè)樣本,其中600個(gè)取自臥室,542個(gè)取自廚房,458個(gè)取自衛(wèi)生間,1070個(gè)取自客廳,其余樣本全部組成測(cè)試集。給不同類型的房間設(shè)置不同的標(biāo)簽,臥室為1,廚房為2,客廳為3,衛(wèi)生間為4。生成訓(xùn)練標(biāo)簽矩陣的大小為2670×4,若第k個(gè)樣本取自客廳,則訓(xùn)練標(biāo)簽矩陣的第k行,除第3列的值為1,其余列的值都為0。同樣,生成測(cè)試標(biāo)簽矩陣。
將特征圖個(gè)數(shù)設(shè)置為30,調(diào)節(jié)參數(shù)C從10-4到104,將訓(xùn)練集以及訓(xùn)練標(biāo)簽矩陣輸入ELM-LRF對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,獲得輸出權(quán)重β,隨后將測(cè)試集和測(cè)試標(biāo)簽輸入已完成訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu),得到測(cè)試正確率。所得實(shí)驗(yàn)結(jié)果如圖4所示。
圖4 訓(xùn)練與測(cè)試正確率規(guī)律圖Fig.4 The correct rate of training and testing
從圖中可看出,隨著C的增大,訓(xùn)練樣本的分類正確率越來(lái)越高,最終達(dá)到100%,測(cè)試樣本的分類正確率逐漸增大達(dá)到90%左右后逐漸減小,穩(wěn)定性較好。
圖5表示各個(gè)房間的具體分類情況,可以看到,每個(gè)房間的分類正確率都達(dá)到了80%以上,分類效果很好。
圖5 基于ELM-LRF分類的混淆結(jié)果Fig.5 Confusion results based on ELM-LRF classification
利用SVM對(duì)激光雷達(dá)測(cè)距數(shù)據(jù)進(jìn)行分類實(shí)驗(yàn),測(cè)試結(jié)果如圖6所示。
圖6 基于SVM分類的混淆結(jié)果Fig.6 Confusion results based on SVM classification
與圖5進(jìn)行對(duì)比可見,應(yīng)用ELM-LRF的房間分類測(cè)試結(jié)果比SVM要好,前者每一類房間的識(shí)別率都比后者高很多,且前者的訓(xùn)練時(shí)間比后者快幾十倍。
圖7展示了數(shù)據(jù)采集平臺(tái),在移動(dòng)機(jī)器人Pioneer P3-DX上安裝激光測(cè)距雷達(dá)Hokuyo URG,其離地高度約為30 cm,測(cè)量半徑為5.6 m,掃描范圍為240°,同時(shí)在移動(dòng)機(jī)器人平臺(tái)上安裝里程計(jì),激光雷達(dá)測(cè)距信息與相應(yīng)的里程計(jì)讀數(shù)以10 幀/s的頻率輸出到計(jì)算機(jī),這樣便記錄下了該場(chǎng)景下的測(cè)量信息。
圖7 DR Dataset數(shù)據(jù)采集平臺(tái)Fig.7 DR Dataset data acquisition platform
原始的測(cè)量數(shù)據(jù)包括時(shí)間戳、激光雷達(dá)測(cè)距數(shù)據(jù)、里程計(jì)讀數(shù)等信息,分別將每組測(cè)量數(shù)據(jù)的激光雷達(dá)范圍掃描數(shù)據(jù)提取出來(lái),轉(zhuǎn)化為二值化圖像并將像素矩陣作為ELM-LRF的輸入樣本。每類場(chǎng)景中,隨機(jī)選取80%的樣本組成訓(xùn)練集,其余樣本組成測(cè)試集,同時(shí)生成相應(yīng)的訓(xùn)練標(biāo)簽矩陣和測(cè)試標(biāo)簽矩陣。
在K分別為10,20,30,40的情況下,調(diào)節(jié)C從10-5增長(zhǎng)到104,實(shí)驗(yàn)結(jié)果如圖8所示。
圖8 測(cè)試正確率變化規(guī)律圖Fig.8 Correct rate of test
從圖中可看出,隨著C的增大,測(cè)試正確率逐漸升高,當(dāng)C=10時(shí)正確率達(dá)到最大值,隨后逐漸降低。K越大,測(cè)試正確率越高,當(dāng)C=10,K=40時(shí),總體的測(cè)試正確率最高,達(dá)到89%左右。表1描述了當(dāng)C=10,K=40時(shí),訓(xùn)練集與測(cè)試集的樣本組成情況以及各類房間測(cè)試集分類結(jié)果的具體情況,每類場(chǎng)景的識(shí)別率均在80%以上。
表1 樣本集組成與分類結(jié)果統(tǒng)計(jì)表
實(shí)驗(yàn)結(jié)果說明,本文提出的方法可有效地應(yīng)用于真實(shí)的室內(nèi)場(chǎng)景。
本文將激光雷達(dá)測(cè)距數(shù)據(jù)轉(zhuǎn)化為圖像信息,用于處理移動(dòng)機(jī)器人的室內(nèi)場(chǎng)景識(shí)別問題,將基于局部感受野的極限學(xué)習(xí)機(jī)作為分類器,大大提高了分類效果。實(shí)驗(yàn)結(jié)果證明:本文提出的方法可滿足移動(dòng)機(jī)器人對(duì)室內(nèi)場(chǎng)景識(shí)別的要求,適用于各種室內(nèi)環(huán)境。