武 濤 ,楊文旺 ,蘇 勇 ,趙玉華

(1.北礦機電科技有限責任公司,北京 100160;2.礦冶科技集團有限公司,北京 100160)

傳統(tǒng)選礦車間人工巡檢量大,且高速運轉設備多、噪音大、藥劑味道濃烈、粉塵多,給操作人員的安全和健康帶來較大威脅。機器人是人工智能技術的重要應用領域,自21 世紀以來,已經成為前沿高新技術研究最活躍的領域之一,對經濟和社會發(fā)展產生了巨大推動作用[1]。目前在金屬礦山領域已經出現(xiàn)了選礦過程智能巡檢機器人替代人工巡檢的技術。通過選礦車間定位導航技術、機器人機械結構與測控技術、多傳感器信息融合的智能分析決策技術,形成了一臺具備智能行走、智能感知、智能決策,云端監(jiān)控等功能的智能巡檢機器人,實現(xiàn)對選礦車間全天候、全方位、全自主智能巡檢和監(jiān)控,有效降低勞動強度和運維成本,提高巡檢效率和管理智能化水平[2]。

定位導航技術是選礦機器人實現(xiàn)自主化和智能化的核心,常見的機器人定位導航方式包含地磁導航、慣性導航、激光雷達導航等[3]。其中地磁導航和慣性導航均需要在地面敷設引導物,存在線路固定、靈活性差、易破損等問題[4]。圖1 是礦冶科技集團研制的全球首臺套搖床巡檢機器人,并在云南某選礦廠成功應用,其導航方式屬于地磁導航。激光導航雷達導航方式雖然定位精度較高,但激光掃描傳感器成本高昂且體積較大。

圖1 搖床巡檢機器人工業(yè)應用

針對以上問題,本文擬研究基于雙目視覺傳感器和深度傳感器融合的VSLAM(基于視覺的即時定位與地圖構建)導航技術,通過研究點云地圖的構建與路徑規(guī)劃方法,形成選礦巡檢機器人視覺導航技術及控制軟件產品,解決機器人在選礦復雜工業(yè)環(huán)境內定位不準的難題。

1 選礦機器人VSLAM 導航主要技術框架

VSLAM (Visual Simultaneous Localization and Mapping),是指機器人在位置環(huán)境中通過視覺傳感器信息確定自身空間位置,并建立所處空間的環(huán)境模型[5]。它通過傳感器數(shù)據(jù)預處理方法、前端視覺里程計算方法、回環(huán)檢測和點云建圖定位和規(guī)劃路徑方法,形成三維地圖構建和導航技術。主要的技術框架如圖2 所示。

圖2 VSLAM 技術框架圖

傳感器數(shù)據(jù)預處理:VSLAM 傳感器主要的組成功能模塊有工業(yè)相機、慣性測量單元等,在進行應用過程中可以對數(shù)據(jù)進行標定處理以及數(shù)據(jù)的同步。

前端(視覺里程計):主要根據(jù)相鄰兩幀圖像數(shù)據(jù)來分析相機運動進行研究。通過把相機采集到的幀數(shù)據(jù)串聯(lián)起來形成一個完整的運動軌跡,就可以比較好地解決定位問題。通過對串聯(lián)起來的幀數(shù)據(jù)進行分析可以得到像素空間位置,在處理中主要采用了視覺相關算法。

后端(非線性優(yōu)化):主要是對前端傳輸?shù)臄?shù)據(jù)進行優(yōu)化和處理,得到比較精準的數(shù)據(jù)。主要有兩種方法:一種是基于濾波理論來對位姿數(shù)據(jù)進行優(yōu)化,常用的方法有EKF、PF、RBPF、UKF 等。在早期的系統(tǒng)應用中以EKF 方法為主,在實際應用中主要是把獲取到的狀態(tài)數(shù)據(jù)進行線性化處理,然后采用高斯分布的方法來對系統(tǒng)中的噪聲進行處理,通過采用卡爾曼濾波方法來對這些數(shù)據(jù)進行更新。但在實際應用過程中,對噪聲較高的數(shù)據(jù)無法有效處理,所以在線性化處理的過程中會丟失高階項。另一種是非線性優(yōu)化,這種方法在應用中是把變量作為圖像中的一個節(jié)點,通過迭代更新使精度得到保障。

回環(huán)檢測:在系統(tǒng)中主要完成機器人路徑規(guī)劃數(shù)據(jù)的識別,機器人能夠識別到自己走過的數(shù)據(jù),可以有效解決位置漂移問題。在系統(tǒng)中通過采用視覺回環(huán)檢測的功能可以對相機捕獲圖像的相似性進行分析,達到與人眼直接判斷位置數(shù)據(jù)一致的效果。由于系統(tǒng)采集的圖像數(shù)據(jù)比較豐富,因此應用VSLAM 系統(tǒng)有比較大優(yōu)勢。在完成數(shù)據(jù)的檢測后會把這些數(shù)據(jù)回傳到后端調用算法來進行處理,從而最大限度地消除累積誤差。

建立地圖:VSLAM 在進行應用中可以根據(jù)傳感器類型的不同來建立不同的地圖模型,通常在應用中建立的地圖有2D 柵格地圖、2D 拓撲地圖和3D點云地圖等。

2 選礦機器人VSLAM 定位導航算法

VSLAM 算法根據(jù)不同的原理可以分為直接法、間接法和混合法[6]。這些不同的方法應用場景存在一定的差異,直接法主要針對圖像中的每個像素進行計算,然后通過分析求得相機的位姿數(shù)據(jù)。因為在進行數(shù)據(jù)的獲取過程中會存在紋理稀疏區(qū)域的差異,所以要考慮算法的魯棒性。這種算法在實際應用過程中比較容易受到外部光線變化的影響。間接方法則依賴于特征的匹配,一方面這些數(shù)據(jù)要具有特異性,在進行數(shù)據(jù)提取過程中對光線變化不敏感,同時也可以比較精準地提取特征數(shù)據(jù)。這兩者需求很難兼顧,因此在實際應用的過程中,需要在特征數(shù)據(jù)提取速度與提取精度之間取得平衡。

特征算子和描述符:特征算子在整個系統(tǒng)中主要是完成對特征信息的提取,對所提取的特征數(shù)據(jù)還要進行描述,這樣就可以根據(jù)不同的特征數(shù)據(jù)的描述來分析出相似度。為了減小系統(tǒng)數(shù)據(jù)分析的誤差,會采用FAST 算子來完成對特征數(shù)據(jù)的檢測。

初始化:單目VSLAM 系統(tǒng)在應用的過程中需要對環(huán)境信息進行初始化處理。

位姿估計:因為數(shù)據(jù)組織存在比較大的計算量,目前所有的SLAM 系統(tǒng)應用的過程中都會采用位姿數(shù)據(jù)進行校驗。MONO-SLAM 在應用的過程中會首先假設相機的位置信息,然后通過兩個幀數(shù)據(jù)之間的運動模型分析出位姿的詳細信息,但是需要系統(tǒng)對位姿變化有比較敏感的功能。LSD-SLAM 和SVO在進行高幀頻率數(shù)據(jù)的處理過程中并不是非常明顯,所以會采用當前幀數(shù)據(jù)進行校驗和分析。

地圖生成:在地圖的應用中主要有尺度地圖和拓撲地圖。在實際應用過程中對地圖深度信息提取中可以比較直接地獲取到位置信息。尺度地圖在數(shù)據(jù)繪制中主要是通過不同稠密程度的點云數(shù)據(jù)進行描述。拓撲地圖可以很好的克服這一缺點。在VSLAM 的應用過程中會采用節(jié)點關鍵幀數(shù)據(jù)來完成地圖的拓撲數(shù)據(jù)繪制,這樣可以對大規(guī)模場景進行模擬,比較準確地獲取到相機的位置數(shù)據(jù)信息。

地圖維護:地圖優(yōu)化應用過程中主要是采用位姿優(yōu)化的方法,在具體過程中可以采用非線性優(yōu)化處理。

錯誤恢復:在系統(tǒng)實際運行的過程中存在比較多的問題,比如相機在劇烈運動的情況下會導致特征點的提取出現(xiàn)錯誤。為了有效提高整個系統(tǒng)運行的魯棒性,需要在系統(tǒng)設計中增加錯誤恢復能力,可以對不同的丟失數(shù)據(jù)進行追蹤。

3 選礦機器人VSLAM 技術方案與路線

選礦車間需要機器人智能巡檢的設備種類較多,例如磨機、浮選機和攪拌槽等多個設備。同時設備之間連接管道空間排布也較為復雜,這些復雜場景需要機器人所建點云地圖自適應能力強,同時定位精準才能達到智能巡檢要求。

由于視覺特征在應用過程中更傾向實物邊緣的檢測,容易導致數(shù)據(jù)測量過程中受到噪聲干擾,在具體應用的過程中為了減小誤差,本文采用可靠的深度數(shù)值來完成特征數(shù)據(jù)提取,應用中基于RGB-D SLAM 算法。在基于RGB-D 相機的三維重建中,輸入有深度信息和彩色信息,并且深度信息起主導作用,而在SLAM 和SFM 算法中輸入的主要是彩色信息。通過應用平面特征提取的方法可以有效提高整個系統(tǒng)的精度以及魯棒性,同時在應用過程中也可以使數(shù)據(jù)的測量更加合理。在這個過程匯總與ICP方法進行榮惡化可以實現(xiàn)視覺測量的精度,同時在應用中構建點云地圖,但是需要計算機設備具有GPU 加速。因為構建的是點云地圖,所以在應用的過程匯總會消耗一定計算資源,導致不容易進行維護,不利于機器人導航系統(tǒng)的應用。

在本文研究過程中提出ORB-SLAM(Oriented FAST and Rotated BRIEFSLAM)方案,ORB-SLAM 基于PTAM 架構,增加了地圖初始化和閉環(huán)檢測功能,優(yōu)化了關鍵幀選取和地圖構建的方法,在處理速度、追蹤效果和地圖精度上都取得了成效。實際應用中主要是根據(jù)圖像的序列來對具體的位姿進行實時計算,系統(tǒng)計算的魯棒性和精度都要優(yōu)于之前所選擇的方法,這種方案還支持單目、雙目和RGB-D 攝像機。ORB-SLAM 在實際應用的過程中可以對小尺度、大尺度等這些環(huán)境物體位姿進行實時的檢測,并提取物體特征數(shù)據(jù)來構建特征點地圖,同時還可以支持自動化的初始化功能。這種技術方案相比RGB-D SLAM,會存在構建稀疏特征點在實際應用領域有限,該方案更加側重于點位功能,在機器人應用過程中無法進行有效的避障以及路徑規(guī)劃。

為了解決存在的這些問題,在本文中將采用基于八叉樹結構的高效、緊湊的地圖構建算法。八叉樹的基本思想是,遞歸地把空間分成八個方塊,這些方塊在內存中以八叉樹的形式組織起來,每個樹的節(jié)點對應于空間中的一個方塊。用一個0～1 之間的浮點數(shù)來描述這個節(jié)點被(障礙物)占據(jù)的概率,0 表示未占據(jù),1 表示空閑,0.5 表示不確定。當某個節(jié)點下所有子節(jié)點的概率都相同時(如都被占據(jù),都是空閑或都是不確定),則將這些子節(jié)點通過剪枝修剪掉,只保留父節(jié)點,從而節(jié)省內存。通過八叉數(shù)算法可以高效完成對深度數(shù)據(jù)的采集,同時也可以構建點云地圖,大大減少了內存占用,通過該技術可以構建適合選礦機器人系統(tǒng)應用的數(shù)據(jù)地圖。選礦機器人VSLAM 巡檢系統(tǒng)方案圖如圖3 所示。

圖3 選礦機器人VSLAM 巡檢系統(tǒng)方案圖

4 結論

本文提出了一種基于雙目視覺傳感器和深度傳感器融合的VSLAM 導航技術,集成在選礦巡檢機器人系統(tǒng)中較好解決了長期存在的定位精度差、構建地圖不準等問題。同時該技術將會豐富機器人定位導航產品,促進有色行業(yè)人工智能與實體經濟結合,具有較大經濟效益和良好社會效益。

圖4 搖床設備巡檢機器人構建地圖