柳學(xué)猛，張 凱，馬 躍

(1.國家能源集團(tuán)寧夏煤業(yè)有限責(zé)任公司，寧夏 銀川 750011；2.中國煤炭科工集團(tuán)太原研究院，山西 太原 030006)

煤炭作為我國的“工業(yè)糧食”，為我國的工業(yè)發(fā)展做出了重要貢獻(xiàn)。依據(jù)我國富煤、貧油、少氣的資源稟賦，未來一段時(shí)間內(nèi)煤炭仍將是我國的主要支柱能源。隨著煤炭開采深度的增加，煤炭開采的環(huán)境日益復(fù)雜，為了提高煤炭開采的效率，減少人員傷亡，國家提倡機(jī)械化減人、自動(dòng)化換人，從而建設(shè)成無人化的智慧礦山[1]。巷道掘進(jìn)作為煤炭開采的重要組成部分，掘進(jìn)智能化是實(shí)現(xiàn)智慧礦山的必要條件，其中掘進(jìn)機(jī)位姿參數(shù)的檢測(cè)對(duì)掘進(jìn)機(jī)的自動(dòng)化以及無人化操作具有重要作用。

近年來，國內(nèi)學(xué)者對(duì)掘進(jìn)機(jī)的位姿檢測(cè)進(jìn)行了眾多研究，并取得了一定的研究成果。朱信平等[2]將全站儀與棱鏡相結(jié)合以實(shí)現(xiàn)掘進(jìn)機(jī)的位姿參數(shù)的測(cè)量；陶云飛等[3]提出了一種基于iGPS的掘進(jìn)機(jī)位姿測(cè)量方法并研究了測(cè)量誤差的分布規(guī)律；符世琛等[4]采用超寬帶的測(cè)量手段，結(jié)合定位基站自主行走功能，實(shí)現(xiàn)了掘進(jìn)機(jī)的自主定位定向；薛光輝等[5]通過激光跟蹤云臺(tái)與激光標(biāo)靶實(shí)現(xiàn)了掘進(jìn)機(jī)位姿參數(shù)測(cè)量；馮大龍[6]最早在掘進(jìn)機(jī)的無人駕駛中引入了捷聯(lián)慣導(dǎo)裝置。但以上研究中對(duì)于位姿測(cè)量的方法仍存在一定的不足，基于全站儀的測(cè)量方法測(cè)量路徑易遮擋，影響掘進(jìn)機(jī)位姿檢測(cè)的實(shí)時(shí)性跟連續(xù)性；基于超寬帶的位姿測(cè)量方法容易發(fā)生漫反射；由于單個(gè)傳感器存在局限性，部分學(xué)者將多個(gè)傳感器進(jìn)行融合用于掘進(jìn)機(jī)的位姿檢測(cè)，吳淼等[7]將捷聯(lián)慣導(dǎo)與二維里程計(jì)進(jìn)行了融合，改進(jìn)了捷聯(lián)慣導(dǎo)系統(tǒng)的姿態(tài)更新算法，二維里程計(jì)的使用彌補(bǔ)了慣導(dǎo)系統(tǒng)位置參數(shù)漂移嚴(yán)重的不足。

從前人研究可知，單個(gè)傳感器檢測(cè)精度較低，難以適應(yīng)煤礦井下復(fù)雜的環(huán)境，多個(gè)傳感器融合的位姿檢測(cè)方法系統(tǒng)相對(duì)復(fù)雜，但成本較高，位姿模型解算復(fù)雜。機(jī)器視覺技術(shù)具有非接觸、實(shí)時(shí)性好、獲取信息全面等優(yōu)點(diǎn)，目前在煤礦井下得到了廣泛應(yīng)用，主要的應(yīng)用方面有煤倉煤位檢測(cè)[8]、水火災(zāi)監(jiān)控[9]、礦井人員跟蹤[10]、綜采設(shè)備的調(diào)直[11]等。本文以懸臂式掘進(jìn)機(jī)為研究對(duì)象，分析了基于機(jī)器視覺的掘進(jìn)機(jī)位姿檢測(cè)技術(shù)的研究現(xiàn)狀，介紹了基于視覺的位姿檢測(cè)方法所涉及的關(guān)鍵技術(shù)，總結(jié)了目前存在的難題并指明未來的發(fā)展方向。

1 基于視覺的掘進(jìn)機(jī)位姿檢測(cè)研究現(xiàn)狀

掘進(jìn)機(jī)工作面智能化掘進(jìn)以無人化為終極目標(biāo)，掘進(jìn)機(jī)無人化操作需實(shí)時(shí)感知掘進(jìn)機(jī)在煤巷中的位姿，以掘進(jìn)機(jī)的實(shí)時(shí)位姿參數(shù)為反饋，在巷道掘進(jìn)過程對(duì)掘進(jìn)機(jī)進(jìn)行實(shí)時(shí)糾偏，從而使掘進(jìn)機(jī)按照巷道設(shè)計(jì)軸線進(jìn)行掘進(jìn)。近年來，不少研究者致力于掘進(jìn)機(jī)位姿視覺檢測(cè)方法的研究，取得了一定的研究成果。

田原[12]將激光指向儀與視覺系統(tǒng)相結(jié)合實(shí)現(xiàn)了掘進(jìn)機(jī)的定位(圖1)，激光指向儀在掘進(jìn)機(jī)機(jī)身產(chǎn)生特征點(diǎn)陣，相機(jī)實(shí)時(shí)采集特征點(diǎn)陣圖像，采用圖像預(yù)處理以及目標(biāo)識(shí)別方法，得到掘進(jìn)機(jī)機(jī)身上特征點(diǎn)陣的像素坐標(biāo)，解算位姿參數(shù)模型，得到巷道掘進(jìn)過程中掘進(jìn)機(jī)在巷道坐標(biāo)系下的實(shí)時(shí)位姿。試驗(yàn)結(jié)果表明，位姿檢測(cè)系統(tǒng)的位置參數(shù)的偏移量為3.5 mm，姿態(tài)角中的航向角的偏差為0.5°，俯仰角以及橫滾角的偏差為0.1°。

圖1 基于視覺的位姿檢測(cè)系統(tǒng)組成示意圖Fig.1 Schematic diagram of vision-basedpose detection system

杜雨馨等[13]構(gòu)建了一套基于機(jī)器視覺的掘進(jìn)機(jī)位姿檢測(cè)系統(tǒng)(圖2)，該系統(tǒng)由紅綠藍(lán)兩種十字激光器、防爆相機(jī)、激光標(biāo)靶組成。該系統(tǒng)工作時(shí)，雙十字激光器發(fā)射激光，相機(jī)采集激光標(biāo)靶圖像，經(jīng)過圖像預(yù)處理以及圖像特征的檢測(cè)，獲取雙十字激光形成的十個(gè)像素坐標(biāo)，利用相機(jī)成像原理以及坐標(biāo)系的轉(zhuǎn)換關(guān)系，得到掘進(jìn)機(jī)在巷道坐標(biāo)系下的位姿。試驗(yàn)結(jié)果表明，在一定測(cè)量范圍內(nèi)，系統(tǒng)的姿態(tài)角測(cè)量誤差在0.5°范圍內(nèi)，機(jī)身位置誤差在20 mm以內(nèi)，滿足巷道掘進(jìn)過程中掘進(jìn)機(jī)位姿參數(shù)測(cè)量的實(shí)施性與精確性。

圖2 基于雙十字激光額掘進(jìn)機(jī)位姿檢測(cè)示意圖Fig.2 Schematic diagram of position and pose detectionof roadheader based on double crosshead laser

楊文娟等[14]采用激光束作為掘進(jìn)機(jī)位姿檢測(cè)的信號(hào)來源，系統(tǒng)組成如圖3所示，其中激光指向儀發(fā)射激光，防爆相機(jī)采集激光束，得到激光直線束圖像，利用相機(jī)投影模型以及直線像素坐標(biāo)，解算出相機(jī)坐標(biāo)系與定位模型坐標(biāo)系的轉(zhuǎn)換關(guān)系，進(jìn)而利用全站儀對(duì)定位坐標(biāo)系的標(biāo)定，得到掘進(jìn)機(jī)在巷坐標(biāo)系下的位姿。試驗(yàn)結(jié)果表明，機(jī)身姿態(tài)角的測(cè)量誤差在0.5°范圍內(nèi)，滿足巷道掘進(jìn)過程中對(duì)掘進(jìn)機(jī)位姿參數(shù)測(cè)量的實(shí)時(shí)性、精確性的要求。

圖3 基于兩點(diǎn)三線的掘進(jìn)機(jī)位姿檢測(cè)模型Fig.3 Model of position and pose detection of roadheaderbased on two points and three lines

基于視覺的掘進(jìn)機(jī)位姿檢測(cè)方法主要以相機(jī)為基礎(chǔ)，以激光特征為信號(hào)來源，通過圖像處理技術(shù)以及相機(jī)投影模型，解算出掘進(jìn)機(jī)機(jī)身相對(duì)于巷道坐標(biāo)系的坐標(biāo)。其中，涉及的關(guān)鍵技術(shù)包括圖像去噪、圖像增強(qiáng)特征檢測(cè)方法以及利用相機(jī)投影模型形成的掘進(jìn)機(jī)位姿解算模型。

2 基于視覺的掘進(jìn)機(jī)位姿檢測(cè)關(guān)鍵技術(shù)

基于視覺的掘進(jìn)機(jī)位姿檢測(cè)以圖像為信息載體，采用圖像預(yù)處理技術(shù)改善圖像質(zhì)量，提取圖像中顯著的特征，利用顯著的特征像素構(gòu)建掘進(jìn)機(jī)位姿檢測(cè)模型，從而借助相機(jī)投影模型解算掘進(jìn)機(jī)位姿參數(shù)。

2.1 圖像預(yù)處理技術(shù)

煤礦井下環(huán)境復(fù)雜，高煤塵、低光照、強(qiáng)振動(dòng)對(duì)圖像質(zhì)量影響較大，不利于圖像特征的提取，為了突出圖像中的顯著特征，便于識(shí)別與解釋，需要對(duì)圖像進(jìn)行預(yù)處理。杜雨馨等[13]采用多尺度Retinex算法對(duì)激光標(biāo)靶圖像進(jìn)行處理，該算法可以對(duì)圖像像素范圍進(jìn)行動(dòng)態(tài)壓縮，且在圖像色彩均衡方面有較好效果，實(shí)驗(yàn)驗(yàn)證該算法在雙尺度且尺度因子分別為σ1=2，σ2=20的情況下，對(duì)圖像的處理效果較好。

基于視覺的掘進(jìn)機(jī)位姿檢測(cè)依據(jù)激光特征的不同，可分為激光光斑的掘進(jìn)機(jī)視覺位姿檢測(cè)以及激光直線的掘進(jìn)機(jī)視覺位姿檢測(cè)。圖像特征檢測(cè)方法以局部特征為主，局部特征通常指與最近鄰域相區(qū)別的像素鄰域，該像素鄰域通過構(gòu)造特征量，來減少圖像發(fā)生尺度、旋轉(zhuǎn)、變化所帶來的影響，所以局部特征通常指局部不變特征。常用的圖像局部特征有圓和直線，基于視覺的掘進(jìn)機(jī)位姿檢測(cè)以激光光斑與激光直線為主，利用圓和直線特征實(shí)現(xiàn)掘進(jìn)機(jī)視覺位姿檢測(cè)。激光光斑的識(shí)別以圓特征的檢測(cè)為基礎(chǔ)，常用的圓特征檢測(cè)有加權(quán)質(zhì)心法、Hough變換法、圓擬合法、高斯曲面擬合算法[14]，其中算法性能對(duì)比見表1。

表1 圓特征檢測(cè)算法性能比較Table 1 Performance comparison of circle featuredetection algorithms

由表1可知，以運(yùn)算時(shí)間為代價(jià)的高斯曲面擬合算法精確度較高，加權(quán)質(zhì)心法與圓擬合法運(yùn)算速度較快但抗干擾能力較弱、精確度較低，Hough變換法雖然運(yùn)算速度一般但精確度高，在要求運(yùn)算速度一般的場(chǎng)合下，Hough變換法相對(duì)于加權(quán)質(zhì)心法與圓擬合法有較強(qiáng)優(yōu)勢(shì)，同時(shí)具有與高斯曲面擬合算法一樣的抗干擾能力。

2.2 基于視覺的掘進(jìn)機(jī)位姿檢測(cè)模型

基于視覺的掘進(jìn)機(jī)位姿檢測(cè)主要利用相機(jī)針孔成像原理，并通過相機(jī)坐標(biāo)系、機(jī)身坐標(biāo)系、巷道坐標(biāo)系的相互變換來實(shí)現(xiàn)掘進(jìn)機(jī)位姿的檢測(cè)。其中，相機(jī)針孔成像模型表示三維物體點(diǎn)與圖像二維像素點(diǎn)之間的映射關(guān)系，這種映射關(guān)系通常利用相機(jī)內(nèi)參來表達(dá)，而掘進(jìn)機(jī)的外參表示相機(jī)相對(duì)于參考物之間的矩陣變換。杜雨馨等[13]利用相機(jī)成像原理建立了基于雙十字激光線的掘進(jìn)機(jī)位姿視覺檢測(cè)模型，其中雙十字激光直線形成雙十字激光面，固定于機(jī)身的激光標(biāo)靶得到雙十字激光直線，進(jìn)而利用特征直線檢測(cè)方法得到特征直線的像素坐標(biāo)，如圖4所示，從而求得雙十字激光面的方向向量，利用矩陣變換求得掘進(jìn)機(jī)在巷道坐標(biāo)系下的位姿。

圖4 基于雙十字激光線掘進(jìn)機(jī)位姿視覺檢測(cè)模型Fig.4 Model for vision detection of position and poseof roadheader based on double cross laser

楊文娟等[14]利用相機(jī)成像模型建立了基于兩點(diǎn)三線的掘進(jìn)機(jī)位姿視覺檢測(cè)模型，其中相機(jī)坐標(biāo)系的焦點(diǎn)坐標(biāo)以及三維空間的特征直線、二維圖像坐標(biāo)系的投影直線構(gòu)成虛擬平面，如圖5所示，并利用平面代數(shù)的方法得到三維空間的特征直線方向向量，結(jié)合三條激光直線的交點(diǎn)在定位模型坐標(biāo)系的坐標(biāo)[15]，并利用矩陣的線性變換，得到掘進(jìn)機(jī)的旋轉(zhuǎn)矩陣與平移向量。

圖5 基于兩點(diǎn)三線的掘進(jìn)機(jī)位姿視覺檢測(cè)模型Fig.5 Vision detection model of roadheader position andpose based on two points and three lines

3 基于視覺的掘進(jìn)機(jī)位姿檢測(cè)發(fā)展趨勢(shì)

3.1 提升圖像采集硬件

基于視覺的掘進(jìn)機(jī)位姿檢測(cè)利用圖像作為位姿檢測(cè)的特征來源，但井下低照度、高粉塵的惡劣巷道環(huán)境嚴(yán)重影響圖像的質(zhì)量，降低了掘進(jìn)機(jī)位姿檢測(cè)的精度，所以研究具有較強(qiáng)抗干擾能力的圖像采集裝置至關(guān)重要。開發(fā)具有除塵功能的圖像采集裝置，可以降低煤礦井下粉塵對(duì)圖像的影響，提高圖像質(zhì)量，降低圖像特征提取的難度。張福明[16]研究了一種防爆相機(jī)視窗自動(dòng)除塵裝置，該裝置主要有清潔裝置與數(shù)據(jù)采集裝置，其中數(shù)據(jù)采集裝置由能見度傳感器與視頻采集裝置構(gòu)成，能見度傳感器用來對(duì)粉塵濃度進(jìn)行監(jiān)控，視頻采集裝置實(shí)時(shí)采集能見度傳感器的數(shù)值，進(jìn)而通過清潔裝置來實(shí)現(xiàn)防爆相機(jī)視窗的清潔。胡而已等[17]提出相機(jī)鏡頭自揭膜和自動(dòng)除塵裝置，通過對(duì)鏡頭污染程度的判斷，進(jìn)行揭膜操作以及自動(dòng)清洗。

研究煤礦井下低照度環(huán)境下的圖像采集裝置，有利于提高掘進(jìn)機(jī)位姿視覺檢測(cè)系統(tǒng)的適應(yīng)性，促進(jìn)視覺技術(shù)在煤機(jī)裝備上的應(yīng)用。杭州?？低晹?shù)字技術(shù)股份有限公司研究了一種能在低照度環(huán)境下進(jìn)行彩色圖視覺體驗(yàn)的黑光相機(jī)，該相機(jī)提升了圖像的信噪比、解析度、色彩還原度等性能，改善了煤礦井下低照度環(huán)境下圖像采集的質(zhì)量。

近年來，嵌入式系統(tǒng)因便捷、靈巧，得到快速發(fā)展，系統(tǒng)內(nèi)部集成針對(duì)各種特殊場(chǎng)景下的圖像處理方法，大大提高了圖像采集系統(tǒng)的適應(yīng)性，同時(shí)也集成了大量深度學(xué)習(xí)以及人工智能算法，提高了圖像自適應(yīng)處理能力，隨著新技術(shù)的發(fā)展，嵌入式系統(tǒng)的集成度將得到有效提高，圖像處理能力增強(qiáng)，成本大幅度降低，將會(huì)在煤礦井下的圖像處理場(chǎng)景中得到大幅應(yīng)用。

3.2 提高視覺檢測(cè)系統(tǒng)的冗余性

基于視覺的掘進(jìn)機(jī)位姿檢測(cè)系統(tǒng)，依靠單一視覺技術(shù)對(duì)煤機(jī)裝備進(jìn)行位姿檢測(cè)以及定位定向容易受巷道復(fù)雜環(huán)境的影響，導(dǎo)致位姿檢測(cè)精度以及定位精度的降低，難以滿足煤礦井下的實(shí)際應(yīng)用，因此采用多信息融合的掘進(jìn)機(jī)位姿檢測(cè)方法，有利于提高檢測(cè)系統(tǒng)的穩(wěn)定性，常用于進(jìn)行融合的技術(shù)有激光測(cè)距技術(shù)、慣導(dǎo)技術(shù)、全站儀測(cè)量技術(shù)等，在結(jié)合視覺技術(shù)獲取信息全面的情況下，彌補(bǔ)視覺測(cè)量技術(shù)易遮擋、適應(yīng)差的缺點(diǎn)。

黃東等[18]使用捷聯(lián)慣導(dǎo)與單目視覺相結(jié)合的測(cè)量系統(tǒng)，實(shí)現(xiàn)了掘進(jìn)機(jī)的位姿測(cè)量。其依據(jù)運(yùn)動(dòng)載體上的相機(jī)外參隨運(yùn)動(dòng)載體的變化而變化，通過捷聯(lián)慣導(dǎo)得到相機(jī)外參中的旋轉(zhuǎn)矩陣，并以激光點(diǎn)圖像作為信息來源，從攝像機(jī)的成像模型中解算出位置變量。何斐彥等[19]在雙盾隧道掘進(jìn)機(jī)中使用了傾角儀與單目視覺的組合完成了雙盾掘進(jìn)機(jī)前后盾位姿的檢測(cè)，其中光學(xué)特征點(diǎn)系統(tǒng)由空間幾何位置已知的主動(dòng)發(fā)光點(diǎn)構(gòu)成，傾角儀用來測(cè)得特征點(diǎn)系統(tǒng)的旋轉(zhuǎn)角度以及攝像機(jī)系統(tǒng)的旋轉(zhuǎn)角度，通過矩陣間的求逆變換以及相機(jī)內(nèi)參變換公式，從而得出前后盾的位姿。

3.3 改進(jìn)特征提取算法

基于視覺測(cè)量技術(shù)的位姿檢測(cè)系統(tǒng)，特征提取的準(zhǔn)確率決定著檢測(cè)系統(tǒng)的精度，煤礦巷道環(huán)境復(fù)雜，采集的圖像特征提取的難度較大，現(xiàn)有的圖像特征提取算法依據(jù)環(huán)境的不同，需要采用不同的特征提取算法，且需要修改算法的參數(shù)，環(huán)境適應(yīng)性較差，因此，需要研究環(huán)境適應(yīng)性強(qiáng)的特征提取算法，根據(jù)環(huán)境特征實(shí)時(shí)進(jìn)行調(diào)整，進(jìn)而提高圖像特征提取的準(zhǔn)確度，提高位姿檢測(cè)精度，提升系統(tǒng)的魯棒性。

目前，位姿檢測(cè)方法大多采用激光束在激光標(biāo)靶的成像以及激光光學(xué)靶標(biāo)構(gòu)建視覺特征，需要在相機(jī)視野內(nèi)能夠?qū)崟r(shí)采集這些特征，但在煤礦巷道中設(shè)備繁雜，容易出現(xiàn)激光光線被遮擋以及相機(jī)采集的激光光學(xué)靶標(biāo)不完全，所以需要研究一定條件下相機(jī)采集的激光點(diǎn)線圖像不完全的掘進(jìn)機(jī)位姿視覺檢測(cè)方法。

4 結(jié) 論

巷道掘進(jìn)是煤炭開采的重要環(huán)節(jié)，而掘進(jìn)裝備位姿檢測(cè)與智能控制是實(shí)現(xiàn)巷道掘進(jìn)信息感知以及自動(dòng)執(zhí)行的關(guān)鍵，是實(shí)現(xiàn)煤礦智能化的基礎(chǔ)。視覺測(cè)量方法在測(cè)量領(lǐng)域具有非接觸、獲取信息全面的優(yōu)點(diǎn)，因此在掘進(jìn)裝備位姿檢測(cè)與智能控制中具有重要作用，主要結(jié)論如下所述。

1) 掘進(jìn)裝備位姿檢測(cè)作為掘進(jìn)機(jī)裝備智能化發(fā)展的前沿技術(shù)已取得了較大進(jìn)展，其中圖像預(yù)處理技術(shù)較大地提高了掘進(jìn)機(jī)位姿檢測(cè)環(huán)境信息的清晰度，位姿檢測(cè)模型越來越精確，能更好地模擬井下實(shí)際工況。

2) 煤礦巷道環(huán)境復(fù)雜，高粉塵低照度的環(huán)境嚴(yán)重影響了圖像采集的質(zhì)量，所以圖像采集裝置有待提高，特征提取的準(zhǔn)確率以及基于視覺的掘進(jìn)機(jī)位姿檢測(cè)系統(tǒng)的穩(wěn)定性有待改善。