涂思羽，彭平安，蔣元建

(中南大學(xué) 資源與安全工程學(xué)院，湖南 長沙 410083)

0 引言

礦山井下作業(yè)環(huán)境復(fù)雜惡劣，安全生產(chǎn)事故頻發(fā)，井下作業(yè)人員、設(shè)備、環(huán)境等系統(tǒng)安全難以保證，礦山生產(chǎn)效率被嚴(yán)重制約。為使井下作業(yè)人員擺脫高危復(fù)雜環(huán)境，提高礦山開采效率，實(shí)現(xiàn)礦山本質(zhì)安全，將先進(jìn)的智能技術(shù)引入礦山已成為礦業(yè)技術(shù)發(fā)展的迫切需求。目前，無人化開采是當(dāng)前礦山開采的熱點(diǎn)問題，國外部分礦山，如EI Teniente地下銅礦、澳大利亞北部露天鐵礦、Solomon Hub鐵礦、智利Gaby銅礦、Gabriela Mistral銅礦等通過引入無人開采技術(shù)(機(jī)車、電鏟、卡車、火車無人駕駛；鑿巖臺(tái)車、鏟運(yùn)機(jī)自動(dòng)作業(yè))以保障礦山安全、高效生產(chǎn)[1-3]；國內(nèi)如普朗銅礦、建龍重工思山嶺鐵礦等礦山也逐步開始引入無人開采技術(shù)(卡車、電機(jī)車無人駕駛系統(tǒng)，遙控裝礦、自動(dòng)控制運(yùn)輸及卸載)[4-5]，礦業(yè)技術(shù)逐漸向智能化、無人化轉(zhuǎn)型升級，無人開采技術(shù)已經(jīng)逐漸成為國內(nèi)外礦業(yè)技術(shù)發(fā)展的必然趨勢。

目前，礦山無人開采技術(shù)仍處于發(fā)展階段，實(shí)現(xiàn)無軌裝備及其他各類型裝備自主行走和自主作業(yè)是礦山無人開采亟待突破的問題。實(shí)現(xiàn)無軌裝備及其他各類型裝備的自主行走和自主作業(yè)，要求裝備自身具有高度的智能化水平，如具備環(huán)境辨識(shí)、判斷思維、決策及響應(yīng)行為的能力。其中，作業(yè)環(huán)境辨識(shí)是無軌裝備及其他各類型裝備無人化作業(yè)的前提，是實(shí)現(xiàn)礦山無人化開采的關(guān)鍵環(huán)節(jié)，因此，開展礦山作業(yè)環(huán)境的智能識(shí)別研究具有重要的理論和現(xiàn)實(shí)意義。

近年來，大批國內(nèi)外學(xué)者從事井下作業(yè)環(huán)境識(shí)別技術(shù)研究，為礦山無人開采奠定技術(shù)基礎(chǔ)。如Hon、Ye等[6-8]利用無線射頻識(shí)別(RFID)技術(shù)實(shí)現(xiàn)對井下對象檢測、定位，但該技術(shù)需對每個(gè)對象貼上標(biāo)簽，系統(tǒng)構(gòu)成也較為復(fù)雜；Yalcin、Jin等[9-10]采用激光雷達(dá)技術(shù)實(shí)現(xiàn)對行徑路上的障礙物檢測，但是該技術(shù)的實(shí)時(shí)性和精度相對較低，同時(shí)整體系統(tǒng)需具有較高穩(wěn)定性和可靠性；孟宇等[11]運(yùn)用條碼識(shí)別方法識(shí)別路標(biāo)圖像，從而實(shí)現(xiàn)設(shè)備檢測，但準(zhǔn)確率較低，成本相對較高。上述研究方法所涉及的設(shè)備價(jià)格昂貴，技術(shù)結(jié)構(gòu)較為復(fù)雜，且僅能實(shí)現(xiàn)對井下對象的檢測定位，不能實(shí)現(xiàn)多對象的具體類型判斷。而無軌裝備除能檢測周邊環(huán)境對象外，亦能判斷對象的具體類型，從而對環(huán)境中各對象做出相應(yīng)的行為響應(yīng)。

隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，諸多學(xué)者采用深度學(xué)習(xí)方法對目標(biāo)對象進(jìn)行識(shí)別分類研究，取得了廣泛的應(yīng)用成果。識(shí)別分類的網(wǎng)絡(luò)模型日趨完善，如2012Alexnet、2014VGGNet 、2014GoogleNet、2015ResNet、2017Dense Net、2017SENet、Google Net和Inception V2、Inception V3、InceptionV4、InceptionResnetV2等[12-19]均能實(shí)現(xiàn)對象的精準(zhǔn)分類，且實(shí)時(shí)性高，但深度學(xué)習(xí)模型對井下復(fù)雜環(huán)境異常工況的識(shí)別分類研究鮮有涉及。因此，本文提出運(yùn)用深度學(xué)習(xí)模型幫助無軌裝備及其他各類型裝備識(shí)別異常工況，僅需配備車載攝像機(jī)和計(jì)算機(jī)系統(tǒng)就能具備識(shí)別分類能力，涉及設(shè)備數(shù)目少，成本較低，系統(tǒng)構(gòu)成簡單，且實(shí)時(shí)性和準(zhǔn)確性高。研究結(jié)果對實(shí)現(xiàn)無軌裝備及其他各類型裝備自主行走和自主作業(yè)(智能避障、無人駕駛、智能鏟裝、自動(dòng)卸礦)、提高礦產(chǎn)開采效率及保證人員安全具有重要意義，同時(shí)具有較高的應(yīng)用價(jià)值。

1 異常工況智能識(shí)別分類實(shí)驗(yàn)

1.1 實(shí)驗(yàn)原理

近年來，卷積神經(jīng)網(wǎng)絡(luò)(簡稱CNN)在圖像識(shí)別技術(shù)領(lǐng)域取得巨大成功，如人臉識(shí)別、醫(yī)學(xué)圖像識(shí)別等，CNN通過深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提取圖像的高層語義特征，完成復(fù)雜圖像的識(shí)別分類工作。一般卷積神經(jīng)網(wǎng)絡(luò)模型包含輸入層(Input)、卷積層(Convolution layer)、下采樣層(又稱池化層Pooling layer)、全連接層(Fully connected layer)、輸出層(Output)，其架構(gòu)如圖1所示。

圖1 一般卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)Fig.1 Convolution neural network architecture

卷積層通過卷積核滑動(dòng)，對圖像局部進(jìn)行卷積運(yùn)算，利用局部連接和權(quán)重共享的方式，極大降低參數(shù)數(shù)量，低層卷積主要提取圖像邊緣特征，高層卷積捕獲復(fù)雜組合性特征，再通過非線性激活函數(shù)Sigmoid、Tanh、ReLU強(qiáng)化識(shí)別能力[20]；池化層是對卷積后的特征圖進(jìn)行聚合統(tǒng)計(jì)，分為最大池化、平均池化[21-24]，可有效降低圖像維度，并保持圖像特征在一定程度上尺度不變的特性，極大減少計(jì)算量；全連接層將特征提取器提取的圖像特征進(jìn)行綜合。

Softmax分類器屬于多分類器，Adam是自適應(yīng)調(diào)整學(xué)習(xí)率的優(yōu)化算法，其算法如公式(1)所示：

mt=β1mt-1+(1-β1)gt
vt=β2vt-1+(1-β2)gt2

(1)

式中：t為時(shí)間，s；mt為對梯度的一階矩估計(jì)，vt為對梯度的二階矩估計(jì)，類似對期望E|gt|，E|gt2|的估計(jì)；β1和β2為矩估計(jì)的指數(shù)衰減速率，取值在0～1之間。

通過計(jì)算偏差校正，如公式(2)所示，m＾t和v＾t是對mt和vt的校正。

(2)

利用公式(3)進(jìn)行梯度更新：

(3)

式中：ε為數(shù)值穩(wěn)定的小常數(shù)，一般取值為10-8；μ為步長，一般取值為0.001。

ReLU非線性激活函數(shù)如公式(4)所示，值大于0的保留，反之取為0，該激活函數(shù)加快收斂速度，有效防止梯度消失和發(fā)散，一定程度上可防止過擬合。

(4)

批量正則化(Batch Normalization)方法加快網(wǎng)絡(luò)訓(xùn)練速度，如公式(5)所示：

(5)

式中：xk為輸入數(shù)據(jù)；x′k為xk歸一化后的數(shù)據(jù)；E[xk]為均值；Var[xk]為方差。

Dropout方法在模型訓(xùn)練時(shí)按一定比例更新部分神經(jīng)元參數(shù)，能有效防止過擬合。

1.2 實(shí)驗(yàn)方法

優(yōu)秀的網(wǎng)絡(luò)模型皆是基于大量標(biāo)注數(shù)據(jù)集(如COCO、ImageNet)訓(xùn)練而成，然而在實(shí)際應(yīng)用中，高質(zhì)量且具有標(biāo)簽的大型礦山井下數(shù)據(jù)集資源匱乏，難以支撐優(yōu)秀網(wǎng)絡(luò)模型，可能產(chǎn)生嚴(yán)重的過擬合問題。遷移學(xué)習(xí)將已訓(xùn)練好的模型參數(shù)遷移到新模型進(jìn)行新的模型訓(xùn)練[25]，可有效解決過擬合問題。因此，本文提出基于遷移學(xué)習(xí)進(jìn)行異常工況小數(shù)據(jù)集訓(xùn)練。首先增廣數(shù)據(jù)集，提取大規(guī)模數(shù)據(jù)集(ImageNet)預(yù)訓(xùn)練模型InceptionResnetV2的權(quán)重和特征向量用于新數(shù)據(jù)集訓(xùn)練的初始化；然后凍結(jié)分類器之前所有層，添加全連接層，重新訓(xùn)練1個(gè)完整的全連接模型，采用批量正則化(Batch Normalization)方法進(jìn)行批歸一化處理，使用ReLU激活函數(shù)，運(yùn)用Dropout方法防止網(wǎng)絡(luò)訓(xùn)練出現(xiàn)過擬合現(xiàn)象(訓(xùn)練準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于測試準(zhǔn)確率)；最后使用Softmax分類器進(jìn)行井下異常工況具體分類。主要研究框架如圖2所示。

圖2 研究框架Fig.2 Research framework

1.3 實(shí)驗(yàn)過程

1.3.1 構(gòu)建數(shù)據(jù)集

分析無軌裝備正常運(yùn)行和作業(yè)的主要影響因素，如表1所示，從而建立井下復(fù)雜環(huán)境4類異常工況(溜井、散落大塊與礦堆、損壞電纜和作業(yè)區(qū)內(nèi)其他車輛)數(shù)據(jù)集。根據(jù)礦山實(shí)地拍攝及Python爬蟲采集數(shù)據(jù)[26]，分為溜井、散落大塊與礦堆、損壞電纜和作業(yè)區(qū)內(nèi)其他車輛4類，各400張圖片，共計(jì)1 600張圖片，其中1 280張圖片作為訓(xùn)練集，另各選40張作為驗(yàn)證集，選擇160張圖片作為測試集。在小樣本情況下進(jìn)行深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練常發(fā)生過擬合問題，因此，采用數(shù)據(jù)增強(qiáng)方法(旋轉(zhuǎn)變換、平移變換、縮放變換、翻轉(zhuǎn)變換)進(jìn)行圖像源數(shù)據(jù)預(yù)處理，擴(kuò)充數(shù)據(jù)樣本量。

表1 主要影響因素Table1 Main affecting factors

1.3.2 實(shí)驗(yàn)平臺(tái)及參數(shù)設(shè)置

實(shí)驗(yàn)基于Ubuntu16.04系統(tǒng)，使用開源深度學(xué)習(xí)框架Tensorflow的高級API Keras作為開發(fā)環(huán)境，使用GPU加速模型訓(xùn)練。

在模型訓(xùn)練過程中，為獲得更好的梯度下降性能，需選擇最佳學(xué)習(xí)率、Dropout值等，同時(shí)使用批量正則化(Batch Normalization)方法，基于ReLU激活函數(shù)、交叉熵?fù)p失函數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，最后使用4分類的Softmax分類器識(shí)別分類，實(shí)驗(yàn)參數(shù)設(shè)置見表2。

表2 實(shí)驗(yàn)參數(shù)Table 2 Experimental parameters

2 實(shí)驗(yàn)結(jié)果及分析

基于InceptionResnetV2預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練及測試，采用添加不同全連接層的遷移策略進(jìn)行實(shí)驗(yàn)對比分析，得出最終實(shí)驗(yàn)結(jié)果。

2.1 策略一

首先凍結(jié)預(yù)訓(xùn)練模型的特征提取網(wǎng)絡(luò)層，全局平均池化層處于最后卷積塊之后。然后添加1層全連接層，神經(jīng)元個(gè)數(shù)分別設(shè)置為4 096，2 048，1 024，512，分別重新訓(xùn)練1個(gè)完整的全連接模型。實(shí)驗(yàn)迭代300次，詳細(xì)參數(shù)設(shè)置如表1所示，模型訓(xùn)練過程的訓(xùn)練準(zhǔn)確率均趨于100%，訓(xùn)練損失均趨于0，但驗(yàn)證準(zhǔn)確率和驗(yàn)證損失有較大差異，如圖3所示，圖3(a)代表全連接層不同神經(jīng)元個(gè)數(shù)的驗(yàn)證準(zhǔn)確率曲線，圖3(b)代表相應(yīng)的驗(yàn)證損失曲線。

圖3 結(jié)果比較分析(策略一)Fig.3 Results comparison analysis(Strategy One)

由圖3可知，當(dāng)全連接層神經(jīng)元個(gè)數(shù)為4 096時(shí)，驗(yàn)證準(zhǔn)確率趨于100%，驗(yàn)證損失趨于0，模型收斂性能相較于其他模型好，隨著全連接層的個(gè)數(shù)逐漸降低，模型收斂性能逐漸減弱。 同時(shí)，可以分析得出，全連接層的神經(jīng)元個(gè)數(shù)越多，模型驗(yàn)證準(zhǔn)確率越高，成正相關(guān)關(guān)系；損失與神經(jīng)元個(gè)數(shù)成負(fù)相關(guān)關(guān)系。因此，全連接層的神經(jīng)元個(gè)數(shù)是影響模型性能的關(guān)鍵因素，而由于添加單層全連接層的損失未完全接近于零，所以需進(jìn)一步討論全連接層層數(shù)與模型性能的關(guān)系。

2.2 策略二

將全連接層設(shè)置為2層，2層神經(jīng)元個(gè)數(shù)分別設(shè)置為4 096與4 096，2 048與2 048，1 024與1 024，512與512，其他實(shí)驗(yàn)參數(shù)設(shè)置如表1所示，模型訓(xùn)練過程的訓(xùn)練準(zhǔn)確率均趨于100%，訓(xùn)練損失均趨于0，但驗(yàn)證準(zhǔn)確率和驗(yàn)證損失存在差異，如圖4所示，其中圖4(a)代表全連接層每層不同神經(jīng)元個(gè)數(shù)的準(zhǔn)確率曲線，圖4(b)代表相應(yīng)的損失曲線。

由圖4可知，當(dāng)全連接層2層神經(jīng)元的個(gè)數(shù)均為4 096時(shí)，模型收斂性能最佳，驗(yàn)證準(zhǔn)確率最佳(達(dá)到100%)，驗(yàn)證損失幾乎接近零。同時(shí)，隨著神經(jīng)元個(gè)數(shù)的減少，模型需要更多的迭代次數(shù)才能達(dá)到較好的驗(yàn)證準(zhǔn)確率，使驗(yàn)證損失降到最低。因此，2層全連接層的神經(jīng)元個(gè)數(shù)越多，模型驗(yàn)證準(zhǔn)確率越高，相應(yīng)的驗(yàn)證損失也就越低，得出的規(guī)律與策略一實(shí)驗(yàn)得出的規(guī)律一致。

最后，將策略一實(shí)驗(yàn)得出的全連接層神經(jīng)元個(gè)數(shù)為4 096的最優(yōu)模型訓(xùn)練過程與策略二實(shí)驗(yàn)得出的2層全連接層及神經(jīng)元個(gè)數(shù)為4 096的最優(yōu)模型訓(xùn)練過程進(jìn)行最終比較分析，結(jié)果如圖5所示。其中，圖5(a)代表全連接層不同神經(jīng)元個(gè)數(shù)的驗(yàn)證準(zhǔn)確率比較曲線，圖5(b)代表相應(yīng)的驗(yàn)證損失曲線。

圖4 結(jié)果比較分析(策略二)Fig.4 Results comparison analysis(Strategy Two)

圖5 最終結(jié)果分析Fig.5 Final results comparison analysis

由圖5可知，全連接層層數(shù)為2層時(shí)，模型的收斂性能最佳，驗(yàn)證準(zhǔn)確率幾乎接近100%，驗(yàn)證損失幾乎為零，模型性能好。根據(jù)上述遷移策略的模型訓(xùn)練過程，得出全連接層神經(jīng)元個(gè)數(shù)、全連接層層數(shù)對模型性能具有非常重要的影響，只有將2元素都充分考慮，才能得到最優(yōu)模型。

因此，選擇添加2層全連接層且每層神經(jīng)元個(gè)數(shù)均為4 096，通過該策略訓(xùn)練的模型進(jìn)行測試，測試集大小為160張，其平均測試結(jié)果如表3所示，溜井的測試準(zhǔn)確率為95.996%，相較于其他測試準(zhǔn)確率偏低，分析原因可能是測試樣本圖像質(zhì)量較差，或是溜井的格篩上存在一些未掉落的礦堆，干擾異常工況分類效果，但總體來看，該模型的測試性能好，能有效對井下復(fù)雜環(huán)境異常工況進(jìn)行分類。

3 結(jié)論

1)提出深度學(xué)習(xí)的方法，實(shí)現(xiàn)了對井下復(fù)雜環(huán)境工況的自主識(shí)別，通過分析影響無軌裝備正常運(yùn)行和作業(yè)的主要因素，建立井下復(fù)雜環(huán)境4類異常工況(溜井、散落大塊與礦堆、損壞電纜和作業(yè)區(qū)內(nèi)其他車輛)數(shù)據(jù)集。

表3 井下復(fù)雜環(huán)境異常工況各類別測試準(zhǔn)確率Table 3 Test accuracy of each category of abnormal operating conditions %

通過旋轉(zhuǎn)變換、平移變換、縮放變換等數(shù)據(jù)增強(qiáng)技術(shù)，有效防止網(wǎng)絡(luò)訓(xùn)練過擬合。

2)實(shí)驗(yàn)選擇0.000 001的學(xué)習(xí)率，對預(yù)訓(xùn)練模型權(quán)重參數(shù)進(jìn)行微調(diào)，采用Adam優(yōu)化器，批次大小設(shè)置為60，Dropout設(shè)置為0.5，這些超參數(shù)設(shè)置對遷移學(xué)習(xí)策略的比較分析起到了關(guān)鍵性作用，是模型性能優(yōu)化的前提。

3)從驗(yàn)證準(zhǔn)確率、驗(yàn)證損失進(jìn)行雙向分析，通過方案對比尋求最優(yōu)化方案，并根據(jù)測試數(shù)據(jù)相關(guān)結(jié)果，驗(yàn)證了提出相關(guān)算法的性能，使實(shí)驗(yàn)分析更加準(zhǔn)確,對井下多種作業(yè)對象的具體類型判斷正確，實(shí)時(shí)性和準(zhǔn)確性都較高。

4)得出全連接層神經(jīng)元個(gè)數(shù)及層數(shù)是模型性能的重要影響因素，通過添加2層全連接層，且每層神經(jīng)元個(gè)數(shù)為4 096時(shí)的訓(xùn)練模型性能最佳，測試效果符合預(yù)期，能較好應(yīng)用到井下復(fù)雜環(huán)境異常工況的自主識(shí)別中，為礦山無人化開采提供支持。