靳舒凱，魏冠楠，王春明，王統(tǒng)海，吳忠倫，楊克虎,4

（1.中國礦業(yè)大學(xué)（北京）機(jī)電與信息工程學(xué)院，北京 100083；2.臨沂礦業(yè)集團(tuán)菏澤煤電有限公司，山東 菏澤 274700；3.臨沂礦業(yè)集團(tuán)菏澤煤電有限公司 郭屯煤礦，山東 菏澤 274700；4.中國礦業(yè)大學(xué)（北京）煤礦智能化與機(jī)器人創(chuàng)新應(yīng)用應(yīng)急管理部重點(diǎn)實(shí)驗(yàn)室，北京 100083）

0 引言

煤礦智能化是我國煤炭工業(yè)高質(zhì)量發(fā)展的必由之路[1-2]，而副井軌道運(yùn)輸智能化是其中重要環(huán)節(jié)。煤礦副井主要用來提升人員、設(shè)備和生產(chǎn)原材料，部分煤礦副井也用于提升巷道掘進(jìn)過程中產(chǎn)生的煤和矸石。裝有生產(chǎn)物料、煤或矸石的礦車提升至地面后，再由軌道運(yùn)輸系統(tǒng)實(shí)現(xiàn)礦車分運(yùn)。目前副井軌道運(yùn)輸系統(tǒng)主要采用人工操作方式，通過肉眼識(shí)別當(dāng)前礦車的裝載物，然后控制司控道岔改變礦車的前進(jìn)方向來實(shí)現(xiàn)礦車正確歸庫。該工作枯燥重復(fù)，容易使工人產(chǎn)生視疲勞或注意力不集中，加上副井口光線變化等環(huán)境因素的影響，易導(dǎo)致工人判斷錯(cuò)誤或未能及時(shí)切換道岔，增加后續(xù)煤炭洗選成本，或造成礦車堆積，影響生產(chǎn)效率。

為實(shí)現(xiàn)副井礦車自動(dòng)分運(yùn)，文獻(xiàn)[3]提出采用RFID（Radio Frequency Identification，射頻識(shí)別）信標(biāo)方式實(shí)現(xiàn)電機(jī)車定位，根據(jù)運(yùn)輸物料不同，操作人員遠(yuǎn)程控制道岔，實(shí)現(xiàn)電機(jī)車牽引礦車歸庫。該方法需對現(xiàn)場進(jìn)行整體布設(shè)，且歸庫的多輛礦車需裝載相同類別的物料，對現(xiàn)場裝車要求較高。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，基于圖像的礦車裝載物識(shí)別方法以其低成本、方便部署等特點(diǎn)逐漸應(yīng)用于副井礦車自動(dòng)分運(yùn)系統(tǒng)中，如文獻(xiàn)[4]提出了一種礦車運(yùn)輸智能煤矸識(shí)別及分運(yùn)裝置，以工業(yè)相機(jī)和計(jì)算機(jī)為核心，基于傳統(tǒng)計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)自動(dòng)化礦車運(yùn)輸。近年來，卷積神經(jīng)網(wǎng)絡(luò)[5-7]在圖像識(shí)別與分類領(lǐng)域取得了極大成功，文獻(xiàn)[8]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的煤礦副井礦車裝載物自動(dòng)分類系統(tǒng)，驗(yàn)證了卷積神經(jīng)網(wǎng)絡(luò)在礦車裝載物分類中的可行性，且SqueezeNet 在驗(yàn)證集上的準(zhǔn)確率達(dá)98.4%。但該系統(tǒng)在實(shí)際應(yīng)用中存在以下問題：①系統(tǒng)觸發(fā)條件簡易，礦車經(jīng)過時(shí)存在誤判與漏判情況；② 副井現(xiàn)場除礦車外存在多類物體，當(dāng)其他物體經(jīng)過檢測區(qū)域時(shí)會(huì)引起司控道岔誤動(dòng)作，產(chǎn)生安全隱患。

本文針對現(xiàn)有副井礦車裝載物識(shí)別方法存在的不足，提出了基于目標(biāo)檢測模型的礦車裝載物智能識(shí)別方法。在現(xiàn)場采集礦車裝載物圖像數(shù)據(jù)，構(gòu)建礦車識(shí)別數(shù)據(jù)集，對Faster R-CNN[9]，YOLOv4[10]，SSD[11]等主流目標(biāo)檢測模型的礦車分類識(shí)別效果進(jìn)行綜合評估；考慮到副井礦車目標(biāo)檢測種類較少，為了降低檢測模型大小，采用輕量級(jí)網(wǎng)絡(luò)MobileNet[12-14]代替YOLOv4 模型的主干特征提取網(wǎng)絡(luò)CSPDarknet53；將檢測模型部署在嵌入式平臺(tái)Jetson TX2，為滿足現(xiàn)場實(shí)時(shí)檢測需求，采用層間融合[15]和模型量化[16]技術(shù)對模型進(jìn)行了優(yōu)化。

1 礦車裝載物檢測模型訓(xùn)練與評估

1.1 訓(xùn)練數(shù)據(jù)集構(gòu)建

礦車裝載物圖像數(shù)據(jù)來源于某煤礦副井現(xiàn)場。采用安裝在副井井口的海康威視DS-2CD3T27DWDL 型全彩攝像機(jī)采集圖像。該攝像機(jī)攝像頭分辨率為200 萬像素，主碼流幀速率達(dá)25 幀/s，支持RTSP（Real Time Streaming Protocol，實(shí)時(shí)流傳輸協(xié)議），采用DC12 V 供電，不間斷采集礦車裝載物圖像數(shù)據(jù)。共獲得10 萬余張?zhí)幱诓煌庹諚l件下的礦車裝載物（包括煤、矸石、物料3 種類別）圖像，部分如圖1 所示。

圖1 部分礦車裝載物采集圖像Fig.1 Part of collected mine car load images

從采集的礦車裝載物圖像中篩選裝有煤、矸石、物料的各4 000 張圖像進(jìn)行人工標(biāo)注，得到VOC（Visual Object Classes，視覺目標(biāo)分類）數(shù)據(jù)集。將VOC 數(shù)據(jù)集按9∶1 分為訓(xùn)練集與驗(yàn)證集，分別包含3 600，400 張圖像。

1.2 檢測模型訓(xùn)練與對比

在實(shí)驗(yàn)室環(huán)境下設(shè)置對比實(shí)驗(yàn)。服務(wù)器配置：Ubuntu18.04 系統(tǒng)，32 GB 內(nèi)存，512 GB 固態(tài)硬盤，NVIDIA GTX1080Ti 顯卡，python_3.7.0，keras_2.2.4深度學(xué)習(xí)框架。選用常用的Faster R-CNN，YOLOv4，SSD 目標(biāo)檢測模型進(jìn)行訓(xùn)練，最大epoch 設(shè)置為100。keras_2.2.4 框架中earlystopping 參數(shù)可使模型訓(xùn)練過程中損失函數(shù)值不再下降時(shí)停止訓(xùn)練。3 種目標(biāo)檢測模型訓(xùn)練結(jié)果對比見表1。

表1 3 種目標(biāo)檢測模型訓(xùn)練結(jié)果對比Table 1 Comparison of training results of three target detection models

從表1 可看出：Faster R-CNN 模型具有最低的損失函數(shù)值，且epoch 為100 時(shí)仍未達(dá)到最優(yōu)，訓(xùn)練周期較長；SSD 模型的epoch 僅為49，具有最短的訓(xùn)練周期，但損失函數(shù)值較高；YOLOv4 模型的epoch為97，具有合理的訓(xùn)練周期及損失函數(shù)值。

為更好地選擇礦車裝載物檢測模型，選用現(xiàn)場視頻圖像對3 種目標(biāo)檢測模型進(jìn)行評估，結(jié)果見表2?？煽闯鲠槍ΦV車裝載物識(shí)別任務(wù)，F(xiàn)aster R-CNN 模型（大小為108.62 MB）具有最高的mAP（Mean Average Precision，平均精度均值），但識(shí)別速度較慢，難以實(shí)現(xiàn)實(shí)時(shí)檢測；SSD 模型（大小為91.74 MB）具有較快的識(shí)別速度，但mAP 較低，可行性較差；YOLOv4 模型（大小為244.99 MB）的mAP 為94.26%，具有較高的礦車裝載物識(shí)別準(zhǔn)確率，識(shí)別速度為17 幀/s。綜合比較識(shí)別速度與mAP 可知，YOLOv4 模型更適用于礦車裝載物識(shí)別任務(wù)。

表2 3 種目標(biāo)檢測模型檢測性能對比Table 2 Comparison of detection performance of three target detection models

2 礦車裝載物檢測模型優(yōu)化

Faster R-CNN，YOLOv4，SSD 等主流目標(biāo)檢測模型的主特征提取網(wǎng)絡(luò)大多采用體量大的卷積神經(jīng)網(wǎng)絡(luò)。由于副井現(xiàn)場檢測目標(biāo)種類較少，為了降低模型大小，以YOLOv4 模型為例，采用輕量級(jí)網(wǎng)絡(luò)MobileNet 替換原有主干特征提取網(wǎng)絡(luò)CSPDarknet53，實(shí)現(xiàn)模型優(yōu)化。MobileNet 最鮮明的特點(diǎn)為采用深度可分離卷積核代替普通卷積核，計(jì)算量約為普通卷積核的1/3，運(yùn)行速度得到了極大提升。

YOLOv4 模型優(yōu)化過程：①主干特征提取網(wǎng)絡(luò)CSPDarknet53 替換為MobileNet，得到3 個(gè)初步的有效特征層；② 對初步的有效特征層進(jìn)行特征融合，獲得3 個(gè)更有效的有效特征層；③將原有普通卷積核替換為MobileNet 中的深度可分離卷積核。模型優(yōu)化過程及結(jié)果如圖2 所示。

圖2 YOLOv4 模型優(yōu)化Fig.2 Optimization of YOLOv4 model

分別選用MobileNetv1，MobileNetv2，MobileNetv3對YOLOv4 模型進(jìn)行優(yōu)化，得到MobileNetv1-YOLOv4，MobileNetv2-YOLOv4，MobileNetv3-YOLOv4 模型，大小分別為47.6，40.6，44.8 MB，較優(yōu)化前分別減小了197.39，204.39，200.19 MB。

采用相同的訓(xùn)練集訓(xùn)練模型，基于現(xiàn)場視頻圖像對訓(xùn)練后的模型進(jìn)行評估，結(jié)果見表3?？煽闯觯篗obileNetv1-YOLOv4，MobileNetv2-YOLOv4，Mobile-Netv3-YOLOv4 模型的識(shí)別速度較YOLOv4 模型分別提高了22，30，27 幀/s，證明MobileNet 中的深度可分離卷積核可有效提升模型運(yùn)行速度；MobileNetv3-YOLOv4 模型的mAP 達(dá)95.03%，識(shí)別速度為44 幀/s。綜合考慮識(shí)別速度與mAP，認(rèn)為MobileNetv3-YOLOv4模型具有最優(yōu)識(shí)別效果，更適用于現(xiàn)場礦車裝載物識(shí)別任務(wù)。

表3 YOLOv4 模型優(yōu)化前后檢測性能對比Table 3 Comparison of detection performance of YOLOv4 model before and after optimization

考慮到煤礦現(xiàn)場部署空間限制和成本，傳統(tǒng)基于高性能工作站的部署方式不太適合煤礦現(xiàn)場應(yīng)用。因此，將礦車裝載物檢測模型部署至嵌入式智能計(jì)算平臺(tái)Jetson TX2。為滿足實(shí)時(shí)檢測要求，需對模型進(jìn)行壓縮和加速。

3 礦車裝載物檢測模型加速

礦車裝載物檢測模型加速表現(xiàn)在2 個(gè)方面：①層間融合，即通過融合內(nèi)核中的節(jié)點(diǎn)，優(yōu)化GPU（Graphics Processing Unit，圖形處理器）顯存和帶寬，以提高運(yùn)行速度；② 模型量化，即通過調(diào)節(jié)推理參數(shù)精度來提高檢測速度。

3.1 層間融合

在部署神經(jīng)網(wǎng)絡(luò)模型推理時(shí)，每一層運(yùn)算操作需由 GPU 啟動(dòng) CUDA（Compute Unified Device Architecture，統(tǒng)一計(jì)算設(shè)備架構(gòu)）核心完成。運(yùn)算過程包括CUDA 核心計(jì)算張量、啟動(dòng)CUDA 核心、讀輸入張量及寫輸出張量操作。其中CUDA 核心計(jì)算張量耗時(shí)極短，而啟動(dòng)CUDA 核心、讀輸入張量及寫輸出張量操作會(huì)產(chǎn)生不必要的時(shí)間及資源浪費(fèi)。通過層間的橫向或縱向融合能夠減少層數(shù)，從而提高模型推理速度。

橫向融合可將卷積層、偏置層、激活函數(shù)層合并為一個(gè)CBR（Convolution+Bias+ReLU）結(jié)構(gòu)，融合過程如圖3 所示?？v向融合可將結(jié)構(gòu)相同但權(quán)值不同的層合并，合并后的層只占用1 個(gè)CUDA 核心，使得整個(gè)模型結(jié)構(gòu)更簡潔、更高效。

圖3 神經(jīng)網(wǎng)絡(luò)模型層間橫向融合過程Fig.3 Horizontal interlamination fusion process of neural network model

推理加速主要表現(xiàn)在3 個(gè)方面：①整理零碎數(shù)據(jù)，減少傳輸次數(shù)；② 優(yōu)化橫向計(jì)算圖，減少數(shù)據(jù)訪問次數(shù)；③通過非拷貝方式將層輸出定向到正確的最終地址，以減少橫向時(shí)間。

YOLOv4 模型主干特征提取網(wǎng)絡(luò)CSPDarknet53具有5 種殘差塊，以第1 種殘差塊為例，其層間融合過程如圖4 所示。

圖4 CSPDarknet53 第1 種殘差塊層間融合過程Fig.4 Interlamination fusion process of the first residual block in CSPDarknet53

3.2 模型量化

大多數(shù)基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練時(shí)，張量精度均采用32 位浮點(diǎn)數(shù)。模型訓(xùn)練結(jié)束后，由于在部署推理的過程中不需要反向傳播，所以可適當(dāng)降低推理參數(shù)精度（如將張量精度降為16 位浮點(diǎn)數(shù)或8 位整型數(shù)），從而提高運(yùn)行速度。

推理加速表現(xiàn)在部署推理過程中降低模型張量精度，進(jìn)而減少數(shù)據(jù)轉(zhuǎn)換時(shí)間，提高數(shù)據(jù)吞吐量，減少內(nèi)存占用，同時(shí)可保持高識(shí)別準(zhǔn)確度。

3.3 模型加速前后對比

基于實(shí)驗(yàn)室服務(wù)器，采用模型加速方法對Faster R-CNN，YOLOv4，SSD，MobileNetv3-YOLOv4 模型進(jìn)行加速優(yōu)化，結(jié)果見表4。可看出模型加速方法對多種目標(biāo)檢測模型均有較好的加速效果，具備泛用性；加速后各模型mAP 略有減小，但仍在可接受范圍內(nèi)。

表4 目標(biāo)檢測模型加速前后對比Table 4 Comparison of target detection models before and after acceleration

4 現(xiàn)場試驗(yàn)

將礦車裝載物智能識(shí)別方法在某煤礦副井進(jìn)行現(xiàn)場試驗(yàn)。以?？低旸S-2CD3T27DWD-L 網(wǎng)絡(luò)攝像頭為圖像采集設(shè)備，選用Jetson TX2 嵌入式平臺(tái)部署礦車裝載物檢測模型，運(yùn)行環(huán)境為Ubuntu18.04系統(tǒng)，深度學(xué)習(xí)框架采用keras_2.2.4。試驗(yàn)平臺(tái)如圖5 所示。

圖5 礦車裝載物智能識(shí)別現(xiàn)場試驗(yàn)平臺(tái)Fig.5 Field test platform for intelligent identification of mine car load

綜合考慮識(shí)別速度與mAP，選擇MobileNetv3-YOLOv4 為礦車裝載物檢測模型。將模型移植到Jetson TX2 嵌入式平臺(tái)后試驗(yàn)結(jié)果見表5。

表5 Jetson TX2 上MobileNetv3-YOLOv4 模型檢測性能Table 5 Detection performance of MobileNetv3-YOLOv4 model on Jetson TX2

從表5 可看出：受Jetson TX2 計(jì)算能力限制，MobileNetv3-YOLOv4 模型識(shí)別速度慢，僅為18.3 幀/s；采用模型加速方法對MobileNetv3-YOLOv4 模型加速后，識(shí)別速度提升至35.42 幀/s，mAP 為94.68%，滿足現(xiàn)場實(shí)時(shí)、精確檢測需求。

礦車裝載物智能識(shí)別方法在副井現(xiàn)場檢測結(jié)果如圖6 所示。其中藍(lán)色框代表礦車內(nèi)裝載物為煤，綠色框代表礦車內(nèi)裝載物為矸石，紅色框代表礦車內(nèi)裝載物為物料；框上方顯示裝載物類別名稱及目標(biāo)物為該類裝載物的概率，且當(dāng)行人等非礦車類物體經(jīng)過檢測區(qū)域時(shí)不啟動(dòng)檢測任務(wù)?？煽闯霰疚姆椒軌?qū)崟r(shí)、精準(zhǔn)地識(shí)別礦車裝載物，且僅在礦車經(jīng)過檢測區(qū)域時(shí)啟動(dòng)檢測任務(wù)。

圖6 礦車裝載物智能識(shí)別現(xiàn)場試驗(yàn)結(jié)果Fig.6 Field test results of intelligent identification of mine car load

5 結(jié)論

（1）評估了Faster R-CNN，YOLOv4，SSD 這3 種常用目標(biāo)檢測模型用于礦車裝載物識(shí)別的可行性。經(jīng)VOC 數(shù)據(jù)集訓(xùn)練、現(xiàn)場視頻圖像檢測，F(xiàn)aster R-CNN 模型的mAP 為96.61%，識(shí)別速度為6 幀/s，模型大小為108.62 MB；YOLOv4 模型的mAP 為94.26%，識(shí)別速度為17 幀/s，模型大小為244.99 MB；SSD 模型的mAP 為81.92%，識(shí)別速度為24 幀/s，模型大小為91.74 MB。YOLOv4，F(xiàn)aster R-CNN 模型能滿足mAP 要求，但運(yùn)行在常用GPU 上均難以滿足實(shí)時(shí)檢測要求。

（2）采用MobileNet 優(yōu)化YOLOv4 可有效降低模型大小，提高識(shí)別速度。MobileNetv1-YOLOv4，MobileNetv2-YOLOv4，MobileNetv3-YOLOv4 模型大小分別為47.6，40.6，44.8 MB，識(shí)別速度分別為39，47，44 幀/s。MobileNetv3-YOLOv4 模型的mAP 為95.03%，較優(yōu)化前提升了0.77%。

（3）采用基于層間融合和模型量化的模型加速方法對Faster R-CNN，YOLOv4，SSD，MobileNetv3-YOLOv4 模型進(jìn)行加速優(yōu)化，加速后4 種模型的識(shí)別速度分別提升至14，43，51，76 幀/s。

（4）以MobileNetv3-YOLOv4 為礦車裝載物檢測模型，移植到Jetson TX2 嵌入式平臺(tái)進(jìn)行礦車裝載物識(shí)別現(xiàn)場試驗(yàn)，結(jié)果表明：加速后MobileNetv3-YOLOv4 模型的識(shí)別速度為35.42 幀/s，mAP 為94.68%；本文方法能夠?qū)崟r(shí)、精準(zhǔn)地識(shí)別出礦車裝載物類別，且僅在礦車經(jīng)過檢測區(qū)域時(shí)啟動(dòng)檢測任務(wù)，避免了非礦車物體進(jìn)入檢測區(qū)域引起的司控道岔誤動(dòng)作情況。