成彥穎 白尚旺

（太原科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院 太原 030024）

1 引言

煤炭產(chǎn)量是衡量煤礦生產(chǎn)效率和經(jīng)濟效益的重要指標，帶式輸送機作為煤礦中常用的輸送設(shè)備，在運輸煤料中經(jīng)常會出現(xiàn)堆煤、少煤、空載的情況，使得煤量運輸不均勻。所以煤量的檢測不僅能預(yù)測煤炭產(chǎn)量，進行生產(chǎn)管理，而且能將皮帶煤料上的情況反饋給工作人員，對皮帶進行及時有效的控制，達到優(yōu)化煤量，節(jié)省電能的目的。

傳統(tǒng)的皮帶煤量檢測有接觸式或非接觸式兩種方法，接觸式的方法包括傾斜開關(guān)、壓力檢測［1］或電子膠帶秤［2］。傾斜開關(guān)雖然簡單，容易檢測，但皮帶易磨損，需要定期檢查維修，而且檢測的準確率和可靠性差［1］。壓力檢測和電子膠帶秤由于和皮帶長時間接觸、皮帶自身的重量和速度等誤差都會對檢測造成影響［3］。非接觸式方法有電場感應(yīng)和激光檢測，電場感應(yīng)通過安裝智能傳感器來檢測煤量，產(chǎn)生的電場變化作為煤量檢測的輸出，但是電場感應(yīng)方法無法檢測煤量的多少［1］。激光檢測通過激光掃描測量技術(shù)實時采集煤流的三維數(shù)據(jù)，計算煤的體積和重量［4］。這種方法可以檢測出煤量的多少，但是成本較高，不能很好的普及。部分煤礦將變頻技術(shù)和載煤量自動匹配控制結(jié)合起來，加強了節(jié)能的效果［5］，但是在復(fù)雜的煤礦環(huán)境中，變頻器易收到干擾而損壞。

隨著計算機視覺的發(fā)展，利用深度學(xué)習(xí)進行圖像分割檢測也有著突出表現(xiàn)。在煤礦領(lǐng)域中，利用了視覺檢測中的單目視覺技術(shù)構(gòu)建小孔成像測距模型，實現(xiàn)了膠帶堆煤檢測［6］。基于機器視覺的智能輸煤檢測系統(tǒng)將煤量檢測分為煤寬和煤高檢測，采取煤寬分割區(qū)域和基于卷積神經(jīng)網(wǎng)絡(luò)的煤高檢測，整體效果好，但是在復(fù)雜的環(huán)境下適應(yīng)性差且精度較低［7］。

本文針對煤炭圖像檢測精度低，且適應(yīng)性差等問題，提出了一種新的煤量檢測方法，首先通過Camshift 算法實時跟蹤捕捉皮帶煤量的區(qū)域，然后通過Res2-UNet模型將多層次、多尺度的顯著性特征集中到單一的網(wǎng)絡(luò)，檢測煤量的輪廓區(qū)域。實現(xiàn)了對煤量的準確定位和分割。

2 皮帶煤量檢測視覺監(jiān)控系統(tǒng)

本系統(tǒng)在皮帶上方安裝礦用高清防爆攝像頭實時采集皮帶的視頻，將采集到的視頻通過網(wǎng)絡(luò)傳到服務(wù)器上，服務(wù)器通過人工智能視頻識別模型檢測和分析煤量，采用Camshift 算法跟蹤和Res2-UNet網(wǎng)絡(luò)檢測。圖1為皮帶煤量檢測視覺監(jiān)控系統(tǒng)。

圖1 皮帶煤量檢測視覺監(jiān)控系統(tǒng)

3 實驗流程

3.1 預(yù)處理

首先讀入要檢測的皮帶視頻，采集煤流數(shù)據(jù)，為了保證圖像檢測的準確性和提高訓(xùn)練的速度，需要對目標圖像進行預(yù)處理，包括圖像裁剪、光照均勻處理、圖像池化等。圖像裁剪根據(jù)檢測的目標對象的坐標來定位裁剪區(qū)域，將圖像尺寸調(diào)整為250像素×250 像素。光照均勻處理，是指當在工作場景中光照不均勻時，可能會對我們的檢測造成影響，光照的變化會導(dǎo)致圖像的像素矩陣發(fā)生變化，這里對圖像做光照均勻處理可在一定程度上改善算法的判斷效果。最后，對于預(yù)處理步驟中的圖像池化，是因為在實際場景中可能會出現(xiàn)攝像頭輕微抖動等情況，可能會導(dǎo)致相鄰的視頻幀的圖像的像素值會發(fā)生一定的偏移，這里使用卷積神經(jīng)網(wǎng)絡(luò)中的池化層的思想，對圖像進行池化可達到對池化區(qū)域內(nèi)像素值進行平滑的效果，可在一定程度上改善輕微的像素值變化造成的影響。

預(yù)處理之后利用Camshift 算法快速跟蹤捕捉運行的皮帶煤流圖像，然后通過Res2-UNet模型進行煤量檢測。圖2為皮帶煤量檢測流程圖。

圖2 皮帶煤量檢測流程圖

3.2 基于Camshift算法的皮帶煤量快速跟蹤

利 用Camshift（Continuously Adaptive Mean Shift）［8］連續(xù)的自適應(yīng)平均移位（Meanshift）算法對快速移動的物體跟蹤，提取煤量的位移。這種算法根據(jù)目標物體的顏色特征跟蹤目標的運動軌跡，顏色特征不會受外界的環(huán)境變化，所以Camshift 算法對于跟蹤物體來說比較穩(wěn)定，并且實時性好、準確率和效率都很高。

本文通過礦用高清防爆攝像頭捕獲高速運動的皮帶，對采集到的視頻幀做預(yù)處理，將RGB 顏色空間變?yōu)镠SV 空間形成候選目標區(qū)域，手動定義搜索窗口選擇移動目標，通過Meanshift 運算，并且使上一幀目標窗口的的中心位置和大小作為下一幀的目標窗口的初始值，依次迭代下去，直到最后一幀的目標跟蹤。Camshift算法流程如圖3所示。

圖3 Camshift算法流程圖

首先計算搜索區(qū)域的大小，將RGB 圖像轉(zhuǎn)化為HSV 圖像，HSV 空間有三個參數(shù)，即色調(diào)（H）、飽和度（S）和明度（V），計算公式如下：

計算搜索窗口的目標顏色直方圖是為了得到顏色概率分布圖像。當直方圖投影后，每個像素的值代表了顏色的概率信息，從而通過顏色特征可以跟蹤目標的軌跡。

搜索區(qū)域像素點的坐標為（x，y），在投影圖中，對應(yīng)的像素值為I（x，y）。搜索窗口的零階矩、一階矩、二階矩分別為M00；M01；M10；M20；M02；M11。

定義了搜索框的質(zhì)心坐標（xc，yc）：

長軸為l，短軸為w，目標的方向角為

通過Meanshift 算法，搜索窗口的中心移動到質(zhì)心位置，設(shè)定搜索窗口中心到質(zhì)心距離閾值，不斷移動計算兩者之間的實際距離，若實際距離小于設(shè)定的閾值，則達到了收斂條件進行下一幀的循環(huán)，否則重新調(diào)整搜索窗口的質(zhì)心位置以滿足條件。

3.3 建立Res2-UNet煤量檢測模型

本文提出的Res2-UNet 模型借鑒了圖像分割U-Net［9~11］網(wǎng)絡(luò)的思想，是一個編碼器-解碼器架構(gòu)，編碼器采用Res2Net［12］多尺度卷積網(wǎng)絡(luò)提取特征信息，如圖4 所示，Res2Net 將ResNet 通用的3×3的卷積核變?yōu)槎喾种У奶卣鹘M，這些特征組以分層殘差的形式連接以增加多尺度的輸出。首先將輸入特征圖分成幾組，一組輸入特征圖提取特征，其輸出特征與另一組的輸入特征圖共同送入下一個3×3 的卷積核，重復(fù)幾次，處理完所有的輸入特征圖，輸出不同大小感受野，將輸出結(jié)果融合并且經(jīng)過1×1的卷積核，得到更多尺度的特征。

圖4 Res2Net網(wǎng)絡(luò)模型

隨著深度的增加，圖像尺寸逐漸減少，所以通過下采樣操作提取高層次的特征，輸入圖像以256×256 為例，以Res2Net 網(wǎng)絡(luò)作為特征提取模塊得到8×8 的特征圖。解碼器通過反卷積操作擴大圖像尺寸，并與下采樣相同尺寸的特征圖拼接起來，將輸入特征的空間大小加倍，傳播上下文信息到更高分辨率的層，然后將拼接后的特征圖經(jīng)過1×1 的卷積核和反卷積操作后，使得輸出與輸入圖像的的分辨率大小相同。最后通過1×1 分類器映射特征向量到輸出層進行分類，采用Sigmoid 函數(shù)作為激活函數(shù)，以交叉熵為代價函數(shù)，提高訓(xùn)練的速度［13~14］。Res2-UNet的模型結(jié)構(gòu)如圖5所示。

圖5 Res2-UNet的模型

4 實驗

4.1 Camshift算法快速跟蹤皮帶

煤礦中皮帶工作時以較高的速度運行，皮帶煤量視覺監(jiān)控系統(tǒng)必須快速捕捉跟蹤皮帶上的煤量，在煤量區(qū)域的視野范圍內(nèi)，采集高速運行的皮帶圖像。本文實地采集三甲煤礦不同場景（露天煤礦、地下煤礦）、不同角度、不同時間段5 段共10h 皮帶煤流運行的視頻，具有代表性，符合實際情況，驗證本文方法在多變環(huán)境中的煤量檢測效果。

首先采用Camshift 算法跟蹤快速運行的皮帶視頻，觀察煤量變化的情況。如圖6 所示為跟蹤皮帶第230幀和第245幀的結(jié)果。

圖6 皮帶跟蹤結(jié)果

4.2 Res2-UNet模型皮帶檢測

通過Camshift 算法快速跟蹤到煤量區(qū)域后，在跟蹤后的圖片數(shù)據(jù)集挑選無煤、少煤、中煤、多煤、大塊煤各150 張數(shù)據(jù)集，總共800 張訓(xùn)練集和100張測試集。將訓(xùn)練集在Res2-UNet 網(wǎng)絡(luò)中進行訓(xùn)練，訓(xùn)練參數(shù)如表1所示，“batch_size”表示每次迭代的皮帶圖像數(shù)量，“epochs”表示訓(xùn)練集中所有數(shù)據(jù)迭代的次數(shù)?！癷mgs_train”表示訓(xùn)練集的總數(shù)。“Resolution”表示訓(xùn)練集圖像的分辨率。 實驗采用隨機梯度下降法。訓(xùn)練完成后識別和分割皮帶上的煤量，結(jié)果如圖7所示。

表1 設(shè)置訓(xùn)練參數(shù)

圖7 煤量檢測結(jié)果

通過對比本文的煤量檢測方法與CNN、E-Net［15］、U-Net 在平均準確率和運行時間指標上的區(qū)別，精確率為測試圖像中每個像素點與真實圖相對比，分類正確的占比，運行時間為每張圖像從輸入網(wǎng)絡(luò)到輸出的時間。驗證本文方法的有效性。檢測結(jié)果如表2所示。

表2 不同模型的精度

從表2可知，U-Net網(wǎng)絡(luò)平均準確率較高，但是運行時間不占優(yōu)勢，E-Net 運行時間少，但是平均準確率低。而本文提到的煤量檢測方法準確率更高，達到95.5%。且運行時間為4.8s，從而能更準確及時地檢測皮帶上煤料，對帶式輸送機進行有效的控制。

5 結(jié)語

為了能實時準確地檢測皮帶上的煤量，本文采用Camshift 算法捕捉跟蹤快速運行的皮帶煤量目標，當定位目標的感興趣區(qū)域后，通過Res2Net 網(wǎng)絡(luò)提取煤量顯著特征，結(jié)合U-Net網(wǎng)絡(luò)的設(shè)計思想建立Res2-UNet 模型。該架構(gòu)通過收縮路徑捕捉煤量的上下文信息，對稱的擴張路徑來準確定位，可以用很少的數(shù)據(jù)集實現(xiàn)端到端的訓(xùn)練，降低了模型訓(xùn)練的難度，減少了計算量，加快了檢測速度。綜上本文提到的檢測方法能高效快速地檢測皮帶煤量，大大減少了電能損耗，提高了煤礦井下煤量的生產(chǎn)效率和經(jīng)濟效益。