范 振， 陳乃建， 黃玉林， 張來偉， 李映君

(濟(jì)南大學(xué) 機(jī)械工程學(xué)院， 山東 濟(jì)南 250022)

我國擁有豐富的煤炭資源，其資源量約占我國化石能源資源的基礎(chǔ)儲量的94%。由于開采過程經(jīng)?；祀s有煤矸石，嚴(yán)重影響煤的質(zhì)量，因此煤與煤矸石的分揀是煤炭生產(chǎn)過程中不可或缺的環(huán)節(jié)[1]。

煤與煤矸石的分揀通常采用傳統(tǒng)的人工分選法，不僅工作環(huán)境差，勞動強(qiáng)度大，而且效率非常低。隨著科學(xué)技術(shù)的進(jìn)步，自動化分揀技術(shù)逐漸取代傳統(tǒng)的人工方法，其中的煤矸石識別技術(shù)是非常重要的環(huán)節(jié)。目前，國內(nèi)外已有多種識別技術(shù)，根據(jù)煤與煤矸石密度的不同，Wang等[2]提出基于激光三角法和重量法，采用三維激光掃描技術(shù)根據(jù)煤矸石體積計(jì)算出所測物體的密度，與已知的煤與煤矸石密度對比，實(shí)現(xiàn)煤矸石的分揀。楊慧剛等[3]通過X射線與圖像處理技術(shù)相結(jié)合，提取煤與煤矸石圖像的灰度信息，分析差異確定分離閾值。Liu等[4]用多重分形去趨勢波動分析方法來提取煤和煤矸石的幾何特征，并與圖像的灰度和紋理特征相結(jié)合，提高了煤矸石識別率。

近年來，隨著機(jī)器視覺與機(jī)器學(xué)習(xí)的發(fā)展，煤矸石分揀也出現(xiàn)了多種新技術(shù)。Pu等[5]提出了利用卷積神經(jīng)網(wǎng)絡(luò)圖像識別的典型工作流程和模型參數(shù)更新策略，基于功能強(qiáng)大的訓(xùn)練圖像識別模型VGG16，引入傳遞學(xué)習(xí)的思想，建立了一個自定義的卷積神經(jīng)網(wǎng)絡(luò)模型，解決了從頭開始建立全新模型所帶來的可訓(xùn)練參數(shù)大、計(jì)算能力有限的問題。根據(jù)煤與煤矸石圖像灰度特征與紋理特征的不同，蘭添才等[6]設(shè)計(jì)了一種紋理特征提取算法，與神經(jīng)網(wǎng)絡(luò)分類器相結(jié)合實(shí)現(xiàn)煤與煤矸石分離。王家臣等[7]提出在不同照度下提取并分析煤與煤矸石圖像的灰度特征與紋理特征，得出了不同照度下基于不同特征的煤矸石分離結(jié)果。何敏等[8]提取煤與煤矸石樣本的灰度特征和灰度共生矩陣，分析特征值差異，并基于支持向量機(jī)(support vector machine，SVM)進(jìn)行分類。

上述方法對于表面干凈無塵的煤與煤矸石有較高的識別準(zhǔn)確率，但是，在煤的開采過程中，部分煤矸石表面附著有煤渣或煤塵，使其特征趨向于煤，給識別帶來一定困難。同時，煤炭帶式輸送中運(yùn)行速度較快，如果識別速度太慢，就無法有效配合機(jī)械手抓取。針對煤塵覆蓋與識別速度較慢等問題，本文中基于煤塊表面常常有少量反光區(qū)域特征，結(jié)合煤矸石表面覆蓋有煤塵的特征，將煤與煤矸石樣本細(xì)分為無煤塵覆蓋的煤矸石、有煤塵覆蓋的煤矸石、無反光區(qū)域的煤及有反光區(qū)域的煤共4個類別，分析煤與煤矸石的灰度特征、紋理特征、灰度分布直方圖與不同閾值下二值化后的圖像分布，結(jié)合灰度特征與紋理特征，基于SVM對煤與煤矸石進(jìn)行識別分離，以提高識別效率，滿足機(jī)械手實(shí)時抓取的要求。

1 圖像預(yù)處理

本文中選取了同一分選車間、自然光照強(qiáng)度下拍攝采集的34幅煤與34幅煤矸石共68幅圖像。為了保證實(shí)驗(yàn)數(shù)據(jù)的客觀性，從煤與煤矸石樣本中各隨機(jī)抽取16幅樣本共32幅作為本文中的數(shù)據(jù)分析樣本。

由于拍攝圖像為紅綠藍(lán)(RGB)三通道的彩色圖像，而包含紅、綠、藍(lán)三原色的彩圖不能反映出圖像的特征與紋理，因此依據(jù)加權(quán)平均法由OpenCV軟件將其處理為灰度圖[9]，如圖1(a)所示。然后采用二值化算法對灰度圖進(jìn)行初步的目標(biāo)與背景分離，如圖1(b)所示； 由于二值化后目標(biāo)圖像有諸多孔洞，因此采用形態(tài)學(xué)運(yùn)算中的開運(yùn)算以及閉運(yùn)算對二值化圖像加以處理，得到圖1(c)； 最后將處理后的二值化圖像與灰度化后的原圖像進(jìn)行匹配，如圖1(d)所示。

為了減少背景環(huán)境引起的誤差，計(jì)算匹配圖像的最大內(nèi)接正矩形(見圖1(e))，并將其處理為大小為1 000像素×1 000像素的樣本圖像，如圖1(f)所示。由于環(huán)境因素圖像會存在不同程度的噪聲信息，因此采用OpenCV軟件中的高斯濾波對圖像加以處理，處理后的部分煤與煤矸石樣本圖像如圖2所示。本文中所有數(shù)據(jù)均由QT5.8.0與OpenCV 3.2.0通過C++編程運(yùn)算而得。

2 灰度特征與紋理特征

2.1 灰度特征

灰度圖像中的每個像素是由0～255的灰度級表示，灰度級越小圖像越黑，反之則圖像越白。通過分析圖2灰度特征可以發(fā)現(xiàn)，在本實(shí)驗(yàn)環(huán)境下煤與煤矸石在灰度特征方面存在明顯差異。

2.1.1 灰度特征指標(biāo)

通過分析每幅煤與煤矸石圖像的灰度分布情況，提取了以下6個特征指標(biāo)[7]。

1)灰度均值M為灰度圖像各像素點(diǎn)灰度級的平均值,

(1)

(2)

式中：P(i)為灰度級出現(xiàn)的頻率；i像素點(diǎn)的灰度級；ni為灰度級i的像素點(diǎn)個數(shù)；N為總像素點(diǎn)個數(shù)。

2)灰度方差V為灰度圖像對比度的大小，

(3)

式中σ為灰度圖像的標(biāo)準(zhǔn)差。

3)灰度歪斜度S為灰度圖像灰度級分布偏斜程度的數(shù)字特征，

(a)灰度圖原圖(b)二值化圖像(c)形態(tài)學(xué)運(yùn)算圖像(d)匹配圖像(e)最大內(nèi)接正矩形(f)框選區(qū)域圖1 圖像預(yù)處理過程

(a)煤1(b)煤2(c)煤3(d)煤矸石1(e)煤矸石2(f)煤矸石3圖2 煤與煤矸石樣本圖像

(4)

4)灰度峰態(tài)K表征圖像灰度級分布曲線在灰度均值處峰值高低的程度，

(5)

5)灰度能量E表征圖像灰度級分布是否均勻，能量越大分布越均勻，

(6)

6)灰度熵Eg表征灰度分布的不均勻與復(fù)雜程度[10]，

(7)

2.1.2 灰度特征數(shù)據(jù)分析

基于上述灰度均值、灰度方差、灰度歪斜度、灰度峰態(tài)、灰度能量與灰度熵等6個特征指標(biāo)，對隨機(jī)抽取的煤與煤矸石各16幅共32幅樣本分別計(jì)算特征數(shù)值，并且對每組數(shù)據(jù)繪制箱型圖，如圖3所示，以便更準(zhǔn)確地表現(xiàn)出樣本數(shù)據(jù)的客觀完整性。由圖可以明確觀察到，煤與煤矸石的灰度能量與灰度熵有明顯的差異，而灰度均值、灰度方差、灰度歪斜度以及灰度峰態(tài)都存在不同程度的交叉區(qū)域，因此選取灰度能量與灰度熵為有效特征作為灰度特征的指標(biāo)。

(a)灰度均值(b)灰度方差(c)灰度歪斜度(d)灰度峰態(tài)(e)灰度能量(f)灰度熵值圖3 煤與煤矸石灰度特征箱型圖

2.2 紋理特征

紋理特征是全局特征的一種，可以反映圖像像素灰度級分布的規(guī)律。本文中使用的紋理特征描述方法為統(tǒng)計(jì)方法中的灰度共生矩陣(GLCM)[11]。對比煤與煤矸石圖像(圖2)可見，煤的表面紋理更加繁瑣，煤矸石表面紋理略微平整，因此需要對它們的紋理特征進(jìn)行分析。

2.2.1 紋理特征指標(biāo)

GLCM是由Haralick等[12]提出的，描述的是同一方向上間隔相同距離的一對像素點(diǎn)的頻率。通常選用以下4個指標(biāo)來表示其特征。

1)對比度C表征圖像是否清晰以及其表面紋理深淺的程度，

(8)

式中：n為0～255灰度級；P(i,j,l,α)為像素點(diǎn)(x,y)的所有α方向相鄰間隔為l的像素對中一個取i值、另一個取j值的相鄰像素對出現(xiàn)的次數(shù)，此處l取值為1，α分別取值為0°、45°、90°、135°。

2)熵Et表征灰度圖像中紋理的復(fù)雜程度，

(9)

3)能量A表征圖像紋理粗細(xì)的程度，

(10)

4)逆差矩I表征圖像局部紋理變化的大小，

(11)

2.2.2 紋理特征數(shù)據(jù)分析

由于煤與煤矸石的4個紋理特征指標(biāo)值在4個不同方向上變化趨勢基本一致，因此求取4個不同方向的特征指標(biāo)的平均值作為最終數(shù)據(jù)?；谏鲜鯟、Et、A與I這4個紋理特征指標(biāo)，分別計(jì)算隨機(jī)抽取的32幅樣本的紋理特征值，結(jié)果如圖4所示。

(a)對比度(c)能量(b)熵(d)逆差矩圖4 煤與煤矸石紋理特征箱型圖

由圖可以看出：煤矸石與煤的紋理能量存在明顯差異；煤矸石的紋理熵在[4.530 27, 5.983 4]區(qū)域內(nèi)，煤的紋理熵在[6.188 37, 7.275 04]區(qū)域內(nèi)，煤矸石與煤的紋理熵差值約為0.2。由于煤與煤矸石的紋理對比度與紋理逆差矩存在交叉區(qū)域，因此選擇紋理能量與紋理熵作為紋理指標(biāo)的有效特征。

2.3 基于SVM的煤矸石分離實(shí)驗(yàn)結(jié)果

SVM依據(jù)有限的訓(xùn)練樣本，可以建立超平面作為決策面，若樣本線性不可分，則通過非線性映射，將樣本映射到高維特征空間進(jìn)行分類[13]。SVM參數(shù)較多，手動選取合適的參數(shù)將耗費(fèi)大量時間，因此本文中采用OpenCV軟件中的自動訓(xùn)練函數(shù)，并依據(jù)上述所選的4個有效特征指標(biāo)C、Et、A與I作為訓(xùn)練參數(shù)，將煤矸石設(shè)定為0，煤設(shè)定為1，選擇煤與煤矸石各20幅共40幅圖像作為訓(xùn)練樣本，各14幅共28幅圖像作為測試樣本。實(shí)驗(yàn)結(jié)果顯示，煤矸石識別率最大值為89.3%。

3 灰度分布直方圖

灰度分布直方圖是圖像灰度圖中灰度分布的直觀表示，描述了不同灰度級出現(xiàn)的頻率。根據(jù)式(1)計(jì)算得到的灰度分布直方圖如圖5所示。由圖可以看出：煤矸石1與煤矸石2有較為明顯的2個峰，附著有煤塵的煤矸石3直方圖略趨向于煤，但是其灰度值較為集中，且最高頻率值較大；煤1與煤2直方圖主體部分較為寬泛，而煤3灰度分布直方圖有較高的對稱性，原因是表面存在明顯的反光區(qū)域(見圖6紅色圈內(nèi))。由此可見，煤矸石3與煤3和其他的煤與煤矸石有所區(qū)別，因此將原本的煤與煤矸石分為4類：無煤塵覆蓋的煤矸石、有煤塵覆蓋的煤矸石、無反光區(qū)域的煤和有反光區(qū)域的煤，并且將灰度分布直方圖即灰度級頻率作為特征向量用于訓(xùn)練參數(shù)。

(a)煤矸石1(b)煤矸石2(c)煤矸石3(d)煤1(e)煤2(f)煤3圖5 煤與煤矸石灰度分布直方圖

圖6 煤塊表面圖像

4 圖像反光區(qū)特征

圖像二值化常用于邊緣檢測，將物體與背景分離[14]。上述4類煤與煤矸石的灰度級峰值側(cè)重區(qū)域不同，尤其煤3，其灰度級多分布于50左右，且在灰度級大于100時依舊有部分灰度級分布；煤3表面有明顯的反光區(qū)域，致使其灰度值分布比煤矸石廣，且直方圖不能明確表達(dá)其高光特征，因此采用圖像二值化來表達(dá)高光區(qū)域。從68幅樣本圖像里隨機(jī)選取無煤塵覆蓋的煤矸石、有煤塵覆蓋的煤矸石、無反光區(qū)域的煤及有反光區(qū)域的煤樣本圖像各1幅進(jìn)行不同閾值下灰度級為255時的頻率對比，閾值對比結(jié)果如圖7所示。從圖中可以看出，當(dāng)閾值在[53，100]區(qū)間時，4類煤與煤矸石的灰度級為255的頻率值有較明顯的差距，抽取多組樣本提取數(shù)據(jù)，分析其未交叉區(qū)域且大小順序一致的閾值區(qū)間，可確定閾值在[55, 70]區(qū)間內(nèi)灰度級為255的頻率為有效特征。

5 實(shí)驗(yàn)

5.1 數(shù)據(jù)預(yù)處理

選擇上述4組特征作為訓(xùn)練參數(shù)，分別為灰度特征的灰度能量、灰度熵，紋理特征的能量、熵，灰度分布直方圖特征以及閾值在[55, 70]區(qū)間內(nèi)灰度級為255時的頻率，實(shí)驗(yàn)共包含煤與煤矸石各20幅訓(xùn)練樣本、各14幅測試樣本。將樣本圖像復(fù)制一份，在設(shè)定標(biāo)簽時分為2類： 一類將40幅訓(xùn)練樣本分為煤矸石與煤，分別設(shè)定為0和1，將測試樣本分為煤與煤矸石2類； 另一類將樣本分為無煤塵覆蓋的煤矸石、有煤塵覆蓋的煤矸石、無反光區(qū)域的煤及有反光區(qū)域的煤分別設(shè)定為0、1、2、3，測試樣本分為4類。采用SVM的自動訓(xùn)練模式，自主選擇合適參數(shù)。

圖7 煤與煤矸石樣本閾值對比

5.2 實(shí)驗(yàn)結(jié)果分析

將4組特征分別組合為灰度特征與紋理特征(GG)，灰度分布直方圖特征與反光區(qū)域特征(HR)，灰度特征、紋理特征與灰度分布直方圖特征(GGH)，灰度特征、紋理特征與反光區(qū)域特征(GGR)，灰度特征、紋理特征、灰度分布直方圖特征與反光區(qū)域特征(GGHR)。由于以識別煤與煤矸石為最終目的，因此在煤與煤矸石的4類樣本中，將測試結(jié)果中無煤塵覆蓋的煤矸石與有煤塵覆蓋的煤矸石相互誤識別的情形歸結(jié)為識別正確，將無反光區(qū)域的煤與有反光區(qū)域的煤相互誤識別的情形歸結(jié)為識別正確。訓(xùn)練結(jié)果如圖8所示。由圖可以明顯看出：在樣本共分4類的情況下，當(dāng)加入灰度直方圖特征與反光區(qū)域特征時，識別率明顯提高，最大值可達(dá)96.4%；在以GGHR為訓(xùn)練參數(shù)測試28幅圖像時，共用時2.258 s，平均每幅用時為80.64 ms，滿足分揀工作的實(shí)時要求。

實(shí)驗(yàn)采用SVM自動訓(xùn)練模式，由編程輸出其自主選擇的最合適參數(shù)。SVM有2個重要參數(shù)，分別是核函數(shù)與懲罰系數(shù)[15]，其中核函數(shù)的選擇關(guān)系到分類的結(jié)果。本文中SVM自主選用徑向基函數(shù)(RBF)核，它可以將樣本數(shù)據(jù)非線性地映射到高維空間，且能將復(fù)雜數(shù)據(jù)簡單化，是一個較為理想的核函數(shù)[16]。懲罰系數(shù)反映對誤差的敏感度，數(shù)值越大，擬合非線性能力越強(qiáng)，默認(rèn)值為1.0，本文中SVM自主選擇懲罰系數(shù)為62.5，具有較高精度[17]。

GG—灰度特征與紋理特征組合；HR—灰度分布直方圖特征與反光區(qū)域特征組合；GGH—灰度特征、紋理特征與灰度分布直方圖特征組合；GGR—灰度特征、紋理特征與反光區(qū)域特征組合；GGHR—灰度特征、紋理特征、灰度分布直方圖特征與反光區(qū)域特征組合。圖8 基于不同特征組合與支持向量機(jī)(SVM)分類器結(jié)合的煤矸石識別結(jié)果

6 結(jié)論

針對煤與煤矸石分揀過程中煤矸石表面可能覆蓋煤塵影響識別準(zhǔn)確率及識別效率問題，本文中提出了以反光區(qū)域特征與灰度特征紋理特征相結(jié)合并基于SVM的煤與煤矸石的分離方法，分析了煤與煤矸石的4種特征，提取其中存在差異性的灰度特征中的灰度能量、灰度熵，紋理特征的能量、熵，灰度分布直方圖特征以及閾值在[55, 70]區(qū)間內(nèi)灰度級為255的頻率作為有效特征，且將以上4種特征分成5種特征組合作為不同訓(xùn)練參數(shù)進(jìn)行實(shí)驗(yàn)對比。選擇SVM構(gòu)建分類模型，在數(shù)據(jù)樣本有限的情況下能夠具有較高的識別性能。

實(shí)驗(yàn)結(jié)果表明，以灰度特征、紋理特征、灰度分布直方圖特征與反光區(qū)域特征為訓(xùn)練參數(shù)，基于SVM分類器時，識別率最高可達(dá)96.4%。如果只將煤與煤矸石分為2類，以灰度特征與紋理特征進(jìn)行識別，則識別率提高7.1%，在2.258 s時間內(nèi)可識別28幅圖像，平均每幅圖像用時80.64 ms，極大地提高了識別效率，滿足了煤矸石實(shí)時分揀的要求。