馬博淵，周佳城，班曉娟，袁兆麟，阮竹恩

(1. 北京科技大學(xué) 北京材料基因工程高精尖創(chuàng)新中心，北京，100083；2. 北京科技大學(xué) 順德創(chuàng)新學(xué)院，廣東 佛山，528300；3. 北京科技大學(xué) 材料領(lǐng)域知識(shí)工程北京市重點(diǎn)實(shí)驗(yàn)室，北京，100083；4. 北京科技大學(xué) 人工智能研究院，北京，100083；5. 北京科技大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，北京，100083)

礦產(chǎn)資源是人類(lèi)賴(lài)以生存、社會(huì)發(fā)展不可缺少的基礎(chǔ)資源，綠色礦山建設(shè)是實(shí)現(xiàn)礦業(yè)高質(zhì)量發(fā)展的重要途徑和必然要求，是我國(guó)實(shí)現(xiàn)由礦業(yè)大國(guó)向礦業(yè)強(qiáng)國(guó)轉(zhuǎn)變的必由之路[1-2]。膏體充填是綠色礦山建設(shè)過(guò)程中的重要組成部分，針對(duì)采礦作業(yè)造成的地下采空區(qū)，使用經(jīng)過(guò)科學(xué)配制的充填料漿對(duì)采空區(qū)進(jìn)行回填，控制覆巖開(kāi)采破壞和地表沉陷，降低地表塌陷等災(zāi)害發(fā)生的風(fēng)險(xiǎn)，保護(hù)生態(tài)環(huán)境，減少土地資源的破壞與占用[2]?；诖?，膏體充填技術(shù)已成為當(dāng)前我國(guó)礦山開(kāi)采過(guò)程中的重要環(huán)節(jié)之一。

膏體充填對(duì)地表沉陷的控制效果主要取決于膏體料漿的濃度[3-4]，因此，膏體濃度的檢測(cè)精度是保證充填質(zhì)量的關(guān)鍵因素。合格的膏體具有濃度適中、不沉淀、不析水、不離析和便于輸送等特點(diǎn)[5-6]，因此，在膏體充填過(guò)程中，對(duì)膏體濃度的準(zhǔn)確檢測(cè)是提高充填質(zhì)量的關(guān)鍵環(huán)節(jié)。若膏體濃度太低，則會(huì)造成充填強(qiáng)度較低，存在地表塌陷的風(fēng)險(xiǎn)，若膏體濃度太高，則會(huì)造成充填管道堵塞，無(wú)法泵送膏體至采空區(qū)，甚至損壞設(shè)備[7]。傳統(tǒng)的膏體濃度測(cè)量方法包括濃度壺測(cè)量法、烘干法、射線(xiàn)測(cè)量法、壓差法、浮子法和電磁法[6]等，然而，由于這些方法均屬于接觸式測(cè)量方法，在攪拌機(jī)高速運(yùn)動(dòng)過(guò)程中，容易損壞測(cè)量設(shè)備或因測(cè)量時(shí)間長(zhǎng)而無(wú)法獲取實(shí)時(shí)濃度。在工業(yè)生產(chǎn)中，也常使用濃度計(jì)對(duì)膏體濃度進(jìn)行測(cè)量，主要包括超聲濃度計(jì)和核子濃度計(jì)。經(jīng)過(guò)實(shí)際工業(yè)生產(chǎn)驗(yàn)證，超聲濃度計(jì)在高濃度下的精度偏低，并且容易被損壞。核子濃度計(jì)存在大量的輻射，出于安全考慮，國(guó)內(nèi)并不允許使用核子濃度計(jì)測(cè)量膏體濃度[4]?；谝曈X(jué)檢測(cè)的非接觸式膏體濃度實(shí)時(shí)識(shí)別方法成為適用于礦山生產(chǎn)的必然選擇。

通過(guò)現(xiàn)場(chǎng)大量現(xiàn)場(chǎng)實(shí)驗(yàn)分析，本文作者發(fā)現(xiàn)不同濃度的膏體在紋理表觀(guān)上具有明顯差異，如圖1所示。因此，圖像識(shí)別方法為膏體濃度識(shí)別提供可能的技術(shù)手段。

圖1 不同濃度的膏體形態(tài)Fig. 1 Different morphology of paste with different concentrations

近年來(lái)，隨著硬件計(jì)算能力的提高和人工智能理論的發(fā)展，基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)依托于其強(qiáng)有效的特征提取能力[8-9]成為圖像處理與分析領(lǐng)域中的主流方法[10-11]。LECUN 等[12]提出卷積神經(jīng)網(wǎng)絡(luò)，KRIZHEVSRY 等[13]提出ALEXNET，在超大型數(shù)據(jù)集ImageNet 上將圖像識(shí)別的Top-5 錯(cuò)誤率降低至16.4%(Top-5錯(cuò)誤率指對(duì)每幅圖像同時(shí)預(yù)測(cè)5 個(gè)標(biāo)簽類(lèi)別，若預(yù)測(cè)的5 個(gè)類(lèi)別任意之一為該圖像的正確標(biāo)簽，則視為預(yù)測(cè)正確，否則視為預(yù)測(cè)錯(cuò)誤，Top-5錯(cuò)誤率指預(yù)測(cè)錯(cuò)誤的圖像數(shù)目與總圖像數(shù)目之比)。VGG[14]，GoogleNet[15]，ResNet[16]和DenseNet[17]等網(wǎng)絡(luò)多次將錯(cuò)誤率降低，截至2017年最后一屆ImageNet圖像識(shí)別競(jìng)賽，SENet[18]將圖像識(shí)別的Top-5錯(cuò)誤率降低至2.991%，遠(yuǎn)低于人類(lèi)錯(cuò)誤率5.1%。目前，針對(duì)專(zhuān)有領(lǐng)域的特殊問(wèn)題，如圖像細(xì)粒度分類(lèi)[19-20]、神經(jīng)網(wǎng)絡(luò)的可解釋性分析[21-23]、視頻序列分類(lèi)[24-25]、小樣本圖像學(xué)習(xí)[26-27]等，科研人員進(jìn)一步優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，旨在讓人工智能方法解決應(yīng)用過(guò)程中的實(shí)際問(wèn)題。

在膏體圖像濃度識(shí)別任務(wù)中，膏體圖像具有紋理特征精細(xì)、干擾多、光照條件不均等特點(diǎn)?；诰矸e神經(jīng)網(wǎng)絡(luò)的膏體圖像識(shí)別面臨如下挑戰(zhàn)：

1) 膏體圖像具有圖像尺寸大且紋理特征精細(xì)的特點(diǎn)，而在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)應(yīng)用中，需要將圖像縮小成固定尺寸(如224 像素×224 像素)，以減少硬件資源的占用，提高訓(xùn)練效率。然而，如果縮小膏體圖像尺寸訓(xùn)練網(wǎng)絡(luò)模型，將損失圖像中的精細(xì)紋理特征，產(chǎn)生模型過(guò)擬合的風(fēng)險(xiǎn)。

2) 由于膏體圖像識(shí)別方法需要在實(shí)時(shí)工業(yè)生產(chǎn)環(huán)境中運(yùn)行，攪拌機(jī)的轉(zhuǎn)動(dòng)將會(huì)干擾圖像識(shí)別進(jìn)程，導(dǎo)致模型識(shí)別不準(zhǔn)確。

3) 在工業(yè)條件下，光照不均問(wèn)題將影響卷積神經(jīng)網(wǎng)絡(luò)對(duì)紋理細(xì)節(jié)的分析。

為了解決以上問(wèn)題，迫切需要針對(duì)膏體濃度識(shí)別領(lǐng)域中獨(dú)有問(wèn)題改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和訓(xùn)練過(guò)程。采用卷積神經(jīng)網(wǎng)絡(luò)單獨(dú)分析局部紋理特征可為濃度識(shí)別提供充足的信息，但局部圖像不具有代表性且容易對(duì)轉(zhuǎn)動(dòng)的攪拌機(jī)葉片造成干擾，由此通過(guò)特征融合的方式融合多個(gè)局部區(qū)域進(jìn)行識(shí)別為大尺寸膏體圖像識(shí)別任務(wù)提供了可能性。通過(guò)預(yù)處理方法進(jìn)行數(shù)據(jù)增廣，可有效提高卷積神經(jīng)網(wǎng)絡(luò)對(duì)于工業(yè)現(xiàn)場(chǎng)不同光照條件的穩(wěn)健性。

綜上所述，本文針對(duì)膏體濃度檢測(cè)領(lǐng)域中傳統(tǒng)接觸式濃度計(jì)識(shí)別精度低、易損壞且對(duì)人體產(chǎn)生有害輻射等問(wèn)題，提出一種基于視覺(jué)檢測(cè)的非接觸式膏體濃度識(shí)別方法，利用圖像分析方法在非接觸條件下識(shí)別膏體的濃度，從而避免接觸式測(cè)量對(duì)儀器的侵蝕和核子濃度計(jì)的輻射對(duì)人體的損害。針對(duì)膏體監(jiān)測(cè)場(chǎng)景下圖像紋理特征精細(xì)、干擾多、光照條件不均等特點(diǎn)，設(shè)計(jì)基于深度特征融合的深度卷積神經(jīng)網(wǎng)絡(luò)模型，通過(guò)多模型全連接層融合的方式融合局部區(qū)域的細(xì)節(jié)特征，并引入伽馬(Gamma)矯正數(shù)據(jù)增廣策略，有效提高膏體料漿紋理的識(shí)別準(zhǔn)確性及不同環(huán)境光照條件下的穩(wěn)健性。

1 基于深度特征融合的膏體圖像濃度識(shí)別

1.1 膏體數(shù)據(jù)集采集

在北京科技大學(xué)進(jìn)行模擬膏體制備實(shí)驗(yàn)，并拍攝不同濃度的膏體視頻圖像。整個(gè)實(shí)驗(yàn)環(huán)境包括攝像機(jī)、三腳架、攪拌缸、攪拌機(jī)、照明燈光以及混合膏體等。圖2和圖3所示分別為制備實(shí)驗(yàn)示意圖和流程圖。

圖2 模擬膏體制備及圖像采集實(shí)驗(yàn)環(huán)境示意圖Fig. 2 Simulation paste system preparation and image acquisition experiment environment diagram

圖3 模擬膏體制備及圖像采集流程圖Fig. 3 Simulation paste system preparation and image acquisition flow diagram

主要針對(duì)灰沙比為1∶16 的混合膏體濃度進(jìn)行研究，成分主要包括尾砂、粗骨料、水等，顏色呈灰色狀。在制備環(huán)境中，使用2 支為功率400 W，色溫為5 000 K，光通量為110 lm的LED燈給圖像采集提供照明。固定在攪拌機(jī)上方兩側(cè)，距底部80 cm。用三腳架將1 臺(tái)攝像機(jī)固定于攪拌機(jī)正上方140 cm 處，距離料漿80 cm 以上，拍攝畫(huà)面中心與料漿中心一致。

在保證實(shí)驗(yàn)效果的前提下，為節(jié)省財(cái)力、物力以及時(shí)間成本，使用灰沙比為1∶16 固體物料(包括尾砂、粗骨料等)以及不斷增加清水的方式進(jìn)行混合膏體配制。即先測(cè)量高濃度的膏體，然后增加定量的清水以逐級(jí)降低濃度。通過(guò)初始固體物料的質(zhì)量和每次增加清水之后的膏體總質(zhì)量，確定當(dāng)前的料漿實(shí)際濃度。

在數(shù)據(jù)采集前均勻攪拌，以確保濃度識(shí)別的準(zhǔn)確性。多濃度膏體視頻數(shù)據(jù)為基于圖像分析的膏體濃度高精度識(shí)別提供了關(guān)鍵信息。

在膏體制備過(guò)程中，將灰砂比為1∶16 的固體物料(包括尾砂、粗骨料等)和水按配比倒入攪拌缸中，并調(diào)整攝像頭進(jìn)行對(duì)焦[28-29]，再用攪拌機(jī)攪拌均勻。其中攪拌方式包括手動(dòng)攪拌和自動(dòng)攪拌。

本次拍攝的2 組膏體質(zhì)量分?jǐn)?shù)視頻有45 種(由于工業(yè)現(xiàn)場(chǎng)通常關(guān)注高濃度膏體識(shí)別的準(zhǔn)確性，因此本文進(jìn)行分階段采樣，當(dāng)質(zhì)量分?jǐn)?shù)為20%～60%時(shí)，按照5%的梯度采集；當(dāng)質(zhì)量分?jǐn)?shù)為60%～78%時(shí)，按照0.5%的梯度采集)。每種濃度均按照25 幀/s 的幀率錄制5 min，共有7 500 幀圖像。本文從中選取攪拌均勻、各個(gè)參數(shù)一致的5 000 幀，用以制作得到不同濃度的膏體數(shù)據(jù)集，最終在手動(dòng)攪拌和自動(dòng)攪拌2 種方式下對(duì)均具有112 500幀圖像的數(shù)據(jù)集用于深度學(xué)習(xí)模型分析。

1.2 Gamma矯正策略

在拍攝采集膏體圖像數(shù)據(jù)集時(shí)，由于拍攝角度與液位高度的變化，以及隨著拍攝時(shí)間的改變，現(xiàn)場(chǎng)光照亮度不穩(wěn)定，并且識(shí)別結(jié)果容易受到現(xiàn)場(chǎng)實(shí)驗(yàn)條件下環(huán)境光的影響，導(dǎo)致圖像存在噪聲。因此，本文采用Gamma 矯正策略改變膏體圖像的亮度，作為數(shù)據(jù)增強(qiáng)策略驅(qū)使網(wǎng)絡(luò)模型學(xué)習(xí)真正的紋理細(xì)節(jié)信息，以降低環(huán)境光對(duì)濃度識(shí)別的干擾，從而提高濃度識(shí)別的準(zhǔn)確性。

Gamma矯正策略是指對(duì)膏體圖像的Gamma曲線(xiàn)進(jìn)行轉(zhuǎn)換。其公式表示為

式中：I為原始輸入圖像矩陣(取值為[0，1])；f(I)為Gamma 矯正結(jié)果；λ為系數(shù)。當(dāng)λ＞1 時(shí)，圖像整體亮度變暗，當(dāng)λ＜1 時(shí)，圖像整體亮度變亮，如圖4所示。

圖4 Gamma矯正示意圖Fig. 4 Schematic diagrams of Gamma correction

1.3 單模型特征提取

由于CNN 模型只能輸入固定大小的圖像塊用于分析和計(jì)算[30-31]，為充分考慮全局特征和紋理細(xì)節(jié)，本文針對(duì)輸入模型的圖像，設(shè)計(jì)全圖縮小(full size shrinking)和隨機(jī)裁剪(random cropping) 2 種圖像預(yù)處理方式，將圖像尺寸由1 920 像素×1 080 像素縮小到224像素×224像素輸入CNN模型，如圖5所示。

圖5 2種圖像預(yù)處理方法Fig. 5 Two image processing methods

由圖5可知：全圖縮小的方式雖然可以使網(wǎng)絡(luò)模型訪(fǎng)問(wèn)到全局圖像信息，但由于縮減過(guò)程中造成的紋理細(xì)節(jié)信息缺失，不利于對(duì)精細(xì)的膏體紋理細(xì)節(jié)進(jìn)行分析。而隨機(jī)裁剪的方式會(huì)丟失全局信息，并且容易受到旋轉(zhuǎn)過(guò)程中的攪拌機(jī)葉片干擾，降低識(shí)別準(zhǔn)確率。

因此，本文采用模型融合的方式進(jìn)行濃度分類(lèi)，設(shè)計(jì)包括局部圖像級(jí)聯(lián)融合、全連接層融合和特征圖融合在內(nèi)的3種模型融合方式，通過(guò)結(jié)合全局和局部圖像特征，提升膏體圖像分類(lèi)準(zhǔn)確率。由于模型融合是把獨(dú)立的學(xué)習(xí)器組合起來(lái)，因此，需要將裁剪得到的5 幅圖像分別輸入5 個(gè)CNN 模型，并且通過(guò)參數(shù)共享策略提升模型訓(xùn)練結(jié)果，從而提升學(xué)習(xí)效果。

1.4 多模型特征融合

本文采用多圖融合的方式實(shí)現(xiàn)模型融合，具體實(shí)現(xiàn)思路是在隨機(jī)裁剪的基礎(chǔ)上，從1 920 像素×1 080 像素的原圖中，按固定位置裁剪出5 幅224 像素×224 像素的小圖(如圖6 所示)，在模型參數(shù)共享的基礎(chǔ)上，分別送入模型進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試，然后使用2種模型融合方式，提升膏體圖像分類(lèi)的準(zhǔn)確率。本文選擇局部圖像級(jí)聯(lián)融合、全連接層融合以及特征圖融合3種方式進(jìn)行對(duì)比分析，模型融合網(wǎng)絡(luò)模型如圖7所示。

圖6 從膏體圖像原圖中按固定位置裁剪5張小圖示意圖Fig. 6 Schematic diagram of cut out five small pictures from original paste image in a fixed position

圖7 3種模型融合算法Fig. 7 Three model fusion algorithms and image stitching algorithm

本文使用的局部圖像級(jí)聯(lián)融合方式指將隨機(jī)裁剪得到的5張小圖融合為1張圖片，并將融合得到的圖片送入1 個(gè)深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行分析、訓(xùn)練、測(cè)試，以驗(yàn)證與局部裁剪的方式相比，膏體濃度識(shí)別準(zhǔn)確率是否有所提升。

使用的全連接層融合方式指將1張大尺寸膏體圖像中得到的5張局部圖像分別送入網(wǎng)絡(luò)的5個(gè)參數(shù)共享的特征提取分支中，使每張圖片經(jīng)過(guò)的每一層計(jì)算參數(shù)都保持一致，最后經(jīng)過(guò)逐個(gè)提取分支特征，每張局部圖像得到1個(gè)包含其屬于每一個(gè)分類(lèi)概率的數(shù)組。然后，將5張局部圖像得到的數(shù)組進(jìn)行平均，再根據(jù)最終求得的概率，將概率最大值的分類(lèi)作為對(duì)應(yīng)大尺寸膏體圖像的預(yù)測(cè)分類(lèi)。

使用的特征圖融合方式指將特征提取分支輸出的5張局部圖像特征圖進(jìn)行通道級(jí)聯(lián)，再進(jìn)行全連接分析操作，得到概率矩陣，最后取最大概率對(duì)應(yīng)的分類(lèi)作為預(yù)測(cè)結(jié)果。

通過(guò)后續(xù)實(shí)驗(yàn)分析，本文選擇VGG16 作為特征提取分支。

2 實(shí)驗(yàn)

首先選擇在圖像分類(lèi)競(jìng)賽(imagenet large scale visual recognition challenge, ILSVRC)中典型的3 種模型(VGG16[14]，resnet50[16]和DENSENET121[17])作為特征提取分支的基線(xiàn)模型進(jìn)行分析，并選擇分類(lèi)效果最好的模型進(jìn)行下一步模型融合實(shí)驗(yàn)。本文僅選擇上述基線(xiàn)模型以證明本文提出的深度特征融合方法的有效性，在實(shí)際應(yīng)用中可根據(jù)實(shí)際需要更換基線(xiàn)模型。

以經(jīng)過(guò)ImageNet 預(yù)訓(xùn)練的CNN 模型為基礎(chǔ)[32]，再用提前劃分得到的膏體圖像訓(xùn)練集，對(duì)模型進(jìn)行再訓(xùn)練。本文在手動(dòng)攪拌和自動(dòng)攪拌2種數(shù)據(jù)集中均有112 500幀圖像，并按照3∶1∶1的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，即訓(xùn)練集有67 500幀圖像，驗(yàn)證集和測(cè)試集均有22 500 張圖像，并分別標(biāo)記濃度標(biāo)簽。本文在預(yù)處理圖像的過(guò)程中，對(duì)比是否應(yīng)用Gamma 矯正的實(shí)驗(yàn)結(jié)果，以驗(yàn)證Gamma矯正對(duì)減弱光照條件變化帶來(lái)的誤差影響。

使用開(kāi)源的深度學(xué)習(xí)框架Pytorch 進(jìn)行代碼編寫(xiě)和資源管理，并采用4 塊NVIDIA GeForce GTX 1080Ti 對(duì)圖像識(shí)別網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，以提高網(wǎng)絡(luò)模型訓(xùn)練的運(yùn)算速度。統(tǒng)一設(shè)置網(wǎng)絡(luò)模型的參數(shù)：訓(xùn)練輪次為20 輪；batch size 為25；學(xué)習(xí)率初始為0.01，并采用cosine函數(shù)遞減算法，每輪次更新學(xué)習(xí)率，逐漸減??；動(dòng)量設(shè)置為0.9，并利用交叉熵?fù)p失函數(shù)(cross entropy loss)與隨機(jī)梯度下降(stochastic gradient descent, SGD)優(yōu)化器算法逆反饋優(yōu)化網(wǎng)絡(luò)參數(shù)，優(yōu)化網(wǎng)絡(luò)模型[33]。

2.1 單模型識(shí)別結(jié)果

針對(duì)同一預(yù)處理算法，3種模型的濃度識(shí)別準(zhǔn)確率結(jié)果如表1所示，其中，VGG-16與ResNet-50的準(zhǔn)確率明顯比DenseNet-121 的準(zhǔn)確率高，本文推測(cè)底層紋理特征適用于膏體濃度識(shí)別，而使用深層的卷積神經(jīng)網(wǎng)絡(luò)具有過(guò)擬合的風(fēng)險(xiǎn)。以VGG-16網(wǎng)絡(luò)為例，輸出局部裁剪的圖像及前5種濃度預(yù)測(cè)概率如圖8所示(實(shí)際質(zhì)量分?jǐn)?shù)標(biāo)注于圖片下方，以橫向柱狀圖展示預(yù)測(cè)結(jié)果中置信度最高的5個(gè)類(lèi)別的置信度，帶有條紋橫向柱代表實(shí)際濃度對(duì)應(yīng)的置信度)。

表1 不同模型與預(yù)處理算法的膏體濃度識(shí)別準(zhǔn)確率Table 1 Paste concentration identification accuracy of different models and preprocessing algorithms

圖8 單模型膏體濃度識(shí)別結(jié)果Fig. 8 Recognition results in single model of paste concentration

從表1可以得出：采用單圖隨機(jī)裁剪的預(yù)處理方式，得到的實(shí)驗(yàn)結(jié)果和全圖縮小的實(shí)驗(yàn)結(jié)果相差約10%。從圖8可看出：運(yùn)用單模型的識(shí)別準(zhǔn)確率不高，甚至Top-5中不存在預(yù)測(cè)正確的濃度。經(jīng)對(duì)此分析，單純的局部裁剪無(wú)法有效地減弱攪拌機(jī)圖像對(duì)膏體信息的干擾，即存在影響濃度識(shí)別的噪聲信息，同時(shí)，全圖縮小的濃度識(shí)別準(zhǔn)確率在無(wú)Gamma矯正時(shí)超過(guò)95%，然而，應(yīng)用Gamma矯正后正確率驟降至25%。本文認(rèn)為該波動(dòng)超出正常范圍，原因在于采用全圖縮小的模型無(wú)法訪(fǎng)問(wèn)到精細(xì)的膏體紋理特征，將環(huán)境光照亮度變化也作為分類(lèi)依據(jù)，但這一特征與濃度無(wú)關(guān)，據(jù)此，本文設(shè)計(jì)全新的模型融合算法，以增強(qiáng)實(shí)驗(yàn)結(jié)果置信度，并降低噪聲信息。

2.2 單模型局部圖像級(jí)聯(lián)融合識(shí)別結(jié)果

上述結(jié)果表明，直接進(jìn)行局部裁剪并輸入網(wǎng)絡(luò)模型訓(xùn)練難以達(dá)到預(yù)期效果，因此，本文設(shè)計(jì)局部模型融合算法，將5張經(jīng)過(guò)局部裁剪得到的圖片進(jìn)行拼接融合，輸入網(wǎng)絡(luò)訓(xùn)練與測(cè)試。結(jié)果如表2 所示。以VGG-16 網(wǎng)絡(luò)為例，輸出圖像及前5種濃度預(yù)測(cè)概率如圖9 所示(實(shí)際質(zhì)量分?jǐn)?shù)標(biāo)注于圖片下方，以橫向柱狀圖展示預(yù)測(cè)結(jié)果中置信度最高的5個(gè)類(lèi)別的置信度，帶有條紋橫向柱代表實(shí)際濃度對(duì)應(yīng)的置信度)。

表2 單模型局部圖像級(jí)聯(lián)融合算法的膏體濃度識(shí)別準(zhǔn)確率Table 2 Paste concentration recognition accuracy of local original image fusion

圖9 單模型局部圖像級(jí)聯(lián)融合膏體濃度識(shí)別結(jié)果Fig .9 Recognition results in single model local image cascade fusion of paste concentration

從圖9可以看出：局部圖像級(jí)聯(lián)融合算法比上述單圖局部裁剪的算法的濃度識(shí)別準(zhǔn)確率更高，且在Gamma 矯正后，沒(méi)有出現(xiàn)識(shí)別準(zhǔn)確率驟降的情況。對(duì)比圖8，所有的Top-5 都包含了正確的濃度，且?guī)缀跛袧舛榷荚赥op-1(預(yù)測(cè)結(jié)果中置信度最高的一個(gè)類(lèi)別)位置預(yù)測(cè)正確。證明此方法可以明顯減小由于光照變化帶來(lái)的膏體濃度特征識(shí)別誤差，但是其準(zhǔn)確率較低，難以應(yīng)用于實(shí)踐。為進(jìn)一步提高膏體濃度識(shí)別準(zhǔn)確率，本文設(shè)計(jì)2種基于基線(xiàn)模型的模型融合算法：全連接層融合與特征圖融合。

2.3 多模型融合識(shí)別結(jié)果

如前文所述，本文設(shè)計(jì)并實(shí)現(xiàn)2種基于基線(xiàn)模型的模型融合算法：全連接層融合與特征圖融合。得到結(jié)果如表3所示。以VGG-16網(wǎng)絡(luò)和全連接層模型融合為例，輸出圖像及前5種濃度預(yù)測(cè)概率如圖10所示(實(shí)際質(zhì)量分?jǐn)?shù)標(biāo)注于圖片下方，以橫向柱狀圖展示預(yù)測(cè)結(jié)果中置信度最高的5個(gè)類(lèi)別的置信度，帶有條紋橫向柱代表實(shí)際濃度對(duì)應(yīng)的置信度)。

表3 不同模型融合算法的膏體濃度識(shí)別準(zhǔn)確率Table 3 Paste concentration recognition accuracy of different model fusion algorithms

圖10 多模型全連接層融合膏體濃度識(shí)別結(jié)果Fig .10 Recognition results in multi-model full-connection layer fusion of paste concentration

由圖10可知：2種模型融合算法都比前述單圖隨機(jī)裁剪算法和單模型局部圖像級(jí)聯(lián)融合算法的濃度識(shí)別準(zhǔn)確率高。對(duì)比3種模型，與上述實(shí)驗(yàn)結(jié)果類(lèi)似，VGG-16 的濃度識(shí)別準(zhǔn)確率最高，而ResNet-50 與DenseNet-121 的結(jié)果與之相比，相差7%～15%。對(duì)比2 種模型融合算法，全連接層融合的效果普遍比特征圖融合的效果好，證明對(duì)各自獨(dú)立的全連接層結(jié)果進(jìn)行平均能夠更好地提取濃度特征，提升濃度識(shí)別準(zhǔn)確率。

2.4 Gamma矯正策略對(duì)比

應(yīng)用Gamma 矯正策略可以中和圖像的光照信息，降低環(huán)境光噪聲信息對(duì)圖像濃度特征信息的干擾，據(jù)此，設(shè)計(jì)對(duì)比實(shí)驗(yàn)將Gramma矯正作為數(shù)據(jù)增強(qiáng)策略訓(xùn)練CNN模型。

結(jié)果表明，應(yīng)用Gamma 矯正策略可以顯著提高濃度識(shí)別準(zhǔn)確率。全圖縮小預(yù)處理方法在應(yīng)用Gamma 矯正策略后，濃度識(shí)別準(zhǔn)確率驟降，證明全圖縮小方法由于未訪(fǎng)問(wèn)到膏體精細(xì)紋理特征造成該方法的泛化性能不強(qiáng)，而全連接層融合算法則可以很好的解決這一問(wèn)題。全連接層融合算法針對(duì)手動(dòng)攪拌數(shù)據(jù)集和自動(dòng)攪拌數(shù)據(jù)集在增加Gamma矯正后，濃度識(shí)別準(zhǔn)確率均提升約2%。

3 討論

本文針對(duì)膏體充填任務(wù)中關(guān)鍵的濃度識(shí)別問(wèn)題，提出一種基于視覺(jué)檢測(cè)的非接觸式膏體濃度識(shí)別方法，以膏體圖像數(shù)據(jù)集為基礎(chǔ)，對(duì)膏體濃度監(jiān)測(cè)準(zhǔn)確率進(jìn)行分析。實(shí)驗(yàn)證明，本文提出的方法為膏體濃度識(shí)別提供一套全新的解決方案，即通過(guò)分析膏體的紋理特征可有效對(duì)濃度進(jìn)行監(jiān)測(cè)。但該方法需要充分考慮現(xiàn)場(chǎng)環(huán)境因素的影響。實(shí)驗(yàn)證明，在引入Gamma 矯正的情況下，模型的準(zhǔn)確率受到一定的影響，但模型的穩(wěn)健性得到提高。

在未來(lái)的研究中，擬采用基于視頻分類(lèi)的分析方法，以充分提取膏體攪拌過(guò)程中的紋理信息和運(yùn)動(dòng)信息，即在同一攪拌機(jī)轉(zhuǎn)速下，濃度高的膏體運(yùn)動(dòng)慢，濃度低的膏體運(yùn)動(dòng)快。本文認(rèn)為通過(guò)有效提取膏體料漿的運(yùn)動(dòng)信息有助于提高濃度識(shí)別的準(zhǔn)確率。

本文在預(yù)研實(shí)驗(yàn)中僅采集灰砂比為1∶16 的膏體，然而，在實(shí)際工業(yè)生產(chǎn)的充填膏體配料中，灰砂比有1∶4，1∶8，1∶16 和1∶24 這4 種配料方式，本文后續(xù)將驗(yàn)證模型在其他不同材料配比的膏體濃度分類(lèi)的準(zhǔn)確率，并在輕量化模型部署、模型高速計(jì)算等方面進(jìn)行研究與實(shí)驗(yàn)。

4 結(jié)論

1) 采用深度學(xué)習(xí)算法，以膏體圖像數(shù)據(jù)集為基礎(chǔ)的基于視覺(jué)檢測(cè)的非接觸式膏體濃度識(shí)別方法可以有效實(shí)現(xiàn)膏體濃度監(jiān)測(cè)。

2) Gamma 矯正策略應(yīng)用于模型融合的各項(xiàng)對(duì)比實(shí)驗(yàn)中，識(shí)別準(zhǔn)確率均提升1.2%以上，對(duì)提升算法對(duì)不同環(huán)境的適應(yīng)性具有顯著效果。

3) 單模型局部圖像級(jí)聯(lián)融合算法比單模型非級(jí)聯(lián)算法具有更高的環(huán)境適應(yīng)性，多模型融合算法相較單模型局部圖像級(jí)聯(lián)融合算法的濃度識(shí)別準(zhǔn)確率提升7%以上，全連接層融合相較特征圖融合的準(zhǔn)確率提升1%以上，其針對(duì)手動(dòng)攪拌數(shù)據(jù)集和自動(dòng)攪拌數(shù)據(jù)集的濃度識(shí)別準(zhǔn)確率分別達(dá)到88.79%和91.42%。

4) 基于視覺(jué)檢測(cè)的非接觸式膏體濃度識(shí)別方法，可有效提高膏體料漿紋理的識(shí)別準(zhǔn)確性及對(duì)不同環(huán)境條件下的穩(wěn)健性，對(duì)于解決傳統(tǒng)接觸式濃度計(jì)識(shí)別精度低、易損壞且對(duì)人體產(chǎn)生有害輻射等問(wèn)題有重要意義。