何銘亮 王建國 范 斌 張 超 郭向陽

(1.內(nèi)蒙古科技大學(xué)機(jī)械工程學(xué)院 內(nèi)蒙古包頭 014010；2.內(nèi)蒙古農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院 內(nèi)蒙古呼和浩特 010018)

潤滑油被稱為機(jī)械設(shè)備的“血液”[1]，其攜帶大量磨損產(chǎn)生的磨損顆粒，磨損顆粒具有大量磨損信息，通過分析其尺寸、形態(tài)、數(shù)量、濃度等指標(biāo)，可以判斷設(shè)備的運(yùn)行狀態(tài)及故障原因。目前油液磨粒檢測(cè)技術(shù)主要是離線送檢和在線監(jiān)測(cè)兩大類[2]。傳統(tǒng)離線送檢的方法時(shí)效性不高，油樣獲取有限，分析周期長，加之磨粒分析需要依賴經(jīng)驗(yàn)豐富的專家的主觀判斷，無法及時(shí)對(duì)設(shè)備早期異常磨損進(jìn)行及時(shí)反饋。在線油液磨粒監(jiān)測(cè)技術(shù)成為國內(nèi)外研究的焦點(diǎn)。

在線圖像可視鐵譜技術(shù)(On-Line Visual Ferrography，OLVF)[3]，是一種油液磨粒在線技術(shù)，該裝置通過旁路方式與潤滑系統(tǒng)直接連接，通過調(diào)節(jié)電磁鐵的勵(lì)磁磁勢(shì)和沉積流量，可有效地捕獲5～1 000 μm 的鐵磁性顆粒，并由圖像傳感器實(shí)時(shí)獲取捕獲磨粒視覺特征，理論上基于圖像處理技術(shù)可實(shí)現(xiàn)磨粒信息全面提取。在線圖像可視鐵譜技術(shù)可以實(shí)時(shí)監(jiān)測(cè)磨損磨粒，避免了人工分析磨粒的主觀判斷。然而，OLVF的光學(xué)成像結(jié)構(gòu)簡單，放大倍率有限，其獲取的磨粒譜片圖像分辨率低；在電磁力的作用下沉積的磨粒彼此吸附，易出現(xiàn)磨粒聚集和成鏈現(xiàn)象；實(shí)際應(yīng)用時(shí)潤滑油中的氣泡對(duì)OLVF沉積磨粒譜片的干擾嚴(yán)重，磨粒背景復(fù)雜，因此，傳統(tǒng)圖像處理方法提取磨粒視覺特征面臨挑戰(zhàn)。

隨著計(jì)算機(jī)視覺技術(shù)和深度學(xué)習(xí)技術(shù)的不斷發(fā)展，國內(nèi)外學(xué)者為離線鐵譜磨粒圖像處理開辟了新的途徑。陳果和左洪福[4]運(yùn)用c-均值有效實(shí)現(xiàn)了8種磨粒的聚類，對(duì)少量磨粒圖像進(jìn)行了參數(shù)提取，但是顏色、尺寸大小、磨粒形狀仍靠人工測(cè)量。賀石中等[5]利用Mask R-CNN卷積神經(jīng)網(wǎng)絡(luò)對(duì)離線鐵譜圖像中的磨粒進(jìn)行識(shí)別和分割，但預(yù)測(cè)速度較慢，無法達(dá)到實(shí)時(shí)磨粒識(shí)別的需求。安超等人[6]也通過深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了離線鐵譜磨粒的智能識(shí)別，但是只對(duì)兩種特定磨粒進(jìn)行了識(shí)別，且在泛化能力上還有不足。何貝貝等[7]利用Faster-RCNN模型自動(dòng)提取磨粒圖像特征來識(shí)別異常磨粒，但速度無法達(dá)到實(shí)時(shí)監(jiān)測(cè)的要求。

上述研究大多是關(guān)注離線鐵譜圖像中單一特征磨粒單目標(biāo)智能識(shí)別。對(duì)于OLVF獲得譜片圖像而言，由于磨粒譜片圖像分辨率低，且沉積的磨粒彼此吸附，易出現(xiàn)磨粒聚集和成鏈現(xiàn)象；同時(shí)實(shí)際應(yīng)用時(shí)潤滑油中氣泡干擾嚴(yán)重，磨粒背景復(fù)雜；加之磨粒種類復(fù)雜多變，傳統(tǒng)的人工提取磨粒特征的方法效率不高，且傳統(tǒng)的磨粒分割與識(shí)別是兩個(gè)階段，并未完全實(shí)現(xiàn)智能化，因此當(dāng)同一背景下出現(xiàn)多種磨粒時(shí)，系統(tǒng)無法識(shí)別多種磨粒。目前對(duì)于OLVF在線磨粒圖像的多目標(biāo)磨粒識(shí)別問題仍面臨挑戰(zhàn)。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，在目標(biāo)檢測(cè)方面基于R-CNN算法的兩階段檢測(cè)，如R-CNN[8]、Fast-RCNN[9]、Faster-RCNN[10]等發(fā)展迅速，這類算法準(zhǔn)確度高，但檢測(cè)時(shí)間長，無法達(dá)到實(shí)時(shí)檢測(cè)。近年來，以yolo、SSD[11]等算法為代表的單階段檢測(cè)方法發(fā)展迅速，與兩階段檢測(cè)算法相比，這類算法檢測(cè)速度很快，可實(shí)現(xiàn)在線實(shí)時(shí)檢測(cè)。

為了實(shí)現(xiàn)在線可視鐵譜圖像磨粒多目標(biāo)實(shí)時(shí)檢測(cè)與識(shí)別，本文作者提出基于yolov5在線可視鐵譜圖像磨粒多目標(biāo)識(shí)別方法，實(shí)現(xiàn)了在復(fù)雜環(huán)境下多目標(biāo)、多類型的磨粒識(shí)別，研究表明該方法的準(zhǔn)確率基本滿足油液在線監(jiān)測(cè)需求。

1 yolo算法

yolo算法[12]首先會(huì)將一張圖像分為S*S個(gè)網(wǎng)格單元，每個(gè)單元格負(fù)責(zé)檢測(cè)目標(biāo)，如果某個(gè)目標(biāo)的中心落到網(wǎng)格中，那么這個(gè)網(wǎng)格單元就會(huì)對(duì)該目標(biāo)進(jìn)行預(yù)測(cè)。每個(gè)網(wǎng)格需要預(yù)測(cè)B個(gè)邊界框，每個(gè)邊界框又需要回歸到其自身坐標(biāo)和尺寸(x，y，w，h)以及預(yù)測(cè)一個(gè)置信度值，置信度的定義公式見式(1)。

(1)

這個(gè)置信度包含兩個(gè)方面，一是邊界框含有檢測(cè)目標(biāo)的置信度，二是邊界框的準(zhǔn)確度。若該邊界框中不包含目標(biāo)，則Pr(object)=0，若包含檢測(cè)目標(biāo)，則Pr(object)=1，另外，每個(gè)單元格還需要預(yù)測(cè)出C個(gè)類別概率值，這個(gè)類別概率值是指網(wǎng)格單元預(yù)測(cè)的邊界框中的目標(biāo)屬于各個(gè)類別的概率，記為Pr(classi)，各個(gè)邊界框的類別置信度公式見式(2)。

(2)

最后得到S*S*(B*5+C)列的輸出張量，對(duì)邊界框進(jìn)行閾值過濾，并對(duì)保留的邊界框進(jìn)行非極大值抑制(Non-Maximum Suppression，NMS)處理，去掉重疊的邊界框，從而得到最終的目標(biāo)檢測(cè)結(jié)果。

yolov5網(wǎng)絡(luò)由3個(gè)主要組件組成：

(1)Backbone：在不同圖像細(xì)粒度上聚合并形成圖像特征的卷積神經(jīng)網(wǎng)絡(luò)。

(2)Neck：一系列混合和組合圖像特征的網(wǎng)絡(luò)層，并將圖像特征傳遞到預(yù)測(cè)層。

(3)Prediction：對(duì)圖像特征進(jìn)行預(yù)測(cè)，生成邊界框并預(yù)測(cè)類別。yolov5算法結(jié)構(gòu)示意圖如圖1所示。

圖1 yolov5結(jié)構(gòu)示意Fig.1 Schematic of yolov5 structure

1.1 跨階段局部網(wǎng)絡(luò)(CSPnet)

在yolov5中設(shè)計(jì)了兩種CSPnet[13](Cross Stage Paritial Network)結(jié)構(gòu)，一種用于Backbone主干網(wǎng)絡(luò)，一種用于Neck網(wǎng)絡(luò)中。CSP模塊由局部密集塊和局部過渡層組成。在局部密集塊中，首先通過通道x0=[x′0，x″0]將基礎(chǔ)層的特征映射劃分為兩部分，然后通過跨階段層次結(jié)構(gòu)將它們合并，將梯度變化集成到特征圖中，然后輸出xU。CSP模塊的前饋傳遞和權(quán)重更新方程如公式(3)和公式(4)所示。

(3)

(4)

式中：*表示卷積算子；[x0，x1，…]表示將x0，x1，…連接，并且wi和xi為連接到第i個(gè)密集塊的權(quán)重和輸出，fi是第i個(gè)密集塊權(quán)重更新的函數(shù)，而gi表示傳播到第i個(gè)密集塊的梯度。

CSPnet通過拆分合并的策略，增加了梯度路徑的數(shù)量，而且平衡了各層的計(jì)算，大大減少了計(jì)算量，同時(shí)增強(qiáng)了網(wǎng)絡(luò)的學(xué)習(xí)能力，保證了準(zhǔn)確性。

1.2 空間金字塔池化模塊

空間金字塔池化(Spatial Pyramid Pooling，SPP)是SPPNet[14]提出用來解決全連接層固定輸出的問題。yolov5網(wǎng)絡(luò)的backbone組件中添加SPP模塊，采用滑窗方式對(duì)輸入的特征圖像進(jìn)行處理，每個(gè)層級(jí)都具有不同大小的步長和池化層來實(shí)現(xiàn)，從而通過對(duì)不同尺度的磨粒特征使用多個(gè)卷積和進(jìn)行最大池化，再將最大池化后的特征圖進(jìn)行擴(kuò)充，最終得到統(tǒng)一大小的特征圖，SPPNet模塊計(jì)算如公式(5)所示。

(5)

式中：Kh表示卷積核的高度；Sh表示高度方向的步長；Ph表示高度方向的填充數(shù)量；ceil表示向上取整；floor表示向下取整；hnew表示最后得到新的特征向量的高度。

特征向量的寬度以同樣方式進(jìn)行計(jì)算。最終得到固定大小的特征圖，輸入全連接層，從而解決了磨粒尺寸等特征不一致的問題，從一定程度上緩解了目標(biāo)多尺度的問題。SPP模塊結(jié)構(gòu)如圖2所示。

圖2 SPP結(jié)構(gòu)示意Fig.2 Schematic of SPP structure

1.3 特征金字塔網(wǎng)絡(luò)

在yolov5的neck部分中，F(xiàn)PN[15](Feature Pyramid Network)與PAN[16](Path Aggregation Network)是其重要組成部分，在FPN層的后面添加了一個(gè)自底向上的特征金字塔網(wǎng)絡(luò)，其結(jié)構(gòu)組成如圖3所示。FPN層自頂向下傳達(dá)語義特征，而特征金字塔自底向上傳達(dá)強(qiáng)定位特征，從不同的主干層對(duì)不同的檢測(cè)層進(jìn)行參數(shù)聚合，進(jìn)一步增強(qiáng)了特征融合與特征傳遞，這對(duì)多尺寸目標(biāo)分割與識(shí)別具有重要意義。

圖3 FPN+PAN結(jié)構(gòu)示意Fig.3 Schematic of FPN+PAN structure

1.4 邊界框預(yù)測(cè)

目標(biāo)檢測(cè)中想要將檢測(cè)到的目標(biāo)框出，就需要通過對(duì)預(yù)測(cè)邊界框所在位置的數(shù)據(jù)進(jìn)行預(yù)測(cè)，從而產(chǎn)生出交并比(IOU)這個(gè)目標(biāo)檢測(cè)中的重要概念，即為目標(biāo)預(yù)測(cè)框與真實(shí)框交集與并集的比值。而GIOU中增加了一個(gè)能夠同時(shí)框住真實(shí)框與預(yù)測(cè)框的最小的框，從而解決了無法衡量預(yù)測(cè)框與真實(shí)框兩者距離的問題。yolov5中采用GIOU_Loss作為邊界框預(yù)測(cè)的損失函數(shù)。損失函數(shù)計(jì)算公式見式(6)。

(6)

2 實(shí)驗(yàn)及數(shù)據(jù)采集

2.1 數(shù)據(jù)集采集

為了獲取實(shí)驗(yàn)數(shù)據(jù)，開展了全壽命周期齒輪磨損加速實(shí)驗(yàn)。試驗(yàn)在自制的試驗(yàn)臺(tái)開展，如圖4所示。該平臺(tái)由齒輪試驗(yàn)臺(tái)、振動(dòng)加速度傳感器、便攜式油液分析儀及數(shù)據(jù)采集軟件構(gòu)成。實(shí)驗(yàn)持續(xù)進(jìn)行約240 h。利用在線油液分析儀采集油液磨粒信息數(shù)據(jù)，收集了齒輪從磨合期、正常磨損期，到異常磨損的全壽命過程中油液磨粒信息視頻數(shù)據(jù)，共計(jì)5 460組。

圖4 構(gòu)建的采集系統(tǒng)Fig.4 The constructed acquisition system

將采集到的磨粒視頻數(shù)據(jù)，按幀提取為磨粒圖像數(shù)據(jù)，并選出500張磨粒圖片，利用標(biāo)注工具對(duì)磨粒圖像進(jìn)行標(biāo)注，并整理成COCO數(shù)據(jù)集格式。根據(jù)磨粒的形態(tài)、紋理、大小等特征，將齒輪磨損磨粒分為以下6類：

(1)正常磨粒。正常磨粒尺寸較小，成薄片狀。正常磨粒是齒輪箱正?；瑒?dòng)磨損產(chǎn)生的磨損顆粒，對(duì)齒輪箱幾乎沒有影響。

(2)切削磨粒。切削磨粒呈細(xì)長狀，切削磨粒類似于車床加工的切屑，通常是齒輪摩擦表面或潤滑油中存在硬質(zhì)物質(zhì)導(dǎo)致，此時(shí)需要對(duì)潤滑油進(jìn)行更換。

(3)球形磨粒。球形磨粒呈圓球狀，通常是由于軸承滾動(dòng)疲勞磨損導(dǎo)致，當(dāng)出現(xiàn)球形磨粒時(shí)，需要重視齒輪箱的磨損情況。

(4)疲勞磨損磨粒。疲勞磨粒呈片狀，尺寸較大，表面光滑，該磨粒大量出現(xiàn)表示齒輪已經(jīng)出現(xiàn)故障，需要停機(jī)檢修。

(5)滑動(dòng)磨損磨粒?；瑒?dòng)磨粒尺寸較大，表面光亮且有劃痕，該磨粒出現(xiàn)較多時(shí)，需要對(duì)齒輪箱進(jìn)一步檢查。

(6)氧化磨損磨粒。氧化物磨粒呈黑色顆粒，當(dāng)出現(xiàn)大量該磨粒時(shí)，表明齒輪箱腐蝕嚴(yán)重，需要對(duì)潤滑油進(jìn)行補(bǔ)充或更換。

圖5所示為6類磨粒代表性圖像。

2.2 模型訓(xùn)練

yolov5具有4種不同深度的模型，分別為yolov5s、yolov5m、yolov5l、yolov5x，4種模型的網(wǎng)絡(luò)深度依次加深，從而使得模型訓(xùn)練速度依次減慢，并且模型權(quán)重文件依次增大。為了保證訓(xùn)練速度不會(huì)過慢，同時(shí)模型權(quán)重文件也不會(huì)過大，文中選用yolov5l模型作為訓(xùn)練模型，與yolov3網(wǎng)絡(luò)以及FasterR_CNN網(wǎng)絡(luò)進(jìn)行對(duì)比，測(cè)試3種目標(biāo)檢測(cè)算法的磨粒識(shí)別能力。

文中以Pytorch作為深度學(xué)習(xí)框架建立yolov5l模型，利用阿里云平臺(tái)作為硬件基礎(chǔ)進(jìn)行訓(xùn)練，其中批樣本數(shù)Batch size為32，周期epoch為250，學(xué)習(xí)率為0.000 1。制作好的磨粒圖像數(shù)據(jù)集中，70%磨粒圖像劃分為訓(xùn)練集，30%磨粒圖像劃分為測(cè)試集，基于訓(xùn)練集和驗(yàn)證集齒輪箱磨損磨粒圖像對(duì)深度神經(jīng)網(wǎng)絡(luò)yolov5l進(jìn)行訓(xùn)練，選用隨機(jī)梯度下降算法(SGD)作為優(yōu)化器，用來更新優(yōu)化模型參數(shù)，模型訓(xùn)練完成后，利用測(cè)試集來對(duì)模型進(jìn)行評(píng)估。

yolov5l模型的Loss函數(shù)為

L=Lbox+Lcls+Lobj

(7)

將訓(xùn)練過程中的損失函數(shù)值的變化過程進(jìn)行可視化，如圖6所示，在進(jìn)行250個(gè)epoch迭代之后，yolov5l模型損失值趨于穩(wěn)定。

圖6 訓(xùn)練損失函數(shù)值Fig.6 Training loss function value：(a)box； (b)objectness；(c)classification

2.3 模型結(jié)果及分析

在目標(biāo)檢測(cè)中，平均精度(AP)是目標(biāo)檢測(cè)模型中最重要的評(píng)價(jià)指標(biāo)。平均精度(AP)為單個(gè)類別在不同召回率(Recall)下精確率(Precision)的平均值。AP值越高，表明模型對(duì)目標(biāo)的識(shí)別精度與定位精度越好，誤分率越低。文中采用IOU閾值為0.5的6種磨損磨粒的平均精度作為評(píng)價(jià)指標(biāo)，并且為了對(duì)比模型的有效性，訓(xùn)練后采用測(cè)試集檢驗(yàn)?zāi)p磨粒的識(shí)別準(zhǔn)確率，分別驗(yàn)證FasterR_CNN模型、yolov3模型和yolov5l模型，驗(yàn)證結(jié)果如表1所示。yolov5l模型對(duì)正常磨損磨粒和切削磨損磨粒等尺寸較小磨粒的識(shí)別效果相差不大，但對(duì)球形磨粒、滑動(dòng)磨損磨粒及氧化磨損磨粒的識(shí)別平均精度值最高，具有很高的準(zhǔn)確性。

表1 3種模型對(duì)6種磨粒平均識(shí)別精度比較Table 1 Comparison of average recognition accuracy of six kinds of wear particles by three models

為了將模型識(shí)別效果可視化，選取6張磨粒圖像作為示例，將圖像傳入訓(xùn)練完成的FasterR_CNN模型、yolov3模型和yolov5l模型中進(jìn)行了磨損磨粒識(shí)別。從預(yù)測(cè)速度方面來看，F(xiàn)asterR_CNN的預(yù)測(cè)速度只有40 fps(每秒傳輸幀數(shù))，無法滿足實(shí)時(shí)磨粒識(shí)別；yolov3的預(yù)測(cè)速度為120 fps，滿足實(shí)時(shí)磨粒識(shí)別的要求，但準(zhǔn)確率較差；yolov5l模型的預(yù)測(cè)速度可達(dá)140 fps，其預(yù)測(cè)在滿足實(shí)時(shí)磨粒識(shí)別的要求且準(zhǔn)確率較高。深度神經(jīng)網(wǎng)絡(luò)模型yolov5l對(duì)6張磨粒圖像的識(shí)別結(jié)果如圖7所示。

圖7 yolov5l模型識(shí)別結(jié)果Fig.7 The recognition results of yolov5l model

從表1給出的精確度及圖7給出的識(shí)別結(jié)果可以看出：深度神經(jīng)網(wǎng)絡(luò)yolov5模型對(duì)尺寸較大或適中的疲勞磨損磨粒、滑動(dòng)磨損磨粒及氧化磨損磨粒具有很好的分類和識(shí)別效果。但對(duì)尺寸較小的正常磨損磨粒識(shí)別平均精度較低，故而存在漏識(shí)別和錯(cuò)誤識(shí)別，但正常磨粒對(duì)磨損評(píng)估影響不大。

文中使用的yolov5模型，可以通過網(wǎng)絡(luò)改進(jìn)和不斷增加訓(xùn)練樣本來進(jìn)一步提高模型的準(zhǔn)確率，也可以通過調(diào)整攝像頭倍數(shù)，從而使更多的磨粒特征顯現(xiàn)，從而有效地提高模型磨粒識(shí)別的可靠性。

3 結(jié)論

(1)基于yolov5網(wǎng)絡(luò)模型對(duì)復(fù)雜油液環(huán)境下的異常磨損磨粒進(jìn)行分割與識(shí)別，結(jié)果顯示該模型可以在磨粒背景復(fù)雜情況下，實(shí)現(xiàn)多目標(biāo)多尺度磨粒同時(shí)識(shí)別，且速度可達(dá)到實(shí)時(shí)識(shí)別的要求。

(2)yolov5算法模型對(duì)于異常磨損磨粒具有很高的準(zhǔn)確率，測(cè)試集的平均精度能夠達(dá)到77.6%，具有強(qiáng)魯棒性和泛化能力，但對(duì)于小尺寸的磨損磨粒識(shí)別仍有很大提升空間。在今后的工作中，將通過增大磨粒圖像數(shù)據(jù)集和進(jìn)一步優(yōu)化模型結(jié)構(gòu)來解決這一問題。