侯媛媛，李江紅，薛軍印

(1.西安航空學(xué)院 計(jì)算機(jī)學(xué)院，西安 710077； 2.西北工業(yè)大學(xué) 動(dòng)力與能源學(xué)院，西安 710072；3.杭州?？低晹?shù)字技術(shù)股份有限公司 智能算法部，杭州 310051)

0 引言

航空潤(rùn)滑油主要完成航空發(fā)動(dòng)機(jī)軸承和齒輪的潤(rùn)滑，保障航空發(fā)動(dòng)機(jī)的正常運(yùn)轉(zhuǎn)。如果軸承得不到充足的潤(rùn)滑，機(jī)械間的摩擦?xí)哟?，溫度升高，摩擦熱量?huì)使摩擦面上出現(xiàn)變形和摩擦顯微焊合、乃至局部融化等狀況，這些焊點(diǎn)隨之又會(huì)在旋轉(zhuǎn)作用下被撕裂。軸承部件之間粘著—撕裂—粘著的狀態(tài)持續(xù)到最后，會(huì)導(dǎo)致軸承喪失旋轉(zhuǎn)能力，最終卡死抱軸，發(fā)動(dòng)機(jī)停車[1]。

目前，航空發(fā)動(dòng)機(jī)滑油磨粒檢測(cè)方法主要分為離線和在線檢測(cè)。離線檢測(cè)的過(guò)程為先采集樣本，然后對(duì)其分類，最后用一些傳統(tǒng)的方法如掃描電鏡[2]、鐵譜分析[3]對(duì)樣本進(jìn)行分析。這種方式檢測(cè)精度高，但耗時(shí)長(zhǎng)，只能對(duì)發(fā)動(dòng)機(jī)當(dāng)前狀態(tài)進(jìn)行評(píng)估，不能及時(shí)對(duì)故障進(jìn)行排查和預(yù)防。

在線檢測(cè)方法較多，國(guó)外主要集中在聲、光、電、能量等方面。相對(duì)于國(guó)外國(guó)內(nèi)起步較晚，主要是一些方法的創(chuàng)新和加工工藝的研究。近年來(lái)隨著深度學(xué)習(xí)在模式識(shí)別領(lǐng)域的應(yīng)用與發(fā)展，相關(guān)人員也逐漸對(duì)神經(jīng)網(wǎng)絡(luò)在滑油磨粒檢測(cè)過(guò)程中的應(yīng)用進(jìn)行探索和研究。申江江等人[4]利用 RBF 神經(jīng)網(wǎng)絡(luò)，提取滑油磨粒光譜檢測(cè)數(shù)據(jù)的狀態(tài)特征，根據(jù)滑油中各金屬元素濃度的變化趨勢(shì)，分析發(fā)動(dòng)機(jī)的磨損狀態(tài)，實(shí)現(xiàn)了發(fā)動(dòng)機(jī)磨損故障及故障部位的診斷分類。鮮倪軍等人[5]提出了一種基于 ABC-BP 神經(jīng)網(wǎng)絡(luò)的發(fā)動(dòng)機(jī)磨損故障診斷模型，提取滑油磨屑特征參數(shù)和鐵譜數(shù)據(jù)的狀態(tài)特征，該模型收斂速度快，診斷精度高，可有效識(shí)別發(fā)動(dòng)機(jī)磨損類別。陳慶貴等人[6]將BP 神經(jīng)網(wǎng)絡(luò)和 RBF 神經(jīng)網(wǎng)絡(luò)應(yīng)用于發(fā)動(dòng)機(jī)滑油金屬元素含量的預(yù)測(cè)中，取得了較好的預(yù)測(cè)效果。劉加衛(wèi)等人[7]將極限學(xué)習(xí)機(jī)應(yīng)用于滑油鐵譜磨粒圖像的分類識(shí)別中，識(shí)別5種磨粒的彩色圖像特征，診斷準(zhǔn)確率高達(dá) 96%。王濤等人[8]提出基于深度學(xué)習(xí)的ECT滑油檢測(cè)技術(shù)，其設(shè)計(jì)的滑油狀態(tài)診斷模型可自動(dòng)提取滑油檢測(cè)數(shù)據(jù)的狀態(tài)特征。在線檢測(cè)方式速度較快[9]，但檢測(cè)設(shè)備相對(duì)復(fù)雜，存在由設(shè)備導(dǎo)致檢測(cè)精度偏低的現(xiàn)象[10]， 且局限性強(qiáng)，對(duì)一些非鐵磁性磨粒無(wú)法檢測(cè)。

本文通過(guò)計(jì)算機(jī)視覺(jué)進(jìn)行圖像采集和深度學(xué)習(xí)的方法對(duì)磨粒進(jìn)行測(cè)試，屬于在線檢測(cè)的一種。檢測(cè)設(shè)備和檢測(cè)方法上均有所突破，整個(gè)設(shè)備小巧便攜，通過(guò)圖像采集能夠?qū)Υ蟛糠帜チ＿M(jìn)行檢測(cè)。采用YOLOv3[11]模型對(duì)磨粒進(jìn)行測(cè)試加快了測(cè)試速度，使用圖像增強(qiáng)和消融試驗(yàn)優(yōu)化方法提升了其測(cè)試精度。最后針對(duì)模型誤檢率偏高的問(wèn)題，設(shè)計(jì)SER算法來(lái)優(yōu)化模型的推理置信度閾值，提升了磨粒檢測(cè)的召回率和精準(zhǔn)度。

1 滑油圖像數(shù)據(jù)采集與標(biāo)定

相對(duì)于傳統(tǒng)計(jì)算機(jī)視覺(jué)算法，深度學(xué)習(xí)模型在數(shù)據(jù)量充分且標(biāo)記精確的數(shù)據(jù)集下，模型具有更高的精度和泛化性。因此基于航空發(fā)動(dòng)機(jī)磨損機(jī)理[12]，從發(fā)動(dòng)機(jī)工時(shí)和飛機(jī)批次兩個(gè)角度對(duì)滑油樣品聯(lián)合采樣；針對(duì)傳統(tǒng)檢測(cè)方法檢測(cè)尺度小、無(wú)法對(duì)非鐵磁性磨粒檢測(cè)等缺點(diǎn)，對(duì)油料加注組件和成像元件選型，通過(guò)對(duì)流動(dòng)速度和壓力分布云圖仿真[13]，提出連續(xù)流微流控芯片滑油圖像采樣方法，搭建滑油圖像采集系統(tǒng)；采取分層采樣方法抽取2 000張4 608×3 288像素滑油圖像，最后基于數(shù)據(jù)初次標(biāo)注和數(shù)據(jù)回滾標(biāo)注，構(gòu)造滑油磨粒數(shù)據(jù)集。

1.1 滑油樣品聯(lián)合采樣

航空發(fā)動(dòng)機(jī)不同工作時(shí)間下，滑油磨粒數(shù)量和形狀均不同。本實(shí)驗(yàn)采集的滑油樣品來(lái)自XX發(fā)動(dòng)機(jī)。前50小時(shí)即前期磨損階段，磨損率較高，發(fā)動(dòng)機(jī)工作50小時(shí)后，舊滑油被新滑油替代，發(fā)動(dòng)機(jī)工作50～500小時(shí)期間，發(fā)動(dòng)機(jī)磨損進(jìn)入平穩(wěn)期，磨損率處于較低水平，隨著時(shí)間推移磨損率逐漸升高。對(duì)于相同型號(hào)的發(fā)動(dòng)機(jī)，即使在相同時(shí)間段，因服役的飛機(jī)型號(hào)、飛行方式以及地點(diǎn)等一些因素的影響，滑油磨粒的濃度、尺寸和形態(tài)均存在差異[14]。為了保證采樣的滑油樣品具有泛化性和代表性，從發(fā)動(dòng)機(jī)運(yùn)行工時(shí)和飛機(jī)批次兩個(gè)角度對(duì)XX發(fā)動(dòng)機(jī)滑油聯(lián)合采樣。

同一批次飛機(jī)發(fā)動(dòng)機(jī)運(yùn)行工時(shí)通常分布在某一時(shí)間段，因此對(duì)于多個(gè)批次的飛機(jī)進(jìn)行采樣能夠滿足發(fā)動(dòng)機(jī)不同運(yùn)行工時(shí)的要求。本實(shí)驗(yàn)共收集了6種飛機(jī)批次的滑油樣品，分別記作為60、61、62、63、64和65，采樣的滑油樣品在不同工時(shí)段和不同批次的瓶數(shù)分布如表1所示。

表1 聯(lián)合采樣收集到的滑油樣本分布

1.2 滑油圖像數(shù)據(jù)采集系統(tǒng)

滑油磨粒圖像采樣系統(tǒng)主要包括油料加注組件、成像元件、連續(xù)流微流控芯片3個(gè)部分，如圖1所示。連續(xù)流微流控芯片主要保證滑油采樣區(qū)域的流動(dòng)穩(wěn)定性和連續(xù)性。滑油圖像采樣系統(tǒng)采用的相機(jī)為維數(shù)數(shù)字圖像技術(shù)有限公司的MV-EM1400C相機(jī)，為小尺寸以太網(wǎng)的1 400萬(wàn)像素工業(yè)相機(jī)鏡頭，相機(jī)采集到4 608×3 288像素滑油圖像，高分辨率的滑油圖像保證了采集到的滑油圖像有更多的磨粒信息，同時(shí)1.4 μm的像元保證了實(shí)際物理距離夠小，小尺度磨粒有更多的像素面積。相機(jī)7FPS的采樣幀率，保證了較快的成像，磨粒的流動(dòng)陰影較少，且能在短時(shí)間內(nèi)采集到較多的滑油圖像。相機(jī)采用大型數(shù)據(jù)包傳輸和更加穩(wěn)定和通用的千兆以太網(wǎng)絡(luò)進(jìn)行傳輸，減少對(duì)中斷的處理，保證了穩(wěn)定的數(shù)據(jù)傳輸，加快了傳輸速度，滿足峰值傳輸速度315 MB/s。相機(jī)和鏡頭提供足夠大的放大倍數(shù)和更少的光畸變，保證能夠清晰分辨5 μm以上的磨粒。

圖1 滑油圖像采樣系統(tǒng)

基于以上采樣方法，搭建滑油圖像采集系統(tǒng)。圖2為采集系統(tǒng)采到的滑油樣例局部放大圖，其中圖(a)-(d)分別為較充足的光照下，對(duì)不同滑油樣品采集后的滑油圖像樣例局部圖。由圖可知基于工時(shí)以及飛機(jī)批次聯(lián)合采樣的滑油樣品，通過(guò)本系統(tǒng)的采集，滑油圖像光照、背景、磨粒尺寸和形態(tài)信息均比較充分，能夠反映滑油油液的微觀表現(xiàn)，搭建的采樣系統(tǒng)解決了5 μm以上的磨粒采集問(wèn)題。

圖2 未標(biāo)記滑油圖像數(shù)據(jù)庫(kù)樣例

1.3 滑油磨粒數(shù)據(jù)集構(gòu)造

基于滑油圖像數(shù)據(jù)采集系統(tǒng)，對(duì)滑油樣品進(jìn)行采樣，每瓶樣本采樣30～40張圖像，一共收集5 358張未標(biāo)記的滑油圖像。在深度學(xué)習(xí)目標(biāo)檢測(cè)領(lǐng)域，PASCAL VOC數(shù)據(jù)集和MS-COCO數(shù)據(jù)集為最常用的兩個(gè)數(shù)據(jù)集，標(biāo)注格式分別為VOC和COCO。

VOC格式生成XML文件，文件采用樹(shù)狀結(jié)構(gòu)記錄數(shù)據(jù)，占用空間較多，結(jié)構(gòu)復(fù)雜，但可擴(kuò)展性強(qiáng)且方便查看。COCO格式生成JSON文件，文件存儲(chǔ)了標(biāo)注數(shù)據(jù)結(jié)構(gòu)，占用空間少，相同信息能夠復(fù)用，方便機(jī)器識(shí)別和讀取，同時(shí)數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)明，記錄方式簡(jiǎn)單。因此在滑油圖像標(biāo)注階段，數(shù)據(jù)集標(biāo)注采用VOC格式，標(biāo)注完后，轉(zhuǎn)為COCO格式進(jìn)行訓(xùn)練。

針對(duì)于滑油磨粒數(shù)據(jù)集，統(tǒng)計(jì)磨粒的標(biāo)注信息，數(shù)據(jù)集共有23.8萬(wàn)個(gè)磨粒目標(biāo)框，平均每張滑油圖像存在119個(gè)標(biāo)注。隨機(jī)選擇標(biāo)定后的2 000張圖像作為滑油磨粒數(shù)據(jù)集，采用8∶2比例從滑油磨粒數(shù)據(jù)集中抽取1 600張圖像作為滑油磨粒訓(xùn)練集，剩余400張作為滑油磨粒測(cè)試集。

2 基準(zhǔn)模型訓(xùn)練研究

由于一階段網(wǎng)絡(luò)和二階段網(wǎng)絡(luò)特征提取方法不同，為了在滑油磨粒數(shù)據(jù)集上表現(xiàn)出優(yōu)異的卷積神經(jīng)網(wǎng)絡(luò)模型，選則一階段YOLOv3模型[15]和二階段Faster RCNN模型[16]作為滑油磨粒檢測(cè)基準(zhǔn)模型。分別對(duì)一階段YOLOv3模型和二階段Faster RCNN模型進(jìn)行訓(xùn)練研究。

2.1 基準(zhǔn)模型訓(xùn)練

通過(guò)BP算法[17]對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，使模型在滑油磨粒訓(xùn)練集上具有滑油磨粒檢測(cè)能力。對(duì)于定義好的網(wǎng)絡(luò)結(jié)構(gòu)f(θ)，損失函數(shù)L，學(xué)習(xí)率lr，滑油磨粒訓(xùn)練數(shù)據(jù)集X{x1,x2,...,xn}及其對(duì)應(yīng)的滑油磨粒標(biāo)記Y{y1,y2,...,yn}進(jìn)行訓(xùn)練，流程如圖3所示。主要包括5個(gè)步驟：

圖3 滑油磨粒檢測(cè)任務(wù)的訓(xùn)練過(guò)程

1)隨機(jī)不重復(fù)從滑油磨粒訓(xùn)練集X中選取一個(gè)訓(xùn)練批次X1{xa,...,xb}以及對(duì)應(yīng)標(biāo)記Y1{ya,...,yb}。

2)對(duì)訓(xùn)練批次X1{xa,...,xb}和對(duì)應(yīng)標(biāo)記Y1{ya,...,yb}進(jìn)行歸一化預(yù)處理操作。

為了使模型的尋優(yōu)過(guò)程平緩，更容易收斂到最優(yōu)解空間，需要對(duì)訓(xùn)練批次進(jìn)行歸一化[18]。對(duì)于訓(xùn)練批次每張滑油圖像的每個(gè)RBG像素值進(jìn)行如式(1)的歸一化操作：

(1)

式中，μr、μg、μb為設(shè)定的歸一化RGB均值；σr、σg、σb為設(shè)定的歸一化RGB方差；r、g、b為未歸一化前的RGB像素值；r′、g′、b′為歸一化后的RGB像素值。

(2)

(3)

YOLOv3模型的損失函數(shù)如式(4)所示：

(4)

Faster RCNN模型的損失函數(shù)如式(5)所示：

(5)

(6)

式中,x、y、w、h分別為真實(shí)磨?？虻闹行臋M縱坐標(biāo)、寬度、高度；xa、ya、wa、ha分別為錨點(diǎn)的中心橫縱坐標(biāo)、寬度、高度；

(7)

式中,x′、y′、w′、h′分別為預(yù)測(cè)磨粒框的中心橫縱坐標(biāo)、寬度、高度。

4)依據(jù)l1進(jìn)行網(wǎng)絡(luò)的反向傳播，更新卷積神經(jīng)網(wǎng)絡(luò)參數(shù)θ，如式(8)所示：

θ′=θ-lr×▽g(l1)

(8)

5)判斷滑油磨粒訓(xùn)練集是否遍歷結(jié)束，若訓(xùn)練集未遍歷結(jié)束，重復(fù)前3步，若訓(xùn)練集遍歷結(jié)束，則判斷訓(xùn)練輪數(shù)是否達(dá)到設(shè)定值。

6)訓(xùn)練輪數(shù)若未達(dá)到設(shè)定值，開(kāi)始新的一輪訓(xùn)練，重復(fù)前4步，若達(dá)到設(shè)定值，則保存模型以及參數(shù)，結(jié)束模型訓(xùn)練。

2.2 基準(zhǔn)模型訓(xùn)練試驗(yàn)

基于以上訓(xùn)練流程，兼顧測(cè)試精度和測(cè)試速度性能指標(biāo)，搭建滑油磨粒訓(xùn)練環(huán)境。測(cè)試中使用4張11 GB內(nèi)存的2080Ti顯卡和AMD 3960X CPU，多GPU高內(nèi)存吞吐和多核性能保證模型的訓(xùn)練時(shí)間。64 GB的內(nèi)存保證圖像數(shù)據(jù)預(yù)處理階段有足夠的空間緩存中間結(jié)果，不會(huì)因?yàn)榭臻g不足導(dǎo)致線程堵塞。

軟件環(huán)境如表2所示。模型訓(xùn)練的軟件環(huán)境為Ubuntu、Python、Pytroch、MMdetection等。MMdetection作為Python編譯器和Pytorch庫(kù)目標(biāo)檢測(cè)模型訓(xùn)練框架，集成了很多目標(biāo)檢測(cè)模型，提供豐富API接口，方便對(duì)模型進(jìn)行改進(jìn)訓(xùn)練。因此選用MMdtection作為YOLOv3模型和Faster RCNN模型的訓(xùn)練框架，根據(jù)API接口完成骨干網(wǎng)絡(luò)、輸入數(shù)據(jù)格式、訓(xùn)練參數(shù)設(shè)置和數(shù)據(jù)增強(qiáng)方法的調(diào)試和代碼編寫。

表2 模型訓(xùn)練軟件環(huán)境

Faster RCNN、YOLOv3模型訓(xùn)練相關(guān)參數(shù)如表3所示。為了保證Faster RCNN和YOLOv3模型的精度和速度，骨干網(wǎng)絡(luò)分別采用了ResNet50和DarkNet53。為加速模型的收斂速度且保證模型不陷入局部最優(yōu)解，兩個(gè)基準(zhǔn)模型的優(yōu)化器均選用SGDM。為了使初始訓(xùn)練梯度保持穩(wěn)定且網(wǎng)絡(luò)更容易收斂，兩模型均采用帶學(xué)習(xí)率預(yù)熱的階梯學(xué)習(xí)率策略，預(yù)熱后初始學(xué)習(xí)率分別為0.002和0.02。由于一階段的卷積神經(jīng)網(wǎng)絡(luò)需要更多輪數(shù)的訓(xùn)練，所以YOLOv3模型的訓(xùn)練輪數(shù)設(shè)置為300輪，F(xiàn)aster RCNN模型的訓(xùn)練輪數(shù)為20輪。

表3 模型訓(xùn)練相關(guān)參數(shù)

訓(xùn)練結(jié)束后，分別對(duì)Faster RCNN和YOLOv3模型進(jìn)行損失分析。圖4為兩種模型的損失隨迭代次數(shù)的變化關(guān)系。隨著迭代次數(shù)的遞增，兩個(gè)模型的損失呈下降趨勢(shì)，且在學(xué)習(xí)率下調(diào)的時(shí)候，損失下降最大。在訓(xùn)練迭代次數(shù)最后，損失在橫向振蕩，證明兩個(gè)模型均已訓(xùn)練完成。

圖4 模型損失隨迭代次數(shù)變化趨勢(shì)圖

3 基準(zhǔn)模型測(cè)試研究

3.1 基準(zhǔn)模型測(cè)試

經(jīng)過(guò)模型訓(xùn)練得到優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)模型，需要對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行測(cè)試以驗(yàn)證模型效果，使用的評(píng)價(jià)指標(biāo)有：交并比(IOU, intersection over union)、召回率(recall)和精確率(precision)、均值平均精度(mAP，mean average precision，)和每秒幀數(shù)(FPS, frames per second)。

對(duì)于以上指標(biāo)，若模型均達(dá)標(biāo)，則模型訓(xùn)練驗(yàn)證完成，若未達(dá)到預(yù)計(jì)的性能，則對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)及參數(shù)進(jìn)行調(diào)整，重新進(jìn)行訓(xùn)練?；湍チz測(cè)任務(wù)的測(cè)試流程如圖5所示。

圖5 滑油磨粒檢測(cè)任務(wù)的測(cè)試流程

具體步驟如下：

1)加載訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型及參數(shù)。

2)從滑油磨粒測(cè)試集T中不重復(fù)選取滑油圖像，進(jìn)行歸一化預(yù)處理操作。

3)預(yù)處理結(jié)束的滑油圖像數(shù)據(jù)送入到訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)中，得到初步預(yù)測(cè)結(jié)果。

4)為去掉大量的誤檢磨?？颍捎?.05的置信度進(jìn)行過(guò)濾。對(duì)于過(guò)濾后的預(yù)測(cè)結(jié)果采用NMS方法去除同一磨粒的低置信度磨?？?，得到NMS之后的處理結(jié)果，即為最終的預(yù)測(cè)結(jié)果。

5)判斷測(cè)試集是否測(cè)試結(jié)束，若未結(jié)束，重復(fù)步驟2)～4)，若結(jié)束，統(tǒng)計(jì)測(cè)試集的結(jié)果，并計(jì)算相關(guān)指標(biāo)。

3.2 基準(zhǔn)模型測(cè)試結(jié)果

Faster RCNN、YOLOv3基準(zhǔn)模型在滑油磨粒測(cè)試集上的結(jié)果如表所示。Faster RCNN、YOLOv3測(cè)試集上表現(xiàn)較佳，兩者mAP相差不大，均在大滑油磨粒的檢測(cè)上較為優(yōu)秀，其中大滑油磨粒的平均精度用APL表示，分別達(dá)到了90.5%和89.9%；在小滑油磨粒的檢測(cè)上有改進(jìn)空間，小滑油磨粒的平均精度用APS表示，分別為72.1%和69.3%；中等大小物體檢測(cè)相對(duì)較好，中等滑油磨粒的平均精度用APM表示，分別為85.2%和83.5%。在IOU判定閾值為0.75，YOLOv3模型的AP75(表示判定閾值為0.75的平均精度)比Faster RCNN模型差1.2%；在IOU判定閾值為0.5時(shí)，YOLOv3較Faster RCNN模型的AP50表現(xiàn)差距較小，相差0.9%，試驗(yàn)結(jié)果表明在基準(zhǔn)模型測(cè)試中，兩模型都達(dá)到了較好的效果，F(xiàn)aster RCNN模型的精度高于YOLOv3模型。但YOLOv3的推理速度比Faster RCNN的推理速度高5.9 FPS。在測(cè)試速度上，YOLOv3模型占絕對(duì)優(yōu)勢(shì)。因此，下文重點(diǎn)采用一些優(yōu)化算法來(lái)保證測(cè)試速度的基礎(chǔ)上提升模型的測(cè)試精度。

表4 基準(zhǔn)模型測(cè)試結(jié)果

4 滑油磨粒檢測(cè)優(yōu)化方法

4.1 滑油圖像增強(qiáng)方法

在滑油磨粒檢測(cè)基準(zhǔn)模型訓(xùn)練階段，兩模型均使用了基礎(chǔ)數(shù)據(jù)增強(qiáng)方法，即翻轉(zhuǎn)和多尺度。為了提升模型整體性能，對(duì)于滑油磨粒數(shù)據(jù)集，除了翻轉(zhuǎn)和多尺度外，還可采用旋轉(zhuǎn)、Mixup、CutMix和Mosaic方法進(jìn)行測(cè)試。

旋轉(zhuǎn)：轉(zhuǎn)動(dòng)滑油圖像，進(jìn)行數(shù)據(jù)擴(kuò)增。本實(shí)驗(yàn)數(shù)據(jù)集不包含掩碼標(biāo)記，只存在目標(biāo)框，所以不可能實(shí)現(xiàn)任意角度的旋轉(zhuǎn)，因此旋轉(zhuǎn)角度為有限角度，分別為0°、90°、180°和270°。

從圖6中可以看出僅通過(guò)簡(jiǎn)單的旋轉(zhuǎn)，一個(gè)原始滑油圖像可以生成3個(gè)新的滑油圖像。

圖6 旋轉(zhuǎn)增強(qiáng)后圖片

Mixup[19]：使用線性插值方法得到新樣本，從滑油磨粒訓(xùn)練集中隨機(jī)抽取兩個(gè)樣本進(jìn)行簡(jiǎn)單隨機(jī)加權(quán)求和，同時(shí)滑油磨粒標(biāo)簽也對(duì)應(yīng)加權(quán)求和，然后預(yù)測(cè)結(jié)果與加權(quán)求和之后的標(biāo)簽求損失，再反向求導(dǎo)更新網(wǎng)絡(luò)參數(shù)。該方法可以降低模型對(duì)已損壞標(biāo)簽的記憶，增強(qiáng)模型對(duì)抗樣本的魯棒性和訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)的穩(wěn)定性。

CutMix[20]：隨機(jī)選取兩個(gè)滑油圖像，如圖7(a)與圖7(b)，對(duì)于圖(a)隨機(jī)生成一個(gè)裁剪框，裁剪圖(a)相應(yīng)位置，然后用圖(b)片相應(yīng)大小區(qū)域放到圖(a)中被裁剪的區(qū)域構(gòu)成新的滑油圖像，計(jì)算損失，同樣采用加權(quán)求和的方式進(jìn)行求解。

圖7 Mixup操作生成的新圖片

圖8為圖7中(a)與(b)經(jīng)過(guò)CutMix操作生成的新圖片。圖8中(a)圖的一部分區(qū)域被裁剪，使用圖(b)的對(duì)應(yīng)區(qū)域進(jìn)行填充。由于兩個(gè)圖片背景信息不同，導(dǎo)致CutMix在融合之后，會(huì)出現(xiàn)局部背景突變情況。不同背景磨粒在擴(kuò)充數(shù)據(jù)集的基礎(chǔ)上，可以使深度學(xué)習(xí)模型學(xué)到更多組合信息，改善模型的泛化性能。

圖8 CutMix操作生成的新圖片

Mosaic：融合4張不同滑油訓(xùn)練圖像數(shù)據(jù)。Mosaic增強(qiáng)方法使得檢測(cè)模型可以檢測(cè)到上下文之外的對(duì)象，同時(shí)BN計(jì)算了4個(gè)不同滑油圖像激活之后的統(tǒng)計(jì)量，緩解了小批次下BN對(duì)檢測(cè)精度的影響。

圖9為4張滑油圖像進(jìn)行Mosaic增強(qiáng)操作生成的新圖片，新圖保留原始圖片的局部信息。相較于Mixup與CutMix，Mosaic增強(qiáng)操作生成的滑油圖像更加多樣化，擁有更復(fù)雜的樣本組合，同時(shí)減少了BN歸一化計(jì)算的偏差。Mosaic方法使得深度學(xué)習(xí)模型能夠?qū)W到更多的樣本信息，提高模型了的泛化能力。

圖9 Mosaic操作生成的圖片

4.2 滑油圖像數(shù)據(jù)增強(qiáng)消融試驗(yàn)

通過(guò)組合以上4種方法，得到7種不同方案，分別為旋轉(zhuǎn)、Mixup、CutMix、Mosaic、旋轉(zhuǎn)+Mixup+Mosaic、旋轉(zhuǎn)+CutMix+Mosaic旋轉(zhuǎn)+Mixup+CutMix+Mosaic。前4種為單圖像數(shù)據(jù)增強(qiáng)方案，后3種為多圖像數(shù)據(jù)增強(qiáng)融合方案。

單圖像數(shù)據(jù)增強(qiáng)方案具體步驟如下：

1)從滑油磨粒訓(xùn)練集中加載滑油圖像。

2)依據(jù)0～1區(qū)間分布隨機(jī)概率值P。

3)判斷P是否大于0.5，若P>0.5，則進(jìn)行單數(shù)據(jù)增強(qiáng)操作。若為第1種方案，則以0°、90°、180°、270°等概率隨機(jī)旋轉(zhuǎn)滑油圖像；若為第2種方案，則進(jìn)行Mixup操作；若為第3種方案，則進(jìn)行CutMix操作，若為第4種方案，則進(jìn)行Mosaic操作。

4)若P小于等于0.5或完成單數(shù)據(jù)增強(qiáng)操作，直接輸出結(jié)果。

第5種(第6、7種方法一致)數(shù)據(jù)增強(qiáng)融合方案具體步驟如下：

1)從滑油磨粒訓(xùn)練集中加載滑油圖像。

2)依據(jù)0～1區(qū)間分布隨機(jī)概率值P1。判斷P1是否大于0.5，若P1>0.5，則以0°、90°、180°、270°等概率隨機(jī)旋轉(zhuǎn)滑油圖像。

3)若P1≤0.5或旋轉(zhuǎn)增強(qiáng)結(jié)束，依據(jù)0～1區(qū)間分布隨機(jī)概率值P2。判斷P2是否大于0.5，若P2>0.5，則對(duì)滑油圖像進(jìn)行Mixup操作。

(4)若P2≤0.5或Mixup增強(qiáng)結(jié)束，依據(jù)0～1區(qū)間分布隨機(jī)概率值P3。判斷P3是否大于0.5，若P3>0.5，則對(duì)滑油圖像進(jìn)行Mosaic操作。

5)若P3≤0.5或Mosaic增強(qiáng)結(jié)束，輸出增強(qiáng)后的滑油圖像。

對(duì)于上述兩個(gè)基準(zhǔn)模型，分別進(jìn)行了7個(gè)滑油圖像數(shù)據(jù)增強(qiáng)消融試驗(yàn)。從mAP損失、召回率及精確率3個(gè)方面，對(duì)比滑油圖像數(shù)據(jù)增強(qiáng)試驗(yàn)前后的差異。

表5 Faster RCNN數(shù)據(jù)增強(qiáng)消融試驗(yàn)

表6 YOLOv3數(shù)據(jù)增強(qiáng)消融試驗(yàn)

相較于Faster RCNN基準(zhǔn)模型測(cè)試結(jié)果，對(duì)于單個(gè)數(shù)據(jù)增強(qiáng)方法，旋轉(zhuǎn)和Mosaic提升最大，mAP提升了0.7%；Mixup提升次之；CutMix沒(méi)有提升；對(duì)于圖像數(shù)據(jù)增強(qiáng)組合方案，第5、7種組合方案提升最大，mAP達(dá)到了84.3%，提升1.0%；第6種組合方案較第5種、第7種提升較少。因此對(duì)于Faster RCNN模型，最佳的數(shù)據(jù)增強(qiáng)方案為第5種，即旋轉(zhuǎn)+Mixup+Mosaic組合方案。

相較于YOLOv3基準(zhǔn)模型的測(cè)試結(jié)果，單個(gè)圖像數(shù)據(jù)增強(qiáng)方法均取得了正向收益，其中Mosaic提升最大，mAP提升1.4%，旋轉(zhuǎn)、Mixup、CutMix增強(qiáng)方法提升依次降低，分別是0.7%、0.6%和0.3%。對(duì)于圖像數(shù)據(jù)增強(qiáng)組合方案，第5種、第6種組合方案提升幾乎一致，mAP指標(biāo)分別提升2.5%和2.4%；第7套方案提升最高，mAP提升2.9%。因此對(duì)于YOLOv3模型，旋轉(zhuǎn)+Mixup+CutMix+Mosaic圖像數(shù)據(jù)增強(qiáng)方案提升最高。

相較于一階段YOLOv3模型，因?yàn)槎A段Faster RCNN模型存在RPN層以及采樣機(jī)制，F(xiàn)aster RCNN基準(zhǔn)模型已經(jīng)取得了較好的泛化效果。因此二階段模型Faster RCNN模型在最佳圖像數(shù)據(jù)組合方案上僅獲得1.0%的mAP提升，而一階段YOLOv3在最佳圖像數(shù)據(jù)組合方案可獲得2.9%的mAP的提升。

結(jié)果表明通過(guò)上述7種滑油圖像增強(qiáng)組合方案，有效地?cái)U(kuò)增了滑油磨粒數(shù)據(jù)集，提高了模型的泛化能力，擴(kuò)大模型的表征能力，使其能夠識(shí)別更多不同狀況下的滑油磨粒；且經(jīng)過(guò)最佳圖像數(shù)據(jù)組合方案后的YOLOv3模型精度高于Faster RCNN模型。

數(shù)據(jù)增強(qiáng)前后兩模型隨迭代次數(shù)模型損失對(duì)比圖如圖10所示。由圖可知，最佳圖像數(shù)據(jù)增強(qiáng)后的兩個(gè)模型損失均比基準(zhǔn)模型的損失低，且收斂于更低的損失值，收斂性能佳。

圖10 數(shù)據(jù)增強(qiáng)前后模型損失對(duì)比圖

通過(guò)滑油磨粒測(cè)試集計(jì)算得到兩個(gè)模型在不同IOU判定閾值下的召回率(Recall)以及精確率(Precision)，如表7所示。

表7 兩模型數(shù)據(jù)增強(qiáng)后的召回率及精確率

無(wú)論IOU閾值為0.3或0.5，YOLOv3模型的召回率均高于Faster RCNN模型，但Faster RCNN模型的精確率高于YOLOv3模型。在IOU閾值為0.3時(shí)，YOLOv3模型的召回率和精確率明顯提高，分別達(dá)到96.5%和64.8%。YOLOv3的召回率已經(jīng)滿足工程上的標(biāo)準(zhǔn)，對(duì)于較大部分的磨?？蛞呀?jīng)可以正確檢測(cè)。但是兩模型的精確率均較低，分別為70.1%和64.8%，均產(chǎn)生了過(guò)多的誤檢磨粒框，因此需要進(jìn)一步對(duì)誤檢磨?？蜻M(jìn)行篩除，才能達(dá)到工程實(shí)用的標(biāo)準(zhǔn)。

4.3 SER算法

通過(guò)以上實(shí)驗(yàn)可知，最佳圖像數(shù)據(jù)組合方案后的YOLOv3模型精度和速度都優(yōu)于Faster RCNN模型。但數(shù)據(jù)增強(qiáng)后的YOLOv3模型，在0.05置信度閾值下，模型的召回率和精確率分別為96.5%和64.8%。64.8%的精確率過(guò)低，不能滿足工程應(yīng)用，存在大量的誤檢磨粒框?；诖吮疚奶岢鲇镁C合錯(cuò)誤比例(SER,synthesize error ratio)算法來(lái)優(yōu)化YOLOv3模型的推理置信度，目的是保留較多正確磨?？虻耐瑫r(shí)濾掉更多的誤檢磨?？颉?/p>

圖11為滑油圖像在0.05置信度閾值情況下預(yù)測(cè)樣例圖，由圖可知存在磨粒誤檢現(xiàn)象。因此要優(yōu)化滑油磨粒檢測(cè)模型召回率和精確率，保證在模型推理階段，降低滑油磨粒檢測(cè)模型誤檢的同時(shí)保留更多正確的磨粒目標(biāo)框。

圖11 置信度閾值為0.05時(shí)的滑油圖像預(yù)測(cè)樣例

不同置信度下YOLOv3模型的召回率與精確率關(guān)系變化如圖12所示。由圖12可知，隨著置信度的降低，召回率升高，精確率降低，反之亦然?；湍チz測(cè)模型的置信度降低，引入了較多的誤檢磨粒目標(biāo)框，使得精確率降低，但同時(shí)擴(kuò)大了預(yù)測(cè)框的置信度范圍，較低置信度下預(yù)測(cè)正確的磨粒目標(biāo)框被計(jì)入，提高了召回率。因此在滑油磨粒檢測(cè)任務(wù)階段，需要尋找一個(gè)合理的置信度閾值，以優(yōu)化召回率和精確率，得到一個(gè)權(quán)衡的數(shù)值用于推理。

圖12 YOLOv3模型不同置信度下的召回率和精確率

表8 SER算法

對(duì)于滑油磨粒測(cè)試集，采用SER算法，尋找各個(gè)置信度下的SER值，最小SER值對(duì)應(yīng)置信度即為經(jīng)模型召回率和精確率優(yōu)化后的最佳的置信度閾值。

(9)

(10)

(11)

統(tǒng)計(jì)YOLOv3模型在滑油磨粒測(cè)試集上的預(yù)測(cè)結(jié)果，基于SER算法計(jì)算不同置信度下SER的數(shù)值，且求出最小值。YOLOv3模型在不同置信度下的SER值如圖13所示，橫坐標(biāo)1-conf為1-置信度，縱坐標(biāo)為SER值。隨著置信度降低，SER值先降低后升高，點(diǎn)(0.644 5，0.086 8)為最佳的SER點(diǎn)，置信度為0.355 5。

圖13 YOLOv3模型在不同置信度下SER值

當(dāng)YOLOv3模型在置信度為0.355 5時(shí)，取得最小的SER值0.086 8，求得當(dāng)前置信度下的召回率為94.2%，精確度為95.9%，誤檢和漏檢的磨粒目標(biāo)框占真實(shí)磨粒目標(biāo)框的比率為8.68%。

對(duì)滑油磨粒測(cè)試集隨機(jī)抽取局部圖像，進(jìn)行SER算法校驗(yàn)。圖14為待預(yù)測(cè)的滑油圖像和不同置信度閾值下預(yù)測(cè)的滑油磨粒圖像，其中(a)圖為從滑油磨粒測(cè)試集抽取的待預(yù)測(cè)局部滑油圖像，(b)圖為置信度為0.001時(shí)的磨粒預(yù)測(cè)圖像，(c)圖為置信度為0.05時(shí)的磨粒預(yù)測(cè)圖像，(d)圖為使用SER算法的0.355 5的置信度的磨粒預(yù)測(cè)圖像。從圖中可以看出使用SER算法求得置信度之后，YOLOv3模型有效地去除了低置信度的誤檢磨粒目標(biāo)框，防止采用過(guò)高的置信度濾掉預(yù)測(cè)正確的磨粒目標(biāo)框?？梢?jiàn)SER算法有效地優(yōu)化了YOLOv3模型的召回率和精確率。

圖14 待預(yù)測(cè)滑油圖像和不同置信度閾值下的預(yù)測(cè)磨粒圖像

5 結(jié)束語(yǔ)

論文提出了基于深度學(xué)習(xí)的航空發(fā)動(dòng)機(jī)滑油磨粒檢測(cè)方法，構(gòu)造了泛化性能優(yōu)秀的高質(zhì)量滑油磨粒數(shù)據(jù)集，通過(guò)對(duì)滑油磨粒基準(zhǔn)訓(xùn)練和測(cè)試訓(xùn)練，研究了滑油磨粒檢測(cè)算法，基于此算法提出圖像增強(qiáng)方法，進(jìn)行消融實(shí)驗(yàn)，設(shè)計(jì)SER優(yōu)化算法有效地保證了YOLOv3模型在合理的置信度閾值下，具有較高的召回率和精確率。本文進(jìn)行的滑油磨粒在線檢測(cè)實(shí)驗(yàn)局限于實(shí)驗(yàn)室環(huán)境中，未能進(jìn)行現(xiàn)場(chǎng)測(cè)試，今后研究工作的重點(diǎn)是在實(shí)際應(yīng)用環(huán)境下測(cè)試本文工作的有效性以提高其實(shí)用性。此外本實(shí)驗(yàn)是通過(guò)在GPU上部署YOLOv3模型對(duì)磨粒進(jìn)行測(cè)試的，由于滑油磨粒在線檢測(cè)系統(tǒng)需要小功率、小體積的檢測(cè)設(shè)備，后續(xù)可以考慮將模型移植到AI芯片上。