崔春蕾,袁德志,朱錕鵬

(1.中國科學(xué)院合肥物質(zhì)科學(xué)研究院智能機(jī)械研究所,合肥 230031;2.中國科學(xué)技術(shù)大學(xué),合肥 230026)

0 引言

在機(jī)床加工過程中,刀具與加工件之間的高速摩擦?xí)沟毒弋a(chǎn)生磨損,嚴(yán)重磨損的刀具會降低加工效率和加工精度,故需對刀具的磨損狀況進(jìn)行監(jiān)測。刀具磨損監(jiān)測方法可以分為間接法和直接法。間接法是對加工過程中采集的一維信號,例如聲信號[1]、振動信號[2]、主軸電流[3]、切削力[4]等,進(jìn)行特征提取,通過特征值對刀具磨損狀態(tài)進(jìn)行監(jiān)測的方法。然而間接法不能直觀監(jiān)測刀具磨損情況,并且基于深度學(xué)習(xí)的方法受到訓(xùn)練集數(shù)據(jù)量的約束,無法滿足加工條件多變的情況。

直接法是通過光學(xué)相機(jī)對刀具切削刃進(jìn)行拍攝,利用機(jī)器視覺方法對刀具圖像進(jìn)行分析的方法。直接法分為兩種:傳統(tǒng)圖像處理法與基于深度學(xué)習(xí)的方法。前者主要包括邊緣檢測[6]、閾值分割[7]以及形態(tài)學(xué)分析[9]等方法。后者利用神經(jīng)網(wǎng)絡(luò)對刀具圖像進(jìn)行圖像分類[11]以及目標(biāo)檢測[12]等處理。使用直接法對刀具狀態(tài)進(jìn)行監(jiān)測的精確度較高,且不受加工條件的影響。但目前直接法所用圖像,是將刀具取下后,使用高分辨率相機(jī)進(jìn)行拍攝。而在實際加工中,由于刀具的高速旋轉(zhuǎn)、微細(xì)刀具直徑較小以及成本的限制,導(dǎo)致獲取的圖像分辨率較低。因此直接使用低分辨率圖像進(jìn)行刀具磨損進(jìn)行監(jiān)測,會降低監(jiān)測的準(zhǔn)確度。

超分辨率重建方法可以建立高低分辨率圖像對之間的關(guān)系,可以用于刀具圖像,將低分辨率圖像重建為高分辨率圖像。超分辨率重建方法可分為3類:基于插值、基于建模和基于深度學(xué)習(xí)的方法?；诓逯档姆椒ㄈ珉p三次插值方法,實現(xiàn)簡單,但重建效果較差?；诮５姆椒╗13],其效果比插值法好,但方法復(fù)雜,且需要較多的計算資源。基于深度學(xué)習(xí)的方法是目前最常用的方法。DONG等[14]構(gòu)建了用于超分辨率重建的卷積神經(jīng)網(wǎng)絡(luò)SRCNN(super-resolution convolutional neural network)。DONG等[15]還提出了利用反卷積層的快速超分辨率卷積神經(jīng)網(wǎng)絡(luò)FSRCNN(fast super-resolution convolutional neural networks)。KIM等[16]提出了學(xué)習(xí)全局殘差映射的超分辨率卷積神經(jīng)網(wǎng)絡(luò)VDSR。目前基于深度學(xué)習(xí)的方法主要針對自然圖像或人臉圖像的特點進(jìn)行超分辨率重建。然而刀具圖像本身具有自己的特點,其紋理較多,且刀具邊緣信息是超分辨率重建的重點。

為獲得高分辨率刀具圖像,本文以微細(xì)銑刀為例,提出一種基于殘差網(wǎng)絡(luò)的超分辨率重建方法。為了加強(qiáng)對圖像邊緣的重建效果,本文提出一種加入邊緣信息的圖像邊緣損失函數(shù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。對不同測試集的重建結(jié)果表明,本文網(wǎng)絡(luò)在客觀圖像質(zhì)量評價指標(biāo)和主觀評價上,較雙三次插值以及典型超分辨率網(wǎng)絡(luò)均有所提升。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建方法

1.1 相關(guān)工作

相較于插值和重建的方法,基于深度學(xué)習(xí)的方法可以直接學(xué)習(xí)高低分辨率圖像之間的映射關(guān)系,無需對圖像進(jìn)行較多的預(yù)處理。DONG等[14]在研究了YANG等[13]提出的基于稀疏編碼的超分辨率方法后,將其重建過程等效為一個具有3層卷積層的超分辨率卷積神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)層次越深,重建效果不一定越好。但KIM等[16]卻提出了相反的意見,認(rèn)為網(wǎng)絡(luò)深度是影響重建效果的因素之一,故提出了擁有更多卷積層層數(shù)的VDSR網(wǎng)絡(luò)。

VDSR的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。在圖1中,ILR為LR圖像的Y通道,經(jīng)過雙三次插值放大后的ILR表示為Y,IHR為重建得到的高分辨率圖像,Conv(fi,ni,ci)表示第i個卷積層,fi、ni、ci分別表示每一層所用的卷積核大小、卷積核數(shù)量和通道數(shù),D為卷積層數(shù)量,D=20,R為殘差圖像。為了解決網(wǎng)絡(luò)結(jié)構(gòu)過深導(dǎo)致收斂速度緩慢的問題,VDSR采用全局殘差學(xué)習(xí),即只學(xué)習(xí)插值放大后的LR圖像與真實圖像之間的殘差。插值放大后的圖像Y經(jīng)過D次的卷積操作后,得到殘差圖像R,殘差R與圖像Y相加,得到重建的HR圖像IHR。第一層卷積層對輸入圖像進(jìn)行特征提取,最后一層卷積層則利用特征圖重建圖像,故f1=fD,c1=cD,n1=nD,中間的卷積層對特征進(jìn)行非線性映射,其使用的卷積核都是相同的大小和數(shù)量,即fi=3、ni=64、ci=64,其中i=2,3,…,19。每個卷積層的計算可簡化為:

圖1 VDSR網(wǎng)絡(luò)結(jié)構(gòu)

F1(Y)=max(0,W1*Y+B1)

(1)

Fi(Y)=max(0,Wi*F1(Y)+Bi)

(2)

IHR=WD*FD-1(Y)+BD

(3)

1.2 本文網(wǎng)絡(luò)

針對刀具圖像的超分辨率重建問題,VDSR仍存在訓(xùn)練過程出現(xiàn)梯度爆炸,訓(xùn)練集較小時出現(xiàn)過擬合等問題,故本文在其基礎(chǔ)上進(jìn)行改進(jìn)。對于卷積神經(jīng)網(wǎng)絡(luò)而言,網(wǎng)絡(luò)結(jié)構(gòu)越深,重建效果越好,但過深的網(wǎng)絡(luò)結(jié)構(gòu)會導(dǎo)致訓(xùn)練速度緩慢,且容易產(chǎn)生梯度爆炸問題。針對這一點,本文網(wǎng)絡(luò)采用了全局殘差與局部殘差相結(jié)合的方法來解決。另外,由于刀具磨損區(qū)域位于圖像中的邊緣部分,故刀具圖像的邊緣信息是超分辨率重建的重點。因此本文提出一種圖像邊緣損失函數(shù),對重建圖像和原始圖像進(jìn)行邊緣信息提取,將其加入網(wǎng)絡(luò)訓(xùn)練所使用的損失函數(shù)中,從而提升網(wǎng)絡(luò)對刀具圖像邊緣部分的重建效果。

1.2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文所提出的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。本文網(wǎng)絡(luò)的結(jié)構(gòu)可以分為5個部分:特征提取、收縮、非線性映射以及反卷積。本文無需對輸入圖像進(jìn)行插值放大的預(yù)處理,可以直接將LR圖像的Y通道作為網(wǎng)絡(luò)的輸入,利用卷積層對LR圖像進(jìn)行特征提取。因為本文使用的刀具圖像數(shù)據(jù)集圖像數(shù)量較少,所以為了在特征提取層盡可能多的提取特征,使用了Conv(3,d,1)的卷積層,其中d為敏感變量,其值大小決定了從LR圖像所提取的特征數(shù)量。故該部分卷積層可表示為:

圖2 本文網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)

F1(ILR)=max(0,W1*ILR+B1)+α1min(0,W1*ILR+B1)

(4)

式中:ILR為LR圖像的Y通道,W1和B1分別為第一層卷積的權(quán)重和偏置,*為卷積運(yùn)算,α1為激活函數(shù)的負(fù)向斜率。本文網(wǎng)絡(luò)使用的激活函數(shù)為PReLU激活函數(shù)f(x)=max(0,x)+αmin(0,x),該函數(shù)可以避免ReLU函數(shù)的“神經(jīng)元死亡”問題。

在上一層對LR圖像進(jìn)行特征提取后,由于特征維度較高,這會導(dǎo)致之后的卷積層訓(xùn)練速度變慢甚至?xí)龃筮^擬合現(xiàn)象出現(xiàn)的可能性, 故對高維特征進(jìn)行降維收縮。將該層卷積層設(shè)置為Conv(1,s,d),其中s為敏感變量,其值決定了收縮后的特征維度。該部分的卷積層可表示為:

F2(I)=max(0,W2*F(ILR)+B2)+
α2min(0,W2*F(ILR)+B2)

(5)

過深的網(wǎng)絡(luò)結(jié)構(gòu)可能會導(dǎo)致梯度消失或梯度爆炸問題,網(wǎng)絡(luò)的訓(xùn)練速度和重建速度也會變慢,甚至?xí)霈F(xiàn)“退化現(xiàn)象”[17]。為了避免出現(xiàn)這些問題,并且降低網(wǎng)絡(luò)的訓(xùn)練難度,本文網(wǎng)絡(luò)使用了局部殘差和全局殘差相結(jié)合的方法。在這一部分,本文網(wǎng)絡(luò)使用了HE等[18]提出的ResBlock來實現(xiàn)局部殘差,即在卷積層之間增加了跳躍連接,ResBlock的結(jié)構(gòu)如圖3所示。

圖3 非線性映射部分的ResBlock

ResBlock中的卷積層可以表示為:

Fi+1(I)=max(0,Wi+1*Fi(I)+Bi+1)+
αi+1min(0,Wi+1*Fi(I)+Bi+1)

(6)

Fi+2(I)=max(0,Wi+2*Fi+1(I)+Bi+2)+
αi+2min(0,Wi+2*Fi+1(I)+Bi+2)+Fi(I)

(7)

式中:i的取值范圍為i=2,3,…,2+m,m為ResBlock的數(shù)量,其數(shù)值決定了本文網(wǎng)絡(luò)的深度。

在收縮層對特征維度進(jìn)行收縮后,還需要利用擴(kuò)展層將特征維度進(jìn)行擴(kuò)展。DONG等[15]認(rèn)為,直接利用低維特征進(jìn)行超分辨率重建,重建質(zhì)量會比從高維特征中重建的要差,故需要將低維特征擴(kuò)展到高維再進(jìn)行超分辨率重建,用于擴(kuò)展的卷積層可設(shè)置為Conv(1,d,s)。該部分卷積層可表示為:

Fi+m+1(I)=max(0,Wi+m+1*Fi+m(I)+Bi+m+1)+
αi+m+1min(0,Wi+m+1*Fi+m(I)+Bi+m+1)

(8)

在網(wǎng)絡(luò)最后使用反卷積層對圖像進(jìn)行上采樣重建。對圖像進(jìn)行步長為k的卷積操作,輸出圖像的尺寸會變成輸入的1/k。而反卷積可以視為卷積的逆操作,在反卷積層中,當(dāng)步長為k時,輸出圖像就變成輸入的k倍,所以利用反卷積層對圖像進(jìn)行放大重建,反卷積操作的步長k即為重建圖像的放大倍數(shù)。反卷積層其實是對一組上采樣卷積核進(jìn)行學(xué)習(xí)。將反卷積層設(shè)置為DeConv(9,1,d),該層也是本文網(wǎng)絡(luò)結(jié)構(gòu)的最后一層,該層的輸出為超分辨率重建后的刀具圖像。經(jīng)實驗驗證,當(dāng)d=168,s=36,m=3時,網(wǎng)絡(luò)重建效果最好。

1.2.2 圖像邊緣損失函數(shù)

典型超分辨率網(wǎng)絡(luò)例如:SRCNN、FSRCNN與VDSR等,為了提升峰值信噪比(peak signal-to-noise ratio,PSNR),均使用MSE函數(shù)作為其損失函數(shù)。但MSE函數(shù)作為超分辨率卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)存在缺點:由于MSE函數(shù)是平方計算,所以其對真實圖像和重建圖像之間的大誤差有強(qiáng)懲罰,對小誤差有弱懲罰,忽略了圖像內(nèi)容本身的影響。如果圖像中出現(xiàn)紋理或者網(wǎng)格,優(yōu)化MSE函數(shù)則會將該區(qū)域平滑。所以,對于具有豐富紋理的刀具圖像來講,將MSE函數(shù)作為本文網(wǎng)絡(luò)的損失函數(shù)顯然是不合適的。相較于MSE函數(shù),L1函數(shù)允許異常值的存在,可以減少在優(yōu)化過程中將圖像中的高頻信息平滑的現(xiàn)象出現(xiàn)。對于刀具圖像而言,在對其進(jìn)行超分辨率重建時,需要著重注意的是刀具的磨損區(qū)域,而該區(qū)域位于圖像的邊緣部分,如圖4所示,所以刀具圖像中的邊緣信息是超分辨率重建的重點。為了提升網(wǎng)絡(luò)對圖像中邊緣信息的重建效果,本文提出了一種圖像邊緣損失函數(shù),在L1損失函數(shù)的基礎(chǔ)上中增加了圖像的邊緣損失。邊緣損失的計算為:

圖4 直徑為0.5 mm微細(xì)銑削刀具不同磨損狀態(tài)的邊緣紋理

(9)

式中:r為放大倍數(shù),W和H分別為ILR圖像的寬和高,ILR為LR圖像,GT為HR圖像,F()為超分辨率卷積神經(jīng)網(wǎng)絡(luò),故F(ILR)為超分辨率重建后得到的刀具圖像,C()為圖像邊緣信息提取函數(shù),這里的C()采用的是Canny算子,其閾值參數(shù)是根據(jù)所使用的刀具圖像數(shù)據(jù)集來確定。綜上所述,本文網(wǎng)絡(luò)所使用的圖像邊緣損失函數(shù)為:

l=(1-λ)×lL1+λ×ledge

(10)

式中:lL1為HR圖像和重建圖像之間的L1損失,ledge為邊緣損失函數(shù),λ為加權(quán)系數(shù)。

2 實驗與結(jié)果分析

2.1 實驗環(huán)境

實驗所用的刀具圖像采集裝置由三坐標(biāo)調(diào)節(jié)儀、200萬像素工業(yè)相機(jī)、環(huán)形垂直光源、VS-TCH-65遠(yuǎn)心鏡頭以及筆記本電腦等組成。實驗機(jī)床為HSM600U五軸聯(lián)動高速加工中心,采用銑槽方式的干銑削加工。使用直徑為0.8 mm和0.5 mm的硬質(zhì)合金微銑刀分別對純銅和鋼AISI4340進(jìn)行銑削加工。為了使刀具能夠具有不同的磨損狀態(tài),實驗設(shè)置了多種工況對加工件進(jìn)行銑削,即改變主軸轉(zhuǎn)速、軸向切削深度、單齒進(jìn)給量等加工參數(shù)。網(wǎng)絡(luò)模型訓(xùn)練使用的電腦系統(tǒng)為Windows 10,顯卡為NVIDIA GeForce GTX 1080,Python版本為3.8,Pytorch版本為1.9.0,CUDA版本為11.1。

實驗在不同工況下共采集了186張刀具圖像作為高分辨率圖像,其中包含29張直徑為0.8 mm刀具的圖像與157張直徑為0.5 mm刀具的圖像。因為對刀具圖像進(jìn)行超分辨率重建不受工況的影響,故隨機(jī)選擇直徑為0.8 mm和直徑0.5 mm的刀具圖像各10張分別作為測試集1和測試集2,剩余166張圖像作為訓(xùn)練集和驗證集,其中訓(xùn)練集包含144張,驗證集包含20張。為了增加數(shù)據(jù)量,對訓(xùn)練集進(jìn)行了圖像增強(qiáng)(即對圖像分別旋轉(zhuǎn)90°,180°以及270°),將圖像數(shù)量擴(kuò)大了4倍。在真實圖像中添加隨機(jī)高斯噪聲以模擬圖像采集時的環(huán)境噪聲,進(jìn)行3倍下采樣后得到LR圖像。網(wǎng)絡(luò)訓(xùn)練階段設(shè)置學(xué)習(xí)率初始值為0.001,使用余弦退火算法提高Adam優(yōu)化器的性能。

重建后的圖像需要使用圖像質(zhì)量評價方法以判斷重建效果的好壞。本實驗使用全參考圖像質(zhì)量評價方法:峰值信噪比(peak signal-to-noise ratio,PSNR),結(jié)構(gòu)相似度(structural similarity index,SSIM)以及無參考圖像質(zhì)量評價方法:學(xué)習(xí)感知圖像塊相似性(learned perceptual image patch similarity,LPIPS)對重建圖像的質(zhì)量進(jìn)行評估。為了證明圖像邊緣損失函數(shù)在網(wǎng)絡(luò)訓(xùn)練過程中的優(yōu)越性,使用PSNR觀察驗證集在網(wǎng)絡(luò)訓(xùn)練過程中的重建質(zhì)量,PSNR值越大,說明驗證集重建質(zhì)量越好。對于測試集,則使用更能體現(xiàn)圖像結(jié)構(gòu)信息的SSIM和LPIPS來衡量,SSIM越接近于1,LPIPS越接近于0,則說明經(jīng)過超分辨率重建的圖像質(zhì)量越好。

2.2 結(jié)果分析

2.2.1 不同損失函數(shù)對比

本文針對刀具圖像的特點以及為了避免MSE函數(shù)作為損失函數(shù)所出現(xiàn)的問題,提出了一種加入圖像邊緣損失信息的函數(shù)作為網(wǎng)絡(luò)訓(xùn)練的損失函數(shù),稱為圖像邊緣損失函數(shù)。為了探究不同損失函數(shù)對網(wǎng)絡(luò)重建效果的影響以及確定圖像邊緣損失函數(shù)中參數(shù)λ的值,分別使用MSE函數(shù)、L1函數(shù)以及參數(shù)λ不同的圖像邊緣損失函數(shù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。圖像邊緣損失函數(shù)的參數(shù)λ取值范圍為0.1～0.9,步長為0.1,選擇其中重建結(jié)果較好的實驗與其他損失函數(shù)進(jìn)行對比。

圖5為使用MSE函數(shù)、L1函數(shù)以及λ=0.3的圖像邊緣損失函數(shù)在網(wǎng)絡(luò)訓(xùn)練過程中PSNR和Loss值的變化曲線圖。由圖5左圖可以看出,使用圖像邊緣損失函數(shù)以及L1函數(shù)進(jìn)行訓(xùn)練的網(wǎng)絡(luò),在驗證集上的表現(xiàn)均優(yōu)于使用MSE函數(shù)訓(xùn)練的網(wǎng)絡(luò),尤其是使用圖像邊緣損失函數(shù)訓(xùn)練的網(wǎng)絡(luò),其在驗證集上的表現(xiàn)最好,驗證集的PSNR值最高。由Loss值的變化曲線可以看出,由于MSE函數(shù)的計算方式為平方,所以相比圖像邊緣損失函數(shù)來講,其Loss值較小,并且因為MSE函數(shù)對于較大的誤差會有較大的懲罰,所以其Loss曲線并不平穩(wěn),導(dǎo)致在訓(xùn)練過程中的PSNR值變化曲線也有較大的變動。但L1函數(shù)和圖像邊緣損失函數(shù)可以避免該現(xiàn)象的出現(xiàn),從圖5可以看出,使用這兩種損失函數(shù)訓(xùn)練的網(wǎng)絡(luò),PSNR和Loss值的變化曲線會相對平穩(wěn)。

圖5 使用MSE函數(shù)、L1函數(shù)以及λ=0.3的圖像邊緣損失函數(shù)在網(wǎng)絡(luò)訓(xùn)練過程中PSNR和Loss值

表1為使用不同損失函數(shù)訓(xùn)練的網(wǎng)絡(luò)在0.8 mm刀具圖像測試集以及0.5 mm刀具圖像測試集上的表現(xiàn)。使用圖像邊緣損失函數(shù)訓(xùn)練的網(wǎng)絡(luò)實驗數(shù)據(jù)共9組,選擇3組在測試集上表現(xiàn)最好的網(wǎng)絡(luò)進(jìn)行對比。根據(jù)表1可知,使用L1函數(shù)訓(xùn)練的網(wǎng)絡(luò)在各測試集上的表現(xiàn)均比使用MSE函數(shù)訓(xùn)練的網(wǎng)絡(luò)重建效果好,證明了L1函數(shù)的優(yōu)越性。同時從表1中也可以看出,使用圖像邊緣損失函數(shù)進(jìn)行訓(xùn)練的網(wǎng)絡(luò),在兩種測試集上的表現(xiàn)也均優(yōu)于僅使用L1函數(shù)的網(wǎng)絡(luò)。因為本文網(wǎng)絡(luò)所使用的圖像邊緣損失函數(shù)加入了邊緣損失信息,使用該損失函數(shù)進(jìn)行訓(xùn)練,就是在針對圖像的高頻信息損失量進(jìn)行迭代優(yōu)化,盡可能減少超分辨率重建圖像與高分辨率圖像在高頻信息上的誤差,故使用本文提出的圖像邊緣損失函數(shù)可以增強(qiáng)網(wǎng)絡(luò)對圖像邊緣的重建效果,提高圖像質(zhì)量評價指標(biāo)。

表1 不同損失函數(shù)在0.8 mm刀具圖像測試集和0.5 mm刀具圖像測試集上的表現(xiàn)

2.2.2 不同網(wǎng)絡(luò)重建結(jié)果對比

為了體現(xiàn)本文網(wǎng)絡(luò)在刀具圖像超分辨率重建上的優(yōu)越性,選取了雙三次插值、SRCNN、FSRCNN以及VDSR等3種典型的超分辨率卷積神經(jīng)網(wǎng)絡(luò)與本文網(wǎng)絡(luò)進(jìn)行對比實驗。SRCNN、FSRCNN、VDSR以及本文網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表2所示。

表2 不同網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

另外,SRCNN、FSRCNN以及VDSR使用與本文網(wǎng)絡(luò)相同的刀具圖像訓(xùn)練集進(jìn)行網(wǎng)絡(luò)訓(xùn)練,重建放大倍數(shù)為3。不同網(wǎng)絡(luò)訓(xùn)練過程中PSRN和Loss值的變化曲線如圖6所示,測試集重建結(jié)果如表3和圖7所示。

(a) PSNR值的變化 (b) Loss值的變化圖6 不同網(wǎng)絡(luò)的網(wǎng)絡(luò)訓(xùn)練過程中PSNR和Loss值的變化

圖7 不同網(wǎng)絡(luò)在不同測試集上的重建效果對比圖

表3 不同網(wǎng)絡(luò)在0.8 mm刀具圖像測試集和0.5 mm刀具圖像測試集上的表現(xiàn)

由表3可知,與雙三次插值、SRCNN、FSRCNN以及VDSR相比,本文網(wǎng)絡(luò)在兩種刀具圖像測試集上的表現(xiàn)均為最佳:在0.8 mm測試集上,SSIM為0.951 1,LPIPS為0.520 6,在0.5 mm測試集,SSIM為0.968 6,LPIPS為0.348 3。因為本文網(wǎng)絡(luò)在訓(xùn)練過程中使用的是所提出的圖像邊緣損失函數(shù),而另外3種網(wǎng)絡(luò)使用的則是MSE函數(shù),故本文網(wǎng)絡(luò)可以針對刀具圖像的邊緣重建效果進(jìn)行加強(qiáng),故可以提高兩種圖像客觀評價質(zhì)量指標(biāo)。

圖6a表示不同網(wǎng)絡(luò)訓(xùn)練過程中PSNR值的變化,圖6b表示Loss值的變化。從圖6a中可以看出,本文網(wǎng)絡(luò)在驗證集上的表現(xiàn)要優(yōu)于其他3種網(wǎng)絡(luò),其PSNR值明顯高于另外3種網(wǎng)絡(luò)。由于本文網(wǎng)絡(luò)在訓(xùn)練時使用了余弦退火算法對學(xué)習(xí)率進(jìn)行優(yōu)化以避免陷入局部最小值,而另外3種網(wǎng)絡(luò)使用的是學(xué)習(xí)率線性減小的方法,故相比另外3種網(wǎng)絡(luò),本文網(wǎng)絡(luò)在訓(xùn)練過程中的PSNR與Loss值會產(chǎn)生一定的波動,但整體呈收斂趨勢。

從0.8 mm刀具圖像測試集和0.5 mm刀具圖像測試集中分別選擇兩張不同磨損程度的刀具圖像進(jìn)行超分辨率重建,不同網(wǎng)絡(luò)對不同測試集的刀具圖像的重建效果如圖7所示,圖7a和圖7b為0.8 mm刀具圖像,圖7c和圖7d為0.5 mm刀具圖像。從圖中可以明顯看出,SRCNN與FSRCNN所重建的圖像較為模糊,但比雙三次插值方法要好。相較于SRCNN與FSRCNN,VDSR網(wǎng)絡(luò)結(jié)構(gòu)較深,從主觀上看,該網(wǎng)絡(luò)的重建效果明顯要比淺層的兩種網(wǎng)絡(luò)重建效果要好。雖然VDSR取得了較好的重建圖像,但從圖7c和圖7d中可以看出,VDSR所重建的0.5 mm刀具圖像上出現(xiàn)了“偽影”,即出現(xiàn)了原圖所不具有的紋理,這是因為VDSR網(wǎng)絡(luò)結(jié)構(gòu)過深,出現(xiàn)了輕微過擬合現(xiàn)象,將低分辨率圖像中具有的噪聲信息也進(jìn)行了超分辨率,故出現(xiàn)了原圖不具有的紋理。而本文網(wǎng)絡(luò)比SRCNN與FSRCNN深,比VDSR更淺,并且使用局部殘差與全局殘差相結(jié)合的方法來避免過擬合現(xiàn)象的出現(xiàn),故可以減少超分辨率重建后的圖像出現(xiàn)“偽影”。通過對比實驗可知,無論在客觀圖像評價標(biāo)準(zhǔn)還是主觀感受上,相比其他典型超分辨率卷積神經(jīng)網(wǎng)絡(luò),本文網(wǎng)絡(luò)在刀具圖像超分辨率重建問題上都有著更好的表現(xiàn)。

3 結(jié)束語

本文構(gòu)建了一種刀具圖像超分辨率重建卷積神經(jīng)網(wǎng)絡(luò),并且根據(jù)刀具圖像的特點,針對MSE函數(shù)作為損失函數(shù)所出現(xiàn)的問題,提出了一種包含圖像邊緣信息的圖像邊緣損失函數(shù),并利用客觀圖像質(zhì)量評價指標(biāo)對超分辨率重建后的兩種直徑不同的刀具圖像測試集進(jìn)行評價。為了探究圖像邊緣損失函數(shù)對網(wǎng)絡(luò)的影響以及確定該損失函數(shù)中參數(shù)λ的值,本文使用不同損失函數(shù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。通過訓(xùn)練過程中驗證集在PSNR和Loss值的變化與不同測試集的重建質(zhì)量,證明本文所提出的圖像邊緣損失函數(shù)相較于MSE函數(shù)可以提升網(wǎng)絡(luò)的超分辨率重建效果,并且通過實驗確定圖像邊緣損失函數(shù)中的最佳參數(shù)λ=0.3。為了體現(xiàn)本文網(wǎng)絡(luò)的優(yōu)越性,與3種典型的超分辨率卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行對比試驗。由實驗結(jié)果可知,本文網(wǎng)絡(luò)在刀具圖像超分辨率重建上的表現(xiàn),無論在客觀評價還是主觀評價上均為最佳,在兩種不同的刀具圖像測試集上,SSIM平均表現(xiàn)為0.959 9,LPIPS為0.434 5,明顯優(yōu)于其他網(wǎng)絡(luò)。

當(dāng)前本文只使用了微細(xì)平頭銑刀的底面圖片進(jìn)行訓(xùn)練與重建,對于其他類型的刀具并沒有做更多的泛化性驗證實驗。下一步將豐富刀具圖像數(shù)據(jù)集,采集結(jié)構(gòu)更加復(fù)雜的刀具圖像,并在重建速度上對網(wǎng)絡(luò)性能進(jìn)行進(jìn)一步的提升。