王叁軍

(廣州城建職業(yè)學(xué)院 繼續(xù)教育學(xué)院,廣東 廣州 510925)

從自然環(huán)境中獲取圖像,經(jīng)常受到光照、氣候、地理等因素影響,同時(shí)圖像采集設(shè)備也會(huì)由于抖動(dòng)、系統(tǒng)干擾等問(wèn)題導(dǎo)致所獲取的圖像存在較為明顯的噪聲干擾,嚴(yán)重時(shí)會(huì)出現(xiàn)圖像對(duì)比度降低、顏色失真等質(zhì)量問(wèn)題[1]。如果圖像分辨率較低、質(zhì)量較差,將會(huì)嚴(yán)重影響與該圖像相關(guān)的后續(xù)工作開(kāi)展。例如電力系統(tǒng)巡檢工作需要利用無(wú)人機(jī)采集電力線路的圖像[2-3],通過(guò)分析無(wú)人機(jī)采集的圖像獲取電力系統(tǒng)的安全情況,這種從戶外采集的圖像,經(jīng)常受到惡劣天氣的影響,導(dǎo)致圖像模糊不清,圖像中的內(nèi)容會(huì)出現(xiàn)嚴(yán)重灰白色,發(fā)生顏色失真;還有應(yīng)用于監(jiān)控設(shè)備的圖像也會(huì)受到多種因素影響發(fā)生失真[4-6]。如果圖像采集設(shè)備在大風(fēng)環(huán)境中會(huì)發(fā)生抖動(dòng),在夜間環(huán)境中清晰度會(huì)降低,如果受到濃霧天氣影響,將無(wú)法準(zhǔn)確獲得需采集的內(nèi)容[7]。由此可以看出,提升圖像質(zhì)量、消除干擾信息、獲得高分辨率圖像,是目前有關(guān)行業(yè)重點(diǎn)需要研究的問(wèn)題。

王通等[8]研究人員使用優(yōu)化后的U-Net神經(jīng)網(wǎng)絡(luò)的稀疏視角實(shí)現(xiàn)圖像質(zhì)量提升,該算法能夠?qū)崿F(xiàn)低質(zhì)量圖像的重建,獲得效果更好的圖像結(jié)果,但是不能消除圖像上的噪聲干擾,所以圖像質(zhì)量提升效果并不優(yōu)異。陳瑞娟等[9]學(xué)者利用圖像融合算法提升圖像的質(zhì)量,該算法先分割原始圖像,得到圖像結(jié)構(gòu)信息,使用靈敏度矩陣算法重建圖像,最后使用小波融合算法獲得融合后的圖像,該種算法能夠凸顯出眾多細(xì)節(jié)信息,但是圖像的分辨率依舊不是很好。

同態(tài)濾波能夠解決圖像上細(xì)節(jié)模糊以及光暈干擾的問(wèn)題,利用同態(tài)濾波處理原始圖形,消除圖像上的噪聲,提升圖像的對(duì)比度,提升圖像的質(zhì)量,以便后續(xù)重建圖像工作的開(kāi)展[10-11]。本文使用同態(tài)濾波耦合算法,結(jié)合灰度變換優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò),輸出超分辨率重建的圖像。

1 低照度圖像超分辨率重建算法

1.1 基于同態(tài)濾波耦合的低照度圖像對(duì)比度增強(qiáng)

同態(tài)濾波耦合以光照反射模型為基礎(chǔ),反射成分p(x,y)和照度成分q(x,y)相乘,獲得圖像f(x,y):

f(x,y)=q(x,y)×p(x,y)

(1)

其中,q(x,y)屬于緩慢變化,主要用于描述低照度圖像中的低頻成分,該成分能夠反映出圖像中的亮度特征;p(x,y)屬于劇烈變化,用于描述低照度圖像中的高頻成分,主要可以表征圖像內(nèi)的邊緣細(xì)節(jié)特征與噪聲特征。

對(duì)數(shù)運(yùn)算處理f(x,y),式(1)中q(x,y)與p(x,y)的關(guān)系為相乘,對(duì)數(shù)運(yùn)算時(shí),將該關(guān)系轉(zhuǎn)化為相加:

lnf(x,y)=lnq(x,y)+lnp(x,y)

(2)

使用傅里葉變換處理式(2):

F{lnf(x,y)}=F{lnq(x,y)}+F{lnp(x,y)}?F(u,v)=Q(u,v)+P(u,v)

(3)

其中,F{·}用于表示傅里葉變換,q(x,y)、p(x,y)與f(x,y)發(fā)生傅里葉變換后轉(zhuǎn)變?yōu)镼(u,v)、P(u,v)和F(u,v)。

H(u,v)為同態(tài)函數(shù),濾波處理式(3)后獲得式(4):

H(u,v)F(u,v)=H(u,v)Q(u,v)+H(u,v)P(u,v)?HF(u,v)=HQ(u,v)+HP(u,v)

(4)

對(duì)式(4)開(kāi)展傅里葉反變換,該變化需要使用F-1{·}完成處理,式(5)為傅里葉反變換:

F-1{HF(u,v)}=F-1{HQ(u,v)}+F-1{HP(u,v)}?hf(x,y)=hq(x,y)+hp(x,y)

(5)

指數(shù)變換式(5)的兩側(cè),通過(guò)計(jì)算獲得對(duì)比度提升后的低照度圖像g(x,y):

g(x,y)=exp|hf(x,y)|=exp|hq(x,y)|×

exp|hp(x,y)|

(6)

提升低照度圖像對(duì)比度的關(guān)鍵步驟,就是將原始低照度圖像中的P(u,v)成分升高同時(shí)降低Q(u,v)成分,該過(guò)程中,可以將同態(tài)函數(shù)H(u,v)看成是一個(gè)高通濾波器。

雖然經(jīng)過(guò)以上過(guò)程處理,能夠提升低照度圖像的對(duì)比度,但是并不能完全保留低照度圖像上的細(xì)節(jié)特征,所以進(jìn)一步使用中心像素點(diǎn)(u0,v0)和頻域像素點(diǎn)(u,v)之間存在的距離D(u,v)建立指數(shù)型同態(tài)濾波函數(shù):

H′(u,v)=(pH-pL)e[-D0/D(u,v)]2+pL

(7)

其中,D0用于描述截止頻率,pH是高頻增益,pL用于表示低頻增益。假設(shè)pH>1,且pL<1,使用H′(u,v)就能夠?qū)⒄斩瘸煞纸档?使得圖像中的反射成分得到提升,濾除圖像中的干擾信息,保證低照度圖像中的對(duì)比度得到提升。

1.2 基于自適應(yīng)非線性拉伸的低照度圖像飽和度提升

盡管經(jīng)過(guò)同態(tài)濾波耦合處理后,低照度圖像的對(duì)比度得以提升,但是這種低照度圖像受到圖像采集環(huán)境的影響,飽和度較低,喪失原本的圖像色彩,導(dǎo)致清晰度較差,不利于低照度圖像的超分辨率重建,因此本文使用自適應(yīng)非線性拉伸算法提升對(duì)比度增強(qiáng)后低照度圖像的飽和度。由于原始圖像存在差異,所需拉伸的圖像飽和度大小也各不相同,所以選取自使用非線性拉伸算法[12-13],將對(duì)比度提升后的低照度圖像飽和度提升,計(jì)算式見(jiàn)式(8):

Rout={1+mean(R,G,B)/[max(R,G,B)+

min(R,G,B)+1]}Rin

(8)

其中,與同態(tài)濾波耦合處理后低照度圖像像素點(diǎn)RGB顏色分量相對(duì)應(yīng)的最大值為max(R,G,B);Rout用于代表對(duì)比度增強(qiáng)后低照度圖像經(jīng)過(guò)飽和度提升之后的結(jié)果;mean(R,G,B)是對(duì)應(yīng)同態(tài)濾波耦合處理后低照度圖像像素點(diǎn)RGB顏色分量的均值;Rin用于表示初始飽和度;min(R,G,B)用于描述圖像上像素點(diǎn)顏色分量的最小值。通過(guò)該處理,進(jìn)一步提升低照度圖像的飽和度,使得圖像的色彩更加鮮明。

1.3 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的低照度圖像超分辨率重建

1.3.1 卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建

為實(shí)現(xiàn)圖像超分辨率重建,需要使用卷積神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)主要包括三個(gè)關(guān)鍵部分,詳細(xì)結(jié)構(gòu)與作用如下:

1)提取低照度圖像特征

對(duì)提升對(duì)比度與飽和度的低照度圖像特征提取時(shí),需要利用卷積神經(jīng)網(wǎng)絡(luò)中的卷積核,本文分別選擇兩種卷積核,一種包含28個(gè)卷積核,大小為3×3;另一種也是28個(gè)卷積核,大小仍然為3×3,但該卷積核包含兩層[14]。這些卷積核與contact共同完成特征提取工作,根據(jù)卷積核數(shù)量,一共可以獲得56個(gè)特征圖。

2)低照度圖像特征映射

經(jīng)過(guò)上文同態(tài)濾波耦合處理和自適應(yīng)非線性拉伸后,低照度圖像的對(duì)比度與飽和度都得到改善,但是經(jīng)過(guò)處理后,該圖像中還是存在部分低分辨率特征情況,對(duì)于這部分特征,使用卷積層中的卷積核進(jìn)行處理,向高分辨率特征映射。該映射過(guò)程中,利用兩層深度可分離卷積處理數(shù)個(gè)特征圖,卷積核的數(shù)量為n個(gè),卷積核的大小按照研究經(jīng)驗(yàn)初步確定為3×3[15]。

3)分辨率重建

經(jīng)過(guò)以上處理,對(duì)比度與飽和度提升后的低照度圖像中的高分辨率特征被拓展,這些特征都被放大和重建。選取卷積核大小為9×9,子像素卷積操作這些卷積核與56個(gè)特征圖,實(shí)現(xiàn)對(duì)比度與飽和度提升后的低照度圖像的超分辨率重建。卷積操作使用的卷積函數(shù)如式(9)所示:

Fn(Y)=max{σ×[wn*Fn-1(Y)+Bn],

wn*Fn-1(Y)+Bn}

(9)

通過(guò)式(10)實(shí)現(xiàn)子像素的卷積操作:

Fn(Y)=U[wn*Fn-1(Y)+Bn]

(10)

其中,Fn(Y)代表卷積層輸出的結(jié)果;*用于描述卷積操作;wn代表卷積計(jì)算中的偏置;Fn-1(Y)用于表述輸入到卷積層的特征圖;U代表子像素卷積操作;Bn表示卷積核的大小;σ用于代表激活函數(shù)ReLU的激活參數(shù)。

1.3.2 改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)超分辨率重建

本文研究過(guò)程中利用同態(tài)濾波耦合與自適應(yīng)非線性拉伸提升低照度圖像的對(duì)比度與飽和度,使用灰度變換優(yōu)化卷積神經(jīng)網(wǎng)絡(luò),將質(zhì)量較差、分辨率較低的低照度圖像通過(guò)重建分辨率,提升圖像的質(zhì)量。

該算法過(guò)程中對(duì)比度與飽和度提升后的低照度圖像為輸入,使用灰度變換處理這部分輸入圖像,同時(shí)確保利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練這部分經(jīng)過(guò)灰度變換之后的圖像,經(jīng)過(guò)灰度變換以及訓(xùn)練之后,更利于獲得這些圖像中的特征?；叶茸兓瘯r(shí),對(duì)于特征進(jìn)行選擇性變化,避免錯(cuò)誤提升圖像中的無(wú)效特征,只針對(duì)其中有效的部分特征實(shí)現(xiàn)灰度變換,算法的詳細(xì)過(guò)程如下:

Step 1:將對(duì)比度與飽和度提升后的低照度圖像作為輸入,并差異化放大該圖像,將該輸入標(biāo)記為x。

Step 2:為提升對(duì)比度與飽和度增強(qiáng)后的低照度圖像x的特征顯示能力,先使用灰度變換方式處理x,再引導(dǎo)x向第一個(gè)卷積層前進(jìn),x0表示灰度拉伸之后的低照度圖像。

(11)

Step 3:首次卷積運(yùn)算x0,獲得首個(gè)卷積層的輸出y0:

y0=w1*x0+B1

(12)

其式中,w1表示卷積模板;B1代表偏置。

Step 4:針對(duì)特征圖y0的每一個(gè)通道需要開(kāi)展灰度變換操作,灰度變化后的特征y0變?yōu)閥1:

(13)

Step 5:二次卷積計(jì)算y1,獲取第二個(gè)卷積層輸出y2:

y2=w2*y1+B2

(14)

其中,w2代表二次卷積計(jì)算的卷積模板;B2則是二次卷積計(jì)算的偏置。

Step 6:繼續(xù)灰度變換y2內(nèi)各通道,y2增強(qiáng)后轉(zhuǎn)換為y3:

(15)

Step 7:第三次卷積運(yùn)算y3,最終輸出超分辨率重建后的圖像結(jié)果y:

y=w3*y3+B3

(16)

其中,w3表示第三次卷積運(yùn)算的模板;B3表示第三次卷積運(yùn)算的偏置。

Step 8:確定如下關(guān)系:

(17)

使用式(18)描述等待優(yōu)化的損失函數(shù)Loss(θ):

(18)

Step 9:循環(huán)迭代之前,先對(duì)卷積神經(jīng)網(wǎng)絡(luò)中存在的參數(shù)進(jìn)行全新變換,獲得新的參數(shù),直到停止迭代,或者損失函數(shù)符合既定閾值條件就可以停止參數(shù)更新。

Step 10:輸出低照度圖像超分辨率重建結(jié)果。

2 重建結(jié)果分析

2.1 數(shù)據(jù)集

為驗(yàn)證本文所研究的超分辨率重建算法的性能,使用較為常見(jiàn)的CIFAR-10/100數(shù)據(jù)集,該數(shù)據(jù)集包含電力巡檢、交通監(jiān)控等10個(gè)類(lèi)別,圖像的像素均為32×32,屬于低分辨率圖像,圖像數(shù)量共525 480幅,其中測(cè)試集為112 357幅,訓(xùn)練集為413 123幅。從該數(shù)據(jù)集中分別選取一幅電力巡檢低照度圖像和一幅交通監(jiān)控低照度圖像,開(kāi)展試驗(yàn)分析,二幅圖像的原始情況如圖1所示。

圖1 原始低照度圖像

從圖1中能夠看出,原始圖像的照度均較低,對(duì)比度和飽和度均較低,圖像的清晰度較差,色差較大,需要使用本文方法實(shí)現(xiàn)各個(gè)低照度圖像的超分辨率重建。

2.2 同態(tài)濾波耦合處理效果試驗(yàn)

在對(duì)低照度超分辨重建之前,本文算法先使用同態(tài)濾波耦合處理低照度圖像,提升該圖像的對(duì)比度,處理結(jié)果如圖2所示。

圖2 同態(tài)濾波耦合處理效果

由圖2可知,使用同態(tài)濾波耦合處理各個(gè)低照度圖像之后,能夠提升圖像的對(duì)比度,消除原始圖像的大量噪聲信息,凸顯出圖像上的細(xì)節(jié)信息,為后續(xù)圖像超分辨率重建提供便利條件。

2.3 自適應(yīng)非線性拉伸處理效果試驗(yàn)

原始低照度圖像經(jīng)過(guò)同態(tài)濾波耦合處理后,低照度圖像上的噪聲得到消除,對(duì)比度發(fā)生改善,但是低照度圖像上存在的色差問(wèn)題仍舊較為嚴(yán)重,因此使用本文算法中的自適應(yīng)非線性拉伸部分,處理同態(tài)濾波耦合后的低照度圖像,處理結(jié)果見(jiàn)圖3。

圖3 自適應(yīng)非線性拉伸處理效果

由圖3可知,經(jīng)過(guò)自適應(yīng)非線性拉伸算法處理后各個(gè)低照度圖像的顯色信息得到提升,原始圖像缺失的顏色信息得到彌補(bǔ),使得低照度圖像的視覺(jué)效果更好。

2.4 超分辨率重建效果試驗(yàn)

低照度圖像經(jīng)過(guò)同態(tài)濾波耦合處理和自適應(yīng)非線性拉伸算法處理以后,圖像的質(zhì)量一定程度上得到提升,但是仍然不能滿足使用需求,使用本文算法處理各個(gè)圖像后,實(shí)現(xiàn)低照度圖像的超分辨率重建,重建結(jié)果如圖4所示。

圖4 超分辨率重建結(jié)果

通過(guò)圖4能夠看出,使用本文算法處理后的低照度圖像,亮度、銳度等圖像特征均得到提升,超分辨率重建的圖像,更加清晰,沒(méi)有再出現(xiàn)明顯干擾信息,適合后續(xù)工作開(kāi)展。

2.5 超分辨率重建效果評(píng)價(jià)

使用峰值信噪比評(píng)價(jià)超分辨率重建后的低照度圖像的質(zhì)量情況。通常情況下峰值信噪比高,則超分辨率重建后的圖像更逼真。峰值信噪比通過(guò)式(19)計(jì)算獲得峰值信噪P:

P=10×lg[(2n-1)2/MSE]

(19)

其中,MSE代表均方誤差,n為常數(shù)。

為使試驗(yàn)結(jié)果更加具有對(duì)比性,使用改進(jìn)的U-Net神經(jīng)網(wǎng)絡(luò)算法(文獻(xiàn)[8]算法)和圖像融合算法(文獻(xiàn)[9]算法)同時(shí)處理本文所使用的2幅低照度圖像,各個(gè)算法的重建效果評(píng)價(jià)結(jié)果如表1所示。

表1 峰值信噪比評(píng)價(jià)結(jié)果

由表1可知,使用本文算法處理后的低照度圖像,具有更大的P值,說(shuō)明使用本文算法后,低照度圖像更加逼真。與本文算法相比,兩種對(duì)比算法的峰值信噪比略低,說(shuō)明在同類(lèi)算法中,本文算法更加具有優(yōu)勢(shì)。

結(jié)構(gòu)相似性也是評(píng)價(jià)圖像質(zhì)量的一個(gè)指標(biāo),圖像的結(jié)構(gòu)相似度和圖像質(zhì)量之間存在正比例關(guān)系。添加噪聲干擾,通過(guò)試驗(yàn)分析,確定各個(gè)算法處理兩種低照度圖像后,該圖像的結(jié)構(gòu)相似性變化情況,結(jié)果見(jiàn)圖5。

圖5 結(jié)構(gòu)相似性對(duì)比結(jié)果

通過(guò)圖5可知,受到不同噪聲水平干擾,各個(gè)算法處理后圖像超分辨率重建結(jié)果均出現(xiàn)結(jié)構(gòu)相似性降低的變化趨勢(shì),由于本文算法使用同態(tài)濾波耦合,一定程度降低低照度圖像的噪聲干擾,所以本文算法重建后的圖像始終保持較高水平,沒(méi)有出現(xiàn)明顯畸變。由于低照度圖像1上的背景干擾信息較少,因此圖5(a)中本文算法處理后的超分辨率圖像結(jié)構(gòu)相似性更平穩(wěn),結(jié)構(gòu)相似性變化更小。

3 結(jié)論

受到多種外部因素的影響,圖像采集后照度較低,同時(shí)存在對(duì)比度、飽和度較低的情況,因此使用基于同態(tài)濾波耦合的低照度圖像超分辨率重建算法提升圖像質(zhì)量。本文將同態(tài)濾波耦合和自適應(yīng)非線性拉伸算法處理后的低照度圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入,結(jié)合灰度變換,實(shí)現(xiàn)低照度圖像的超分辨率重建。實(shí)驗(yàn)結(jié)果表明:該方法能夠消除原始圖像上的噪聲,保留圖像的細(xì)節(jié)信息,優(yōu)化圖像的質(zhì)量,結(jié)合自適應(yīng)非線性拉伸算法提升低照度圖像的飽和度,使得低照度圖像更真實(shí)、清晰。