国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

一種改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)多聚焦圖像融合研究

2021-09-08 10:10:22魏輝琪劉增力
電視技術(shù) 2021年7期
關(guān)鍵詞:網(wǎng)絡(luò)結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)

魏輝琪,劉增力

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院,云南 昆明 650500)

0 引 言

日常生活中,人們?cè)谂臄z照片時(shí)不但要選擇拍攝清晰的攝像機(jī),而且希望所拍景物里所有物體都具有清晰的質(zhì)量。但由于攝像機(jī)會(huì)受到景深的限制,無法將拍攝的所有目標(biāo)都聚焦,造成一張照片會(huì)有聚焦和非聚焦的部分[1-3]。如何將兩幅聚焦位置不同的圖像融合到一起,并且使融合后的圖像質(zhì)量優(yōu)良、細(xì)節(jié)信息豐富[4],一直是多聚焦圖像融合研究的熱點(diǎn)。

2007年,Nencini F等人將曲率變換應(yīng)用于圖像融合,以期達(dá)到優(yōu)異的視覺效果,實(shí)際融合效果優(yōu)于使用Contourlet變換的融合算法。一些學(xué)者提出一種使用NSCT的多焦點(diǎn)圖像融合算法以及一種將NSCT和空間頻率激勵(lì)脈沖與支架一起使用的圖像融合算法。隨著深度學(xué)習(xí)和遷移學(xué)習(xí)領(lǐng)域的發(fā)展,越來越多的學(xué)者將深度學(xué)習(xí)廣泛運(yùn)用到多聚焦圖像融合中。由于卷積神經(jīng)網(wǎng)絡(luò)以生物神經(jīng)元結(jié)構(gòu)思想為起點(diǎn),具備網(wǎng)絡(luò)結(jié)構(gòu)方便快捷和特征提取良好性的能力,很多學(xué)者將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)應(yīng)用到圖像融合任務(wù)中。有學(xué)者提出自動(dòng)設(shè)置融合規(guī)則的方法,成功擺脫了手動(dòng)設(shè)置融合規(guī)則的限制[5]。文獻(xiàn)[6]和文獻(xiàn)[7]采用了整體學(xué)習(xí)策略基于投票的方法進(jìn)行圖像融合。也有學(xué)者對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了相應(yīng)改進(jìn)[8],提高了網(wǎng)絡(luò)利用率,但仍然存在融合后圖像邊緣細(xì)節(jié)信息模糊這一缺陷。

為解決以上問題,本文提出一種改進(jìn)的基于全卷積神經(jīng)網(wǎng)絡(luò)的多聚焦圖像融合算法。采用魯棒性主成分分析法(Robust Principal Component Analysis,RPCA)對(duì)原數(shù)據(jù)集進(jìn)行特征提??;在網(wǎng)絡(luò)特征提取部分采用更小的網(wǎng)絡(luò)結(jié)構(gòu),達(dá)到提取更多特征信息的目的的同時(shí)減少了網(wǎng)絡(luò)層級(jí);將全連接層換為全卷積層,通過softmax層對(duì)圖像進(jìn)行分類,最后通過設(shè)置分類器防止樣本偏移;通過設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練,最終得到?jīng)Q策圖,有效避免了細(xì)節(jié)信息丟失以及運(yùn)算速率這一缺陷。

1 魯棒性主成分分析法

魯棒性主成分分析法是Karl Pearson等人提出的一種統(tǒng)計(jì)方法。它最主要的功能是幫助人們優(yōu)化數(shù)據(jù)和篩選數(shù)據(jù),目前在數(shù)學(xué)建模和機(jī)器學(xué)習(xí)等領(lǐng)域被廣泛使用[9-11]。魯棒主成分分析法可以良好地分離多聚焦圖像中的聚焦信息和非聚焦信息,達(dá)到保留圖像細(xì)節(jié)信息的目的。將多聚焦源圖像經(jīng)RPCA處理后的結(jié)果表示為:

式中:Ln表示低秩分量;Sn表示稀疏分量;源圖像A和源圖像B表示為n=A,B;rpca(In,lambda,maxIter)表示圖像的RPCA分解;lambda表示代價(jià)函數(shù)中稀疏誤差項(xiàng)的權(quán)重。本文將lambda設(shè)為為輸入矩陣In的行數(shù),tol設(shè)為10-7,maxIter設(shè)為1 000。

RPCA將輸入數(shù)據(jù)矩陣分解為低階主成分矩陣和稀疏矩陣。分解時(shí)間受輸入數(shù)據(jù)矩陣的矢量格式影響。本文首先在RPCA分解模型下對(duì)多聚焦圖像I∈Rm×n進(jìn)行向量格式轉(zhuǎn)換,分解后得到D∈Rmn×1表示輸入矩陣。為了獲得低秩矩陣A∈Rmn×1和稀疏矩陣E∈Rmn×1,需要對(duì)輸入矩陣D∈Rmn×1進(jìn)行RPCA分解,因RPCA分解模型分解后的低秩矩陣和稀疏矩陣圖像大小需保持和源圖像一致,因此還需對(duì)低秩矩陣A∈Rmn×1和稀疏矩陣E∈Rmn×1進(jìn)行向量轉(zhuǎn)換,最終得到格式為A∈Rm×n、E∈Rm×n的低秩矩陣和稀疏矩陣。

本文對(duì)“時(shí)鐘”圖像進(jìn)行RPCA圖像分解,分解結(jié)果如圖1所示。由圖1可以看出,兩幅源圖像中,稀疏矩陣的顯著信息位置和源圖像的聚焦區(qū)域位置幾乎對(duì)應(yīng)。然而,在多聚焦圖像融合中,融合圖像是將兩幅源圖像的聚焦區(qū)域信息最大化提取之后進(jìn)行合并,因此,多聚焦圖像融合問題可以轉(zhuǎn)化為RPCA分解模型中稀疏矩陣顯著信息位置的選擇和提取最大化的問題。因RPCA分解模型分解后的稀疏矩陣具有良好的魯棒性,符合多聚焦圖像融合中聚焦和細(xì)節(jié)信息保留最大化的要求,有利于融合圖像質(zhì)量的提高[12]。

圖1 多聚焦圖像“時(shí)鐘”的RPCA分解效果圖

2 本文方法

2.1 數(shù)據(jù)集預(yù)處理

本文對(duì)數(shù)據(jù)集預(yù)處理的方法采用了指定區(qū)域采樣法的思路。該方法是將原清晰度圖像數(shù)據(jù)集通過濾波器模糊后,在指定位置進(jìn)行塊提取和分割,得到以該圖像塊為中心的模擬多聚焦圖像。方法原理如圖2所示。

圖2 指定區(qū)域采樣法原理圖

PASCAL VOC是一種公認(rèn)的圖像數(shù)據(jù)集基準(zhǔn),總共包含20類數(shù)據(jù)類型,類別包括動(dòng)物、桌椅板凳及交通工具等。本文挑選了數(shù)據(jù)集中的4 000余張圖片用于制作圖像數(shù)據(jù)集,尺寸都標(biāo)注為256*256。首先對(duì)每張圖片做高斯模糊處理,模糊處理半徑選為3,其次隨機(jī)截取模糊處理前的圖像的某一區(qū)域的圖片,最后將截取的部分區(qū)域與未進(jìn)行模糊處理的相同區(qū)域進(jìn)行替換,模擬出交叉模糊的方式,使得數(shù)據(jù)集更接近于真實(shí)的多聚焦圖像,使算法可以驗(yàn)證多組且聚焦區(qū)域不同的多聚焦圖像。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的網(wǎng)絡(luò)模型,在經(jīng)典的全卷積神經(jīng)網(wǎng)絡(luò)模型上進(jìn)行了改進(jìn),整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)圖

模型在特征提取部分采用3個(gè)卷積層和1個(gè)池化層。因多聚焦圖像在融合時(shí)只用提取到聚焦以及非聚焦重要信息,因此3個(gè)卷積層和1個(gè)池化層足以獲得所需的特征信息,如圖4所示。

圖4 特征提取部分網(wǎng)絡(luò)示意圖

圖像經(jīng)過最大池化層壓縮后進(jìn)入全卷積層,如圖5(b)所示。普通卷積神經(jīng)網(wǎng)絡(luò)在對(duì)圖像識(shí)別時(shí)得到的是聚焦信息與非聚焦信息的概率分布;而全卷積神經(jīng)網(wǎng)絡(luò)識(shí)別的結(jié)果是聚焦圖像和非聚焦圖像,圖像到圖像的傳輸可以使得整個(gè)網(wǎng)絡(luò)在訓(xùn)練時(shí)的運(yùn)算時(shí)間有所降低。

圖5 不同網(wǎng)絡(luò)中聚焦非聚焦識(shí)別過程

最終通過轉(zhuǎn)置卷積恢復(fù)圖像大小,通過softmax層以及權(quán)重設(shè)置進(jìn)行像素分類。像素分類器可以確定聚焦、非聚焦像素的類別,達(dá)到防止樣本偏移的目的。

全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如圖6所示??梢钥闯?,本算法所訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)相較于以往的全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)而言層級(jí)更少。另外,本文網(wǎng)絡(luò)所用的卷積核大小為3×3,步長為1;池化層核的大小為2×2,步長為2。實(shí)驗(yàn)表明,卷積核的選擇不宜太多或者太少,分別會(huì)造成分類結(jié)果較差和像素點(diǎn)提取過少,達(dá)不到特征信息提取的目的。池化的本質(zhì)是數(shù)據(jù)壓縮,一方面抑制響應(yīng)較低的信號(hào),降低噪聲;另一方面減少需要學(xué)習(xí)的參數(shù),降低網(wǎng)絡(luò)規(guī)模,在空間上實(shí)現(xiàn)感受野的增大,有利于使用較小的卷積核實(shí)現(xiàn)更大尺度上的特征學(xué)習(xí)。

圖6 全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

2.3 網(wǎng)絡(luò)訓(xùn)練

將預(yù)處理好的數(shù)據(jù)集輸入到網(wǎng)絡(luò)結(jié)構(gòu)中,開始訓(xùn)練。本文訓(xùn)練的基礎(chǔ)學(xué)習(xí)率為0.001,每訓(xùn)練一次共4輪,每輪迭代393次,共1 572次。訓(xùn)練導(dǎo)出的訓(xùn)練曲線如圖7所示。從圖7可以看出,當(dāng)訓(xùn)練達(dá)到700次左右,損失降到最低并且在一定范圍內(nèi)浮動(dòng),準(zhǔn)確度達(dá)到最高并且在一定范圍內(nèi)浮動(dòng)。

圖7 全卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)訓(xùn)練圖

2.4 本文融合過程

通過RPCA對(duì)圖像進(jìn)行特征提取,之后利用全卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)一步獲得特征以及決策圖,以決策圖為依據(jù)對(duì)圖像進(jìn)行最終的融合。整個(gè)融合過程如圖8所示。

圖8 基于RPCA的卷積神經(jīng)網(wǎng)絡(luò)圖像融合過程

融合過程主要分為3個(gè)步驟。

(1)網(wǎng)絡(luò)訓(xùn)練。選擇合適的網(wǎng)絡(luò)參數(shù);確定卷積層、池化層以及全卷積層的輸入與輸出,根據(jù)網(wǎng)絡(luò)特性選擇損失函數(shù)和激活函數(shù);確定網(wǎng)絡(luò)訓(xùn)練所需的學(xué)習(xí)率和總迭代次數(shù)等。

(2)用全連接層替換卷積層后,輸入圖像的大小就可以不受限制??梢砸淮涡暂斎刖W(wǎng)絡(luò),根據(jù)圖片所有位置的檢測(cè)目標(biāo)概率得到功能圖。

(3)生成決策圖。在本文算法中,網(wǎng)絡(luò)首先對(duì)圖像像素進(jìn)行分類,輸出焦點(diǎn)圖。得到焦點(diǎn)圖后,通過二值化得到二值圖,進(jìn)一步得到初始決策圖。對(duì)初始決策圖進(jìn)行細(xì)節(jié)信息處理后得到最終決策圖。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證算法的有效性,將本文提出的融合算法與其他4種算法進(jìn)行比較。其他算法分別是基于離散小波變換(DWT)[17]、非下采樣剪切波變換(NSST)[18]、非下采樣輪廓變換(NSCT)[19]以及卷積神經(jīng)網(wǎng)絡(luò)(CNN)[16]。

作為驗(yàn)證融合圖像質(zhì)量的兩種重要方式,主觀評(píng)價(jià)和客觀評(píng)價(jià)缺一不可。本文采用主觀肉眼以及客觀指標(biāo)評(píng)價(jià)兩種評(píng)價(jià)方式進(jìn)行評(píng)價(jià)??陀^評(píng)價(jià)指標(biāo)有信息熵(H)、互信息(MI)[13]、結(jié)構(gòu)相似度(SSIM)[14]以及邊緣保持度融合質(zhì)量指標(biāo)QAB/F[15]。通過以上指標(biāo)對(duì)本文的算法進(jìn)行驗(yàn)證。

信息熵的定義為:

式中:N為灰度級(jí);Pi為概率。

互信息量MI定義為:

式中:a、b、f為源圖像A、B和融合圖像F的像素灰度值;PA(a)、PB(b)、PF(f)為概率密度函數(shù);PAF(a, f)、PBF(b, f)為聯(lián)合概率密度函數(shù)。

結(jié)構(gòu)相似度定義為:

式中:F為融合圖像;A為源圖像;μa、μf為A和F間的均值;σa、σf為A和F間的標(biāo)準(zhǔn)差;covaf為A和F間的協(xié)方差;α,β,γ分別表示亮度、對(duì)比度及結(jié)構(gòu)三部分的比例參數(shù);c1,c2,c3表示三個(gè)常數(shù)。

邊緣保持度融合質(zhì)量指標(biāo)QAB/F的定義為:

式中:M和N是圖像尺寸;QAF(n,m)、QBF(n,m)分別是融合圖像相對(duì)于原始圖像A和B的邊緣保持值;ωA(n,m)、ωB(n,m)是邊緣強(qiáng)度的函數(shù);QAB/F∈[0,1]表示融合圖像相對(duì)于原始圖像A和B的總體數(shù)據(jù)保留,其值越大,融合圖像質(zhì)量越高。

3.1 主觀評(píng)價(jià)

本文選取了4種融合方法測(cè)試圖像來進(jìn)行算法驗(yàn)證。圖像“時(shí)鐘”的融合結(jié)果如圖9所示。其中,圖9(a)和圖9(b)分別為聚焦源圖像A和聚焦源圖像B;圖9(c)、(d)、(e)、(f)、(g)分別為算法DWT、CNN、NSST、NSCT以及本文算法的融合結(jié)果。

圖9 “時(shí)鐘”融合結(jié)果圖

從“時(shí)鐘”實(shí)驗(yàn)融合結(jié)果可以看出,基于DWT、NSST以及NSCT算法融合后的圖像都出現(xiàn)了不同程度的“偽影”現(xiàn)象,融合效果不理想。而CNN算法的結(jié)果則可以看到融合后的邊緣細(xì)節(jié)部分出現(xiàn)了丟失。

為更方便、清晰地觀察本文網(wǎng)絡(luò)結(jié)構(gòu)算法與卷積神經(jīng)網(wǎng)絡(luò)算法融合圖像后的效果差異,使用對(duì)比軟件對(duì)實(shí)驗(yàn)結(jié)果“時(shí)鐘”圖分別在基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)算法與本文全卷積神經(jīng)網(wǎng)絡(luò)(FCN)算法產(chǎn)生的融合結(jié)果進(jìn)行差異對(duì)比,可以清楚地看出結(jié)果的差異,如圖10中紅色區(qū)域所示。

圖10 “時(shí)鐘”融合圖CNN與FCN對(duì)比差異

3.2 客觀評(píng)價(jià)

表1列出了使用上述4個(gè)客觀評(píng)價(jià)指標(biāo)以及運(yùn)算速度針對(duì)5種不同融合方法的評(píng)價(jià)結(jié)果。從實(shí)驗(yàn)結(jié)果可以看出,本文提出的算法的互信息、結(jié)構(gòu)相似度等指標(biāo)都高于其余4種方法,即使在圖像清晰度以及互信息方面與目前運(yùn)用較廣泛的CNN算法相差不多,但是在運(yùn)算速率上大大提升,說明了本文算法的優(yōu)越性和有效性,更具有應(yīng)用價(jià)值。

表1 針對(duì)“時(shí)鐘”融合圖像的評(píng)價(jià)指標(biāo)結(jié)果

4 結(jié) 語

本文提出了一種改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)多聚焦圖像融合算法,與傳統(tǒng)算法RPCA相結(jié)合,在圖像特征信息過程提取到了更多有用信息。網(wǎng)絡(luò)結(jié)構(gòu)輕便、快捷,使得算法在整個(gè)融合過程既保證了融合質(zhì)量的提升又節(jié)省了運(yùn)行時(shí)間。實(shí)驗(yàn)結(jié)果表明,該算法在保持邊緣信息、整體融合圖像的質(zhì)量以及運(yùn)算速度上有一定提升,具有一定的研究價(jià)值。

猜你喜歡
網(wǎng)絡(luò)結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)
基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
神經(jīng)網(wǎng)絡(luò)抑制無線通信干擾探究
電子制作(2019年19期)2019-11-23 08:42:00
從濾波器理解卷積
電子制作(2019年11期)2019-07-04 00:34:38
基于傅里葉域卷積表示的目標(biāo)跟蹤算法
基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
基于互信息的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)
知識(shí)網(wǎng)絡(luò)結(jié)構(gòu)維對(duì)于創(chuàng)新績效的作用機(jī)制——遠(yuǎn)程創(chuàng)新搜尋的中介作用
滬港通下A+ H股票網(wǎng)絡(luò)結(jié)構(gòu)演化的實(shí)證分析
復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)比對(duì)算法研究進(jìn)展
復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
德化县| 新乐市| 绵竹市| 庆阳市| 海口市| 张家口市| 田阳县| 叶城县| 德州市| 甘谷县| 棋牌| 镇江市| 将乐县| 余干县| 登封市| 年辖:市辖区| 利辛县| 宁乡县| 普定县| 湄潭县| 保康县| 江源县| 银川市| 咸丰县| 柳河县| 新营市| 荥阳市| 故城县| 双流县| 柳林县| 邻水| 蛟河市| 扶沟县| 谢通门县| 娄底市| 共和县| 洮南市| 云和县| 准格尔旗| 庐江县| 仙居县|