王 梅，李云紅，李麗敏，李嘉鵬，史含馳

(西安工程大學(xué) 電子信息學(xué)院,西安 710048)

圖像超分辨重建(Super-Resolution,SR)是計(jì)算機(jī)視覺的基本任務(wù)之一,目標(biāo)是將給定的低分辨率(Low-Resolution,LR)輸入圖像恢復(fù)成高分辨率(High-Resolution,HR)圖像[1]。該任務(wù)在人臉識(shí)別[2]和圖像修復(fù)[3]等領(lǐng)域有著重要的作用。隨著深度神經(jīng)網(wǎng)絡(luò)(DNNs)的快速發(fā)展,SR在性能上有了前所未有的飛躍。文獻(xiàn)[4]首次在超分辨率領(lǐng)域中使用的深度學(xué)習(xí),提出一種基于深度學(xué)習(xí)的超分辨率卷積神經(jīng)網(wǎng)絡(luò)(Super-Resolution Convolutional Neural Network,SRCNN),該結(jié)構(gòu)采用三層卷積神經(jīng)網(wǎng)絡(luò),重建出良好的效果。在此基礎(chǔ)上,文獻(xiàn)[5]在網(wǎng)絡(luò)中加入殘差鏈接構(gòu)建20層基于殘差學(xué)習(xí)的超分辨率網(wǎng)絡(luò)(Accurate Image Super-Resolution Using Very Deep Convolutional Networks,VDSR),通過加入殘差模塊以及自適應(yīng)梯度裁剪的方法提高了模型的收斂速度。DRRN[6]算法是在VDSR算法上提出,通過深度遞歸殘差網(wǎng)絡(luò)結(jié)構(gòu)、殘差連接和批歸一化等關(guān)鍵設(shè)計(jì),實(shí)現(xiàn)了高質(zhì)量的圖像超分辨率重建效果。文獻(xiàn)[7]提出了超分辨率殘差網(wǎng)絡(luò) SRResNet,學(xué)習(xí)低分辨率圖像到高分辨率圖像的映射關(guān)系,實(shí)現(xiàn)圖像的超分辨率重建。文獻(xiàn)[8]優(yōu)化了傳統(tǒng)ResNet中的不必要模塊,提出增強(qiáng)深度超分辨率網(wǎng)絡(luò)(Enhanced Deep Residual Networks for Single Image Super-Resolution,EDSR),采用多尺度參數(shù)共享的方式提升網(wǎng)絡(luò)性能。文獻(xiàn)[9]提出的金字塔超分辨率網(wǎng)絡(luò)LapSRN用于將輸入的低分辨率圖像分解為不同尺度的子圖像,每個(gè)子圖像都對(duì)應(yīng)著特定的分辨率級(jí)別,重建網(wǎng)絡(luò)使用這些子圖像來逐漸重建出高分辨率的圖像。文獻(xiàn)[10]考慮到不同通道特征的重要性不同,利用通道注意力(Residual Channel Attention Networks,RCAN)對(duì)不同通道賦予權(quán)重,通過通道間的依賴關(guān)系聚焦邊緣紋理特征?；谧⒁饬Φ姆赐队熬W(wǎng)絡(luò)ABPN[11]在通過引入注意力機(jī)制自動(dòng)捕捉和強(qiáng)化圖像的局部細(xì)節(jié)信息。文獻(xiàn)[12]提出的基于整體注意力的超分辨率重建網(wǎng)絡(luò)(Single Image Super-Resolution via a Holistic Attention Network,HAN)利用了兩種不同的注意力機(jī)制,該模型使用層次注意模塊(LAM)來融合不同階段的特征信息,同時(shí)利用通道-空間注意模塊(CSAM)來調(diào)節(jié)通道和位置之間的整體關(guān)系,獲得更好的超分效果。文獻(xiàn)[13]采用非局部平均濾波的思想,提出非局部均值超分辨率重建算法,有效抑制了人工偽影,在視覺效果上取得了良好的結(jié)果。文獻(xiàn)[14]提出生成式對(duì)抗網(wǎng)絡(luò)重建算法,修改了殘差網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù),使重建后的圖像視覺效果更好。為了降低算法模型的復(fù)雜度,文獻(xiàn)[15]設(shè)計(jì)了一種輕量級(jí)的自適應(yīng)加權(quán)超分辨率網(wǎng)絡(luò)(Adaptive Weighted Super-Resolution Net‐work,AWSRN),實(shí)現(xiàn)了準(zhǔn)確率和計(jì)算消耗之間的平衡,減少圖像的空間冗余。文獻(xiàn)[16]提出多重蒸餾網(wǎng)絡(luò)(Lightweight Image Super-Resolution with Information Multi-distillation Network,IMDN)采用多重蒸餾模塊分離圖像特征,在降低網(wǎng)絡(luò)參數(shù)的同時(shí)提高重建性能。文獻(xiàn)[17]提出一種像素注意力網(wǎng)絡(luò)(Efficient Image Super-Resolution Using Pixel Attention,PAN),通過像素注意力模塊引入了較少的附加參數(shù),生成了更好的SR結(jié)果。文獻(xiàn)[18]提出 AMGAN旨在解決多重降質(zhì)情況下的超分辨問題。

以上算法取得了不錯(cuò)的重建效果,但多數(shù)網(wǎng)絡(luò)模型傾向于將大量的卷積層堆疊的標(biāo)準(zhǔn)模式,不能充分利用中間層次的特征信息。針對(duì)上述問題,文中提出一種基于像素補(bǔ)償?shù)妮p量級(jí)超分辨率重建網(wǎng)絡(luò)(Lightweight super-resolution network based on pixel compensation,LSRNPC)。在網(wǎng)絡(luò)模型方面,首先利用像素坐標(biāo)注意力模塊構(gòu)建殘差嵌套注意力網(wǎng)絡(luò),在減少模型參數(shù)的同時(shí)快速捕捉高頻特征信息。其次,通過創(chuàng)建多分支網(wǎng)絡(luò)來融合不同層次的特征,并采用全局級(jí)聯(lián)和融合的方式來獲取包含更全面信息的特征。然后設(shè)計(jì)了像素補(bǔ)償機(jī)制來分配特征通道的權(quán)重比例,以較少的額外參數(shù)來保留更多深層信息特征,使得重建后的圖像紋理更加豐富。在實(shí)驗(yàn)設(shè)計(jì)方面,將文中算法與SRCNN,FSRCNN,VDSR,IMDN,PAN等算法對(duì)比并進(jìn)行定量和定性的評(píng)估,以驗(yàn)證文中算法的有效性,通過比較各個(gè)算法在重建圖像質(zhì)量、保留細(xì)節(jié)和提升視覺感知上的表現(xiàn),可以評(píng)估論文算法的優(yōu)勢(shì)和改進(jìn)之處。

1 像素補(bǔ)償?shù)膱D像超分辨率重建網(wǎng)絡(luò)

圖1展示了像素補(bǔ)償?shù)膱D像超分辨率重建網(wǎng)絡(luò)整體框架。該網(wǎng)絡(luò)框架包括三個(gè)模塊:特征提取模塊(Feature Extraction Module,FRM)、非線性特征模塊(Nonlinear Feature Module,NFM)和最后的重建模塊(Reconstruction Module,RM)。對(duì)于給定的數(shù)據(jù)對(duì)(ILR,IHR),首先利用特征提取模塊對(duì)圖像ILR提取淺層特征F0,具體過程為

F0=f0(ILR),

(1)

其中,f0(·)表示卷積核為3×3的卷積層。提取的淺層特征F0被輸入到非線性特征模塊來獲取具有更加細(xì)致的深層特征。非線性特征模塊由級(jí)聯(lián)的殘差嵌套注意力網(wǎng)絡(luò)(Residual Nested Attention Network,RNAN)、多分支融合網(wǎng)絡(luò)(Multi-branch Fusion Networks,MFN)以及長(zhǎng)跳躍鏈接組成。NFM提取過程為

FDR=CNFM(F0),

(2)

式中:CNFM(·)為MFN的特征提取操作;FDR為該模塊的輸出。將提取到的深層特征FDR通過重建模塊來得到高分辨率圖像。不同于其他方法,重建模塊由像素補(bǔ)償網(wǎng)絡(luò)(Pixel Compensation Network,PCN)和一個(gè)3×3的卷積層構(gòu)成。該模塊可以將提取出的高頻特征進(jìn)行細(xì)化,得到更精確的高頻特征和更具有豐富紋理信息的重建特征,該過程為

ISR=fRE(FDR),

(3)

式中:fRE(·)為重建模塊;ISR為網(wǎng)絡(luò)重建出的高分辨率圖像。

1.1 殘差嵌套注意力網(wǎng)絡(luò)

殘差嵌套注意力網(wǎng)絡(luò)(Residual Nested Attention Networks,RNAN)使用殘差嵌套網(wǎng)絡(luò)提取不同層次的信息,以聚焦更多邊緣細(xì)節(jié)紋理特征。RNAN包含三個(gè)殘差組(Residual Group,RG)和長(zhǎng)跳躍連接,每一個(gè)殘差組包含四個(gè)具有短跳躍連接的像素坐標(biāo)注意塊(Pixel Coordinate Attention Block,PCAB),這種結(jié)構(gòu)可進(jìn)一步優(yōu)化網(wǎng)絡(luò)的表征能力。

PCAB結(jié)構(gòu)如圖2所示。該結(jié)構(gòu)使用像素坐標(biāo)注意力模塊(Pixel Coordinate Attention Mechanism,PCAM)代替?zhèn)鹘y(tǒng)的通道注意力模塊,在降低參數(shù)的同時(shí),得到更為優(yōu)秀的注意力特征提取特征。當(dāng)輸入的特征經(jīng)過第N個(gè)RG時(shí),該過程為

FN=HN(FN-1),

(4)

式中:HN為第N個(gè)RG;FN-1、FN為第N個(gè)RG的特征輸入與特征輸出。當(dāng)特征圖經(jīng)過殘差組中的PCAB時(shí),先通過兩層3×3的卷積層、Relu激活函數(shù),然后輸入到PCAM中來捕獲特征的方向感知和位置敏感信息,以此增強(qiáng)高頻特征。

圖3展示所設(shè)計(jì)的PCAM的結(jié)構(gòu)。PCAM不僅考慮了通道間的信息,而且利用了特征的位置信息,這使得嵌套網(wǎng)絡(luò)更準(zhǔn)確地定位到并識(shí)別目標(biāo)區(qū)域。同時(shí)該網(wǎng)絡(luò)結(jié)構(gòu)具有更少的參數(shù)量,從而降低網(wǎng)絡(luò)的復(fù)雜度。

為了使得注意力模塊通過像素位置信息在空間上實(shí)現(xiàn)交互,將全局平均池化分解為水平方向與垂直方向的兩種操作分別得到對(duì)應(yīng)的1D特征。具體而言,對(duì)于W×H×C的特征,分別在X軸Y軸上進(jìn)行池化操作,以第C個(gè)通道特征為例,分別用下列公式來對(duì)水平方向與垂直方向生成的特征進(jìn)行表示

(5)

(6)

f=?(F1([Zh,Zw])),

(7)

式中:[,]為Concat操作;?為Relu激活函數(shù);f∈RC/r×(H+W)為對(duì)空間信息的映射結(jié)果。另外通過1×1的卷積層以及Sigmoid函數(shù),得到與輸入特征一樣的通道張量,通過長(zhǎng)跳躍連接與輸入特征進(jìn)行卷積,得到高頻特征。具體為

(8)

式中:δ為Sigmoid函數(shù);C2d(·)為卷積操作;yc為像素坐標(biāo)注意力模塊的輸出。

1.2 多分支融合網(wǎng)絡(luò)

如圖4所示,多分支融合網(wǎng)絡(luò)(Multi-branch Fusion Networks,MFN)使用一種順序并聯(lián)策略進(jìn)行不同分支的特征融合。該網(wǎng)絡(luò)采用多分支框架結(jié)構(gòu),將嵌套殘差注意力網(wǎng)絡(luò)中每個(gè)殘差組的輸出作為該模塊的輸入,先通過卷積層進(jìn)行通道降維,去除大量冗余參數(shù),再對(duì)不同分支進(jìn)行特征融合,進(jìn)一步提取圖像高頻特征。

圖4 多分支融合網(wǎng)絡(luò)

對(duì)于第i個(gè)殘差組的輸出特征Fi,首先把Fi輸入到1×1的卷積層,將特征維度降低一半,以便于維持拼接后特征維度不變;之后通過Relu函數(shù)對(duì)特征進(jìn)行激活;最后將激活后的特征通過Concatenation層與下個(gè)分支提取的特征融合,以此類推。特征Fi表示不同分支的輸入特征,使用以下公式進(jìn)行融合。

(9)

式中:xi為第i個(gè)融合特征的輸出;f(·)為卷積和Relu操作。通過這種順序級(jí)聯(lián)的方式,特征融合模塊可以整合來自所有中間特征,從而有助于提取更多層次的上下文信息。最后將RNAN和MFN輸出特征輸入Concatenation層、1×1卷積層,得到非線性特征模塊輸出的特征圖,再與淺層特征F0求和后,輸入重建網(wǎng)絡(luò),具體為

FDR=Conv1×1([x3,F3])+F0,

(10)

式中:Conv1×1(·)為1×1的卷積層;[,]為Concat操作;FDR為非線性特征模塊的輸出。

1.3 重建模塊

目前,基于深度學(xué)習(xí)的超分辨率重建算法的重建模塊基本由上采樣(基于插值或基于亞像素卷積)和卷積層組成?；趤喯袼鼐矸e的上采樣,實(shí)現(xiàn)從低分辨率特征到高分辨率特征的映射,使重建的圖像更接近原始圖像,但其運(yùn)算參數(shù)較多,結(jié)構(gòu)較為復(fù)雜?；诓逯档纳喜蓸铀惴?降低了運(yùn)算難度,但重建的圖像存在邊緣模糊,紋理錯(cuò)位的現(xiàn)象。因此,文中設(shè)計(jì)U-PB網(wǎng)絡(luò),U-PB網(wǎng)絡(luò)由雙線性插值層、像素補(bǔ)償模塊(Pixel Compensation Block,PB)以及兩個(gè)卷積層的組成。其中PB結(jié)構(gòu)如圖5所示。

圖5 像素補(bǔ)償網(wǎng)絡(luò)結(jié)構(gòu)

為了實(shí)現(xiàn)網(wǎng)絡(luò)的輕量化,PB結(jié)構(gòu)采用深度可分離卷積(Depthwise Seperable Convolution,DSC)[19]以及sigmoid函數(shù)并聯(lián)而成。DSC層利用卷積操作對(duì)輸入特征的不同通道進(jìn)行獨(dú)立運(yùn)算,對(duì)不同的通道提取不同的特征,不必?cái)U(kuò)展特征圖的通道,節(jié)約運(yùn)算成本。具體為

Fout=Fin+δ(Conv1×1DSC(Fin)),

(11)

式中:Fin為輸入PB的特征;Conv1×1DSC為尺寸大小為1×1的DSC卷積核;Fout為PB的輸出。由U-PB結(jié)構(gòu)組成的重建模塊在提高運(yùn)算速度的同時(shí)進(jìn)一步加強(qiáng)重建特征的高頻信息,在一定程度上補(bǔ)充了由于上采樣而導(dǎo)致的像素?fù)p失。

1.4 損失函數(shù)

在圖像視覺領(lǐng)域,損失函數(shù)用來定義模型所生成的HR圖像與真實(shí)的參考圖像之間的差異,在基于深度學(xué)習(xí)的優(yōu)化過程中起著不可缺少的作用。在超分辨率重建算法中,通常使用損失函數(shù)L1與損失函數(shù)L2作為重建過程的損失函數(shù)。其中,L2損失函數(shù)收斂速度較慢,對(duì)異常數(shù)據(jù)過于敏感,重建后的圖像經(jīng)常出現(xiàn)缺失高頻細(xì)節(jié)和輪廓邊緣過于平滑的問題,而L1損失函數(shù)可以防止重建過程中圖像的失真現(xiàn)象[20]。因此文中使用L1損失函數(shù)作為優(yōu)化函數(shù),表達(dá)為

(12)

式中:yi為重建后的圖像;f(xi)為對(duì)應(yīng)的真值圖;i為第i張訓(xùn)練圖像。

2 實(shí) 驗(yàn)

實(shí)驗(yàn)環(huán)境:采用Pytorch深度學(xué)習(xí)框架搭建,在Ubuntu18.04 LTS 64-bit操作系統(tǒng)上實(shí)現(xiàn),服務(wù)器擁有 12 GB 的運(yùn)行內(nèi)存,顯卡為NVIDIA RTX 3060。文中的實(shí)驗(yàn)采用Adam優(yōu)化器,設(shè)置β1=0.9,β2=0.999,ε=10-8。學(xué)習(xí)率初始值設(shè)為0.000 1,批次設(shè)置為8。利用DIV2K作為訓(xùn)練集,epoch設(shè)為300,每訓(xùn)練50個(gè)epoch學(xué)習(xí)率變?yōu)樵瓉淼囊话搿?/p>

2.1 數(shù)據(jù)集

采用DIV2K(DIVerse 2K)數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練。該數(shù)據(jù)集一共包含1 000幅真值圖像。其中含有800張訓(xùn)練集圖片用于模型訓(xùn)練,100張驗(yàn)證集圖像來驗(yàn)證模型效果以及最后100幅測(cè)試圖像對(duì)模型進(jìn)行測(cè)試。對(duì)于測(cè)試部分,采用了超分辨率重建任務(wù)中廣泛使用Set5,Set14,BSD100,Urban100和Manga109共5個(gè)基準(zhǔn)數(shù)據(jù)集。這些測(cè)試集包含生活中常見的圖像種類,用于驗(yàn)證不同算法的模型性能。此外,在進(jìn)行論文網(wǎng)絡(luò)算法的訓(xùn)練之前,還需要對(duì)數(shù)據(jù)集中的訓(xùn)練圖像進(jìn)行預(yù)處理操作。將數(shù)據(jù)集中訓(xùn)練圖像分別進(jìn)行了2、3和4倍的雙三次下采樣處理之后,作為訓(xùn)練網(wǎng)絡(luò)的輸入圖像。

2.2 評(píng)價(jià)標(biāo)準(zhǔn)

圖像超分辨率重建任務(wù)中,通常使用兩種角度對(duì)重建圖像進(jìn)行評(píng)價(jià)。一種是主觀評(píng)價(jià),由人的視覺感官系統(tǒng)直觀地對(duì)重建圖像的清晰度、邊緣紋理細(xì)節(jié)部分進(jìn)行評(píng)價(jià)。另一種為客觀評(píng)價(jià),通過各類指標(biāo)數(shù)值評(píng)估重建后圖像與真值圖像的差異。為了有效地驗(yàn)證模型的重建效果,通常使用峰值信噪比(Peak Signal To Noise Ratio,PSNR)和結(jié)構(gòu)相似性(Structure Similarity,SSIM)評(píng)估不同類型的模型生成圖像的重建質(zhì)量。

2.2.1 PSNR指標(biāo)

(13)

(14)

式中:Xi為真值圖像像素點(diǎn);xi為重建后的圖像的像素點(diǎn);xmax為真值圖像中的最大像素值;MSE為回歸損失函數(shù)中最常用的誤差。MSE是對(duì)應(yīng)真實(shí)圖像像素值與重建圖像像素值之間差值的平方和,當(dāng)MSE最小時(shí),PSNR數(shù)值取最大。此時(shí),像素點(diǎn)差異最小,但由于沒有考慮到人眼的視覺感知能力,因此容易導(dǎo)致圖像主觀感知質(zhì)量較差,所以需要與SSIM指標(biāo)一起使用。

2.2.2 SSIM指標(biāo)

(15)

式中:μxμy為圖像像素的平均值;?x?y為圖像像素的標(biāo)準(zhǔn)差;?xy為兩個(gè)圖像的協(xié)方差;C1、C2為常數(shù)。SSIM指標(biāo)沒有特定單位,其取值范圍在0到1之間,值越接近1表示重建圖像與原圖在結(jié)構(gòu)上越相似,效果越好,反之重建圖像的效果越差。

2.3 消融實(shí)驗(yàn)

為了驗(yàn)證論文算法各個(gè)模塊的優(yōu)越性,采用RCAB代替PCAB,用亞像素卷積代替像素補(bǔ)償網(wǎng)絡(luò),去掉多分支特征融合模塊(Multi-branch Fusion Module,MFM)。其中,RCAB是RCAN提出的一種考慮特征信道之間的相互依賴性自適應(yīng)的調(diào)整特征的模塊,亞像素卷積是SR算法中常見的上采樣方法。

由表1可以看出,通過將“PCAB+RIR”和“RCAB+RIR”進(jìn)行客觀指標(biāo)的比較,所設(shè)計(jì)模型參數(shù)量較小,同時(shí)在放大倍數(shù)為2時(shí),PSNR/SSIM都有不錯(cuò)的提升。上述實(shí)驗(yàn)結(jié)果證明了PCAB可以利用像素位置注意力來捕獲更多高頻特征?！癙CAB+MFM”組合與“RCAB+MFM”組合相比,參數(shù)量降低了32k,在2倍放大倍數(shù)下,PSNR/SSIM均有提高,PSNR平均提高了0.04 dB,SSIM提高了0.000 5。實(shí)驗(yàn)證明了“PCAB+MFM”在網(wǎng)絡(luò)參數(shù)增加較少時(shí),重建圖像的數(shù)值更高,提升了網(wǎng)絡(luò)的表達(dá)能力。為了體現(xiàn)所設(shè)計(jì)PB模塊的有效性,文中設(shè)計(jì)了對(duì)應(yīng)的消融實(shí)驗(yàn)。

表1 不同模塊對(duì)網(wǎng)絡(luò)模型的影響

從表1可以看出,當(dāng)參數(shù)量增加65k時(shí),在2倍放大倍數(shù)下,PSNR增加了0.08 dB,SSIM增加了0.006,證明了所提出PB模塊的有效性。

在Set5數(shù)據(jù)集下,不同重建算法4倍上采樣的參數(shù)量和性能如圖6所示?？梢灾庇^看出,文中算法模型參數(shù)量?jī)H有0.645 M,相比于CARN,參數(shù)量大小相差2.5倍,并且重建出來的效果優(yōu)于CARN。與輕量級(jí)算法MemNet相比,參數(shù)量降低了16k,PSNR高了0.41 dB。

圖6 不同網(wǎng)絡(luò)參數(shù)量對(duì)比

2.4 實(shí)驗(yàn)結(jié)果與分析

為了證明所提出算法的有效性,在5個(gè)基準(zhǔn)數(shù)據(jù)集上與對(duì)比算法進(jìn)行不同倍數(shù)的客觀對(duì)比,具體見表2～4。從表中可以看出,所提出的方法在放大倍數(shù)為2倍,3倍和4倍時(shí)所有的PSNR值均處于最優(yōu),最高可以提升0.26 dB。同時(shí)所提出方法的SSIM值也優(yōu)于大多數(shù)算法,因此可以證明所提出算法的有效性。

表2 2倍尺度下不同算法的PSNR/SSIM對(duì)比

表3 3倍尺度下不同算法的PSNR/SSIM對(duì)比

表4 4倍尺度下不同算法的PSNR/SSIM對(duì)比

2.5 主觀視覺分析

為了驗(yàn)證算法的有效性,在DIV2K數(shù)據(jù)集上進(jìn)行放大因子為4的測(cè)試實(shí)驗(yàn)。如圖7所示,在圖像“0801.png”上不同算法的測(cè)試結(jié)果?？梢钥闯鲈贒IV2K測(cè)試集中,千萬級(jí)參數(shù)的CARN算法重建出企鵝毛發(fā)的較為粗糙,存在結(jié)構(gòu)形失真的現(xiàn)象。SRCNN以及FSRCNN算法無法重建出毛發(fā)的細(xì)節(jié),重建效果較差。對(duì)比同為輕量級(jí)PAN算法,文中重建出的毛發(fā)數(shù)量和細(xì)節(jié)更加清晰,證實(shí)了文中重建算法的有效性。

為了進(jìn)一步直觀地比較不同算法的重建效果,在主觀視覺方面進(jìn)行細(xì)節(jié)分析。圖8為不同算法在Set5數(shù)據(jù)集下放大倍數(shù)為2倍“baby”圖像重建的可視化結(jié)果。從重建圖像細(xì)節(jié)來看,論文提出的算法重建的圖像瞳孔色澤鮮艷,睫毛形狀與紋理更加清晰。與其他算法相比,文中提出的算法重建效果更加優(yōu)異。圖9為不同算法在Set14數(shù)據(jù)集下放大倍數(shù)為3倍“comic”圖像的各算法的重建效果,其他算法對(duì)帽子銀飾邊緣部分較為模糊,重建效果并不理想。文中算法可以重建出銀飾掛墜的形狀,細(xì)節(jié)恢復(fù)更加清晰。圖10為不同算法在Urban100數(shù)據(jù)集下放大倍數(shù)為4倍“img031”圖像各算法的重建效果。對(duì)局部擴(kuò)大后,可以看出夜光下燈絲的細(xì)節(jié)重建效果更加細(xì)膩。

圖8 放大尺度為2倍的效果對(duì)比圖

圖9 放大尺度為3倍的效果對(duì)比圖

圖10 放大尺度為4倍的效果對(duì)比圖

通過與其他算法進(jìn)行對(duì)比,文中算法在不同尺度下重建的圖像邊緣清晰,紋理清晰,在色澤方面更接近原圖,重建效果更加準(zhǔn)確。

3 結(jié) 論

文中提出一種基于像素補(bǔ)償?shù)妮p量級(jí)超分辨率重建網(wǎng)絡(luò)。為了減少模型參數(shù)的同時(shí)恢復(fù)更多的高頻信息,設(shè)計(jì)像素坐標(biāo)注意力模塊,通過利用通道間信息以及特征的位置信息得到包含有更多高頻信息的特征?？紤]到不同階段特征所包含信息的差異性,設(shè)計(jì)多分支融合機(jī)制自適應(yīng)的融合中間特征來獲取到更具有表示性的特征。最后設(shè)計(jì)像素補(bǔ)償網(wǎng)絡(luò)避免上采樣中的信息損失,提升重建效果。大量的對(duì)比實(shí)驗(yàn)證明所提出算法可以在較少的參數(shù)量下取得更優(yōu)的PSNR/SSIM值,重建出的圖像紋理清晰,具有更好的視覺效果。