張玉波 田康 徐磊

基金項目：黑龍江省自然科學(xué)基金（批準(zhǔn)號：LH2022F005）資助的課題；東北石油大學(xué)引導(dǎo)性創(chuàng)新基金（批準(zhǔn)號：1507

202202）資助的課題。

作者簡介：張玉波（1982-），副教授，從事機器學(xué)習(xí)、圖像處理、信號處理、單片機理論與應(yīng)用等的研究。

通訊作者：田康（1994-），碩士研究生，從事圖像超分辨率和圖像去模糊的研究，tiankangg@163.com。

引用本文：張玉波，田康，徐磊.用于單圖像超分辨率的全局特征高效融合網(wǎng)絡(luò)［J］.化工自動化及儀表，2024，51（2）：207-214；300.

DOI：10.20030/j.cnki.1000-3932.202402009

摘 要 現(xiàn)有圖像超分辨率網(wǎng)絡(luò)中普遍存在對層間特征利用水平較低的現(xiàn)象，使得在圖像重建過程中有細節(jié)特征丟失，最終處理結(jié)果紋理模糊、圖像質(zhì)量欠佳。為此提出一種用于圖像超分辨率的全局特征高效融合網(wǎng)絡(luò)模型。主體使用對稱卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)淺層特征的逐級提取，并結(jié)合Transformer完成淺層與深層特征的融合利用。設(shè)計的對稱自指導(dǎo)殘差模塊可以在淺層網(wǎng)絡(luò)實現(xiàn)不同層間特征更具表達性的融合，同時提升網(wǎng)絡(luò)的特征提取能力；特征互導(dǎo)融合模塊可以增強網(wǎng)絡(luò)對淺層特征與深層特征的融合能力，促進更多的特征信息參與到細圖像重建過程。在Set5、Set14、BSD100和Urban100數(shù)據(jù)集上同近年來的經(jīng)典網(wǎng)絡(luò)（HR、CARN、IMDN、MADNet、LBNet）進行性能對比，實驗結(jié)果表明：所提網(wǎng)絡(luò)模型在峰值信噪比上有所提升，并在視覺直觀對比中取得了較好的圖像超分辨率效果，可改善超分辨率圖像質(zhì)量欠佳的問題。

關(guān)鍵詞 單圖像超分辨率 全局特征高效融合網(wǎng)絡(luò)模型 對稱自指導(dǎo)殘差模塊 特征互導(dǎo)融合模塊

深度學(xué)習(xí)

中圖分類號 TP391?? 文獻標(biāo)志碼 A?? 文章編號 1000-3932（2024）02-0207-09

隨著人們對更加高清圖像的需求，圖像超分辨率技術(shù)得以持續(xù)發(fā)展。該技術(shù)不受傳感器和光學(xué)器件制造工藝、成本的限制，在保留現(xiàn)有硬件設(shè)施的基礎(chǔ)上通過軟件的方法，就能達到提高分辨率的目的。超分辨率技術(shù)在遙感成像、視頻圖像壓縮傳輸、醫(yī)學(xué)成像、視頻感知與監(jiān)控等領(lǐng)域得到廣泛研究與應(yīng)用。

單圖像超分辨率旨在從模糊的低分辨率（LR）圖像中恢復(fù)出具有更加豐富細節(jié)和更好視覺質(zhì)量的高分辨率（HR）圖像。近年來，由于深度神經(jīng)網(wǎng)絡(luò)強大的特征表示能力，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法主導(dǎo)了超分辨率（SR）的研究，學(xué)者們通過多種途徑來推動CNN結(jié)構(gòu)的優(yōu)化，如增加通道注意力、殘差連接等。DONG C等提出SRCNN，完成了用CNN處理SR任務(wù)的開創(chuàng)性工

作［1］。KIM J等用殘差連接來構(gòu)建深度網(wǎng)絡(luò)，提出了一種結(jié)構(gòu)很深的卷積網(wǎng)絡(luò)VDSR網(wǎng)絡(luò)來實現(xiàn)更加優(yōu)秀的性能［2］。LIM B等提出一種增強型深度殘差網(wǎng)絡(luò)（EDSR），該網(wǎng)絡(luò)通過刪除不必要的模塊（如批量歸一化）改進了SR任務(wù)的殘差網(wǎng)絡(luò)架

構(gòu)［3］。AHN N等提出一種基于級聯(lián)模塊的神經(jīng)網(wǎng)絡(luò)（CARN）［4］，通過多級表示和多個快捷連接有效地提高了性能。LAN R S等提出一個密集的輕量級網(wǎng)絡(luò)（MADNet），其通過雙殘差路徑塊和具有注意力機制的殘差多尺度模塊，形成更強的多尺度特征表達和特征相關(guān)學(xué)習(xí)［5］。WANG L G等提出了一種稀疏掩碼超分模型（SMSR），通過探索SR任務(wù)中的稀疏性來提高推理效率，能夠在跳過冗余計算的同時保持卓越的性能［6］。SUN B等提出了一種新穎的輕量型超分網(wǎng)絡(luò)（HPUN），其自殘差可以克服單圖像超分任務(wù)中的深度卷積缺陷，并且不會增加計算量［7］。

受益于自注意力機制可以有效地捕獲輸入序列之間的長期依賴關(guān)系的特性，Transformer［8］成為一種功能強大的深度學(xué)習(xí)模型，并在自然語言處理（NLP）領(lǐng)域取得不斷進步。研究人員嘗試采用Transformer來解決計算機視覺問題，開創(chuàng)性地將引入Transformer模型的視覺轉(zhuǎn)換器（ViT）［9］用于圖像分類任務(wù)。ViT驗證了不受局部連接約束的自注意力操作，使網(wǎng)絡(luò)能夠?qū)W習(xí)輸入圖像中的遠程空間依賴關(guān)系，表明了Transformer在恢復(fù)任務(wù)中的適用性。由此，引入Transformer來解決各種視覺任務(wù)的工作，如圖像分類、目標(biāo)檢測、語義分割和超分辨率。CHEN H T等提出了一種用于圖像恢復(fù)的預(yù)訓(xùn)練圖像處理Transformer（IPT），該網(wǎng)絡(luò)中對比學(xué)習(xí)的引入促進了網(wǎng)絡(luò)更好地適應(yīng)不同的圖像處理任務(wù)（如去噪、超分辨率和去雨）［10］。WANG S Z等提出了一種保留細節(jié)的Transformer（DPT），利用光場的梯度圖來指導(dǎo)序列學(xué)習(xí)［11］。LUO Z W等結(jié)合光流和可變形卷積提出BSRT來解決突發(fā)超分辨率（BurstSR）任務(wù)，其可以更有效地處理錯位并聚合多幀中的潛在紋理信息［12］。LIANG Z Y等提出了一種簡單有效的基于Transformer的光場（LF）超分方法（LFT），該方法中設(shè)計了一個角度變換器來整合不同視圖之間的互補信息，并開發(fā)了一個空間變換器來捕獲每個子孔徑圖像內(nèi)的局部和遠程依賴關(guān)系［13］。GAO G W等提出了一個輕量級雙峰網(wǎng)絡(luò)（LBNet），其中包含對局部特征提取和粗圖像重建的有效的對稱CNN［14］，同時還提出一種遞歸Transformer來充分學(xué)習(xí)圖像的長期依賴性，從而促進利用全局信息來進一步細化紋理細節(jié)。

無論是基于CNN的方法，還是基于CNN與Transformer結(jié)合的方法，都可以通過精細的網(wǎng)絡(luò)設(shè)計不斷提高SR的性能。但大多數(shù)方法存在以下兩個局限：一是對層間特征的利用不夠細膩，特征的融合普遍采用直連的方法，這會使得在SR過程中對不同層間特征的利用率降低，造成局部特征提取不夠充分；二是淺層特征往往通過一條連接線來指導(dǎo)圖像的最終重建，未能充分參與到深層網(wǎng)絡(luò)中的細圖像重建過程。為此，筆者提出一種用于圖像超分辨率的全局特征高效融合網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用對稱CNN結(jié)構(gòu)實現(xiàn)局部特征的提取，其中所包含的對稱自指導(dǎo)殘差模塊結(jié)合了自引導(dǎo)、通道注意力機制與多分支殘差操作，可以在提升特征表達性的同時得到更加豐富的特征信息；網(wǎng)絡(luò)使用Transformer學(xué)習(xí)圖像的長期相關(guān)性，并且嵌入一個特征互導(dǎo)融合模塊來實現(xiàn)淺層網(wǎng)絡(luò)和深層網(wǎng)絡(luò)中特征知識的融合，促進全局特征信息的高效利用。通過具體實驗，在評價指標(biāo)與圖像主觀視覺對比上，筆者所提網(wǎng)絡(luò)優(yōu)于近年來廣泛使用的經(jīng)典圖像超分辨率網(wǎng)絡(luò)，可以實現(xiàn)較好的圖像超分性能。

1 網(wǎng)絡(luò)設(shè)計

1.1 超分重建模型

超分重建旨在克服或補償由于圖像采集系統(tǒng)自身或采集環(huán)境限制所導(dǎo)致的成像圖像模糊、質(zhì)量低下及感興趣區(qū)域不顯著等問題，利用數(shù)字圖像處理、計算機視覺等領(lǐng)域的相關(guān)知識，借助特定的算法和處理流程，從給定的低分辨率圖像中重建出高分辨率圖像。其原理可以建模為：

y=（xk）↓（1）

X=F（y）（2）

其中，x是給定的HR圖像，y是通過某一確定的下采樣核k人造的LR圖像，而X是通過超分辨率模型F獲得的SR圖像。很顯然超分任務(wù)中訓(xùn)練的模型實際上是模擬了一個k的逆映射，當(dāng)F可以很好地模擬出這個逆映射時，X一定是非常接近x的，即最終實現(xiàn)一個與低分辨率圖像內(nèi)容相對應(yīng)的、具有更加清晰細節(jié)表現(xiàn)的高分辨率圖像。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

由CNN提取的局部特征可以在不同視角下保持自身的穩(wěn)定性，并且Transformer可以對圖像中的長期依賴進行建模，這種強大的表示能力可以幫助恢復(fù)圖像的紋理細節(jié)。為充分利用二者的優(yōu)點，筆者基于CNN和Transformer技術(shù)提出全局特征高效融合網(wǎng)絡(luò)。具體來說，該網(wǎng)絡(luò)主要包括對稱CNN、遞歸Transformer和重建模塊3部分，網(wǎng)絡(luò)框架如圖1所示。在模型的頭部，筆者使用卷積來完成初始特征的提取，然后將初始特征傳遞給下級網(wǎng)絡(luò)進行局部特征的操作。

CNN提取的特征具有局部不變性，這有助于圖像理解和重建，筆者使用一種對稱CNN結(jié)構(gòu)實現(xiàn)局部特征的提取。該結(jié)構(gòu)由局部特征融合模

塊［14］和對稱自指導(dǎo)殘差模塊組成，局部特征融合模塊可以實現(xiàn)圖像特征的粗提取，將由跨層間的局部特征融合模塊所提取的粗特征共同傳送給對稱自指導(dǎo)殘差模塊來細化特征。受文獻［15］在無監(jiān)督自適應(yīng)學(xué)習(xí)（UAL）網(wǎng)絡(luò)中用一種自導(dǎo)結(jié)構(gòu)來實現(xiàn)特征由粗到細的啟發(fā)，筆者設(shè)計了對稱自指導(dǎo)殘差模塊來進行特征細化，該模塊在使不同層間特征更具表達性融合的同時，所采用的多分支殘差結(jié)構(gòu)可以進一步提升網(wǎng)絡(luò)的局部特征提取能力。

由對稱CNN產(chǎn)生的所有細化特征被傳送到遞歸Transformer模塊進行長期依賴學(xué)習(xí)，這部分由特征互導(dǎo)融合模塊和Transformer［14］組成。筆者所提出的全局特征高效融合網(wǎng)絡(luò)在保留了初始特征對圖像重建的指導(dǎo)外，通過特征互導(dǎo)融合模塊將淺層特征和深層特征進行融合，用以提供更加豐富的特征信息供Transformer進行長期依賴學(xué)習(xí)，進而促進全局特征信息的高效利用。此外，該網(wǎng)絡(luò)在Transformer處沿用了遞歸結(jié)構(gòu)，可以促進Transformer進行充分訓(xùn)練。

位于網(wǎng)絡(luò)末端的重建模塊由卷積層和像素混洗層組成。將由遞歸Transformer得到的細化特征與初始特征共同輸入重建模塊得到超分辨率圖像。

1.3 對稱自指導(dǎo)殘差模塊

在局部特征處理階段，為了促進不同局部特征融合模塊組合之間的特征參數(shù)共享更加細膩和充分，因此筆者提出了一種對稱自指導(dǎo)殘差模塊。如圖2所示，對稱自指導(dǎo)殘差模塊由對稱自導(dǎo)組、通道注意力模塊和多分支殘差組［16］組成。對稱自導(dǎo)組用于將來自不同局部特征融合模塊處理的粗特征進行自導(dǎo)學(xué)習(xí)，提升特征的細節(jié)表達能力。通道注意力模塊更加關(guān)注包含關(guān)鍵圖像特征信息的通道，使更多有用的特征信息被篩選出來，從而達到提高特征表示能力的目的。經(jīng)由通道注意力篩選的有用特征最終被傳送到多分支殘差組，多分支殘差結(jié)構(gòu)是對傳統(tǒng)殘差串聯(lián)結(jié)構(gòu)的改進，它不僅可以提升模塊的特征提取能力，還在一定程度上減少了模塊中的訓(xùn)練參數(shù)、降低了訓(xùn)練難度［17］。

對稱自導(dǎo)組由上下兩個結(jié)構(gòu)對稱的分支組成。下面以上分支為例進行介紹。

局部特征f經(jīng)過映射塊得到特征f，可表示為：

f=F（f）（3）

其中，F(xiàn)是映射塊，由卷積層和RELU層穿插組成。

特征f經(jīng)過指導(dǎo)分支A后與自身逐點乘積，并與f經(jīng)過指導(dǎo)分支B的結(jié)果融合得到特征f：

f=f⊙F（f）+F（f）（4）

其中，F(xiàn)、F是特征指導(dǎo)分支，同樣由卷積層和RELU層組成；⊙表示逐點乘積。

特征f與局部特征f相加最終得到更具表達性的特征f：

f=f+f（5）

f、f分別代表經(jīng)過上下對稱自導(dǎo)通道得到的特征結(jié)果，二者相加融合后經(jīng)過通道注意力模塊得到特征f：

f=F（f+f）（6）

其中，F(xiàn)是通道注意力。

特征f經(jīng)過FRG模塊后最終得到具有更多細節(jié)表達的特征f ′：

f ′=F（f）（7）

其中，F(xiàn)是新型多分支殘差組模塊。

多分支殘差組由4個基礎(chǔ)殘差塊（RB）組成?；A(chǔ)殘差塊結(jié)構(gòu)如圖3所示，其由兩個3×3卷積和一個RELU層穿插組成，并且采用ResNet殘差結(jié)構(gòu)。在多分支殘差結(jié)構(gòu)中，不同基礎(chǔ)殘差塊之間的不同組合可以形成3種殘差結(jié)構(gòu)，如圖4所示。所采用的多分支殘差結(jié)構(gòu)可以充分提高模塊的特征提取能力，為網(wǎng)絡(luò)提供豐富的圖像特征信息。

圖3 基礎(chǔ)殘差塊結(jié)構(gòu)

圖4 殘差組的3種殘差結(jié)構(gòu)

1.4 特征互導(dǎo)融合模塊

在超分辨率網(wǎng)絡(luò)中，對淺層特征的利用大都是只通過直連結(jié)構(gòu)參與最后的超分重建，使得全局特征信息的共享匱乏。為此，筆者提出一種特征互導(dǎo)融合模塊，該模塊將來自網(wǎng)絡(luò)淺層與深層的特征信息進行融合，并通過互導(dǎo)學(xué)習(xí)提升特征的表達性，其結(jié)構(gòu)如圖5所示。

圖5 特征互導(dǎo)融合模塊架構(gòu)

淺層特征fshallow與深層特征fdeep分別經(jīng)過映射塊后融合相加得到本地特征f：

f=F（f）+F（f）（8）

本地特征f經(jīng)過指導(dǎo)分支A后與自身逐點乘積，并與f經(jīng)過指導(dǎo)分支B的結(jié)果相加得到聚合特征f：

f=f⊙F（f）+F（f）（9）

特征互導(dǎo)融合模塊不同于簡單地將所有特征直接堆疊在一起來學(xué)習(xí)有用的特征信息，特征互導(dǎo)融合模塊對特征f進一步采用互指導(dǎo)操作，提高了融合特征的表達性，促進全局信息和上下文信息更加緊密地連接來，實現(xiàn)高效、高性能的跨層特征融合，同時為下級遞歸Transformer模塊提供具有更多細節(jié)表現(xiàn)的特征信息。

2 實驗

2.1 實驗設(shè)置

2.1.1 數(shù)據(jù)集與評價指標(biāo)

筆者在DIV2K數(shù)據(jù)集上對模型進行了訓(xùn)練，并在Set5［18］、Set14［19］、BSD100［20］和Urban100［21］4個基準(zhǔn)測試數(shù)據(jù)集上驗證全局特征高效融合網(wǎng)絡(luò)的性能。在這些數(shù)據(jù)集中，Set5、Set14和BSD100包含了自然景色，Urban100包含了具有挑戰(zhàn)性的城市景色，具有不同頻帶的細節(jié)。筆者使用PSNR（Peak Signal-to-Noise Ratio）來定量評估全局特征高效融合網(wǎng)絡(luò)的性能，PSNR表示最大可能信號功率與影響其表示精度的破壞性噪聲功率之比。

2.1.2 實驗環(huán)境與細節(jié)

筆者所提模型使用Python v3.6和PyTorch v1.1實現(xiàn)，并在帶有NVIDIA GTX1080Ti GPU的工作站上進行訓(xùn)練。模型的訓(xùn)練過程共包括1 000次迭代。模型中每個部分的輸入和輸出通道均設(shè)置為32。在整個網(wǎng)絡(luò)的訓(xùn)練過程中，筆者采用了2×10-4的初始學(xué)習(xí)率，在訓(xùn)練完成時學(xué)習(xí)率降至6.25×10-6。

2.2 實驗結(jié)果及分析

為了定性地研究所提出模型的性能，筆者采用PSNR在4個基準(zhǔn)測試數(shù)據(jù)集上評估該模型和其他現(xiàn)有網(wǎng)絡(luò)模型。比較結(jié)果列于表1、2中（紅色表示結(jié)果最好）。

由表1所列數(shù)據(jù)可以看到，在Scale為×3的情況下筆者所提模型取得的PSNR均優(yōu)于所列其他模型。具體來說，在Set5數(shù)據(jù)集上與MADNet模型相比，PSNR從34.16提高到34.58，提高了1.23%；在Urban100數(shù)據(jù)集上與SMSR模型相比，PSNR從28.25提高到28.62，提高了1.31%；筆者所提模型在Set5、Set14和BSD100數(shù)據(jù)集上取得的PSNR比LBNet模型平均高出0.1，尤其在Urban100數(shù)據(jù)集上高出了0.2。

由表2可以看到，在Scale為×4的情況下筆者所提模型也取得了較好的PSNR。在Set14數(shù)據(jù)集上與SMSR相比，PSNR從28.55提高到28.73，提高了0.63%；在Urban100數(shù)據(jù)集上與IMDN相比，PSNR從26.04提高到26.42，提高了1.46%；筆者所提模型在Set14和BSD100數(shù)據(jù)集上取得的PSNR與LBNet相當(dāng)，但在Set5與Urban100數(shù)據(jù)集上分別高出0.1和0.15。總而言之，全局特征高效融合網(wǎng)絡(luò)模型在Set5、Set14、BSD100和Urban100數(shù)據(jù)集上都表現(xiàn)出高性能，這證實了該模型在超分辨率任務(wù)中是有效的。

為了更直觀地展示模型優(yōu)勢，筆者在BSD100和Urban100數(shù)據(jù)集上分別與HR、CARN、IMDN、MADNet、LBNet網(wǎng)絡(luò)模型［4，5，14，23］進行了視覺對比。圖6、7分別顯示了全局特征高效融合網(wǎng)絡(luò)模型和其他5個網(wǎng)絡(luò)模型在BSD100數(shù)據(jù)集和Urban100數(shù)據(jù)集上的視覺比較。

由圖6可以看出，MADNet模型雖然開發(fā)了具有注意機制的殘差多尺度模塊來增強信息多尺度特征表示能力，但取得的實際效果卻不盡人意。其生成的圖片在中間部分具有嚴(yán)重的形變并且十分模糊，墻體的結(jié)構(gòu)也非常扭曲。IMDN模型得到的圖片比MADNet模型略微清晰，但形變依然很嚴(yán)重。CARN模型在本地和全局級別都使用級聯(lián)機制來合并來自多個層的特征，進一步提升了特征信息在整個SR過程中的利用水平，但其生成的圖片邊緣很模糊，窗子的形狀扭曲不規(guī)則。LBNet模型利用一種有效的對稱CNN促進局部特征提取和粗圖像重建，推動了該網(wǎng)絡(luò)產(chǎn)生更加清晰的圖像，但結(jié)果中位于圖片邊緣的部分缺乏細節(jié)表現(xiàn)，比如窗子的輪廓不清晰。得益于對不同層次特征的高效利用，筆者所提模型在實驗中取得了很可觀的視覺效果，得到的圖像結(jié)果墻體結(jié)構(gòu)更加規(guī)則，窗子輪廓也更加清晰。

對以上結(jié)果的描述，同樣適用于在數(shù)據(jù)集Urban100上的視覺對比，如圖7所示。綜合來看筆者所提模型重建的超分辨率圖像具有更豐富的細節(jié)紋理和更好的視覺效果，這進一步驗證了該模型處理圖像超分辨率任務(wù)是有效的。

2.3 消融研究

為證明對稱自指導(dǎo)殘差模塊和特征互導(dǎo)融合模塊的有效性，筆者在基線網(wǎng)絡(luò)［14］上進行消融實驗，采用PSNR指標(biāo)同時在Set5、Set14、BSD100和Urban100數(shù)據(jù)集上評估模型。消融實驗首先將自指導(dǎo)殘差模塊和特征互導(dǎo)融合模塊分別嵌入基線網(wǎng)絡(luò)進行單獨測試，驗證單一模塊的性能；然后將兩個模塊共同嵌入組合成全局特征高效融合網(wǎng)絡(luò)并進行實驗，實驗結(jié)果見表3。所有消融實驗都遵循相同的設(shè)置。

由表3可知，與基線方法相比，筆者所提出模塊能夠促進性能指標(biāo)的提升。具體來說，在Set5數(shù)據(jù)集上，僅加入對稱自指導(dǎo)殘差模塊時，指標(biāo)從32.29上升到32.36；僅加入特征互導(dǎo)融合模塊時，指標(biāo)從32.29上升到32.35。在Urban100數(shù)據(jù)集上，分別加入對稱自指導(dǎo)殘差模塊和特征互導(dǎo)融合模塊時，指標(biāo)從26.27分別上升到了26.38和26.39。同時引入兩個模塊之后，指標(biāo)在Set5數(shù)據(jù)集上從32.29提高到32.39，在Urban100數(shù)據(jù)集上從26.27提高到26.42。此外，筆者所提方法取得的指標(biāo)結(jié)果在Set14和BSD100數(shù)據(jù)集上也有所提升。

3 結(jié)束語

為提升圖像超分辨率任務(wù)中對層間特征的利用水平，筆者提出一種新穎的用于實現(xiàn)單圖像超分辨率的全局特征高效融合網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和Transformer的技術(shù)優(yōu)勢，采用對稱結(jié)構(gòu)逐級實現(xiàn)特征信息由粗到細的過程，所提出的對稱自指導(dǎo)殘差模塊可以在增加特征表達性的同時提升模型的特征提取能力，使超分辨率過程中的特征信息更加豐富；特征互導(dǎo)融合模塊的提出與嵌入使全局特征信息共享更加充分，為Transformer提供具有更多細節(jié)表達的特征信息來進行長期依賴學(xué)習(xí)。最終的實驗結(jié)果表明，筆者提出的網(wǎng)絡(luò)模型可以在多個數(shù)據(jù)集上獲得較好的圖像超分效果，性能指標(biāo)同現(xiàn)有的超分網(wǎng)絡(luò)相比具有一定的優(yōu)勢；消融研究也再次驗證了筆者所提出模塊在圖像超分辨率任務(wù)中的有效性。

參 考 文 獻

［1］ DONG C， LOY C C， HE K M， et al.Image super-resolution using deep convolutional networks［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，38（2）：295-307.

［2］?? KIM J， LEE J K，LEE K M. Accurate image super-resolution using very deep convolutional networks［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE，2016：1646-1654.

［3］?? LIM B，SON S，KIM H，et al.Enhanced deep residual networks for single image super-resolution［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops.Piscataway，NJ：IEEE，2017：136-144.

［4］? AHN N，KANG B，SOHN K A. Fast，accurate，and lightweight super-resolution with cascading residual network［C］//Proceedings of the European Conference on Computer Vision（ECCV）.2018：252-268.

［5］?? LAN R S，SUN L，LIU Z B，et al.MADNet：A fast and lightweight network for single-image super resolution［J］.IEEE Transactions on Cybernetics，2020，51（3）：1443-1453.

［6］?? WANG L G，DONG X Y，WANG Y Q，et al.Exploring sparsity in image super-resolution for efficient inferen-

ce［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021：4917-4926.

［7］?? SUN B，ZHANG Y L，JIANG S Y，et al.Hybrid Pixel-Unshuffled Network for Lightweight Image Super-Resolution［J］.arXiv Preprint，2022.DOI：10.48550/arXiv.2203.08921.

［8］? VASWANI A， SHAZEER N， PARMAR N， et al.Attention is all you need［J］.Advances in Neural Information Processing Systems，2017，30：5998-6008.

［9］?? DOSOVITSKIY A，BEYER L，KOLESNIKOV A，et al.An image is worth 16×16 words：Transformers for image recognition at scale［J］.arXiv Preprint，2020.DOI：10.48550/arXiv.2010.11929.

［10］?? CHEN H T，WANG Y H，GUO T Y，et al.Pre-trained image processing transformer［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Patt-

ern Recognition.Piscataway，NJ：IEEE，2021：12299-12310.

［11］?? WANG S Z，ZHOU T F，LU Y，et al.Detail-preserving transformer for light field image super-resolution［J］.arXiv Preprint，2022.DOI：10.48550/arXiv.2201.00346.

［12］?? LUO Z W，LI Y M，CHENG S，et al.BSRT：Improving Burst Super-Resolution with Swin Transformer and Flow-Guided Deformable Alignment［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ：IEEE，2022：998-1008.

［13］?? LIANG Z Y， WANG Y Q， WANG L G，et al.Light field image super-resolution with transformers［J］.IEEE Signal Processing Letters，2022，29：563-567.

［14］? GAO G W，WANG Z X，LI J C，et al.Lightweight Bimodal Network for Single-Image Super-Resolution via Symmetric CNN and Recursive Transformer［J］.arXiv Preprint，2022.DOI：10.48550/arXiv.2204.13286.

［15］? ZHANG L ，NIE J T， WEI W，et al.Unsupervised adaptation learning for hyperspectral imagery super-resolution［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE，2020：3073-3082.

［16］? GAO B K，ZHANG Z X，WU C N，et al.Staged cascaded network for monocular 3D human pose estimation［J］.Applied Intelligence，2022，53（1）：1021-1029.

［17］? GAO B K，BI Y Z，BI H B，et al.A Lightweight-Grouped Model for Complex Action Recognition［J］.Pattern Recognition and Image Analysis，2021，31（4）：749-757.

［18］?? BEVILACQUA M，ROUMY A，GUILLEMOT C，et al.Low-complexity single-image super-resolution based on nonnegative neighbor embedding［C］//British Machine Vision Conference.BMVA Press，2012.DOI：10.5244/C.26.135.

［19］?? ZEYDE R，ELAD M， PROTTER M.On single image scale-up using sparse-representations［C］//Internatio-

nal Conference on Curves and Surfaces. Berlin，Heidelberg：Springer，2010：711-730.

［20］?? MARTIN D， FOWLKES C，TAL D，et al.A database of human segmented natural images and its applicat-

ion to evaluating segmentation algorithms and meas-

uring ecological statistics［C］//Proceedings Eighth IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE，2002：416-423.

［21］? HUANG J B， SINGH A， AHUJA N.Single image super-resolution from transformed self-exemplars［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE，2015：5197-5206.

［22］?? TAI Y，YANG J，LIU X M.Image super-resolution via deep recursive residual network［C］//Proceedings of the IEEE Conference on Computer Vision And Pattern Recognition.Piscataway，NJ：IEEE，2017：3147-

3155.

［23］? HUI Z， GAO X B， YANG Y C，et al.Lightweight image super-resolution with information multi-distillation network［C］//Proceedings of the 27th ACM International Conference on Multimedia.New York，United States：Association for Computing Machinery，2019：2024-2032.

［24］?? ZHANG X Y，GAO P，LIU S X Y，et al.Accurate and efficient image super-resolution via global-local adjusting dense network［J］.IEEE Transactions on Multimedia，2020，23：1924-1937.

（收稿日期：2023-03-08，修回日期：2024-01-18）

Global Feature Efficient Fusion Network for Single Image

Super Resolution

ZHANG Yubo， TIAN Kang， XU Lei

（School of Electrical and Information Engineering， Northeast Petroleum University）

Abstract?? In existing image super resolution networks， the utilization of interlayer features stays at low level， which leads to the loss of detail features in image reconstruction， fuzzy texture and poor image quality in the final processing result. In this paper， a global feature efficient fusion network for image super resolution was proposed. The main body of the network has the symmetric convolutional neural network used to extract shallow features step by step， and Transformer combined to realize both integration and utilization of shallow and deep features. The designed symmetric selfdirected residual block can achieve more expressive feature fusion between different layers in shallow network and improve feature extraction ability of the network. The feature mutualdirected fusion block can enhance the fusion ability of shallow feature and deep feature， and promote more feature information to participate in the process of fine image reconstruction. Finally， on the Set5， Set14， BSD100 and Urban100 datasets， having its performance? compared with that of the? recent years classical networks（HR， CARN， IMDN， MADNeT and LBNeT） shows that， this network can improve the peak signaltonoise ratio，and achieve better image super resolution effect in the visual comparison， as well as improve the poor quality of the SR image.

Key words?? singleimage superresolution， global feature efficient fusion network， symmetric selfdirected residual block， feature mutualdirected fusion block， deep learning