摘 "要： 為提升多幀遙感降質(zhì)圖像對(duì)比度以及圖像質(zhì)量，提出一種基于深度學(xué)習(xí)的多幀遙感降質(zhì)圖像三維重建算法。采用三角函數(shù)變換方法并結(jié)合高通濾波器，增強(qiáng)多幀遙感降質(zhì)圖像對(duì)比度；再以包含生成器和判別器的生成對(duì)抗網(wǎng)絡(luò)為基礎(chǔ)，在判別器中引入自注意力層，設(shè)計(jì)自注意力機(jī)制殘差模塊，生成自注意力生成對(duì)抗網(wǎng)絡(luò)模型；最后將增強(qiáng)后的圖像輸入模型進(jìn)行學(xué)習(xí)和訓(xùn)練，獲取多幀遙感降質(zhì)圖像的全局特征后，實(shí)現(xiàn)多幀遙感降質(zhì)圖像三維重建。測(cè)試結(jié)果表明，所提算法具有較好的多幀遙感降質(zhì)圖像增強(qiáng)能力，能夠提升圖像對(duì)比度，并且滲透指數(shù)（PI）均在0.92以上，重構(gòu)效果良好。

關(guān)鍵詞： 多幀遙感圖像； 降質(zhì)圖像； 深度學(xué)習(xí)； 三維重建； 圖像增強(qiáng)； 生成對(duì)抗網(wǎng)絡(luò)； 自注意力層； 全局特征

中圖分類號(hào)： TN957.52?34； TP391 " " " " " " " " " 文獻(xiàn)標(biāo)識(shí)碼： A " " " " " " " " "文章編號(hào)： 1004?373X（2024）06?0161?04

A deep learning based 3D reconstruction algorithm for multiframe degraded

remote sensing images

SHI Liyuan

（Hangzhou Dianzi University， Hangzhou 310018， China）

Abstract： In order to improve the contrast and image quality of multiframe degraded remote sensing images， a deep learning based 3D reconstruction algorithm for multiframe degraded remote sensing images is proposed. The trigonometric function transformation method combined with high pass filter is used to enhance the contrast of multiframe degraded remote sensing images. Based on a generative adversarial network that includes generators and discriminators， a self attention layer is introduced into the discriminator， and a residual module of the self attention mechanism is designed to generate a self attention generative adversarial network model. The enhanced image input model is learned and trained to obtain global features of multiple degraded remote sensing images， and then three?dimensional reconstruction of multiple degraded remote sensing images is achieved. The testing results show that the algorithm has good ability to enhance multi frame degraded remote sensing images and improve image contrast. The permeability indexs （PI） are all above 0.92， and the reconstruction effect is good.

Keywords： multi frame remote sensing images; degraded images; deep learning; 3D reconstruction; image enhancement; "generative adversarial network; self attention layer; global features

0 "引 "言

遙感圖像是采用航空攝影、航空掃描或者微波雷達(dá)等方式采集的圖像[1]，包含豐富的地面信息[2]，具有顯著的多幀特性[3]。但是多幀遙感圖像在采集過程中，會(huì)受到大氣折射等因素的干擾，存在對(duì)比度較低、模糊等問題，成為降質(zhì)圖像，可利用率較低。為保證圖像的利用率和可靠性，需對(duì)圖像進(jìn)行重建處理，提升圖像質(zhì)量[4?5]。為實(shí)現(xiàn)圖像重建，文獻(xiàn)[6]中采用雙三次插值的方式對(duì)遙感圖像進(jìn)行降噪和分辨率重構(gòu)。但該方法對(duì)于多幀遙感圖像的重建效果不理想。文獻(xiàn)[7]中通過多層級(jí)分流和細(xì)節(jié)增強(qiáng)實(shí)現(xiàn)遙感圖像超分辨重建，但該方法對(duì)降質(zhì)嚴(yán)重圖像重建效果不理想。

為了提升多幀遙感降質(zhì)圖像質(zhì)量，本文提出一種基于深度學(xué)習(xí)的多幀遙感降質(zhì)圖像三維重建算法。

1 "多幀遙感降質(zhì)圖像三維重建

1.1 "多幀遙感降質(zhì)圖像增強(qiáng)處理

在進(jìn)行多幀遙感降質(zhì)圖像三維重建前，對(duì)圖像進(jìn)行對(duì)比度增強(qiáng)[8?9]。結(jié)合多幀遙感圖像特點(diǎn)，采用三角函數(shù)變換方法將彩色圖像轉(zhuǎn)換為灰度圖像，再對(duì)其進(jìn)行歸一化處理[10]，保證圖像數(shù)據(jù)的分布范圍滿足增強(qiáng)函數(shù)的處理數(shù)據(jù)范圍。

如果轉(zhuǎn)換后形成的灰度圖像用[Ix，y]表示，則通過增強(qiáng)變換三角函數(shù)[ξx，y]來調(diào)整[I]的對(duì)比度，[ξx，y]公式為：

[ξx，y=c·arctanηIx，y-k+arctan k] （1）

式中：[c]表示常數(shù)；[k]表示像素強(qiáng)度閾值；[η]表示自適應(yīng)函數(shù)，文中選擇sigmoid函數(shù)。[ηIx，y]計(jì)算公式為：

[ηIx，y=11+e-Ix，y] " " " " " （2）

將式（2）代入式（1）對(duì)I的高、低亮度區(qū)域進(jìn)行自適應(yīng)調(diào)整，如果[Ix，ygt;k]，[η]則可對(duì)I中的明亮區(qū)域進(jìn)行壓縮；反之，則對(duì)I中的暗區(qū)域進(jìn)行壓縮。

為保證I增強(qiáng)后的細(xì)節(jié)，在進(jìn)行圖像增強(qiáng)過程中，通過高通濾波器的Laplacian算子進(jìn)行圖像處理，處理公式為：

[ξhx，y=255ξx，y+Ix，y·h] " " " "（3）

式中[h]表示Laplacian算子，公式如下：

[h=δ0-10-14-10-10] " " " " " " " （4）

式中[δ]表示平滑系數(shù)。對(duì)[I]進(jìn)行色彩恢復(fù)增強(qiáng)，公式為：

[Ioutjx，y=Iinjx，y·ξhx，yIx，y] " " " "（5）

式中：[Iinjx，y]表示原始彩色多幀遙感圖像，[j]表示RGB顏色通道。由此完成多幀遙感降質(zhì)圖像增強(qiáng)處理，作為三維重建的基礎(chǔ)。

1.2 "多幀遙感降質(zhì)圖像三維重建

1.2.1 "基于對(duì)抗網(wǎng)絡(luò)的圖像三維重建模型

基于1.1節(jié)增強(qiáng)后的多幀遙感圖像，選擇深度學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)模型完成圖像三維重建，并設(shè)計(jì)自注意力機(jī)制殘差模塊，提取圖像的全局特征，為圖像三維重建提供可靠依據(jù)?；趯?duì)抗網(wǎng)絡(luò)的圖像三維重建模型結(jié)構(gòu)如圖1所示。

圖像三維重建模型分為生成器、判別器兩類，自注意力機(jī)制殘差模塊則引入到判別器中。利用生成器變換處理[Ioutjx，y]，形成真實(shí)的超分辨率圖像；利用判別器區(qū)分重建后的超分辨率圖像和真實(shí)超分辨率圖像，判斷兩者的差異；將生成器和判別器進(jìn)行融合，輸出圖像重建結(jié)果。

將[Ioutjx，y]輸入重建模型中，訓(xùn)練后輸出分辨率圖像，將其輸入判別器中，判別器利用自注意力機(jī)制殘差模塊學(xué)習(xí)[Ioutjx，y]的全局特征，以此進(jìn)行多幀遙感降質(zhì)圖像重構(gòu)。三維重建模型為：[minGmaxDV=ElogDIoutjx，y+Elog1-Gz] （6）

式中：[E]表示分布函數(shù)期望值；[DIoutjx，y]和[Gz]分別表示生成器和判別器輸入；[z]為固定噪聲。

判別器[Gz]的自注意力機(jī)制殘差模塊中局部特征和全局特征提取卷積層分別為[hx]和[gx]，輸出的注意力模塊輸出結(jié)果用[oi=o1，o2，…，oN]表示，計(jì)算公式為：

[oi=i=1Nwigx+?hx] " （7）

式中：[wi]表示第[i]層連接權(quán)值；[?]為比例參數(shù)。由此構(gòu)建了圖像三維重建模型，但該模型在訓(xùn)練中存在一定損失，影響后續(xù)三維重建效果，因此需要進(jìn)一步優(yōu)化。

1.2.2 "考慮模型損失的圖像三維重建實(shí)現(xiàn)

本文為保證多幀遙感降質(zhì)圖像的三維重建效果，保證重建出超分辨率的遙感圖像，進(jìn)行三維重建模型損失函數(shù)選擇。結(jié)合圖像特性，選擇對(duì)抗損失（[Le]）和重構(gòu)損失（[Lu]）兩種函數(shù)。[Le]用于懲罰生成結(jié)果和實(shí)際結(jié)果分布之間的距離，[Lu]用于保證輸入固定噪聲損失后的圖像質(zhì)量，依據(jù)生成器生成與實(shí)際圖像相似的結(jié)果，總損失函數(shù)的計(jì)算公式為：

[L=υ1Le+υ2Lu] " （8）

式中：[υ1]和[υ2]均表示損失系數(shù)。由此基于式（6）獲得考慮損失的優(yōu)化重建模型：

[minGmaxDV=ElogDIoutjx，y+ " " " " " " " " " " " " "Elog1-Goi-z+L] （9）

通過上述優(yōu)化模型即可完成多幀遙感降質(zhì)圖像三維重建，通過模型的輸出層輸出重建結(jié)果。

2 "實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文算法對(duì)多幀遙感降質(zhì)圖像的三維重建效果，以某城市土地管理部門采集的城市遙感圖像作為測(cè)試對(duì)象，進(jìn)行圖像三維重建效果測(cè)試。測(cè)試時(shí)，為提高測(cè)試效率，僅隨機(jī)選擇300張多幀遙感降質(zhì)圖像進(jìn)行測(cè)試，圖像分辨率為6 000×6 000像素。生成對(duì)抗網(wǎng)絡(luò)相關(guān)參數(shù)設(shè)置如下：學(xué)習(xí)率為0.06，迭代步長(zhǎng)為35，網(wǎng)絡(luò)單元數(shù)量為130，訓(xùn)練精度為0.001，迭代次數(shù)為500，卷積層為2層。

為驗(yàn)證本文算法對(duì)于多幀遙感降質(zhì)圖像的增強(qiáng)效果，隨機(jī)選擇一張圖像進(jìn)行增強(qiáng)處理，并獲取處理前后的圖像結(jié)果，如圖2所示。

依據(jù)圖2測(cè)試結(jié)果可知：原始多幀遙感降質(zhì)圖像較為模糊，并且圖像整體對(duì)比度較低；而采用本文算法進(jìn)行圖像增強(qiáng)后，圖像視覺清晰度提升，并且整體對(duì)比度較好。因此，本文算法具有較好的多幀遙感降質(zhì)圖像增強(qiáng)能力，為圖像三維重建提供了依據(jù)。

為測(cè)試本文算法的重建效果，隨機(jī)選擇10張不同大小的多幀原始降質(zhì)圖像，采用本文算法對(duì)其進(jìn)行三維重構(gòu)，并以滲透指數(shù)（PI）作為重構(gòu)效果評(píng)價(jià)指標(biāo)。該指標(biāo)主要用于描述原始多幀遙感降質(zhì)圖像和重建后超分辨率圖像之間Laplacian算子方差之比，取值在0～1范圍內(nèi)，其值越大，表示三維重建效果越佳。滲透指數(shù)（PI）計(jì)算公式為：

[PI=i=1NSVxi，yi-VS2j=1NRVxj，yj-VR2] （10）

[Vx，y=qx，y+qx-1，y+qx，y+1+4qx，y] " " " "（11）

式中：[x，y]表示多幀遙感降質(zhì)圖像的像素點(diǎn)坐標(biāo)；[q]表示對(duì)應(yīng)像素點(diǎn)灰度；[VS]表示整個(gè)圖像加權(quán)均值；[VR]表示殘差模塊輸出圖像的加權(quán)均值；[NS]、[NR]均表示像素?cái)?shù)量。

依據(jù)上述公式計(jì)算本文方法三維重建后的滲透指數(shù)（PI）測(cè)試結(jié)果，如表1所示。

依據(jù)表1測(cè)試結(jié)果可知，采用本文方法進(jìn)行多幀遙感降質(zhì)圖像進(jìn)行三維重構(gòu)后，滲透指數(shù)（PI）結(jié)果均在0.92以上，三維重構(gòu)效果良好。

3 "結(jié) "論

遙感圖像在多種領(lǐng)域中均具有廣泛應(yīng)用，圖像質(zhì)量直接影響圖像的應(yīng)用可靠性，但是遙感圖像在采集過程中受到多種因素的影響后，易成為降質(zhì)圖像。因此，為保證圖像質(zhì)量，本文提出一種基于深度學(xué)習(xí)的多幀遙感降質(zhì)圖像三維重建算法。對(duì)該算法的應(yīng)用效果進(jìn)行測(cè)試后得出，該算法具有較好的圖像增強(qiáng)效果，并且重建效果良好，可提升多幀遙感降質(zhì)圖像的質(zhì)量。

參考文獻(xiàn)

[1] 丁子軒，俞雷，張娟，等.基于深度殘差自適應(yīng)注意力網(wǎng)絡(luò)的圖像超分辨率重建[J].計(jì)算機(jī)工程，2023，49（5）：231?238.

[2] 張玉爽，韓文波，黃丹飛，等.基于深度學(xué)習(xí)多幀海面圖像超分辨算法研究[J].激光與光電子學(xué)進(jìn)展，2021，58（16）：201?208.

[3] 景海釗，史江林，邱夢(mèng)哲，等.基于密集殘差塊生成對(duì)抗網(wǎng)絡(luò)的空間目標(biāo)圖像超分辨率重建[J].光學(xué)精密工程，2022，30（17）：2155?2165.

[4] 董本志，于明聰，趙鵬.基于小波域的圖像超分辨率重建方法[J].液晶與顯示，2021，36（2）：317?326.

[5] 周登文，馬路遙，田金月，等.基于特征融合注意網(wǎng)絡(luò)的圖像超分辨率重建[J].自動(dòng)化學(xué)報(bào)，2022，48（9）：2233?2241.

[6] 陳貴強(qiáng)，何軍.自然場(chǎng)景下遙感圖像超分辨率重建算法研究[J].計(jì)算機(jī)科學(xué)，2022，49（2）：116?122.

[7] 徐英豪，呂玉超，劉斯凡，等.基于分流的高光譜遙感圖像超分辨重建[J].計(jì)算機(jī)工程與應(yīng)用，2022，58（18）：260?267.

[8] 李玉峰，任靜波，黃煜峰.基于深度學(xué)習(xí)的遙感圖像去霧算法[J].計(jì)算機(jī)應(yīng)用研究，2021，38（7）：2194?2199.

[9] 浦健，桂進(jìn)斌，張凱.基于深度學(xué)習(xí)的多尺度數(shù)字全息圖重建[J].激光與光電子學(xué)進(jìn)展，2022，59（2）：86?93.

[10] 朱育正，張亞萍，馮喬生.基于深度學(xué)習(xí)的單視圖彩色三維重建[J].激光與光電子學(xué)進(jìn)展，2021，58（14）：207?215.

[11] 展金梅，祁冰.基于相位差異法的多幀遙感降質(zhì)圖像復(fù)原仿真[J].計(jì)算機(jī)仿真，2023，40（5）：257?261.

[12] 成科揚(yáng)，榮蘭，蔣森林，等.面向目標(biāo)檢測(cè)的雙驅(qū)自適應(yīng)遙感圖像超分重建方法[J].北京航空航天大學(xué)學(xué)報(bào)，2022，48（8）：1343?1352.

[13] 王靜，宋慧慧，張開華，等.全局注意力門控殘差記憶網(wǎng)絡(luò)的圖像超分重建[J].中國(guó)圖象圖形學(xué)報(bào)，2021，26（4）：766?775.

[14] 黃冬梅，戴亮，魏立斐，等.一種安全的多幀遙感圖像的外包融合去噪方案[J].計(jì)算機(jī)研究與發(fā)展，2017，54（10）：2378?2389.

[15] 王春智，牛宏俠.基于直方圖均衡化與MSRCR的沙塵降質(zhì)圖像增強(qiáng)算法[J].計(jì)算機(jī)工程，2022，48（9）：223?229.