卜麗靜，吳文玉，張正鵬，楊 銀

1.湘潭大學(xué)自動(dòng)化與電子信息學(xué)院，湖南 湘潭 411105；2.二十一世紀(jì)空間技術(shù)應(yīng)用股份有限公司，北京 100096；3.湘潭大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，湖南 湘潭 411105；4.湖南國(guó)家應(yīng)用數(shù)學(xué)中心，湖南 湘潭 411105

隨著遙感技術(shù)的不斷發(fā)展，遙感數(shù)據(jù)的種類(lèi)越來(lái)越豐富。其中夜光(nighttime light,NTL)遙感衛(wèi)星能夠獲得與人類(lèi)活動(dòng)有關(guān)的城市燈光、自然界物體發(fā)光、艦船燈光和油井燃燒發(fā)光等信息[1]，在反映人類(lèi)社會(huì)活動(dòng)方面具有獨(dú)特的能力，因此它被廣泛應(yīng)用于社會(huì)經(jīng)濟(jì)領(lǐng)域的空間數(shù)據(jù)挖掘問(wèn)題中[2-4]。夜光遙感影像屬于夜晚低照度拍攝環(huán)境下的成像，被拍攝場(chǎng)景是不均勻的亮度信息[5]，成像時(shí)受環(huán)境(如大氣光、云霧)、目標(biāo)輻射、光學(xué)成像系統(tǒng)等方面的影響更為突出，往往在影像上表現(xiàn)出模糊、分辨率降低等綜合降質(zhì)現(xiàn)象，如圖1(c)所示。影像的模糊主要表現(xiàn)為由于大氣散射產(chǎn)生的輝光模糊(圖1(a))和由云霧產(chǎn)生的模糊(圖1(b))；影像的分辨率降低主要是受成像硬件的影響。對(duì)于這些降質(zhì)問(wèn)題目前通常采用各種軟件處理方法進(jìn)行去除或者減弱，如一般用影像復(fù)原方法去除模糊，用超分辨率重建方法提高影像的分辨率，從而達(dá)到影像質(zhì)量提升的目的。

圖1 夜光遙感影像的降質(zhì)現(xiàn)象

影像的去模糊、去云霧、超分辨率重建是影像質(zhì)量提升領(lǐng)域里的經(jīng)典問(wèn)題，總的來(lái)說(shuō)可以分為傳統(tǒng)方法和學(xué)習(xí)方法。在傳統(tǒng)方法方面，關(guān)于去模糊和去云霧問(wèn)題，有基于PSF估計(jì)的方法[6]、基于影像增強(qiáng)的方法[7]、基于高斯濾波器和照明頻率的方法[8]、基于統(tǒng)計(jì)先驗(yàn)的方法[9]、基于暗通道先驗(yàn)方法[10]等。關(guān)于超分辨率重建問(wèn)題，有基于插值的方法[11-12]、基于重建的模型方法[13-15]等。

在學(xué)習(xí)方法方面，可以分為基于樣例學(xué)習(xí)的方法[16-18]和基于深度學(xué)習(xí)的方法[19-20]。關(guān)于去模糊和去云霧問(wèn)題，有先計(jì)算降質(zhì)參數(shù)然后再去模糊的方法，如DehazeNet[21]網(wǎng)絡(luò)、DCPDN[22]網(wǎng)絡(luò)；在此之后又發(fā)展出了端到端的處理方法，如AOD-Net[23]、GFN[24]、改進(jìn)的CGAN[25]、GCANet[26]方法等；但是目前關(guān)于網(wǎng)絡(luò)構(gòu)建的研究較多，關(guān)于夜間數(shù)據(jù)集的構(gòu)建研究較少[27]。關(guān)于超分辨率重建問(wèn)題，有通過(guò)加深網(wǎng)絡(luò)卷積層深度提升網(wǎng)絡(luò)特征提取能力的方法，如SRCNN[28]、FSRCNN[29]、ESPCN[30]等；也有利用上下層信息的殘差網(wǎng)絡(luò)方法，如RED[31]、VDSR[32]、EDSR[33]、DenseSR[34]方法；還有改進(jìn)上采樣方式、激活函數(shù)、損失函數(shù)的方法，如DRRN[35]、RDN[36]、IKC[37]等。

與上述方法不同，SRGAN[38]、ESRGAN[39]在SRGAN的基礎(chǔ)上進(jìn)一步使用了密集殘差塊來(lái)改善超分結(jié)果的感知質(zhì)量，得到了較好的效果。

在影像質(zhì)量提升問(wèn)題中，傳統(tǒng)方法在求解模型中可以直接加入先驗(yàn)約束，適用于非線性和線性成像模型，但是模型求解困難，存在解不唯一的情況。深度學(xué)習(xí)方法利用網(wǎng)絡(luò)學(xué)習(xí)降質(zhì)過(guò)程，避免模型構(gòu)建、求解的復(fù)雜性，具有特征學(xué)習(xí)能力強(qiáng)、處理效果好的優(yōu)點(diǎn)。目前關(guān)于可見(jiàn)光影像的深度學(xué)習(xí)方法研究較多，針對(duì)夜光遙感影像的研究較少；現(xiàn)有方法往往只針對(duì)單一降質(zhì)類(lèi)型，且可用數(shù)據(jù)集極少，當(dāng)影像中多種降質(zhì)同時(shí)存在時(shí)處理效果不佳。針對(duì)這些問(wèn)題，本文以珞珈一號(hào)夜光遙感影像為研究對(duì)象，首先從成像模型角度對(duì)影像的多種降質(zhì)特征進(jìn)行理論分析與模型推導(dǎo)；然后依據(jù)此模型設(shè)計(jì)有針對(duì)性的深度學(xué)習(xí)網(wǎng)絡(luò)和數(shù)據(jù)集，并進(jìn)行試驗(yàn)驗(yàn)證。

1 夜光遙感影像降質(zhì)模型

一般情況下，若退化是線性、空間不變的過(guò)程，則影像的退化/成像模型為[40]

I(x,y)=h(x,y)?J(x,y)+η(x,y)

(1)

式中，I(x,y)表示觀測(cè)的退化影像；J(x,y)為原始的清晰影像；h(x,y)為影像的點(diǎn)擴(kuò)散函數(shù)；?代表卷積運(yùn)算；η(x,y)為噪聲。通常情況下h(x,y)一般表示為下采樣、模糊等降質(zhì)因素，因此，影像退化模型可進(jìn)一步表示為[19-20]

I(x,y)=D(x,y)B(x,y)M(x,y)J(x,y)+

η(x,y)

(2)

式中，D(x,y)表示下采樣算子；B(x,y)表示模糊矩陣；M(x,y)表示幾何運(yùn)動(dòng)矩陣。實(shí)際上夜光影像的主要降質(zhì)表現(xiàn)為模糊，這些模糊主要是由于輝光和云霧影響產(chǎn)生的。輝光現(xiàn)象是指成像時(shí)大氣中的粒子對(duì)光產(chǎn)生多散射作用，表現(xiàn)為影像中光源周?chē)哪：F(xiàn)象，如圖1(a)所示。輝光現(xiàn)象產(chǎn)生的原因是，人造光在穿過(guò)一些大氣成分時(shí)，由于散射和吸收作用，部分光線向多方面改變傳播方向，導(dǎo)致強(qiáng)度減小，衛(wèi)星傳感器沿著光傳播的方向觀察將其歸因于一個(gè)錯(cuò)誤的位置[41-42](圖2)，表現(xiàn)在影像中為光源顯著的時(shí)空變異性[43-44]、亮度值衰減。輝光現(xiàn)象在影像中普遍存在，有云霧的陰天該現(xiàn)象更明顯。

圖2 輝光現(xiàn)象的成像原理

云霧的影響是指大氣中的云使影像產(chǎn)生的模糊。當(dāng)云霧較厚時(shí)傳感器無(wú)法記錄到云霧覆蓋下的光源信息；當(dāng)云霧較薄時(shí)，薄云對(duì)光的吸收、散射、反射作用對(duì)成像造成了干擾，使像素值包含了光源信息和云霧反射的信息，如圖1(b)所示。光傳遞過(guò)程中的退化系數(shù)與距離相關(guān)，在不考慮冰、雪和其他高反射表面的反射影響的情況下，地表反射的月光亮度極小可以忽略不計(jì)[45-46]，云霧反射主要發(fā)生在云層頂部(圖3)。云霧反射的亮度信息與月光強(qiáng)度相關(guān)，圖4展示了不同月光條件下珞珈一號(hào)拍攝的含云影像，上排影像代表成像時(shí)月光強(qiáng)度，下排表示該月光照射下包含明顯厚云霧信息的影像，圖4中標(biāo)注了成像時(shí)間以及厚云區(qū)域的亮度均值。因此，月光強(qiáng)度越大云霧亮度越高，對(duì)影像質(zhì)量的影響越明顯。

圖3 夜光遙感影像云霧噪聲降質(zhì)

圖4 不同程度的云霧和月光對(duì)影像質(zhì)量的影響

在實(shí)際影像中B(x,y)是輝光和云霧等多種復(fù)雜因素綜合影響的結(jié)果，衛(wèi)星運(yùn)行姿態(tài)穩(wěn)定的情況下，M(x,y)的影響可以不考慮，則影像降質(zhì)可表達(dá)為

I(x,y)=D(x,y)B(x,y)J(x,y)+η(x,y)

(3)

在不考慮噪聲的情況下，地面拍攝的自然影像的云霧/大氣散射退化模型[47-48]為

In(x,y)=Jn(x,y)t(x,y)+A(1-t(x,y))

(4)

式中，In(x,y)表示觀測(cè)的自然影像；Jn(x,y)表示無(wú)云霧的影像；t(x,y)為云霧對(duì)光的透射率；A為大氣光強(qiáng)度，夜晚?xiàng)l件下A相當(dāng)于月光影響強(qiáng)度M。Jn(x,y)可以進(jìn)一步精確表示為含有點(diǎn)擴(kuò)散影響的Jl(x,y)，因此結(jié)合式(3)和式(4)，B(x,y)J(x,y)可表達(dá)為

B(x,y)J(x,y)=Jl(x,y)t(x,y)+M(1-

t(x,y))

(5)

Jl(x,y)可進(jìn)一步表示為無(wú)任何降質(zhì)影響的影像J(x,y)和點(diǎn)擴(kuò)散函數(shù)h(x,y)的卷積[40]如式(6)所示

Jl(x,y)=J(x,y)?h(x,y)

(6)

因此，結(jié)合式(3)、式(5)、式(6)，得到珞珈一號(hào)夜光遙感影像受輝光和云霧影響的退化模型為

I(x,y)=D(x,y)[J(x,y)?h(x,y)t(x,y)+M(1-t(x,y))]+η(x,y)

(7)

2 顧及多降質(zhì)特征的夜光影像質(zhì)量提升方法

2.1 技術(shù)路線

由式(7)可以看出，夜光影像的降質(zhì)包括大氣輝光、云霧、降采樣的影響，首先，依據(jù)該退化模型，分析出夜光影像的主要降質(zhì)因素；然后，根據(jù)先驗(yàn)知識(shí)，引導(dǎo)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)和制作相應(yīng)的數(shù)據(jù)集，本文方法的思路如圖5所示。

圖5 本文方法的分析思路

本文方法的技術(shù)路線如圖6所示，整體上分為訓(xùn)練和質(zhì)量提升兩個(gè)部分。訓(xùn)練部分包括去輝光、去云霧和影像超分辨率重建3個(gè)部分，首先，根據(jù)降質(zhì)特征制作以上3類(lèi)數(shù)據(jù)集，按照8∶2的比例分配訓(xùn)練集和驗(yàn)證集。然后，設(shè)計(jì)去輝光、去云霧、超分辨率重建的深度學(xué)習(xí)網(wǎng)絡(luò)。在訓(xùn)練階段，去輝光和去云霧網(wǎng)絡(luò)結(jié)構(gòu)相同。先訓(xùn)練去輝光任務(wù)，在網(wǎng)絡(luò)收斂后，利用網(wǎng)絡(luò)的可遷移性[49]，將訓(xùn)練好的權(quán)值作為去云霧網(wǎng)絡(luò)的預(yù)訓(xùn)練參數(shù)，進(jìn)一步提取云霧網(wǎng)絡(luò)特征。在影像質(zhì)量提升階段，處理過(guò)程為先去云霧再去輝光，最后進(jìn)行超分辨率重建，主要原因?yàn)椋孩僖罁?jù)退化模型表達(dá)式(7)，在不考慮D(x,y)和η(x,y)的情況下，去云霧相當(dāng)于去除M(1-t(x,y))、t(x,y)的影響，去輝光相當(dāng)于去除h(x,y)的影響。由于云霧距離成像傳感器較近，輝光的程度相對(duì)地面光源的輝光程度不同，這種差異是很難模擬的；②從影像的主要降質(zhì)表現(xiàn)來(lái)看，云霧是主要的降質(zhì)因素，但不是所有成像區(qū)域都有云霧，而輝光卻是普遍存在的，若先整體去除輝光h(x,y)，云霧也會(huì)被作為光源信息參與到輝光網(wǎng)絡(luò)中，處理后必然會(huì)對(duì)云霧的紋理特征產(chǎn)生影響，從而導(dǎo)致后面的學(xué)習(xí)網(wǎng)絡(luò)對(duì)云霧信息處理有偏差；③從模擬數(shù)據(jù)集構(gòu)建角度考慮，如果先去云霧再去輝光，模擬云霧數(shù)據(jù)集需要考慮透射率t(x,y)、月光強(qiáng)度M及噪聲，而含輝光的數(shù)據(jù)集僅需考慮h(x,y)。如果先去輝光再去云霧，構(gòu)建去輝光數(shù)據(jù)集時(shí)不僅需要模擬h(x,y)，還需要增加云霧反射等信息，而這兩項(xiàng)同時(shí)考慮非常復(fù)雜，增加了構(gòu)建數(shù)據(jù)集的難度；④從目前的試驗(yàn)來(lái)看，如果先去除輝光，網(wǎng)絡(luò)會(huì)將云霧信息識(shí)別為光源，從而改變?cè)旗F噪聲的特征，使去云霧更加困難。

圖6 本文方法技術(shù)路線

2.2 數(shù)據(jù)集構(gòu)建

深度學(xué)習(xí)方法的效果依賴于訓(xùn)練集含有降質(zhì)的類(lèi)型[50]，本文構(gòu)建了云霧、輝光、超分辨率重建3類(lèi)數(shù)據(jù)集。由于無(wú)法獲得無(wú)降質(zhì)影像，且已知夜光影像的模糊降質(zhì)呈現(xiàn)對(duì)稱高斯點(diǎn)擴(kuò)散函數(shù)型[51]，因此，本文采用添加不同參數(shù)的高斯模糊來(lái)模擬輝光影像。制作數(shù)據(jù)集的影像見(jiàn)表1。選用晴天無(wú)云條件下成像質(zhì)量好的影像為基準(zhǔn)影像，使用6組不同參數(shù)的高斯模糊核，隨機(jī)模擬輝光現(xiàn)象，構(gòu)成數(shù)據(jù)集A，模擬降質(zhì)影像如圖7所示。該數(shù)據(jù)集包含1519對(duì)影像，影像大小為128×128，并通過(guò)旋轉(zhuǎn)、翻轉(zhuǎn)等手段擴(kuò)增數(shù)據(jù)量。

表1 制作數(shù)據(jù)集的珞珈一號(hào)影像信息

圖7 數(shù)據(jù)集1清晰影像與模擬降質(zhì)影像

在云霧數(shù)據(jù)集制作方面，本文制作了有云和無(wú)云影像對(duì)的數(shù)據(jù)集。晴天影像一般無(wú)云霧，陰天影像含有云霧，因此利用真實(shí)晴天、陰天影像對(duì)構(gòu)建數(shù)據(jù)集B1。不同成像時(shí)間、成像環(huán)境內(nèi)的地表實(shí)際燈光亮度分布往往不同，因此，選取成像時(shí)間間隔小、成像角度接近、成像天氣相差明顯的影像制作數(shù)據(jù)集。按上述方法制作數(shù)據(jù)集1006對(duì)，影像大小為128×128，數(shù)據(jù)集影像對(duì)如圖8所示。

圖8 數(shù)據(jù)集B1

由于真實(shí)同一地區(qū)的晴天、陰天影像對(duì)數(shù)據(jù)有限，所以構(gòu)建含云霧的模擬數(shù)據(jù)集B2。由于云層形狀與濃度的實(shí)時(shí)變化對(duì)遙感影像造成的污染難以推演和預(yù)測(cè)，所以分析影像中云層的空間分布特性與成像特征是構(gòu)建數(shù)據(jù)集的必要前提。這里對(duì)比分析了含有云霧的白天影像和夜光遙感影像的差異，并繪制其厚云霧亮度值三維曲線，如圖 9所示。

對(duì)比圖9可發(fā)現(xiàn)，白天影像的云霧亮度信息變化較平滑，夜光影像的云霧信息連續(xù)性差、亮度值波動(dòng)較大、無(wú)規(guī)則噪聲多，依據(jù)這兩類(lèi)影像的特點(diǎn)制作模擬數(shù)據(jù)集。用云霧完全覆蓋地面光源信息的影像模擬云霧亮度值不連續(xù)、波動(dòng)大的特點(diǎn)，用隨機(jī)的自然云霧圖片制作掩膜，模擬云霧的分布形態(tài)，將全云霧影像與掩膜點(diǎn)乘，生成的矩陣作為模擬夜間大氣透過(guò)率模板(1-t(x,y))。然后，選取質(zhì)量較好的無(wú)云夜光影像為理想影像J(x,y)，模擬加入少量泊松噪聲。最后，給出月光強(qiáng)度經(jīng)驗(yàn)值M，將以上信息代入式(7)，且不考慮輝光現(xiàn)象(即h(x,y)=1)以及下采樣因子(即D(x,y)=1)，模擬出含云霧的影像I(x,y)，與無(wú)云影像共同構(gòu)成數(shù)據(jù)集B2，數(shù)據(jù)集制作流程如圖10所示。數(shù)據(jù)集B2包含1509對(duì)影像，影像大小為128×128，構(gòu)建的數(shù)據(jù)集如圖11所示。

圖9 含云霧影像及云霧亮度值分布

圖10 模擬云霧影像制作流程

圖11 數(shù)據(jù)集B2模擬的有云、無(wú)云影像塊

目前公開(kāi)的自然影像超分辨率重建數(shù)據(jù)集較多，但還沒(méi)有夜光影像的數(shù)據(jù)集。圖12為夜晚和白天的影像直方圖，由圖12可以看出兩者亮度動(dòng)態(tài)變化差異較大。所以，夜光影像超分辨率重建需要構(gòu)建專屬數(shù)據(jù)集。鑒于重建對(duì)噪聲比較敏感[52]，所以選用成像質(zhì)量好、噪聲少的高分辨率影像構(gòu)建超分?jǐn)?shù)據(jù)集，數(shù)據(jù)集中的低分辨率影像通過(guò)高分辨率影像降采樣得到。該數(shù)據(jù)集包含1509對(duì)影像，高低分影像對(duì)尺對(duì)分別128×128和64×64，數(shù)據(jù)集C如圖13所示。

圖12 夜光影像和白天影像的亮度值分布

圖13 數(shù)據(jù)集C模擬的影像對(duì)

2.3 網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)

根據(jù)式(7)對(duì)降質(zhì)模型的分析，針對(duì)輝光、云霧、超分辨率重建問(wèn)題，本文提出了顧及多特征降質(zhì)的夜光影像深度學(xué)習(xí)方法，即殘差密連卷積神經(jīng)網(wǎng)絡(luò)(residual dense convolutional neural network，RDCNN)框架。該方法分為去云霧網(wǎng)絡(luò)、去輝光網(wǎng)絡(luò)和超分辨率重建網(wǎng)絡(luò)。

在去輝光、云霧網(wǎng)絡(luò)中，整個(gè)網(wǎng)絡(luò)分為特征提取、主體網(wǎng)絡(luò)、信息融合3個(gè)部分，網(wǎng)絡(luò)結(jié)構(gòu)如圖14所示。云霧特征的提取部分利用卷積層實(shí)現(xiàn)，首先，用3×3×64大小的卷積提取周?chē)袼氐奶卣餍畔ⅰＨ缓?，主體部分由殘差密連模塊(residual-in-residual dense block，RRDB)實(shí)現(xiàn)。

圖14 RDCNN夜光影像去云霧網(wǎng)絡(luò)結(jié)構(gòu)

RRDB將殘差塊(residual block，RB)和密度塊(dense block，DB)結(jié)合起來(lái)，形成了殘差密集塊(residual dense block，RDB)，再將3個(gè)RDB進(jìn)行跨層連接，殘差連接部分乘以縮放值β。RDB在端到端的多層連接中自然的集成了更多的低、中、高層次特征和分類(lèi)器，并具有更強(qiáng)大的特征提取和映射能力。為了避免CNN網(wǎng)絡(luò)的退化和梯度消失/爆炸問(wèn)題，在深層CNNs中將殘差網(wǎng)絡(luò)結(jié)構(gòu)與密集網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合來(lái)解決這些問(wèn)題。在網(wǎng)絡(luò)主體部分連接若干RRDB，并將特征提取層的特征乘以縮放值α，縮放后連接到網(wǎng)絡(luò)結(jié)尾的信息融合部分，此處的α可以防止云霧信息過(guò)量引入。主體網(wǎng)絡(luò)部分采用泄露修正線性單元(leaky ReLU[53-54])激活，用于增加網(wǎng)絡(luò)的非線性；它對(duì)輸入小于0部分的反應(yīng)有所變化，減輕了激活函數(shù)ReLU的稀疏性。Leaky ReLU表示為

(8)

式中，xi為激活前特征圖i點(diǎn)的值；yi為激活后該點(diǎn)的值；ai為(1，+∞)區(qū)間內(nèi)固定參數(shù)。

在網(wǎng)絡(luò)的信息融合部分，針對(duì)影像中不同區(qū)域云霧濃度不同的問(wèn)題，引用像素注意力模塊(pixel attention,PA)和通道注意力模塊(channel attention,CA)[55]。PA根據(jù)影像不同的像素特征，自適應(yīng)學(xué)習(xí)不同的加權(quán)信息，CA根據(jù)云霧信息在不同特征通道上表現(xiàn)程度的不同，通過(guò)自適應(yīng)學(xué)習(xí)為不同的通道特征提供不同的加權(quán)信息，這為處理不同類(lèi)型的云霧信息提供了額外的靈活性，并擴(kuò)展了CNNs的表示能力。

在超分辨率重建網(wǎng)絡(luò)中，去除RDCNN網(wǎng)絡(luò)后端的PA、CA模塊，在網(wǎng)絡(luò)結(jié)尾部分增加超分辨率重建模塊。在超分模塊中使用亞像素卷積，能將低分辨的特征圖和多通道間重組，得到高分辨率的特征圖，具體結(jié)構(gòu)如圖15所示。

圖15 基于RDCNN的夜光影像超分重建網(wǎng)絡(luò)結(jié)構(gòu)

在損失函數(shù)方面，目前經(jīng)常使用L2范數(shù)，但當(dāng)影像降質(zhì)復(fù)雜時(shí)容易使影像的高頻信息丟失。為避免上述問(wèn)題本文提出一種比值型范數(shù)的稀疏約束[56]損失函數(shù)，損失函數(shù)為

(9)

式中，?為損失函數(shù)；F代表整個(gè)卷積神經(jīng)網(wǎng)絡(luò)；I(x,y)為輸入的觀測(cè)的退化影像；J(x,y)為清晰的標(biāo)簽影像。

3 試驗(yàn)及討論

3.1 試驗(yàn)數(shù)據(jù)

試驗(yàn)數(shù)據(jù)選擇珞珈一號(hào)臺(tái)灣海峽、浙江省東陽(yáng)市的影像，影像成像參數(shù)見(jiàn)表2。夜光影像主要記錄地面的光源信息，當(dāng)光源分布較稀疏時(shí)，在影像中呈現(xiàn)出類(lèi)似點(diǎn)狀發(fā)光信息；當(dāng)光源分布較密集時(shí)，在影像中呈現(xiàn)出線狀或近似面狀的光源信息。一般城市的夜光影像中分布著面狀、線狀、點(diǎn)狀光源，且光源位置相對(duì)固定；海面上船只呈現(xiàn)點(diǎn)狀光源。孤立點(diǎn)狀光源影像中的輝光及云霧信息更容易辨別，因此，選擇含有類(lèi)似點(diǎn)狀光源的海上漁船的影像作為試驗(yàn)區(qū)1，選擇城市地區(qū)作為試驗(yàn)區(qū)2，驗(yàn)證本文方法對(duì)含有不同類(lèi)型光源區(qū)域的處理效果。試驗(yàn)區(qū)域的地理位置分布如圖16、圖17所示。

表2 試驗(yàn)數(shù)據(jù)詳細(xì)參數(shù)

圖16 試驗(yàn)1臺(tái)灣海峽影像分布

圖17 試驗(yàn)2浙江地區(qū)影像分布

3.2 試驗(yàn)過(guò)程及結(jié)果

試驗(yàn)中將本文方法去云霧、去輝光的結(jié)果與暗通道方法、GCAN方法進(jìn)行對(duì)比，將超分辨率重建的結(jié)果與雙三次插值、自相似方法、ESRGAN方法進(jìn)行對(duì)比。試驗(yàn)中GCAN、ESRGAN方法在公開(kāi)的權(quán)值文件的基礎(chǔ)上訓(xùn)練。由于對(duì)比的超分方法沒(méi)有去云霧的效果，直接比較沒(méi)有可比性，因此，此部分試驗(yàn)將本文方法去云霧、輝光后的影像作為其他重建方法的輸入影像。

試驗(yàn)的訓(xùn)練過(guò)程是先利用數(shù)據(jù)集A訓(xùn)練去輝光網(wǎng)絡(luò)，并將得到的權(quán)值文件作為去云霧網(wǎng)絡(luò)的初始值；然后利用數(shù)據(jù)集B1和數(shù)據(jù)集B2訓(xùn)練去云霧網(wǎng)絡(luò)，得到去云霧的權(quán)值文件；最后利用數(shù)據(jù)C訓(xùn)練超分辨率重建網(wǎng)絡(luò)，得到超分辨率重建網(wǎng)絡(luò)的權(quán)值文件。試驗(yàn)中，RRDB層設(shè)置為23層，濾波器大小設(shè)置為3×3，卷積過(guò)程中采用0值填充影像，步長(zhǎng)設(shè)置為1，特征通道數(shù)設(shè)置為64，RDB塊中間濾波器輸出特征通道數(shù)設(shè)置為32，主體部分輸出通道數(shù)設(shè)置為64。特征提取層的特征縮放因子α和殘差連接部分縮放因子β均設(shè)置為0.2，學(xué)習(xí)率設(shè)定為1×10-5，優(yōu)化器使用Adam，指數(shù)衰減率系數(shù)分別設(shè)置為β1=0.9，β2=0.999。

試驗(yàn)的測(cè)試過(guò)程是先輸入原始低分辨率影像，用訓(xùn)練好的去云霧權(quán)值對(duì)影像去云霧，然后用去輝光權(quán)值對(duì)影像去輝光，最后用超分辨重建權(quán)值提升分辨率，最終得到質(zhì)量提升后的影像。試驗(yàn)平臺(tái)采用PyTorch框架，使用NVIDIA GeForce GTX 1080Ti GPU進(jìn)行訓(xùn)練。圖18—圖21為試驗(yàn)結(jié)果對(duì)比圖。

3.3 討 論

對(duì)比圖18中試驗(yàn)區(qū)1的去云霧、去輝光結(jié)果。由圖18(c1)—(c6)可以看出，圖18(c4)與(c1)相差不大，圖18(c5)比原圖略好，圖18(c2)主要燈光點(diǎn)的周?chē)鷽](méi)有過(guò)多的小峰值雜波，圖18(c3)最好。對(duì)比圖18(a1)—(a6)和圖18(b1)—(b6)，圖18(a4)、(b4)與原圖相差不大，圖18(a5)、(b5)略好于原圖，但沒(méi)有圖18(a2)、(a3)處理效果好。以上對(duì)比說(shuō)明暗通道算法和GCAN算法處理夜光影像效果欠佳。本文方法處理后的影像云霧和輝光信息明顯減少，影像上的模糊擴(kuò)散范圍縮減，夜光信息更加清晰。

圖18 試驗(yàn)1不同算法的去云霧結(jié)果對(duì)比

進(jìn)一步對(duì)去除了云霧和輝光的影像進(jìn)行超分辨率重建處理，處理結(jié)果如圖19所示。對(duì)比圖19(c1)—(c6)可以看出，圖19(c5)比(c2)柱狀波峰多，對(duì)比原圖可知這些信息是偽信息，圖19(c3)、(c4)比原圖好，但沒(méi)有圖19(c6)效果明顯。

對(duì)比圖19(a1)—(a6)、圖19(b1)—(b6)，圖19(a3)、(b3)的點(diǎn)狀光源輕微擴(kuò)散，少量噪聲信息被放大；圖19(a4)、(b4)的點(diǎn)狀光源邊界清晰，但少量噪聲信息也被放大，燈光內(nèi)部無(wú)梯度變化；圖19(a5)、(b5)的點(diǎn)狀光源擴(kuò)散嚴(yán)重，目標(biāo)所占像元增大，增大了擾動(dòng)范圍且噪聲信息放大嚴(yán)重，許多噪聲被作為信息重建。這些說(shuō)明雙三次插值方法、自相似方法和ESRGAN方法對(duì)噪聲比較敏感，噪聲信息放大比較嚴(yán)重。與其他方法相比，圖19(a6)、(b6)的點(diǎn)狀光源邊緣更加清晰，燈光信息也更加“聚攏”，噪聲信息明顯減少，這說(shuō)明超分辨重建處理提高了影像質(zhì)量。

圖19 試驗(yàn)1區(qū)域不同算法超分重建結(jié)果對(duì)比

試驗(yàn)2是針對(duì)城區(qū)及郊區(qū)的夜光影像超分辨率重建試驗(yàn)。試驗(yàn)流程及參數(shù)設(shè)置與試驗(yàn)1相同。在該區(qū)域的去云霧、去輝光也取得了較好的結(jié)果，如圖20(a2)及其相應(yīng)細(xì)節(jié)所示，并以此為超分辨率重建的輸入影像，最后的重建結(jié)果影像如圖20所示，該區(qū)域的無(wú)云影像如圖21所示。對(duì)比觀察圖20(a3)、(b3)、(c3)可以看出，插值后的影像平滑，燈光邊緣模糊嚴(yán)重；圖20(a4)、(b4)、(c4)中的燈光邊緣過(guò)平滑現(xiàn)象嚴(yán)重，地物信息產(chǎn)生了變形，部分點(diǎn)狀燈光信息平滑為線狀信息；圖20(a5)、(b5)、(c5)中的燈光密集區(qū)域出現(xiàn)假信息和噪聲信息；圖20(a6)、(b6)、(c6)中的模糊云霧信息明顯減少，與圖21對(duì)比可以看出，復(fù)雜城區(qū)燈光的輝光擴(kuò)散效應(yīng)明顯減弱，燈光信息更聚攏，細(xì)節(jié)、邊緣更加清晰。說(shuō)明3種對(duì)比方法都沒(méi)有本文方法有效。

圖20 試驗(yàn)2區(qū)域不同算法超分重建結(jié)果對(duì)比

圖21 試驗(yàn)2區(qū)域的無(wú)云影像

利用評(píng)價(jià)指標(biāo)進(jìn)一步說(shuō)明本文方法的處理效果。由于夜光影像中只有燈光亮度信息和黑色背景信息，相比于其他影像紋理較單一，現(xiàn)有的光學(xué)影像評(píng)價(jià)指標(biāo)不太適用。本文算法處理的目的是減少云霧的影響、減少亮點(diǎn)目標(biāo)的點(diǎn)擴(kuò)散效應(yīng)，這與SAR影像減少旁瓣效應(yīng)很相似。因此，本文借鑒SAR影像的3 dB指標(biāo)，采用平均意義上的3 dB主瓣寬度進(jìn)行度量[57]，即目標(biāo)區(qū)域所有散射中心3 dB主瓣寬度的平均值。為說(shuō)明選用指標(biāo)的有效性，將本文指標(biāo)與清晰度評(píng)價(jià)指標(biāo)Tenengrad進(jìn)行對(duì)比。Tenengrad的計(jì)算方法如式(10)所示

|f(x,y+1)-f(x,y)|2)

(10)

式中，DT(f)為T(mén)enengrad值；f(x,y)表示圖像f在像素點(diǎn)(x,y)的灰度值，一般情況下該指標(biāo)越大說(shuō)明圖像越清晰。

評(píng)價(jià)結(jié)果如表3、表4所示。對(duì)比試驗(yàn)1去云霧階段的指標(biāo)，從3 dB指標(biāo)來(lái)看，本文方法指標(biāo)提升明顯，去輝光后的指標(biāo)也有提升，但仍沒(méi)有無(wú)云影像質(zhì)量好。暗通道算法、GCAN算法指標(biāo)比原圖好，但提升幅度不大，這與無(wú)云理想影像相差較大，與主觀視覺(jué)效果評(píng)價(jià)結(jié)果一致。對(duì)比Tenengrad值發(fā)現(xiàn)，去云霧處理后的指標(biāo)都有所提升，但提升幅度不大，說(shuō)明影像質(zhì)量都比原圖好。僅從指標(biāo)來(lái)看，暗通道方法的指標(biāo)最優(yōu)，但從視覺(jué)效果來(lái)看，只是比原圖云霧略好，整體上改變不大。產(chǎn)生這種相反結(jié)論的原因是，該指標(biāo)衡量的是影像的梯度差異，但夜光影像中的梯度信息主要來(lái)自于發(fā)光點(diǎn)的邊緣，如果云霧去除不好，會(huì)把一些非光源信息作為影像的邊緣信息計(jì)算，從而出現(xiàn)指標(biāo)提升但是視覺(jué)效果不佳的結(jié)果，因此該指標(biāo)不適合夜光圖像的評(píng)價(jià)。對(duì)比表4的3 dB指標(biāo)，可以看出雙三次插值方法、自相似方法和ESRGAN方法處理后影像的平均3 dB值都比原影像的值小，說(shuō)明處理后的影像的空間分辨率都有所提高，影像質(zhì)量有所改善；ESRGAN方法的3 dB值最大，說(shuō)明處理效果最差。以上主觀和客觀的分析說(shuō)明本文方法處理后的光源信息比原圖更清晰，光源更聚攏、界限更明顯，評(píng)價(jià)指標(biāo)也最優(yōu)。說(shuō)明本文方法在去輝光、去云霧，提高影像分辨率方面有效，可以提高夜光影像的質(zhì)量。

表3 試驗(yàn)區(qū)域1去云霧質(zhì)量評(píng)價(jià)指標(biāo)對(duì)比

表4 試驗(yàn)區(qū)域超分重建質(zhì)量評(píng)價(jià)指標(biāo)對(duì)比

為了驗(yàn)證本文損失函數(shù)的作用，以超分辨率網(wǎng)絡(luò)為例，采用控制變量方法進(jìn)行測(cè)試。測(cè)試中只改變本文超分重建網(wǎng)絡(luò)中的損失函數(shù)(即比值約束的損失函數(shù)和L2損失函數(shù))，原始網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù)等變量相同，網(wǎng)絡(luò)主體RRDB模塊數(shù)量設(shè)置為6，在上述條件下進(jìn)行對(duì)比試驗(yàn)。訓(xùn)練過(guò)程中監(jiān)測(cè)PSNR值并繪制曲線圖，如圖22所示。使用本文網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)可以有效提高網(wǎng)絡(luò)收斂速度，在訓(xùn)練大約3.5k epoch即可收斂，訓(xùn)練過(guò)程更穩(wěn)定，未出現(xiàn)過(guò)擬合現(xiàn)象，訓(xùn)練結(jié)果精度更高，影像質(zhì)量評(píng)價(jià)指標(biāo)提升更快。

圖22 超分重建訓(xùn)練過(guò)程中PSNR值監(jiān)測(cè)曲線對(duì)比

4 結(jié) 論

本文針對(duì)珞珈一號(hào)夜光影像的云霧、輝光、分辨率降低的綜合降質(zhì)問(wèn)題，研究了可解釋性先驗(yàn)引導(dǎo)的多降質(zhì)特征夜光影像質(zhì)量提升方法，提出了基于成像降質(zhì)模型分析的深度學(xué)習(xí)超分辨率重建方法。主要的工作包括：①本文從傳感器成像類(lèi)型、成像中多種降質(zhì)因素方面討論了珞珈一號(hào)夜光影像的降質(zhì)模型公式，發(fā)展了以日間影像為主、僅考慮單一降質(zhì)的問(wèn)題，擴(kuò)寬了夜光影像成像降質(zhì)模型的研究思路；②針對(duì)遙感影像無(wú)法獲得同一傳感器真實(shí)的高、低分影像對(duì)的問(wèn)題，從珞珈一號(hào)夜光影像數(shù)據(jù)集制作入手，結(jié)合成像降質(zhì)模型，設(shè)計(jì)了考慮輝光、云霧模型的數(shù)據(jù)集制作方法，為解決目前缺少夜光影像數(shù)據(jù)集問(wèn)題提供了參考方法；③針對(duì)深度學(xué)習(xí)方法可解釋性差的問(wèn)題，本文在訓(xùn)練網(wǎng)絡(luò)、提升網(wǎng)絡(luò)、損失函數(shù)等方面考慮了夜光影像成像降質(zhì)模型的先驗(yàn)信息，使網(wǎng)絡(luò)更具有可解釋性。而且本文設(shè)計(jì)的深度學(xué)習(xí)網(wǎng)絡(luò)模型復(fù)雜度低，并通過(guò)增加訓(xùn)練數(shù)據(jù)、使用帶有正則化項(xiàng)的損失函數(shù)等方法盡量避免過(guò)擬合現(xiàn)象。用試驗(yàn)驗(yàn)證了本文方法，通過(guò)和傳統(tǒng)方法、深度學(xué)習(xí)方法的對(duì)比可以看出，有先驗(yàn)引導(dǎo)的數(shù)據(jù)集有較好的訓(xùn)練效果，本文方法具備去云霧、去輝光、提升影像分辨率的能力，能夠明顯改善影像的質(zhì)量，為了擴(kuò)展該網(wǎng)絡(luò)的遷移性，后期將會(huì)進(jìn)一步研究其他類(lèi)型的夜光數(shù)據(jù)(如SDGSAT、啟明星等)的質(zhì)量提升，為夜光數(shù)據(jù)的定量反演更提供更高質(zhì)量的數(shù)據(jù)。