王藝儒， 王光輝， 楊化超， 劉慧杰

(1.中國(guó)礦業(yè)大學(xué)環(huán)境與測(cè)繪學(xué)院，徐州 221116； 2.自然資源部國(guó)土衛(wèi)星遙感應(yīng)用中心，北京 100048)

0 引言

遙感技術(shù)自上世紀(jì)中期興起后高速發(fā)展，至今已有眾多新興傳感器投入應(yīng)用，遙感影像數(shù)據(jù)逐漸進(jìn)入“高分時(shí)代”，大量高分?jǐn)?shù)據(jù)為經(jīng)濟(jì)、國(guó)防、生態(tài)等各個(gè)領(lǐng)域提供數(shù)據(jù)支持。在遙感成像過程中，傳感器、拍攝時(shí)間季節(jié)、光照條件、大氣條件等差異都易導(dǎo)致拍攝影像內(nèi)部、影像與影像之間出現(xiàn)亮度不均勻，色彩不一致的現(xiàn)象。這些問題不僅影響目視解譯，更影響后續(xù)生產(chǎn)中影像之間的拼接效果。在實(shí)際生產(chǎn)工作中，生產(chǎn)人員往往需要花費(fèi)大量的時(shí)間精力用于處理影像色彩不一致的問題。

目前國(guó)內(nèi)外對(duì)于單幅影像色彩處理的算法有很多，例如金淑英等[1]利用二階三次多項(xiàng)式擬合的方法通過對(duì)像元進(jìn)行灰度拉伸來(lái)改正海底視頻和影像的亮度不均勻現(xiàn)象； Kim等[2]提出基于小波變換的光照補(bǔ)償方法； Tan[3]提出通過歸一化增強(qiáng)可視性影像，得到亮度均衡的影像； 譚攀等[4]在HIS模型勻光算法基礎(chǔ)上提出一種動(dòng)態(tài)分塊的線性拉伸，改善相鄰影響塊色彩不一致的現(xiàn)象?，F(xiàn)在較常見的影像勻光方法根據(jù)采用模型的不同可歸納為： 加性模型和乘性模型2類[5-6]。加性模型的原理是將遙感影像看作亮度均勻的前景影像與亮度不均的背景影像加和，通過一系列處理將背景影像去除而達(dá)到勻光的效果。這一類算法的重點(diǎn)問題是確定背景影像，背景影像的好壞很大程度上決定了勻光的效果[6-7]。確定背景影像的方法大體上有2類，第一類是通過數(shù)學(xué)模型來(lái)模擬原片[8]，ERDAS Imagine的色彩平衡功能提供了4種數(shù)學(xué)模型模擬影像亮度變化[9-11]，李治江[12]和Stumpfel等[13]各提出了一種基于局部均值的自適應(yīng)勻光模板； 第二類是基于信號(hào)處理來(lái)確定背景影像，王密等[10]提出了基于MASK差值勻光法，張振等[14]提出了反差一致性MASK勻光算法。乘性模型勻光算法將不均勻的影像看成是景物受到的照度和景物反射率的乘積[15]。例如Orsini等[16]和Lam[17]采用Retinex方法處理亮度和反差不均勻的影像; Nnolim等[18]和Seow等[19]采用同態(tài)濾波的方法增強(qiáng)影像高頻信息達(dá)到勻光的目的。

盡管國(guó)內(nèi)外學(xué)者已經(jīng)提出大量圖像勻色方法，但主要為通過人工方式，借助圖像處理軟件進(jìn)行調(diào)節(jié)影像色彩。這種利用人工調(diào)色的方法容易受到主觀因素影像，并且在實(shí)際生產(chǎn)過程中耗時(shí)耗力。隨著影像分辨率的逐漸提高，數(shù)據(jù)量呈幾何級(jí)數(shù)增長(zhǎng)，人工調(diào)色難以快速、準(zhǔn)確完成大量數(shù)據(jù)的調(diào)色需求?；谏疃葘W(xué)習(xí)方法的生成對(duì)抗網(wǎng)絡(luò)可作為遙感影像勻色的處理手段，與傳統(tǒng)算法相比，采用圖像色彩風(fēng)格遷移的方法改正影像色彩只需要在訓(xùn)練階段輸入?yún)⒖加跋?，在色彩校正中不依賴色彩底圖，應(yīng)用場(chǎng)景更加廣泛，校正過程更加省時(shí)省力。目前已有學(xué)者嘗試基于生成對(duì)抗網(wǎng)絡(luò)的影像分類、影像增強(qiáng)、影像去云霧和影像修補(bǔ)等。如Xue[20]采用一種半監(jiān)督的卷積生成對(duì)抗網(wǎng)絡(luò)對(duì)高光譜影像進(jìn)行分類信息提取； 李雪等[21]采用注意力引導(dǎo)的色彩一致生成對(duì)抗網(wǎng)絡(luò)進(jìn)行建筑物語(yǔ)義分割； 王照乾等[22]通過DenseNet生成對(duì)抗網(wǎng)絡(luò)增強(qiáng)低照度圖像; Lyu等[23]通過對(duì)抗性訓(xùn)練，對(duì)遙感影像進(jìn)行增強(qiáng)； 何鎏一[24]和Hu等[25]分別利用條件生成對(duì)抗網(wǎng)絡(luò)和改進(jìn)的循環(huán)一致生成網(wǎng)絡(luò)來(lái)對(duì)影像進(jìn)行去霧操作； 冀儉儉[26]提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的分級(jí)聯(lián)合圖像補(bǔ)全方法； 鄭凱等[27]通過DCLS生成對(duì)抗網(wǎng)絡(luò)去除高原地區(qū)衛(wèi)星影像云霧。其中國(guó)內(nèi)學(xué)者李雪在建筑物語(yǔ)義分割前利用生成對(duì)抗網(wǎng)絡(luò)方法進(jìn)行了一定的色彩校正。與其他生成對(duì)抗網(wǎng)絡(luò)相比，循環(huán)一致生成對(duì)抗網(wǎng)絡(luò)(cycle generative adversarial networks, CycleGAN)的環(huán)形結(jié)構(gòu)能夠有效將2類數(shù)據(jù)相互轉(zhuǎn)換，不僅保證了能夠?qū)崿F(xiàn)非成對(duì)影像的互相轉(zhuǎn)換，更能有效地限制生成器函數(shù)，使其更能向其有效方向繼續(xù)迭代訓(xùn)練。

本文針對(duì)地物復(fù)雜的城區(qū)影像，首次提出一種無(wú)監(jiān)督的自動(dòng)勻色算法——加入通道注意力機(jī)制的循環(huán)一致生成對(duì)抗色彩網(wǎng)絡(luò)(channel attention-CycleGAN, CA-CycleGAN)，以期能夠無(wú)監(jiān)督地自動(dòng)進(jìn)行影像色彩改正，從而高效解決大量遙感影像色彩調(diào)整的問題。

1 研究方法

1.1 CA-CycleGAN

與CycleGAN一致，注意力引導(dǎo)的循環(huán)一致生成對(duì)抗網(wǎng)絡(luò)仍然具有2對(duì)呈現(xiàn)環(huán)形閉合的生成器與鑒別器[28](圖1)。第一階段待校正影像x通過生成器Gy轉(zhuǎn)化為校正影像Gy(x)，此時(shí)鑒別器Dy對(duì)校正影像Gy(x)進(jìn)行鑒別，生成器Gy與鑒別器Dy為一對(duì)對(duì)抗，通過互相對(duì)抗學(xué)習(xí)提高生成器Gy的生成水平和鑒別器Dy的鑒定水平。第二階段通過生成器Fx生成影像Fx[Gy(x)]，待校正影像x與循環(huán)生成影像Fx[Gy(x)]之間計(jì)算影像的循環(huán)一致?lián)p失。第一階段同時(shí)模板影像y也會(huì)通過生成器Fx轉(zhuǎn)化為影像待校正影像域的影像Fx(y)，此時(shí)鑒別器Dx對(duì)影像Fx(y)進(jìn)行鑒別，生成器Fx與鑒別器Dx為另一對(duì)對(duì)抗，通過互相對(duì)抗學(xué)習(xí)提高生成器Fx的生成水平和鑒別器Dx的鑒定水平。并在第二階段繼續(xù)通過生成器Gy生成循環(huán)影像Gy[Fx(y)]，同樣的模板影像y與循環(huán)影像Gy[Fx(y)]之間將計(jì)算循環(huán)一致?lián)p失來(lái)控制生成和鑒別函數(shù)的學(xué)習(xí)。

圖1 注意力引導(dǎo)的CycleGAN原理圖Fig.1 Schematic diagram of attention guided CycleGAN

1.2 通道注意力

為了使網(wǎng)絡(luò)能夠更清晰地理解影像中哪部分信息更重要，在生成器中加入如圖2所示的通道注意力網(wǎng)絡(luò)，其中Conv表示卷積層，ReLU表示ReLU激活函數(shù)。為了有效計(jì)算各通道權(quán)重，需要對(duì)輸入的特征圖空間維度進(jìn)行壓縮，同時(shí)采用平均池化和最大池化可以在對(duì)空間信息整合的同時(shí)收集到獨(dú)特的影像特征。同時(shí)由于通道注意力網(wǎng)絡(luò)簡(jiǎn)單，能夠在較少增加網(wǎng)絡(luò)復(fù)雜度的同時(shí)取得較好的優(yōu)化效果，減少訓(xùn)練的時(shí)間復(fù)雜度。

圖2 通道注意力結(jié)構(gòu)Fig.2 Structure of channel attention

1.3 生成器與鑒別器

如圖3所示，生成器主要由編碼器、注意力機(jī)制、殘差塊和解碼器構(gòu)成，其中編碼器由3層卷積網(wǎng)絡(luò)構(gòu)成，Norm為標(biāo)準(zhǔn)化層，ReLU為激活函數(shù)，注意力采用上文介紹的通道注意力。由于本文測(cè)試集影像大小為256像素×256像素，殘差塊一共選用9個(gè)。解碼器采用反卷積和卷積，將影像輸出為與輸入通道相同的RGB模式256像素×256像素大小的影像。最后一層激活函數(shù)為Tanh，鑒別器網(wǎng)絡(luò)采用的是5層網(wǎng)絡(luò)，將輸入影像通道數(shù)減小，最后再進(jìn)行平均池化提取影像特征，鑒別器中的激活函數(shù)為L(zhǎng)eaky ReLU。

圖3 生成器和鑒別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of generator and discriminator

1.4 損失函數(shù)

1)對(duì)抗損失函數(shù)。X→Y與Y→X的對(duì)抗損失分別為：

LGAN(G,DY,X,Y)=Ey～pdata(y)[lnDY(y)]+Ex～pdata(x){ln (1-DY[G(x)]}，

(1)

LGAN(F,DX,Y,X)=Ex～pdata(x)[lnDX(x)]+Ey～pdata(y){ln[1-DX(F(y)]}，

(2)

式中：X為樣本數(shù)據(jù)集；Y為參考影像域數(shù)據(jù)集；x～pdata(x)表示樣本數(shù)據(jù)集中的樣本數(shù)據(jù)x服從樣本數(shù)據(jù)集的數(shù)據(jù)分布pdata(x)；y～pdata(y)表示參考影像域數(shù)據(jù)集中的參考影像域數(shù)據(jù)y服從參考影像域數(shù)據(jù)集的數(shù)據(jù)分布pdata(y)；X→Y表示從X到Y(jié)的生成對(duì)抗過程； 在這個(gè)過程中，G生成與參考影像域Y相似色彩的圖像G(x)，而DY則區(qū)分生成的G(x)真實(shí)參考色彩樣本y，因此G的目標(biāo)是將函數(shù)LGAN(G,DY,X,Y)最小化，D的目標(biāo)則是使函數(shù)LGAN(G,DY,X,Y)最大化，即minGmaxDyLGAN(G,DY,X,Y)。

循環(huán)一致生成函數(shù)中同樣存在類似的F(y)函數(shù)，因此對(duì)于y向x生成的過程存在相同原理的對(duì)抗損失函數(shù)。其中F的目標(biāo)是將函數(shù)LGAN(F,DX,Y,X)最小化，Dx則使函數(shù)LGAN(F,DX,Y,X)最大化，即minFmaxDxLGAN(G,DY,Y,X)。

2)循環(huán)一致性損失函數(shù)。計(jì)算公式為：

Lcyc(G,F)=Ex～pdata(x){‖F(xiàn)[G(x)]-x‖1}+Ey～pdata(y){‖G[F(y)]-y‖1}。

(3)

由于CycleGAN采用的訓(xùn)練方式是無(wú)監(jiān)督訓(xùn)練模式，并且輸入樣本并需要一一對(duì)應(yīng)，因此能夠?qū)映射到y(tǒng)的函數(shù)G(x)和能夠?qū)映射到x的函數(shù)F(y)存在相當(dāng)多種。循環(huán)一致性損失函數(shù)的意義在于減少映射函數(shù)的其他可能性，控制映射函數(shù)是循環(huán)一致的，確保訓(xùn)練得到的映射函數(shù)G(x)和F(y)不至于太離譜，生成器和鑒別器能夠在后續(xù)訓(xùn)練中得到更好的優(yōu)化。如上述公式所述，對(duì)于從x生成G(x)并進(jìn)一步生成F[G(x)]的過程，盡可能控制x與F[G(x)]相差不大，約束F[G(x)]與x的L1范數(shù)，即‖F(xiàn)[G(x)]-x‖。同樣地，對(duì)于y生成F(y)并進(jìn)一步生成G[F(y)]的過程，盡可能使得y與G(F(y))相差不大，從而約束生成函數(shù)G(x)和F(y)，使生成的影像與原影像差別較小。2部分循環(huán)一致性損失匯總則形成影像色彩校正網(wǎng)絡(luò)的循環(huán)一致性損失函數(shù)值。

3)損失匯總。計(jì)算公式為：

L(G,F,DX,Dy)=LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)。

(4)

將式(1)和式(2)中的對(duì)抗損失函數(shù)和式(3)中的循環(huán)一致性損失函數(shù)按一定權(quán)重結(jié)合起來(lái)，就能夠?qū)崿F(xiàn)非成對(duì)影像的互相轉(zhuǎn)換。其中λ是循環(huán)一致性損失的縮放系數(shù)，是一個(gè)超參數(shù)，用來(lái)控制對(duì)抗損失和循環(huán)一致性損失的比重。由于損失函數(shù)構(gòu)成的特殊性，因此訓(xùn)練過程中的損失只能一定程度準(zhǔn)確反映訓(xùn)練的好壞，也只能大致反映訓(xùn)練進(jìn)度和訓(xùn)練結(jié)果的好壞，因此訓(xùn)練的優(yōu)劣主要需要通過訓(xùn)練成果圖來(lái)反饋，損失函數(shù)圖作為輔助參考。

2 基于CA-CycleGAN的影像色彩校正實(shí)驗(yàn)和分析

2.1 研究數(shù)據(jù)

本文研究區(qū)域?yàn)楹鲜￠L(zhǎng)沙市部分地區(qū)，主要典型地物為房屋、道路、城區(qū)內(nèi)綠化區(qū)和未綠化的裸土地等，影像數(shù)據(jù)選取高分二號(hào)(GF-2)2016年3月B3(R)，B2(G)，B1(B)合成彩色影像數(shù)據(jù)。研究中的色彩參考影像由原始數(shù)據(jù)經(jīng)過直方圖拉伸和Photoshop軟件人工處理得到。將原始影像和色彩參考影像切割成256像素×256像素大小，并轉(zhuǎn)為JPG數(shù)據(jù)，為訓(xùn)練做準(zhǔn)備。訓(xùn)練樣本中原始影像和色彩參考影像共計(jì)1 600×2張。驗(yàn)證數(shù)據(jù)集為遙感影像原始數(shù)據(jù)，共計(jì)12 800張。

2.2 實(shí)驗(yàn)和分析

訓(xùn)練集一共包含3 200張影像，分為待校正影像集和色彩參考集各1 600張，影像大小為256像素×256像素； 訓(xùn)練使用PyTorch1.4.0框架搭建深度學(xué)習(xí)框架。分別使用CycleGAN無(wú)監(jiān)督和CA-CycleGAN對(duì)訓(xùn)練集影像進(jìn)行訓(xùn)練，對(duì)比加入注意力機(jī)制后網(wǎng)絡(luò)的改進(jìn)效果。訓(xùn)練時(shí)不將訓(xùn)練集進(jìn)行色彩偏移或隨機(jī)翻轉(zhuǎn)，為了提高網(wǎng)絡(luò)的特征學(xué)習(xí)能力，無(wú)監(jiān)督訓(xùn)練進(jìn)行了200輪。經(jīng)過測(cè)試，前100輪固定學(xué)習(xí)率為0.000 2，后100輪將學(xué)習(xí)率線性衰減到0，效果較好。為了驗(yàn)證本文方法的優(yōu)越性，訓(xùn)練過程結(jié)束后，分別保存處理模型，并使用模型對(duì)待校正影像集和驗(yàn)證數(shù)據(jù)集分別進(jìn)行影像校正，便于對(duì)比影像校正前和通過不同方法校正后的結(jié)果。不同方法色彩校正結(jié)果對(duì)比如表1所示。

表1 小區(qū)域內(nèi)影像色彩校正效果對(duì)比Tab.1 Comparison of images color correction effect in small area

如表1所示，無(wú)論是CycleGAN還是CA-CycleGAN在小區(qū)域內(nèi)對(duì)影像的明暗度和色彩都有較好的改正，但可以看出經(jīng)過CycleGAN校正的影像色彩較為分明，無(wú)論是植被還是黃土都明顯有自己獨(dú)特的顏色風(fēng)格，并且建筑部分有稍微偏綠的情況。而CA-CycleGAN對(duì)影像色彩的校正上則有統(tǒng)一的顏色風(fēng)格，整體較為協(xié)調(diào)。因?yàn)椴罹噍^小，在小范圍上無(wú)太大影響，然而當(dāng)小區(qū)域影像拼接為一幅大區(qū)域影像的時(shí)候，CA-CycleGAN整體一致的色彩風(fēng)格使得影像更加協(xié)調(diào)統(tǒng)一，拼接痕跡較為不明顯。

圖4為不同方法色彩校正后拼接效果示例。由圖4可以看出，影像1中的橫向道路在經(jīng)過CycleGAN色彩校正后，道路兩側(cè)由于在勻色過程中被切割成2個(gè)小幅影像而產(chǎn)生色差，拼接線明顯，而通過CA-CycleGAN色彩校正后，幾乎不可見道路兩側(cè)的拼接痕跡； 影像2中的縱向道路與第一景影像情況類似，同樣在通過CA-CycleGAN色彩校正后，拼接痕跡幾乎不可見，達(dá)到較為完美的拼接情況。影像3中的紅色房子在經(jīng)過CycleGAN的色彩校正后左右2部分紅色明暗不同，而CA-CycleGAN可以完美地將紅色房子的左右兩側(cè)調(diào)整為相同的色彩，僅表現(xiàn)為輕微拼接痕跡。影像4表示CycleGAN在處理較為空曠的地帶色彩校正上效果并不穩(wěn)定，也易出現(xiàn)明顯色彩差異，導(dǎo)致拼接后影像有明顯塊狀區(qū)域，而本文采用的CA-CycleGAN可以在一定程度上解決這一問題，使得影像不被分割的太明顯。

圖4 不同方法色彩校正后拼接效果

圖5為2種方法色彩校正的損失函數(shù)，其中D_A表示循環(huán)正向過程時(shí)的鑒別器損失值，G_A表示循環(huán)正向過程時(shí)的生成器損失值，cycle_A表示循環(huán)正向過程時(shí)文中式(3)中的循環(huán)損失，idt_A表示循環(huán)正向過程時(shí)文中式(1)中的對(duì)抗損失，D_B表示循環(huán)反向過程時(shí)的鑒別器損失值，G_B表示循環(huán)反向過程時(shí)的生成器損失值，cycle_B表示循環(huán)反向過程時(shí)文中式(3)中的循環(huán)損失，idt_B表示循環(huán)反向過程時(shí)文中式(1)中的對(duì)抗損失。

不僅在色彩調(diào)整效果上能直觀地看出CA-CycleGAN的效果比CycleGAN優(yōu)異，根據(jù)圖5的損失函數(shù)同樣可以看出本文采用的CA-CycleGAN方法的損失函數(shù)收斂速度更快，整體收斂效果也更好。通過表2可以看出，CA-CycleGAN在訓(xùn)練的最后一次迭代循環(huán)結(jié)果中，正向訓(xùn)練和逆向訓(xùn)練的生成器損失值(G_A與G_B)、逆向訓(xùn)練的鑒別器損失值(D_B)、正向訓(xùn)練和逆向訓(xùn)練的循環(huán)一致?lián)p失值(cycle_A與cycle_B)以及正向訓(xùn)練和逆向訓(xùn)練的單張影像總損失值(idt_A與idt_B)均小于CycleGAN方法的相應(yīng)損失值，僅在正向訓(xùn)練的鑒別器損失值(D_A)這一項(xiàng)略大于CycleGAN的鑒別器損失值。由此也可認(rèn)為本文采用的CA-CycleGAN色彩校正方法在影像色彩校正方向?qū)ycleGAN方法有一定的改良。

表2 最后一個(gè)循環(huán)時(shí)不同色彩校正方法的損失值Tab.2 Loss value of different color correction methods in the last cycle

圖6為使用本文方法進(jìn)行色彩校正的驗(yàn)證數(shù)據(jù)集中部分影像，可以看出對(duì)于城區(qū)影像色彩校正效果較好，影像整體色彩鮮明，便于遙感影像的下一步加工和應(yīng)用。本文方法不僅效果優(yōu)秀，還大大提高了遙感影像色彩校正的效率，經(jīng)過測(cè)試，對(duì)于單張256像素×256像素大小的影像數(shù)據(jù)，每分鐘可完成約1 000景影像的色彩校正，對(duì)于整景空間分辨率約0.8 m，覆蓋面積約800 km2的GF-2數(shù)據(jù)，每景影像的切割、色彩校正、拼接整體操作時(shí)間在5 min以內(nèi)，有效節(jié)約了影像色彩校正的人力成本和時(shí)間成本。

3 結(jié)論

本研究以長(zhǎng)沙市城區(qū)GF-2衛(wèi)星數(shù)據(jù)為例，提出了一種新的基于生成對(duì)抗網(wǎng)絡(luò)的CA-CycleGAN影像色彩校正方法。

通過在原始CycleGAN的基礎(chǔ)上加入通道注意力機(jī)制，構(gòu)成引入注意力的ResNet結(jié)構(gòu)的生成器，而鑒別器則采用pix2pix中的PatchGANs結(jié)構(gòu)，生成器與鑒別器之間采用對(duì)抗損失和循環(huán)一致性損失進(jìn)行約束，在處理GF-2城區(qū)影像色彩校正中取得較好的成果。

實(shí)驗(yàn)結(jié)果表明，相比于傳統(tǒng)的需要人工操作的勻色方法，本文實(shí)現(xiàn)了遙感影像色彩校正的自動(dòng)化，可以大批量進(jìn)行影像勻色，節(jié)約人力資源。并且通過根據(jù)影像參考的季節(jié)和地物類型，可分別訓(xùn)練不同季節(jié)、不同區(qū)域的勻色模型。通過已經(jīng)訓(xùn)練好的模型進(jìn)行色彩校正時(shí)，對(duì)于切割好的256像素×256像素大小影像速度可以達(dá)到每分鐘1 000景以上，每景GF-2影像的切割、色彩校正和拼接操作總時(shí)間小于5 min，大大節(jié)省了影像色彩校正時(shí)間。

本研究為遙感影像色彩處理方面提出了新的思路和方法，并對(duì)于影像去云霧、影像增強(qiáng)等方面也有一定的啟發(fā)作用。本文所提出的影像色彩校正算法還有進(jìn)一步的改進(jìn)空間，所訓(xùn)練的模型僅使用于部分城區(qū)，下一步將其他季節(jié)以及其他地物類型分別訓(xùn)練不同模型，測(cè)試在不同氣候、不同地區(qū)的情況下本方法的普適性，以及通過更好的色彩模板訓(xùn)練的情況下對(duì)本文方法的改進(jìn)。