王 睿，黃 微，胡南強(qiáng)

（上海大學(xué)通信與信息工程學(xué)院，上海 200444）

（*通信作者電子郵箱wr17721415@163.com）

0 引言

光學(xué)遙感影像在變化檢測、地物分類、環(huán)境監(jiān)測等領(lǐng)域有著非常廣泛的應(yīng)用。遙感數(shù)據(jù)在成像時，難免會受到云層的影響。云層覆蓋區(qū)域信息的缺失造成影像質(zhì)量的退化，降低了遙感影像的利用率。因此，對遙感影像進(jìn)行去云處理，獲取清晰的無云影像，具有非常重要的價值。

針對遙感影像中云層覆蓋的問題，國內(nèi)外的學(xué)者和研究人員提出了大量的去除厚云的算法。這些算法大致可以分為3 類［1］：基于圖像修復(fù)法、基于多光譜法和基于多時相法?；趫D像修復(fù)的算法通過利用無云區(qū)域的信息重建云和云陰影覆蓋區(qū)域的像素，得到在視覺上令人滿意的去云效果，主要通過小波變換［2-3］、支持向量機(jī)［4-5］、相似像元替換［6］等方法。由于缺乏充分的輔助信息，易受到圖像缺失尺寸大小的影響，當(dāng)缺失面積較大時，這類方法無法有效地恢復(fù)地物信息。基于多光譜的算法通過不同波段數(shù)據(jù)之間的關(guān)聯(lián)信息對數(shù)據(jù)進(jìn)行恢復(fù)。Xu 等［7］利用Landsat8 影像的可見光波段與第9 波段和與近紅外波段的相關(guān)性進(jìn)行去云。Modis 第6 波段通常是不可用的或帶有很多噪聲，研究人員利用其他波段數(shù)據(jù)與第6波段數(shù)據(jù)的相關(guān)性建立函數(shù)模型進(jìn)行信息重建［8-9］。隨著遙感技術(shù)的發(fā)展，獲取同一區(qū)域的多時相遙感影像成為可能。基于多時相的去云算法是利用其他時相的影像數(shù)據(jù)作為輔助信息，對大面積厚云覆蓋的區(qū)域進(jìn)行信息重建［10］。胡志勇等［11］通過線性回歸分析減輕多時相影像之間的光譜差異并增強(qiáng)時相相關(guān)性，最后利用影像自身信息進(jìn)行插值修復(fù)云污染區(qū)域信息。Zeng 等［12］基于線性回歸模型分析多時相數(shù)據(jù)間的線性關(guān)系，以其他時相的圖像為參考信息，通過影像間的線性關(guān)系估計像素缺失區(qū)域的信息并進(jìn)行替換，最后利用非參考的正則化算法對重建結(jié)果進(jìn)行優(yōu)化。Cheng 等［13］基于時空馬爾可夫隨機(jī)場（Markov Random Field，MRF）模型替換待恢復(fù)影像的缺失像素。Tierney 等［14］基于全變分模型提出了選擇多源全變分圖像重建（Selective Multi-source Total Variation image restoration，SMTV）算法，將多張含噪或局部信息缺失的圖像融合成清晰影像。

雖然現(xiàn)有的算法能夠獲得較理想的厚云去除結(jié)果，但是當(dāng)獲取季節(jié)和大氣條件不同時，多時相遙感圖像存在亮度差異，因此基于多時相影像的厚云去除算法對圖像具有較苛刻的時間或季節(jié)限制，造成這類算法難以實用。為了解決上述問題，本文提出了一種基于全變分模型的多時相遙感影像厚云去除算法。首先，對多時相遙感圖像進(jìn)行亮度校正；然后利用選擇多源全變分圖像重建算法對亮度校正后的多時相圖像進(jìn)行重建；最后，對重建圖像局部區(qū)域利用泊松（Poisson）編輯進(jìn)行優(yōu)化，得到最終去云結(jié)果。實驗結(jié)果表明，本文算法能夠有效解決亮度信息不一致和邊界問題。

1 選擇多源全變分圖像重建

全變分模型具有非光滑性和不可微分的優(yōu)點［15］，在圖像恢復(fù)領(lǐng)域有許多的應(yīng)用。假設(shè)待重建圖像的成像模型如下：

其中：A、N、I分別表示原始圖像、高斯噪聲和待重建圖像；P表示如模糊等過程的線性算子。

為了恢復(fù)圖像A，使用下面的凸目標(biāo)方程：

其中：A(i，：)是原始圖像A的第i行像素；TV(A(i，：))為離散全變分；Blh為邊界條件。

全變分變換可以分為兩種類型：各向同性和各向異性。各向同性的全變分變換定義為：

各向異性的全部變分變換定義為：

其中：bx，y是圖像b在(x，y)處的像素值。當(dāng)x=m+1 和y=n+1時，超出了圖像的邊界，故全變分變換存在下面的邊界條件：

各向異性全變分變換與各向同性全變分變換相比，重建圖像具有更好的恢復(fù)質(zhì)量，故在求解方程時，采用各向異性全變分變換。全變分圖像重建算法能夠?qū)Σ糠中畔G失的影像進(jìn)行恢復(fù)，但是當(dāng)局部信息完全丟失時便無法適用。當(dāng)信息完全丟失時，需要借助其他輔助圖像信息進(jìn)行重建。文獻(xiàn)［14］提出的選擇多源全變分圖像重建算法利用多幅圖像的數(shù)據(jù)信息互補(bǔ)進(jìn)行圖像重建，能夠有效解決這個問題。式（2）變?yōu)椋?/p>

其中：Ii為第i幅待重建圖像；Di為Ii的已知損壞像素的對角矩陣，對角矩陣的值為0 和wi，wi是分配給該圖像的權(quán)重，一般可設(shè)為1。通過Di可以主動選擇需要忽略的損壞或不需要的像素點，并且同時考慮了多幅影像間的相互影像，甚至是每個像素點的相互影像。對式（8）進(jìn)行求解，便可以得到重建結(jié)果。

SMTV 算法對多時相遙感影像的去云結(jié)果如圖1 所示。圖1（a）、圖1（b）、圖1（c）為不同時間段獲取的局部厚云覆蓋的遙感影像，它們的厚云覆蓋區(qū)域位置和大小不同，無云區(qū)域的亮度信息基本相同，重建結(jié)果如圖1（d）所示，重建圖像質(zhì)量很好。圖1（e）、圖1（f）、圖1（g）為另一組遙感影像，與第一組不同，它們的無云區(qū)域的亮度差異較大，導(dǎo)致重建圖像的質(zhì)量急劇退化，存在區(qū)域亮度不一致和明顯的邊界問題（如圖1（h）所示）。

圖1 SMTV算法去云結(jié)果Fig.1 Cloud removal results of SMTV algorithm

2 本文算法

針對上述亮度差異造成的區(qū)域亮度不一致和明顯邊界問題，本文對多時相圖像進(jìn)行亮度校正預(yù)處理，并利用泊松圖像編輯對經(jīng)選擇多源全變分重建算法處理后的結(jié)果中亮度不一致區(qū)域進(jìn)行優(yōu)化，有效改善了重建圖像質(zhì)量。下面從亮度校正和泊松圖像編輯兩個部分詳細(xì)介紹本文算法。

2.1 亮度校正

雖然多時相遙感影像的厚云覆蓋區(qū)域的位置和大小不同，但是它們的無云區(qū)域存在共同區(qū)域，可以利用該區(qū)域的亮度之間的關(guān)系對圖像亮度進(jìn)行校正。本文利用掩膜函數(shù)算法（Function of mask，F(xiàn)mask）［16］對厚云進(jìn)行檢測，將厚云覆蓋區(qū)域記為0，無云區(qū)域記為1，得到厚云分布掩膜。共同區(qū)域的像素集為：

其中：x代表像素坐標(biāo)位置；P1是一幅遙感影像的無云區(qū)域像素集；P2是另一幅影像的無云區(qū)域像素集；Pf為共同遮擋的像素集。

完全無云的圖像可以保證與同組的所有圖像存在共同區(qū)域，以該無云影像的亮度為標(biāo)準(zhǔn)亮度，可以完成同組其他圖像亮度的校正，使其盡可能與標(biāo)準(zhǔn)亮度相近，從而減小多時相影像間的亮度差異；但是遙感衛(wèi)星在獲取數(shù)據(jù)時無法避免地會受到云層的影響，所以該方法存在很大局限性。為了解決多幅有云遙感影像的亮度校正問題，提出了以校正系數(shù)為基準(zhǔn)的動態(tài)校正方法。本文選取同組無云覆蓋區(qū)域面積最大的圖像的亮度作為標(biāo)準(zhǔn)亮度，其他圖像以此亮度為亮度標(biāo)準(zhǔn)進(jìn)行校正。校正系數(shù)定義為圖像與標(biāo)準(zhǔn)亮度圖像在共同區(qū)域像素集的比值：

其中：N為像素集的大??；V和Vs分別為該圖像與標(biāo)準(zhǔn)圖像。當(dāng)輸入圖像與標(biāo)準(zhǔn)圖像存在共同區(qū)域時，通過式（12）計算校正系數(shù)。當(dāng)輸入圖像與標(biāo)準(zhǔn)圖像不存在共同區(qū)域時，選取已計算得到校正系數(shù)的圖像作為參考標(biāo)準(zhǔn)進(jìn)行計算：

其中：kr為參考校正系數(shù)；Vr為參考圖像。

計算得到校正系數(shù)，對圖像的亮度進(jìn)行校正：

本文對多時相遙感影像的各個波段進(jìn)行亮度校正后，基于選擇全變分模型進(jìn)行重建，得到初始的重建圖像。

2.2 泊松圖像編輯

亮度校正有效改善了重建圖像中亮度信息不一致問題，但是當(dāng)無云區(qū)域僅存在一幅遙感影像中時，根據(jù)式（8），重建圖像的亮度會盡量與該圖像保持一致，從而造成局部區(qū)域亮度不一致。因此本文利用泊松編輯對存在這一問題的重建圖像區(qū)域進(jìn)行了優(yōu)化。泊松圖像編輯算法能夠根據(jù)所指定的邊界條件，求解泊松方程，實現(xiàn)重建圖像邊界梯度上的連續(xù)［17］。

根據(jù)泊松圖像編輯的思想，對重建圖像的局部區(qū)域進(jìn)行優(yōu)化。首先，獲取每幅圖像的掩膜信息，云層覆蓋區(qū)域記為0，無云區(qū)域記為1。對掩膜的數(shù)值進(jìn)行計數(shù)，統(tǒng)計同組多時相遙感影像中僅出現(xiàn)過一次的區(qū)域：

其中：x為像素點坐標(biāo)位置；Mi為第i張圖像的掩膜；N為多時相遙感影像的數(shù)量。M中數(shù)值為1 處即為所有圖像中僅出現(xiàn)一次的區(qū)域，如圖2 所示。圖2（a）、圖2（b）、圖2（c）為每幅圖像的掩膜，圖2（d）為僅出現(xiàn)過一次的區(qū)域。

圖2 僅出現(xiàn)一次區(qū)域計算結(jié)果Fig.2 Calculation results of areas only appearing once

泊松編輯需要輸入編輯區(qū)域的邊界。已知待編輯的區(qū)域為G，該區(qū)域的邊界可以通過式（16）計算：

其中：G1為膨脹處理結(jié)果（如圖3（a））；G2為腐蝕處理結(jié)果（如圖3（b））；C為獲得的編輯區(qū)域的邊界（如圖3（c））。

圖3 本文算法的各步驟處理結(jié)果Fig.3 Results of each step of proposed algorithm

邊界的外部圖像的目的區(qū)域、內(nèi)部的待編輯的圖像區(qū)域、區(qū)域邊界構(gòu)成了泊松圖像編輯模型的要素。以重建圖像、區(qū)域邊界作為輸入，得到最終優(yōu)化結(jié)果。圖3（d）、圖3（e）、圖3（f）分別為待優(yōu)化圖像、亮度校正結(jié)果、本文算法最終結(jié)果。由圖3 可以看出，本文提出的算法有效地解決了重建圖像中存在的區(qū)域亮度信息不一致和邊界問題。

3 實驗與結(jié)果分析

本文選取了四組不同具有代表性地理特征的遙感圖像進(jìn)行實驗，其中：圖4、圖5和圖7為landsat8數(shù)據(jù)，圖6為landsat7衛(wèi)星數(shù)據(jù)，影像大小均為400×400。為了驗證本文算法的有效性，將其與SMTV 算法和文獻(xiàn)［11］算法對于四組遙感圖像的去云結(jié)果進(jìn)行了比較，如圖4～7 所示。實驗軟件為Matlab R2018a，計算機(jī)配置如下：處理器為Intel Core i3-2384M @2.30 GHz，RAM為8 GB，系統(tǒng)為64位Windows 10家庭版。

第一組多時相遙感影像為山區(qū)圖像，包含大量植被和裸土，數(shù)據(jù)獲取時間分別為2015 年5 月20 日、2017 年6 月2 日、2017 年5 月17 日，分別如圖4（a）、圖4（b）和圖4（c）所示。圖4（d）為SMTV 算法去云重建結(jié)果，存在大量因亮度不一致造成的明顯邊界。圖4（e）為文獻(xiàn)［11］算法去云重建結(jié)果，雖然也存在亮度不一致問題，但是重建效果明顯優(yōu)于SMTV 算法。本文算法還原了植被和山地信息，植被色彩真實，山脈的走勢和輪廓細(xì)節(jié)均能較好體現(xiàn)，去云重建結(jié)果最優(yōu)，如圖4（f）所示。

圖4 山區(qū)圖像去云重建結(jié)果Fig.4 Reconstruction results of cloud removal for mountain area images

第二組多時相遙感影像為城市區(qū)域數(shù)據(jù)圖像，包含城區(qū)、河流和綠地，數(shù)據(jù)獲取時間分別為2016年8月21日、2018年8月5 日、2017 年8 月24 日，如圖5（a）、圖5（b）、圖5（c）所示。從圖5 結(jié)果可以看出，當(dāng)云量較少時，每種算法都可以獲得較好的去云重建結(jié)果，但是SMTV 算法和文獻(xiàn)［11］算法在圖像的右上方的河流區(qū)域仍存在少許亮度不一致區(qū)域（如圖5（d）和圖5（e）所示）。圖5（f）為本文算法處理結(jié)果，可以發(fā)現(xiàn)，整個河流區(qū)域的亮度基本保持一致，有效改善了上述問題。

第三組多時相遙感影像為山脈圖像，主要地理特征為山脈和溝壑，數(shù)據(jù)獲取時間分別為2001 年4 月26 日、2002 年8月10 日、2002 年12 月9 日，如圖6（a）、圖6（b）、圖6（c）所示。SMTV 算法結(jié)果中存在明顯亮度差異，如圖6（d）所示；文獻(xiàn)［11］算法重建結(jié)果整體質(zhì)量較好，存在局部過渡不自然的情況，如圖6（e）所示；本文算法處理結(jié)果地物對比度較高，山脈、溝壑之間過渡自然，如圖6（f）所示。

第四組多時相遙感影像為平原田地圖像，包含田地、河流和房屋，數(shù)據(jù)獲取時間分別為2014 年8 月13 日、2013 年8 月16 日、2013 年9 月11 日，如圖7（a）、圖7（b）、圖7（c）所示。SMTV 算法和文獻(xiàn)［11］算法處理結(jié)果中均存在塊狀亮斑，本文算法結(jié)果不存在亮斑問題，并增強(qiáng)了原圖中的地物特征。由以上實驗結(jié)果對比可知，本文的改進(jìn)算法能夠有效消除多時相遙感影像恢復(fù)時亮度差異對去云結(jié)果的影響。

圖5 城市區(qū)域圖像去云重建結(jié)果Fig.5 Reconstruction results of cloud removal for urban area images

為了定量地評估去云圖像質(zhì)量，本文采用標(biāo)準(zhǔn)差（STandard Deviation，STD）作為評估因子。STD 能反映圖像像素值相對于均值的離散程度，標(biāo)準(zhǔn)差越大，表明圖像中灰度級分布越散，圖像質(zhì)量越好［18］。標(biāo)準(zhǔn)差統(tǒng)計結(jié)果如表1所示。

表1 不同算法的標(biāo)準(zhǔn)差統(tǒng)計值對比Tab.1 Comparison of STD statistics of different algorithms

為了定量地評估重建結(jié)果的細(xì)節(jié)反差和紋理變換特征，本文采用平均梯度（Average Gradient，AG）作為評價指標(biāo)。圖像的平均梯度越大，圖像的細(xì)節(jié)反差和紋理變換特征效果越好［18］。平均梯度統(tǒng)計結(jié)果如表2所示。

表2 不同算法的平均梯度統(tǒng)計值對比Tab.2 Comparison of AG statistics of different algorithms

由表1和表2的數(shù)據(jù)可知，三種算法的標(biāo)準(zhǔn)差統(tǒng)計數(shù)據(jù)差異不大。當(dāng)結(jié)果中存在較大亮度差異時，SMTV 算法的標(biāo)準(zhǔn)差最大，這是由于局部過亮造成的，從重建圖像結(jié)果可以發(fā)現(xiàn)，此時圖像視覺效果較差。文獻(xiàn)［11］算法和本文算法的標(biāo)準(zhǔn)差數(shù)據(jù)接近。平均梯度數(shù)據(jù)統(tǒng)計結(jié)果中，本文算法結(jié)果的AG 值是最優(yōu)的，SMTV 算法的AG 值最低。結(jié)合視覺分析和定量分析結(jié)果可知，本文算法不僅有效解決了重建圖像中的亮度不一致和邊界問題，而且有效地提高了圖像的質(zhì)量，增強(qiáng)了圖像的細(xì)節(jié)反差和紋理變換特征。

同時，對算法的復(fù)雜度進(jìn)行分析，分別統(tǒng)計了三種算法對每組圖像的處理時間，算法時間復(fù)雜度統(tǒng)計結(jié)果如表3所示。

表3 時間復(fù)雜度統(tǒng)計分析 單位：sTab.3 Statistical analysis of time complexity unit：s

由表3 數(shù)據(jù)可知，本文算法效率要優(yōu)于文獻(xiàn)［11］算法。與SMTV算法相比，本文算法在SMTV算法的基礎(chǔ)上增加了亮度校正和泊松編輯優(yōu)化部分，耗費時間增加了大約三分之一；但是本文算法以增加算法時間復(fù)雜度為代價，提高了重建圖像的視覺效果，改善了圖像細(xì)節(jié)和紋理變換特征，算法執(zhí)行時間有所增加是可以接受的。

4 結(jié)語

本文提出了一種基于全變分模型的多時相遙感影像厚云去除算法，不僅能夠解決多時相圖像重建后的亮度信息不一致和邊界問題，而且能夠有效提高圖像質(zhì)量，增強(qiáng)圖像的細(xì)節(jié)反差和紋理變換特征。本文算法主要分為三步：首先，對多時相遙感影像進(jìn)行亮度校正；然后，基于全變分模型對校正圖像進(jìn)行重建；最后，對重建圖像的局部區(qū)域進(jìn)行優(yōu)化，得到最終去云結(jié)果。實驗結(jié)果表明，本文提出的算法能夠有效解決亮度不一致和邊界問題。本文算法適用于利用多時相圖像重建一幅無云圖像，如何利用多時相圖像對指定場景進(jìn)行信息重建，提高重建圖像的保真度，同時提高算法效率，將是后續(xù)的研究工作。