陳應(yīng)霞,陳 艷,劉 叢
1. 華東師范大學(xué)計(jì)算機(jī)科學(xué)與軟件工程學(xué)院,上海 200062; 2. 長(zhǎng)江大學(xué)計(jì)算機(jī)科學(xué)學(xué)院,湖北 荊州 434023; 3. 上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院,上海 200082
Pan-sharpening是遙感影像融合技術(shù)中的一個(gè)重要分支,它是將不同來(lái)源同一對(duì)象的影像數(shù)據(jù)采用某種算法將影像中所包含的信息互補(bǔ)的數(shù)據(jù)進(jìn)行有機(jī)結(jié)合產(chǎn)生新影像的技術(shù),該技術(shù)在目標(biāo)識(shí)別、計(jì)算機(jī)視覺(jué)、遙感、軍事及智慧城市等領(lǐng)域有著廣泛的應(yīng)用,是當(dāng)前遙感圖像處理研究的熱點(diǎn)。它可以分為3個(gè)層級(jí):像素級(jí)、特征級(jí)和決策級(jí),其中像素級(jí)是特征級(jí)和決策級(jí)的基礎(chǔ),也是目前主流的Pan-sharpening方法。本文研究的是基于像素級(jí)的Pan-sharpening方法。
目前,像素級(jí)Pan-sharpening方法大致分為3類。第1類是CS方法,也稱之為組件替代法,如亮度-色度-飽和度(IHS)[1]、自適應(yīng)亮度-色度-飽和度(AIHS)[2]、GramSchmidt[3-4]、Brovey[5]等。此類方法能獲得較好的空間信息,但它們通常會(huì)產(chǎn)生光譜失真。第2類是多分辨率分析(MRA)方法[6],如Wavelet[7]和Contourlet[8]等。與第1類方法不同,它是將全色圖像(PAN)的高頻細(xì)節(jié)加入到低空間分辨率的多光譜圖像(LMS)中,同時(shí)對(duì)全色圖像(PAN)進(jìn)行采樣,然后將采樣圖像與相應(yīng)波段的多光譜圖像(MS)進(jìn)行Pan-sharpening。雖然MRA方法能在一定程度上減少光譜失真,但它卻產(chǎn)生了空間退化現(xiàn)象,如混疊效應(yīng)等[9]。第3類是近年來(lái)出現(xiàn)的基于變分的Pan-sharpening方法。該類方法首先建立一個(gè)總的能量泛函,然后對(duì)其進(jìn)行優(yōu)化,其最優(yōu)化結(jié)果即對(duì)應(yīng)著最佳的Pan-sharpening質(zhì)量[10],如P+XS[11]、VWP和AVWP[12]、SRIF[13]、文獻(xiàn)[14]中的變分法等。它是Pan-sharpening領(lǐng)域的一個(gè)重大創(chuàng)新,但也存在一些缺陷,如在總能量函數(shù)優(yōu)化過(guò)程中,其控制系數(shù)無(wú)法自動(dòng)尋優(yōu),以至容易陷入局部最優(yōu),從而可能無(wú)法保證得到全局最優(yōu)解。
為了解決以上問(wèn)題,研究人員將上述Pan-sharpening方法與目前熱門的群體智能優(yōu)化方法相結(jié)合。如文獻(xiàn)[15]提出了基于遺傳算法(GA)的像素級(jí)加權(quán)平均法,他們將遺傳算法和小波變換進(jìn)行結(jié)合,試驗(yàn)結(jié)果表明與不使用遺傳算法的方法相比,使用遺傳算法的融合方法能得到更好的融合質(zhì)量。文獻(xiàn)[16]將亮度-色度-飽和度(IHS)與組合差分進(jìn)化算法(CODE)進(jìn)行結(jié)合,通過(guò)設(shè)置合理的進(jìn)化算子和適應(yīng)度函數(shù),并對(duì)控制參數(shù)進(jìn)行全局自動(dòng)尋優(yōu),從而獲得了最佳的Pan-sharpening效果。從現(xiàn)有的研究成果來(lái)看,目前基于智能優(yōu)化的Pan-sharpening方法大多集中在空間域方面,而基于變換域的研究則相對(duì)較少。基于傳統(tǒng)亮度-色度-飽和度(GIHS)的改進(jìn)方法[2]和文獻(xiàn)[14]中的變分Pan-sharpening以及文獻(xiàn)[16]中的兩個(gè)假設(shè):①Pan-sharpening圖像和原始MS圖像具有相同的光譜信息;②Pan-sharpening圖像與PAN圖像包含的幾何信息保持一致。本文提出了一種基于變換域的自適應(yīng)亮度-色度-飽和度(AIHS)轉(zhuǎn)換和粒子群算法(PSO)相結(jié)合的Pan-sharpening方法,稱之為PAIHS。試驗(yàn)結(jié)果表明,該方法可以獲得優(yōu)化的自動(dòng)控制參數(shù),并在優(yōu)化控制參數(shù)的約束下,利用AIHS轉(zhuǎn)換可以獲得優(yōu)良質(zhì)量的Pan-sharpening圖像。
傳統(tǒng)亮度-色度-飽和度(GIHS)轉(zhuǎn)換方法雖是一種計(jì)算高效且能獲得高空間信息的融合方法,但它并不能很好地獲得高光譜信息且會(huì)出現(xiàn)光譜失真現(xiàn)象,因此在提出方法之前需要做一些相關(guān)的工作以提高融合圖像的保真度。
1.1.1 改進(jìn)自適應(yīng)系數(shù)
M=(M1,M2,…,Mc,…,MC)(c=1,2,…,C),表示多光譜圖像M有C個(gè)波段,Mc是第c個(gè)波段的多光譜圖像,Mc(x,y)是Mc中位置為(x,y)的一個(gè)像素;P表示為全色圖像(PAN);F=(F1,F2,…,Fc,…,FC)由多個(gè)未知的Pan-sharpening圖像組成。
MS圖像M的亮度分量I可以與MS圖像之間建立一個(gè)線性關(guān)系[2,16],這個(gè)關(guān)系描述為
I=∑cαcMc
(1)
式中,當(dāng)多光譜圖像為紅、綠、藍(lán)(RGB)三色時(shí),αc的值為1/3。而事實(shí)上,大多數(shù)多光譜圖像是由RGB和一個(gè)紅外共4個(gè)波段組成,因此可以用αc=1/C表示4個(gè)及以上的多光譜圖像的系數(shù)[16]。
由于亮度-色度-飽和度轉(zhuǎn)換到紅、綠、藍(lán)(IHS-RGB)是用PAN圖像的分量替換MS圖像中I分量,因此,除去在替換過(guò)程中產(chǎn)生的誤差以及由于圖像本身存在的噪音和冗余信息外,MS圖像的I波段的所有信息可以被全色圖像所代替[2,16],并結(jié)合式(1),于是有
P≈∑cαcMc
(2)
式中,αc為未知系數(shù)。為了計(jì)算系數(shù)a,可以對(duì)函數(shù)G(a)進(jìn)行最小化
λ∑c(max(0,-αc))2
(3)
式中,P(x)表示PAN圖像處理函數(shù);另外由于系數(shù)a非負(fù),因此采用拉格朗日乘子λ來(lái)增加a的非負(fù)約束,目的是保證能獲得較為理想的解[2]。
1.1.2 增強(qiáng)邊緣保真度
由于IHS方法只對(duì)R、G、B3個(gè)分量進(jìn)行轉(zhuǎn)換和融合,導(dǎo)致4個(gè)及4個(gè)以上波段的圖像在融合處理過(guò)程中會(huì)丟失很多的空間信息和光譜信息,尤其圖像邊緣的空間信息易丟失。解決這一問(wèn)題,可以從PAN圖像中提取邊緣信息,然后與MS圖像進(jìn)行相應(yīng)的Pan-sharpening,從而獲得融合圖像Fc[2,16],描述如式(4)
Fc(x,y)=Mc(x,y)+h(x,y)(P(x,y)-I(x,y))
(4)
式中,h(x,y)是邊緣檢測(cè)函數(shù),其定義為
(5)
式中,ε是一個(gè)很小的非零值;P(x,y)是PAN圖像在(x,y)處的梯度;η是表示梯度大小的一個(gè)參數(shù),其目的是形成邊緣并控制圖像的平滑度[2]。
結(jié)合改進(jìn)后的IHS方法[16-17]和文獻(xiàn)[10,14]提出的Pan-sharpening變分模型,可以確立目標(biāo)函數(shù),然后優(yōu)化這個(gè)目標(biāo)函數(shù)來(lái)找重構(gòu)最佳融合圖像。
由于多光譜圖像融合旨在結(jié)合全色圖像PAN的空間細(xì)節(jié)和多光譜圖像MS的光譜信息,得到空間分辨率和光譜分辨率兼優(yōu)的高質(zhì)量多光譜Pan-sharpening影像F[16,18],故F空間域中的細(xì)節(jié)信息主要來(lái)自于PAN圖像,而其光譜維的波段信息主要來(lái)自MS圖像[10,14,16],因此可以作以下2個(gè)假設(shè):
(1) 保持空間信息策略。在式(2)中,描述的是MS圖像與PAN圖像之間的線性關(guān)系,這種組合約束對(duì)于提高融合圖像的質(zhì)量作用并不大,因此需要對(duì)其作進(jìn)一步改進(jìn),建立PAN圖像與Pan-sharpening圖像F之間的關(guān)系,目的是盡可能地保留PAN圖像的空間信息,從而提高融合圖像的空間質(zhì)量。文獻(xiàn)[16]設(shè)計(jì)了PAN圖像可以近似為Pan-sharpening圖像F中每個(gè)波段圖像的線性組合,即通過(guò)組合Pan-sharpening得到的圖像F的全部波段的空間結(jié)構(gòu)信息可以恢復(fù)成高分辨率PAN圖像的細(xì)節(jié)信息,這種關(guān)聯(lián)約束能很好地提高圖像F的空間分辨率,但忽略了IHS轉(zhuǎn)換過(guò)程中可能存在的光譜信息丟失,于是有
P≈∑cθcFc+δ
(6)
式中,δ表示光譜信息丟失量;θc為未知系數(shù)且0≤θc≤1,其目的是約束空間分辨率的保真度。
(2) 保持光譜信息策略。式(6)是為了豐富Pan-sharpening圖像F的邊緣幾何信息,在一定程度上能提高融合圖像的空間分辨率,但由于在第1個(gè)假設(shè)中,已經(jīng)對(duì)空間質(zhì)量進(jìn)行了很好地約束,足以保證了Pan-sharpening圖像F的空間分辨率,因此,還需要對(duì)圖像F的光譜質(zhì)量進(jìn)行約束,從而避免出現(xiàn)光譜失真現(xiàn)象。文獻(xiàn)[16]設(shè)計(jì)了MS圖像可以近似看作Pan-sharpening圖像F中的每個(gè)波段圖像經(jīng)過(guò)空間卷積操作后得到的采樣圖像的組合,即利用空間濾波濾除融合影像中的PAN結(jié)構(gòu)信息后保留了多光譜圖像的主要成分,但它忽略了采樣過(guò)程中可能存在的空間信息丟失,于是有
Mc(x,y)≈∑i,jK(i,j)Fc(x-i,y-j)+φ
(7)
式中,φ表示空間信息丟失量;K為3×3的未知卷積模型。
這兩個(gè)假設(shè)是基于遙感圖像Pan-sharpening的基本原理,是在文獻(xiàn)[10,14]等基礎(chǔ)上演化而來(lái),并在文獻(xiàn)[16]中已得到了相關(guān)驗(yàn)證,其目的依舊是分別建立Pan-sharpening圖像F與全色圖像PAN以及與多光譜圖像MS之間的關(guān)聯(lián)約束。因此,根據(jù)這2個(gè)假設(shè)并結(jié)合式(3)可以確立需要優(yōu)化的目標(biāo)函數(shù)為
(8)
式中,第1部分即對(duì)應(yīng)的是上述第1個(gè)假設(shè),目的是保證Pan-sharpening圖像F的空間質(zhì)量;第2部分對(duì)應(yīng)的是上述第2個(gè)假設(shè),目的是保證Pan-sharpening圖像F的光譜質(zhì)量[16]。其中,1/C具有平衡作用,協(xié)同參數(shù)(α,θ,k)促使目標(biāo)函數(shù)(8)向著最優(yōu)解的方向快速收斂,從而確保獲得最佳的Pan-sharpening結(jié)果。另外,圖像F的最優(yōu)值依據(jù)AIHS轉(zhuǎn)換通過(guò)式(4)求得。
粒子群算法(PSO)采用群體智能優(yōu)化策略,通過(guò)種群內(nèi)粒子間的合作與競(jìng)爭(zhēng)機(jī)制進(jìn)行全局尋優(yōu)從而獲得全局最優(yōu)解。該算法是由文獻(xiàn)[19]首次提出來(lái)的。
在D維空間中,設(shè)定種群規(guī)模為NP,粒子i的位置表示為xi=(xi1,xi2,…,xiD),粒子i的速度表示為vi=(vi1,vi2,…,viD),f(xi)為適應(yīng)度函數(shù),pbesti=(pi1,pi2,…,piD)表示第i個(gè)粒子經(jīng)歷過(guò)的最佳位置,gbesti=(g1,g2,…,gD)表示所有粒子的全局最佳位置,并設(shè)定在第d(1≤d?D)維的粒子位置變化范圍限定在[Xmin,d,Xmax,d],粒子速度變化范圍限定在[-Vmax,d,Vmax,d]。
(1) 粒子i的第d維速度更新公式
(9)
(2) 粒子i的第d維位置更新公式
(10)
編碼的主要工作是將Pan-sharpening模型中的未知數(shù)映射成粒子的表達(dá)形式,常用的編碼方式有二進(jìn)制編碼和實(shí)數(shù)編碼。根據(jù)式(8)可知,需要求解的參數(shù)為{a1,a2,a3},{θ1,θ2,θ3}以及{K(1,1),K(1,2),K(1,3),K(2,1),K(2,2),K(2,3),K(3,1),K(3,2),K(3,3)},因此本文采用實(shí)數(shù)編碼的方式更為合理且算法的運(yùn)行效率更高,其編碼方式如圖1所示。
注:種群中的每個(gè)染色體(粒子)是隨機(jī)生成的。圖1 染色體編碼方式Fig.1 The chromosome coding mode
經(jīng)過(guò)編碼和初始化后,通過(guò)設(shè)定合理的算法收斂條件,并采用粒子群算法來(lái)優(yōu)化式(8),不斷地迭代求解,從而可以獲得全局最優(yōu)解,即獲得最佳控制參數(shù)和最優(yōu)的Pan-sharpening圖像。本文所采取的技術(shù)路線如圖2所示。
圖2 技術(shù)流程Fig.2 The technology
這里主要介紹圖2中的PAIHS部分,其基本算法流程如算法1所示。
算法1 PAIHS基本算法流程
輸入:LMSM,PANP,c1,c2,r1,r2,w;
步驟1:根據(jù)AIHS和2個(gè)假設(shè)條件確定優(yōu)化目標(biāo)函數(shù)f(x)。
步驟2:設(shè)定粒子種群規(guī)模NP,粒子的維數(shù)D,算法的終止條件FES;設(shè)定xi∈[Xmin,d,Xmax,d],vi∈[-Vmax,d,Vmax,d];確定粒子編碼方式,隨機(jī)初始化種群,產(chǎn)生一組包含(α,θ,k)的解集合。
步驟3:根據(jù)F=AdaptiveIHS(M,P,α)計(jì)算融合圖像F。
步驟4:對(duì)初始種群中的個(gè)體xi進(jìn)行評(píng)估f(xi)min
H(α,θ,K)=∑x,y{|P(x,y)-∑cθcFc(x,y)+δ|p+
步驟6:比較每個(gè)粒子的適應(yīng)度值f(xi)和它的個(gè)體最優(yōu)值pbesti,若當(dāng)前值particle(i).Posit優(yōu)于個(gè)體最優(yōu)值pbesti,則設(shè)particle(i).Posit為新的個(gè)體最優(yōu)值。
步驟7:比較每個(gè)粒子的最佳適應(yīng)度值和全局最優(yōu)粒子的位置gbesti,若當(dāng)前值particle(i).Best.Position優(yōu)于全局最優(yōu)粒子,則當(dāng)設(shè)前值particle(i).Best.Position為新的全局最優(yōu)粒子。
步驟8:計(jì)算評(píng)價(jià)指標(biāo)R=imagemetrics(M,P,F)。
步驟9:判斷代數(shù)FES是否已到達(dá)最大代數(shù),如果已經(jīng)到達(dá),結(jié)束算法。否則轉(zhuǎn)向步驟(3)。
輸出:Pan-sharpening圖像F;定量評(píng)價(jià)指標(biāo)值R。
目前Pan-sharpening質(zhì)量的評(píng)估方法有兩種:主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法。主觀評(píng)價(jià)法即根據(jù)人的視覺(jué)感知、大腦分析等機(jī)能特征對(duì)圖像色彩、亮度、形狀等作出一系列判斷,并作出相應(yīng)的分析和決策,也稱之為視覺(jué)分析法。它是一種直觀、簡(jiǎn)單靈活的判斷方法,但該方法具有一定的片面性,因?yàn)橛^察者對(duì)色彩、亮度、模糊度、重影等現(xiàn)象的感知程度、理解能力、分析能力的不同,作出的判斷結(jié)論可能存在一定的差異,這并不利于得到準(zhǔn)確的評(píng)價(jià)結(jié)果。因此,除了進(jìn)行主觀評(píng)價(jià)外,還需要選取比較可靠的客觀評(píng)價(jià)指標(biāo)來(lái)進(jìn)行定量計(jì)算,該方法也稱之為定量分析方法。本文除了進(jìn)行主觀的視覺(jué)對(duì)比和分析外,還選取了CC[21]、ERGAS[21-22]、QAVE[23-24]、RASE[25]、RMSE[21]、SAM[14]、SID[16,26]這7個(gè)參數(shù)指標(biāo)來(lái)進(jìn)行客觀評(píng)價(jià)。
從整體視覺(jué)效果來(lái)看,圖3—圖5中的所有Pan-sharpening方法都能很好地將PAN圖像的空間信息與MS圖像的光譜信息集成到一起。相對(duì)于PAN圖像而言,所獲得Pan-sharpening圖像F的解譯能力都有了很大程度的提高,能夠比較容易地分辨出圖像F中的地物顏色和亮度等特征;相對(duì)于原MS圖像,圖像F中增添了大量的空間細(xì)節(jié)紋理信息,使得地物信息更為豐富。
圖3采用了分辨率較高的MS圖像,試驗(yàn)結(jié)果發(fā)現(xiàn)Pan-sharpening后的圖像在視覺(jué)分析上辨別度不高,除PCA方法所得的圖像顏色變紅而失真明顯外,其他3種方法所產(chǎn)生的圖像在肉眼上難以分辨差異。于是在圖4和圖5中,采用了分辨率較低的MS圖像進(jìn)行試驗(yàn),其視覺(jué)效果就產(chǎn)生了明顯差異,對(duì)比及分析如下:
(1) 雖然Wavelet和AIHS方法所獲得的圖像在細(xì)節(jié)上表現(xiàn)最為豐富,但樹(shù)木等地物存在明顯顆粒感,出現(xiàn)了重影現(xiàn)象。
(2) 通過(guò)對(duì)比,不難發(fā)現(xiàn)Brovey方法所獲得的圖像是這5種方法中視覺(jué)效果最差的,如圖4和圖5中的樹(shù)、道路和建筑物等都成團(tuán)狀、很模糊,基本看不清地物輪廓和紋理特征。
(3) 與PAN圖像仔細(xì)對(duì)比,發(fā)現(xiàn)PCA方法獲得的圖像中間區(qū)域有較小程度的細(xì)節(jié)信息丟失,另外圖像中的樹(shù)木也有輕微模糊現(xiàn)象,而且整個(gè)圖像偏亮,對(duì)比度也存在失真,因此存在光譜失真現(xiàn)象。
通過(guò)對(duì)圖3—圖5的視覺(jué)對(duì)比和分析,能直觀地發(fā)現(xiàn)PAIHS方法得到的融合圖像整體平滑、清晰、無(wú)明顯重影和模糊現(xiàn)象。因此,在視覺(jué)上該方法是這5種方法中Pan-sharpening質(zhì)量最好的。
表1—表3是基于AIHS、Wavelet、PCA、Brovey及PAIHS的Pan-sharpening 5種方法的試驗(yàn)結(jié)果,其中的參考值和最好的評(píng)價(jià)指標(biāo)值用粗體表示,其定量分析和比較如下。
圖3 Pan-sharpened結(jié)果比較Fig.3 Comparison of Pan-sharpened results
圖4 Pan-sharpened結(jié)果比較Fig.4 Comparison of Pan-sharpened results
定量指標(biāo)CCERGASQAVERASERMSESAMSID參考值0 0 1 0 0 0 0 AIHS0.00061.00450.99844.04184.27670.04990.0018Wavelet0.00360.77260.99343.08803.26740.54430.0021PCA0.11152.57590.985910.381910.98510.46910.0074Brovey0.006412.46100.854733.673735.63032.28670.0033PAIHS0.00020.11490.99990.46230.48920.00610.0002
圖5 Pan-sharpened結(jié)果比較Fig.5 Comparison of Pan-sharpened results
定量指標(biāo)CCERGASQAVERASERMSESAMSID參考值0 0 1 0 0 0 0 AIHS0.05457.31160.947628.803831.19564.19380.2017Wavelet0.17017.43090.873029.262331.69226.80510.2172PCA0.42519.00910.755536.530739.56416.74510.0472Brovey0.293310.84840.804250.074254.23221.34030.0474PAIHS0.02692.03050.99567.99008.65341.03770.0465
表3 圖5的Pan-sharpening的定量指標(biāo)結(jié)果
(1) 表1、表2中,PAIHS方法的各項(xiàng)指標(biāo)值是5種方法中最好的。表3中,PAIHS方法的SAM值、SID值略差于Brovey方法,但是優(yōu)于AIHS方法、Wavelet方法、PCA方法相應(yīng)的指標(biāo)值;除SAM值和SID值外,PAIHS方法的其他幾種指標(biāo)值仍是所有方法中最好的。因此,再一次印證了PAIHS方法的效果是最好的。
(2) 表1中,Brovey方法除CC值和SID值不是最差的外,其他5個(gè)指標(biāo)值均是所有方法中最差的。表2中,Brovey方法的CC值優(yōu)于Wavelet方法,但不及PCA方法;其SAM值略好外,QAVE值和SID值也比較居中,Brovey方法的ERGAS值、RASE值和RMSE值仍是所有方法中最差的。表3中的數(shù)值分布與表2類似。因此Brovey方法是所有方法中最差的,這與視覺(jué)分析得到Brovey方法是最差這一結(jié)論是一致的。
(3) 通過(guò)比較表1—表3發(fā)現(xiàn),AIHS、Wavelet、PCA 3種方法的指標(biāo)值時(shí)好時(shí)壞,比較中庸。3個(gè)表中,PCA方法的ERGAS值比另外兩種方法的ERGAS值差,PCA方法的QAVE值除在表1和表2中也是3種方法中最差的,而ERGAS值和QAVE值是光譜失真的評(píng)價(jià)指標(biāo),這與視覺(jué)上得到的對(duì)比度失真、圖像整體亮度偏亮的結(jié)論是相吻合的。
通過(guò)主觀分析和客觀評(píng)價(jià)參數(shù)的對(duì)比,可以發(fā)現(xiàn)PAIHS方法比其他4種融合方法好。另外,在試驗(yàn)中也得出一個(gè)結(jié)論:種群規(guī)模設(shè)置越大,迭代次數(shù)越Pan-sharpening質(zhì)量越好。
本文提出了一種Pan-sharpening方法,稱之為PAIHS。該方法基于自適應(yīng)亮度-色度-飽和度(AIHS)轉(zhuǎn)換和變分Pan-sharpening框架及2個(gè)假設(shè),同時(shí)確定了優(yōu)化目標(biāo)函數(shù),然后采用粒子群優(yōu)化算法進(jìn)行優(yōu)化,目的是尋找全局最優(yōu)控制系數(shù),確保能較好地保持原MS圖像的光譜信息和PAN圖像的空間細(xì)節(jié)信息,從而獲得最佳質(zhì)量的Pan-sharpening圖像。另外,文中將提出的方法與目前主流的Pan-sharpening方法通過(guò)3幅遙感圖像進(jìn)行試驗(yàn)對(duì)比。試驗(yàn)結(jié)果表明,本文方法所得的融合圖像在光譜特性的保持能力和空間細(xì)節(jié)信息的表現(xiàn)方面都有更好的效果,是一種有效且可行的Pan-sharpening方法。