張衛(wèi)龍
(中鐵第一勘察設(shè)計(jì)院集團(tuán)有限公司測(cè)繪地理信息工程技術(shù)研究院, 西安 710043)
遙感影像作為三維地理實(shí)景空間信息獲取的主要載體,其承載了特定時(shí)刻與方向的時(shí)空輻射片段,為計(jì)算機(jī)視覺、攝影測(cè)量學(xué)科的主要研究對(duì)象,也是目標(biāo)識(shí)別、災(zāi)害監(jiān)測(cè)等應(yīng)用領(lǐng)域的主要數(shù)據(jù)來源。然而受到獲取時(shí)刻不同光照條件、方向等參數(shù)的影響,使得具有重疊區(qū)的不同影像間存在不可忽視的色彩差異性,嚴(yán)重影響到影像集合在廣域范圍內(nèi)的鑲嵌,如大場(chǎng)景影像的生成、正射影像(digital orthophoto map,DOM)的生產(chǎn)以及三維重建模型的精度與質(zhì)量。故如何解決遙感影像間的色差問題成為相關(guān)領(lǐng)域?qū)W者和從業(yè)者關(guān)注的問題。
影像的色差一致性約束處理即為解決影像間色差問題的技術(shù),影像的色差一致性約束處理需要同時(shí)處理亮度與色調(diào)域的差異,故影像的一致性處理方法統(tǒng)稱為勻光勻色或勻色方法,遙感影像的勻光勻色處理方法大致可以分為4種主要方法:?jiǎn)畏跋褡赃m應(yīng)勻色法、參考影像勻色法、相鄰區(qū)域拼接方法、多幅影像勻色法。單幅影像自適應(yīng)勻色法多建立在某種假設(shè)之上,如場(chǎng)景亮度域高斯分布、色彩對(duì)比度平衡等,故其容易產(chǎn)生非自然色澤,如暗通道處理[1],所以這類方法只是解決特定問題,很難在不考慮相鄰影像約束情況下達(dá)到理論效果;單幅影像自適應(yīng)勻色法可以理解為一種虛擬參考影像的勻光勻色方法,而參考影像勻色法則需要指定場(chǎng)景中特定影像為色調(diào)匹配基準(zhǔn),代表方法有直方圖匹配算法[2]、Wallis(沃利斯)方法[1-3]等,待處理影像通過建立與基準(zhǔn)影像的彩色統(tǒng)計(jì)信息映射函數(shù),實(shí)現(xiàn)輻射亮度與色調(diào)的統(tǒng)一,此類方法直接與統(tǒng)計(jì)信息相關(guān),不能體現(xiàn)同名內(nèi)容信息的一致性,效果與統(tǒng)計(jì)量對(duì)應(yīng)的窗口大小有關(guān);相鄰區(qū)域拼接方法多用于拼接影像當(dāng)中,通過提取拼接線緩沖封閉區(qū)域的色差作為觀測(cè)值,構(gòu)建區(qū)域改正模型,如泊松(poisson)影像勻色方法[4],把區(qū)域界線上的封閉觀測(cè)值作為一階邊界約束,最終使用拉普拉斯方程求解,這類方法為局部改正方法,可以有很大的自由度,符合自然規(guī)律,但其整體性的過渡約束較弱,容易產(chǎn)生花斑,運(yùn)算量大,多用于人工影像編輯;多幅影像勻色法,則是利用重疊信息、同名區(qū)域信息改正場(chǎng)景中所有影像色彩分布,如任中杰等[5]針對(duì)傳統(tǒng)的wallis方法中缺乏局部約束條件,提出分塊局部區(qū)域加權(quán)處理方法,使得該像元點(diǎn)變換參數(shù)由鄰域方塊范圍共同加權(quán)確定,仍然需要選擇特定的參考影像。
除此之外中外學(xué)者在色差一致性方面也做了大量的研究工作。Huang等[6]通過加權(quán)自適應(yīng)伽馬校正直方圖,當(dāng)具有亮度集中分布時(shí)容易出現(xiàn)細(xì)節(jié)丟失。常高等[7]基于密度大的地方透光量減少,密度小的地方透光量增多的原理,提出圖形顯卡加速器(GPU)加速的掩膜(Mask)勻色方法,以加速衛(wèi)星影像的勻色過程。范新南等[8]針對(duì)傳統(tǒng)勻色方法在處理影像信息的時(shí)候,會(huì)削弱紋理信息,提出一種具有紋理保持功能的勻光處理。楊宇航[9]提出一種在兩個(gè)異色彩空間的最小化方差的最優(yōu)線性映射關(guān)系,以提高拼接線重疊區(qū)域附近的色彩一致性,另外為了在HSV(hue, saturation, value)空間提升其自動(dòng)化程度,實(shí)現(xiàn)了基于Haar-like(哈爾)的邊緣特征的支持向量機(jī)(support vector machine,SVM)接縫檢測(cè)器,但是其只是針對(duì)大尺度多源光學(xué)遙感圖像。魏文杰等[10]針對(duì)衛(wèi)星影像不同時(shí)間、成像條件、傳感器等因素所產(chǎn)生的較大色彩差異,研究基于色彩平衡原理的技術(shù)方法,采樣低頻色彩匹配的方式,整體效果不錯(cuò),但不具備局部約束,局部差異性明顯。夏孟涵[11]提出了兼顧最小化色差與保留影像對(duì)比度的方法,使用直方圖統(tǒng)計(jì)的方法代替同名點(diǎn)的提取,為了避免變化區(qū)域的影響,事先需要剔除內(nèi)容不一致的區(qū)域,但其只是為每張影像求取一個(gè)映射曲線模型,缺乏局部各向異性的特性。薛鵬[12]提出一種局部與全局相結(jié)合的勻色方法,總結(jié)了傳統(tǒng)直方圖匹配、wallis方法、雙邊濾波的勻色方法,本質(zhì)還是統(tǒng)計(jì)量信息的改正。高小旭等[13]提出一種基于最大標(biāo)準(zhǔn)差基準(zhǔn)的Wallis勻光勻色方法,但此方法只適用于大場(chǎng)景無云霧影像,對(duì)噪聲敏感。楊元維等[14]通過增強(qiáng)補(bǔ)償強(qiáng)度系數(shù)及拉伸系數(shù),對(duì)陰影部分進(jìn)行勻色處理,需鄰域相似區(qū)域約束。李爍等[15]為了控制區(qū)域整體的勻色質(zhì)量,解決Wallis全局問題,使用Voronoi圖(維諾圖)和Dijkstra(迪杰斯特拉)算法約束影像處理的順序,操作起來復(fù)雜且解不唯一。張蕎等[16]提出一種基于改進(jìn)的直方圖匹配方法,用于解決直方圖匹配過程中灰度級(jí)合并的問題,使其保留較高的對(duì)比度值。杜神斌[17]針對(duì)影像殘留的光暈與白平衡失調(diào)問題,提出一種改進(jìn)的非線性相機(jī)響應(yīng)函數(shù),試圖量化相機(jī)采集過程的系統(tǒng)誤差,然而其需要建立在假設(shè)條件之上,時(shí)間差與環(huán)境光變化是此方法待解決的致命問題。
針對(duì)以上問題,現(xiàn)研究一種基于虛擬參考影像的多重疊影像勻色方法,且具有局部與全局約束的各向異性的勻光勻色方法。嘗試通過具有環(huán)境變化抵抗性的局部特征,代替?zhèn)鹘y(tǒng)方法統(tǒng)計(jì)變量,使色差局部量化,然后建立具有各向異性的色彩改正模型,通過正則化與空間約束獲取最優(yōu)解,擬達(dá)到使重疊區(qū)域不同影像間色彩差異最小化的效果。
(1)
對(duì)影像的勻光勻色處理本質(zhì)就是消除輻射混沌場(chǎng)和噪聲影響場(chǎng)的影響,由影像的獲取過程可知,在影像中任意一點(diǎn)(u,v)對(duì)應(yīng)的輻射影響值都不同,但在局部足夠小的范圍內(nèi)呈現(xiàn)可線性的特性,這得益于傳輸介質(zhì)的散射與物質(zhì)表面的漫反射性質(zhì)。因此由輻射混沌場(chǎng)和噪聲影響場(chǎng)所產(chǎn)生的色差既具有全局的整體性也具有局部的差異性,以及定向傳播方向的平滑性。而現(xiàn)有的色彩空間拉伸勻光勻色算法多通過全局或者半全局的統(tǒng)計(jì)量來匹配拉伸待匹配影像中的每一個(gè)像素值,使用的拉伸函數(shù)形式以線性為主,如Wallis方法[1-3],不具備局部差異性,會(huì)使影像灰度向最大最小值靠攏,損失影像的對(duì)比度;直接使用統(tǒng)計(jì)量配準(zhǔn)的方式又缺乏內(nèi)容相關(guān)的約束,在內(nèi)容差異較大的環(huán)境下出現(xiàn)嚴(yán)重的色偏[11]。因此現(xiàn)有的方法從消除色差的原理上分析,出現(xiàn)嚴(yán)重的欠擬合的問題,無法滿足輻射混沌場(chǎng)和噪聲影響場(chǎng)自身的特性。本文研究在勻光勻色的改正過程中既保留了影像空間關(guān)系的改正量又基于影像的內(nèi)容特征,以局部特征引導(dǎo)的輻射改正,因此具有各向異性的特點(diǎn),可看作為在輻射混沌場(chǎng)和噪聲影響場(chǎng)組成的干擾場(chǎng)D(u,v)中的采樣,從理論層次上是完備的,既解決了傳統(tǒng)統(tǒng)計(jì)量匹配方法缺乏空間分布的問題,又彌補(bǔ)了色彩拉伸方法中缺乏內(nèi)容特征的問題,結(jié)合式(1)和式(2)把式(1)改造為式(3)。
D(u,v)=m(u,v)+e(u,v)
(2)
(3)
本文處理的影像為具有重疊區(qū)影像集合,如不同時(shí)期的觀測(cè)數(shù)據(jù),可以為航空影像或者航天影像數(shù)據(jù)。針對(duì)干擾場(chǎng)D(u,v)對(duì)輻射值的影響,同名點(diǎn)在不同影像中的輻射值差異明顯,同名毗鄰也存在透視變換的差異性,因此局部同名特征點(diǎn)的提取需要選取具有抗局部幾何變形和輻射值變化的影響,得益于SIFT[18]家族算法的強(qiáng)大,可以勝任大部分場(chǎng)景,提供豐富的同名采樣點(diǎn)。
(4)
通過局部特征關(guān)聯(lián)之后獲取的特征點(diǎn)還存在以下問題誤匹配點(diǎn)和局部分布不均勻的特征點(diǎn)的現(xiàn)象。誤匹配點(diǎn)是由于匹配算法非完全透視不變性和輻射變化不變性導(dǎo)致的,誤匹配點(diǎn)的存在會(huì)使得特征觀測(cè)值鏈接失敗,出現(xiàn)異匹配點(diǎn)串聯(lián)現(xiàn)象,影響了對(duì)輻射干擾場(chǎng)的正確性觀測(cè)。局部分布不均勻的特征點(diǎn)會(huì)影響不必要的計(jì)算消耗與觀測(cè)采樣不充分。針對(duì)以上3種情況,可以從特征提取前期、后期分別采用不同的策略。針對(duì)誤匹配的問題可以在任意匹配影像對(duì)中進(jìn)行隨機(jī)一致性檢測(cè)或者引入匹配再生空間[19]把誤匹配與正確匹配的對(duì)應(yīng)關(guān)系線性分割,然后通過特征關(guān)聯(lián)關(guān)系剔除這些異常采樣值。針對(duì)特征分布不均勻問題,可以采用grid(格網(wǎng))分塊策略,使得影像在每一個(gè)分塊區(qū)域中具有等量的特征點(diǎn),釋放傳統(tǒng)特征提取過程中通過整體響應(yīng)值大小排序閾值機(jī)制,抑制低響應(yīng)值的現(xiàn)象。另外如果影像中存在弱紋理現(xiàn)象,也會(huì)導(dǎo)致特征不均勻,但不會(huì)影響本文方法的效果,由于弱紋理區(qū)域的輻射變化是線性連續(xù)的,否則此弱紋理區(qū)域具有輻射明顯變化點(diǎn),不符合弱紋理的定義。
(5)
因此在此虛擬輻射場(chǎng)景的概念模型的支持下,便可通過多個(gè)觀測(cè)形成超定最小二乘方程尋找最接近真實(shí)輻射場(chǎng)的解。而勻光勻色即為尋找觀測(cè)方程的逆過程,即對(duì)逆變換函數(shù)的量化。
(6)
式(6)中:Ev為能量項(xiàng),代表改正期望為場(chǎng)景同名點(diǎn)在不同影像中經(jīng)過改正之后具有相同輻射值,以達(dá)到勻光勻色的目的,因此使用改正后的同名點(diǎn)在不同影像中的像素值差異衡量。但此時(shí)發(fā)現(xiàn)當(dāng)同名觀測(cè)值數(shù)量為n<3,輻射改正量數(shù)量也為n,觀測(cè)方程個(gè)數(shù)為n(n-1)/2,會(huì)出現(xiàn)秩虧的問題n(n-1)/2>n。因此需要增加額外的正則約束En,當(dāng)期望觀測(cè)方程數(shù)量小于改正值未知量數(shù)量時(shí),使得最優(yōu)解為模最小的解,另一個(gè)方面此正則約束項(xiàng)也是構(gòu)成全局平滑現(xiàn)象的主要約束性。vq∈Nk(vp)為vq在影像k中的鄰域點(diǎn),用來約束相鄰點(diǎn)位的改正量的平滑特性。式(6)為附有約束條件的間接最小二乘平差形式,可以使用凸優(yōu)化理論,構(gòu)建與之對(duì)應(yīng)的矩陣形式,如式(7)所示,完成改正量的求解。
‖Bg-f‖+‖Cg‖=gT(BTB+CTC)g-
2fTBg+fTf
(7)
式(7)中:B為輻射改正量的稀疏系數(shù)矩陣;C為輻射改正量約束項(xiàng)稀疏系數(shù)矩陣;f為影像觀測(cè)值稀疏矩陣;g為輻射改正量列向量。
(8)
為了加速影像改正過程,無須逐像素空間搜索鄰域改值,可通過網(wǎng)格錨點(diǎn)的方式,在影像中設(shè)置有限個(gè)網(wǎng)格點(diǎn)M×N,M、N分別為行列采樣個(gè)數(shù),每一個(gè)網(wǎng)格頂點(diǎn)為一個(gè)錨點(diǎn),依次求取每個(gè)錨點(diǎn)的輻射改正量,然后雙線性上采樣至與原始影像等尺寸大小,及獲取得到每張影像的擾動(dòng)場(chǎng)D(u,v),完成了對(duì)逆變換函數(shù)的量化。
首先從空三工程中提取特征同名點(diǎn)坐標(biāo)信息;然后過濾掉誤匹配點(diǎn),利用特征同名點(diǎn)信息提取不同影像中的同名色彩信息,這些同名色彩信息由于攝影姿態(tài)、時(shí)間差、傳輸誤差等的存在,使得存在嚴(yán)重的色彩差異;接著不同同名特征色差組成本文算法的觀測(cè)值,觀測(cè)值中包含同名點(diǎn)在不同影像中坐標(biāo)信息、鄰接拓?fù)湫畔?、色彩信息;最后使用本文提出的各向異性的勻色勻光算法,可以利用同名信息的方位各異性與局部色彩差異性,構(gòu)建凸優(yōu)化能量函數(shù),在能量項(xiàng)中體現(xiàn)同名相似約束,在約束項(xiàng)中體現(xiàn)鄰域位置約束,同時(shí)顧及全局色彩值的平滑過渡。
本文研究用于體現(xiàn)算法優(yōu)越性的定性指標(biāo)為同名區(qū)域的視覺感官效果,對(duì)比勻色勻光處理之后同名區(qū)域色彩差異性和相似性。定量指標(biāo)為同名特征點(diǎn)在不同影像中殘留的色差,同名色差越小說明色彩輻射量改正越有效,同時(shí)使用同名色差殘留統(tǒng)計(jì)量中誤差來整體衡量,避免樣本偏差問題。為了測(cè)試本文算法的有效性,分別從航空影像與航天影像兩個(gè)數(shù)據(jù)集作為測(cè)試數(shù)據(jù)集,測(cè)試數(shù)據(jù)集詳細(xì)信息如表1所示,分布包含數(shù)據(jù)集數(shù)量、采集規(guī)格等。
表1 數(shù)據(jù)集信息表Table 1 Data set information table
數(shù)據(jù)集1為通過設(shè)置模擬出相機(jī)在不同白平衡、霧霾、光暈等環(huán)境下拍攝出的影像數(shù)據(jù)集合,可以代表影像在極大的色差條件下的情況,以測(cè)試本文算法的有效性。測(cè)試數(shù)據(jù)集中包含同名點(diǎn)個(gè)數(shù)為1 059個(gè),同名點(diǎn)信息是從空三數(shù)據(jù)工程中直接提取出來的。如圖1所示,該數(shù)據(jù)集中有影像9張,通過設(shè)置拍攝不同參數(shù)(感光、快門、時(shí)間等參數(shù))所獲取的,出現(xiàn)了較大的白平衡與亮度差異。
數(shù)據(jù)集2為航天影像數(shù)據(jù),由于航天影像相對(duì)于航空影像在時(shí)間分辨率方面具有很大的劣勢(shì),重疊影像之間存在較大的時(shí)間差異,再加地物的輻射變化影響,使得同名點(diǎn)色差明顯,以測(cè)試本文算法的有效性。測(cè)試數(shù)據(jù)集中包含同名點(diǎn)個(gè)數(shù)為67 730個(gè),同名點(diǎn)信息是從空三工程數(shù)據(jù)中直接提取出來的。如圖2所示,由于航天影像自帶有理多項(xiàng)式函數(shù)模型(rational polynomial coefficient,RPC)參數(shù),可以直接使用地理信息平臺(tái)軟件(geographic information system, GIS)軟件打開,展示其初始方位的同時(shí),也凸顯出不同同名輻射區(qū)域?qū)е碌孽r明拼接線問題,使得整體色彩、亮度過渡不平滑。
圖1 航空數(shù)據(jù)集1Fig.1 Airborne dataset 1
圖2 航天數(shù)據(jù)集2Fig.2 Space dataset 2
本文提出的勻光勻色算法具有局部的各向異性的特點(diǎn),且具有整體光滑特性,為了充分說明此特點(diǎn),分別從勻光勻色前后的同名特征點(diǎn)灰度差異性和整體差異性兩個(gè)方面對(duì)比。選取直方圖匹配方法作為對(duì)比算法,由于其在環(huán)境適應(yīng)能力和效果上都高于基于一般線性拉伸的算法,且是最經(jīng)典的統(tǒng)計(jì)量處理方法之一。
數(shù)據(jù)集1效果對(duì)比如圖3和圖4所示。由圖3和圖4可見使用直方圖匹配的方法會(huì)使得局部色彩出現(xiàn)嚴(yán)重的失真,如圖3中草地(如影像2、影像5、影像8中同名區(qū)域所示)、樓頂(如影像1、影像2左上角同名區(qū)域所示)、地面(如影像3、影像6、影像9中廣場(chǎng)地面同名區(qū)域所示)出現(xiàn)了嚴(yán)重的色偏,這是由于基于統(tǒng)計(jì)量的勻光勻色方法都忽略了局部特征的約束,強(qiáng)行進(jìn)行匹配拉伸導(dǎo)致的,體現(xiàn)了統(tǒng)計(jì)量的位置不確定性,無法做局部精細(xì)化勻色處理。反觀本文提出的算法在草地、樓頂、地面等位置未出現(xiàn)色彩失真情況,無論是色彩飽和度、整體色彩平滑性都保留了原始真實(shí)理想場(chǎng)景影像的色調(diào),同時(shí)又削弱了色差的影響,如圖4所示。
圖5和圖6為影像集合的拼接效果圖,使用拼接影像可以最大程度地反映出不同影像間的色差,且拼接過程不改變色差變化。使用直方圖匹配方法處理之后的影像,進(jìn)行拼接成的整體影像表現(xiàn)出色彩過渡差,殘留色差大,圖5(b)為局部放大圖,其中紅色框內(nèi)的為對(duì)比同名對(duì)象區(qū)域,其是色差處理之后的不同影像拼接而成的,與其中圖5(c)處理之后的另外一張同名影像對(duì)比,明顯發(fā)現(xiàn)是使用直方圖匹配方法生成的色差勻色效果差,具體表現(xiàn)在同名對(duì)象區(qū)域車輛顏色、草地等顏色反差明顯,出現(xiàn)色彩嚴(yán)重偏差(同名區(qū)域使用紅色框框出)。而使用本文提出的方法,處理的效果如圖6所示,同名對(duì)象區(qū)域內(nèi)明顯不存在色差,不同重疊影像間色差處理之后色澤相似,這也是本文利用同名特征點(diǎn)進(jìn)行局部約束特殊功能。為了從定量上分析本文算法的優(yōu)越性,通過統(tǒng)計(jì)勻光勻色后的色彩差殘留異大小標(biāo)準(zhǔn)差來衡量。原始影像在同名點(diǎn)處的色差標(biāo)準(zhǔn)差σ=36.502,使用直方圖匹配方法的色差標(biāo)準(zhǔn)差σ=19.081,本文方法對(duì)應(yīng)的色差標(biāo)準(zhǔn)差為σ= 16.663。圖7為兩種方法同名點(diǎn)殘余色差統(tǒng)計(jì)圖,只統(tǒng)計(jì)色差殘余值大于0的同名點(diǎn),可見本文方法明顯降低了大色差所產(chǎn)生的概率。
圖3 數(shù)據(jù)集1直方圖匹配法效果Fig.3 Effect of Histogram matching method in dataset 1
圖4 數(shù)據(jù)集1本文方法效果Fig.4 Effect of the proposed method in dataset 1
圖5 數(shù)據(jù)集1直方圖匹配法整體效果Fig.5 Overall effect of histogram matching method in dataset 1
圖6 數(shù)據(jù)集1本文方法整體效果Fig.6 Overall effect of the proposed method in dataset 1
圖7 數(shù)據(jù)集1同名點(diǎn)殘余色差統(tǒng)計(jì)Fig.7 Residual chromatic aberration statistics of homonymous point of dataset 1
圖8為數(shù)據(jù)集2的整體效果圖,從圖8可見兩種對(duì)比算法都可以使得影像間的整體色調(diào)一致,然而最大差異在于局部拼接線附近,使用直方圖匹配方法存在明顯的拼接痕跡,反映在數(shù)值方面,原始影像在特征同名點(diǎn)處的色差標(biāo)準(zhǔn)差σ= 32.443,使用直方圖匹配方法的色差標(biāo)準(zhǔn)差σ= 78.082,本文方法對(duì)應(yīng)的色差標(biāo)準(zhǔn)差為σ= 5.872 91。圖8為兩種方法同名點(diǎn)色差統(tǒng)計(jì),只統(tǒng)計(jì)色差殘余值大于0的同名點(diǎn),本文方法使得色差集中到低色差范圍,這也是使用最小二乘優(yōu)化方法的特性,得益于本文構(gòu)建的勻光勻色能量函數(shù)。而對(duì)比方法直方圖匹配算法,則其無法顧及局部驟變的情況,因此在圖9高色差范圍內(nèi)有凸起,故色差勻色勻光處理不佳。
圖8 數(shù)據(jù)集2直方圖匹配法整體效果Fig.8 Overall effect of histogram matching method in dataset 2
圖9 數(shù)據(jù)集2同名點(diǎn)殘余色差統(tǒng)計(jì)Fig.9 Residual chromatic aberration statistics of homonymous point of dataset 2
提出了虛擬場(chǎng)景輻射參考的概念,通過特征同名點(diǎn)多余觀測(cè)值構(gòu)建能量函數(shù),使色彩改正拉伸不再依靠統(tǒng)計(jì)量完成,彌補(bǔ)了輻射改正的觀測(cè)值模糊的特性,實(shí)現(xiàn)輻射改正理論的完備性,并顧及平滑約束的正則表達(dá),以此達(dá)到各向異性的勻光勻色的效果。通過實(shí)驗(yàn)數(shù)據(jù)的對(duì)比,從定量和定性兩個(gè)方法衡量本文算法的優(yōu)越性,提出了以同名特征點(diǎn)為驅(qū)動(dòng)的各向異性勻光勻色算法,既能保留局部特征色調(diào)又能具有良好的整體色彩平滑性。為勻色勻光算法提供一條新的理論嘗試,為相關(guān)研究探索新的思路,具有參考意義。