劉金梅， 王國(guó)宇

(1. 中國(guó)海洋大學(xué)信息科學(xué)與工程學(xué)院，山東 青島 266100；2. 青島農(nóng)業(yè)大學(xué)理學(xué)與信息科學(xué)學(xué)院，山東 青島 266109)

?

基于特征接近度的多特征融合方法?

劉金梅1,2， 王國(guó)宇1

(1. 中國(guó)海洋大學(xué)信息科學(xué)與工程學(xué)院，山東 青島 266100；2. 青島農(nóng)業(yè)大學(xué)理學(xué)與信息科學(xué)學(xué)院，山東 青島 266109)

特征融合的關(guān)鍵是對(duì)特征參數(shù)優(yōu)化組合。本文提出一種基于特征接近度的多特征融合算法。定義吸引力表示特征矢量與原型模式的空間接近程度。用特征矢量與類原型模式之間的吸引力組成接近度矢量，作為融合特征。選擇高光譜Hyperion影像作為實(shí)驗(yàn)數(shù)據(jù)，研究基于特征融合的地物分類。實(shí)驗(yàn)證明,在特征集相同的情況下,本文提出的方法比主成分分析法具有更好的融合效果。

遙感影像； 特征融合； 特征接近度

遙感是觀測(cè)地球的有效手段。不斷進(jìn)步的傳感器技術(shù)為研究者提供各種影像數(shù)據(jù)。目前遙感技術(shù)應(yīng)用所面臨的重要問題是如何有效利用豐富的遙感數(shù)據(jù)獲取需要的信息。

遙感數(shù)據(jù)融合能夠?qū)⒉煌瑏碓吹臄?shù)據(jù)所含的信息優(yōu)化組合，獲得關(guān)于地物較為完整的信息。遙感數(shù)據(jù)融合分為3個(gè)層次，即像素級(jí)融合、特征級(jí)融合和決策級(jí)融合[1]。特征級(jí)遙感影像融合是分別提取待融合圖像的特征，將同一位置的不同特征進(jìn)行融合，融合后得到該位置對(duì)應(yīng)地物較為全面的特征信息。通過歸納融合特征矢量，可以得到同類地物的數(shù)學(xué)模型，應(yīng)用于國(guó)民生產(chǎn)和生活的各個(gè)領(lǐng)域。

特征融合的常用方法有典型相關(guān)分析理論、主成分分析法、D-S證據(jù)理論等。典型相關(guān)分析(Canonical Correlation Analysis)理論用幾對(duì)重要的相關(guān)變量代替2個(gè)特征矢量實(shí)現(xiàn)不同特征融合[2]。典型相關(guān)分析在融合特征的同時(shí)能夠降低特征表示維數(shù)，但算法只考慮2個(gè)變量之間的相關(guān)性，沒考慮變量?jī)?nèi)部各維數(shù)據(jù)之間的關(guān)聯(lián)。主成分分析法(Principal Component Analysis，簡(jiǎn)稱PCA)能夠?qū)Χ喾N特征信息壓縮，是一種自適應(yīng)信息融合[3]。主成分分析變換是均方誤差最小的變換，壓縮了特征矢量維數(shù)。但高維特征值和特征向量求解復(fù)雜，難以在實(shí)踐中廣為應(yīng)用。D-S證據(jù)理論提供了多源信息的融合規(guī)則。寧亞輝等首先提取道路形狀特征，根據(jù)道路的形狀特征建立概率分配函數(shù)，使用證據(jù)理論融合形狀特征，提取道路信息[4]。汪閩等通過計(jì)算兩時(shí)相影像特征的結(jié)構(gòu)相似度，生成基本概率賦值函數(shù)，利用證據(jù)合成，得到兩時(shí)相遙感影像變化[5]。D-S證據(jù)理論要求證據(jù)之間是相互獨(dú)立的，在實(shí)際應(yīng)用中，證據(jù)之間的相關(guān)性會(huì)導(dǎo)致融合結(jié)果錯(cuò)誤?？紫楸韧ㄟ^建立融合多種特征的數(shù)學(xué)模型，實(shí)現(xiàn)多特征整合[6]。尹宏鵬使用自適應(yīng)加權(quán)法集成多個(gè)特征，取得較好的融合效果[7]。

接近度的概念最早是由Scott等人在二維點(diǎn)對(duì)特征匹配中提出的，用數(shù)據(jù)歐氏距離表示了不同特征矢量之間空間關(guān)系，得到點(diǎn)分布信息[8]。焦竹青等將接近度和模糊理論相結(jié)合，討論一維數(shù)據(jù)融合問題。定義2個(gè)模糊集合的相似程度為接近度，將傳感器之間的關(guān)系用接近度函數(shù)表示，建立接近度矩陣，從而得到所有傳感器數(shù)據(jù)融合的結(jié)果[9]。沈瑜等在紅外圖像和可見光圖像融合中，定義區(qū)域最小方差與區(qū)域最大方差的比值作為接近度，使用鄰域能量和接近度限定不同光譜數(shù)據(jù)的融合比例。該方法能夠得到清晰度和對(duì)比度較好的融合圖像，是一種像素級(jí)圖像融合[10]。Arun Ross等在多模態(tài)生物特征識(shí)別系統(tǒng)中使用接近度評(píng)價(jià)不同生物指標(biāo)與模式矢量的匹配程度，利用多種生物完成信息驗(yàn)證，實(shí)現(xiàn)決策級(jí)融合[11]。

本文將接近度用于遙感圖像處理，實(shí)現(xiàn)特征級(jí)數(shù)據(jù)融合。通過將特征空間中的點(diǎn)由高維空間的坐標(biāo)表示轉(zhuǎn)變?yōu)橛每臻g相對(duì)距離表示，融合多特征數(shù)據(jù)。鑒于主成分分析法在特征融合和降維方面的性能與本文提出的方法接近，選擇主成分分析法做對(duì)比，驗(yàn)證基于特征接近度的融合方法的有效性。

1 基于特征接近度的特征融合

對(duì)圖像進(jìn)行多特征提取，不同特征存在于不同的特征空間。不同類型的特征可以歸一化后在同一特征空間表示，空間維數(shù)是所有特征空間維數(shù)之和?？臻g中的每維對(duì)應(yīng)著樣本的某個(gè)抽象特征，不需要區(qū)分這個(gè)抽象特征的屬性。如果直接使用這種空間表示圖像，占用的存儲(chǔ)空間多，計(jì)算開銷較大。

參數(shù)優(yōu)化是特征融合的關(guān)鍵，通常根據(jù)每維參數(shù)在分類中的貢獻(xiàn)或區(qū)分能力優(yōu)化選擇。本文提出的特征融合算法思路與現(xiàn)有方法不同。在高維特征空間表示特征矢量時(shí)，特征點(diǎn)的空間位置關(guān)系反映了樣本的類型關(guān)系。任意樣本點(diǎn)在特征空間都是以同類原型模式為中心，在一定范圍內(nèi)隨機(jī)分布在特征空間。樣本類型不同，其與各類原型模式的空間關(guān)系也不同。用樣本特征矢量與各類原型模式的距離能夠確定樣本矢量和原型模式的空間接近程度。樣本矢量與所屬類型的原型模式接近度最高，與其它類型原型模式接近度隨空間關(guān)系變化而變化。

將原型模式對(duì)應(yīng)的特征空間點(diǎn)看作類型的核心點(diǎn)，核心點(diǎn)對(duì)特征空間上的所有特征點(diǎn)都有吸引力。特征點(diǎn)離核心點(diǎn)越近，吸引力越強(qiáng)。每個(gè)類型的核心點(diǎn)的吸引力只是在一定的空間范圍內(nèi)有效。

定義1 在n維特征空間中，核心點(diǎn)xi和特征點(diǎn)xj之間的吸引力定義為：

(1)

核心點(diǎn)對(duì)特征點(diǎn)有吸引力，核心點(diǎn)之間也相互吸引。核心點(diǎn)之間的吸引力也是按照公式(1)計(jì)算的。核心點(diǎn)間的吸引力指標(biāo)組成接近度矩陣G。

定義2 設(shè)n維特征空間中有m類樣本，接近度矩陣G定義為：

(2)

G中的第i行表示類型i的原型模式與其它類型原型模式之間的吸引力，定性反映了所有類型i的數(shù)據(jù)與類原型模式之間的統(tǒng)計(jì)關(guān)系。G是一個(gè)對(duì)稱矩陣，它對(duì)角線上的元素是1。

對(duì)于任意樣本特征y，需要計(jì)算y與每個(gè)類型原型模式間的吸引力。用這些吸引力指標(biāo)構(gòu)成樣本的特征接近度矢量g，表示樣本y的融合特征。比較g與G中行向量的歐氏距離，確定樣本的類型。

采集的翠綠色仿獨(dú)山玉樣品有：戒面三粒、手標(biāo)本三塊(如圖1)，玻璃-蠟狀光澤，透明，整體為翠綠色-綠色，顏色分布均勻，隱晶質(zhì)結(jié)構(gòu)，主要呈塊狀、脈狀、條紋狀構(gòu)造，其次為弱定向、團(tuán)窩狀等。經(jīng)常規(guī)寶石特征檢測(cè)，樣品的折射率為1.58(點(diǎn)測(cè))，摩氏硬度為4.5，相對(duì)密度2.858(靜水比重法)。與白天藍(lán)、滿綠獨(dú)山玉相比，樣品的顏色、折射率、相對(duì)密度均與其相似，但摩氏硬度較獨(dú)山玉(5.5～6.4)[1]的偏低。因此，下文重點(diǎn)從顯微結(jié)構(gòu)、化學(xué)成分和紅外光譜三個(gè)方面進(jìn)行了詳細(xì)的研究。

2 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)用到的遙感數(shù)據(jù)來自美國(guó)EO-1衛(wèi)星搭載的高光譜成像光譜儀Hyperion。Hyperion是目前在軌的唯一一臺(tái)星載高光譜成像儀器，能獲取242個(gè)波段數(shù)據(jù)，覆蓋光譜范圍是400～2 500 nm，空間分辨率是30 m，幅寬7.7 km。

研究區(qū)域位于黃河三角洲，影像獲取時(shí)間是2012年5月4日格林尼治時(shí)間02：25：31。因?yàn)榇髿馕占皞鞲衅髯陨淼脑?，有一部分?jǐn)?shù)據(jù)無法生成灰度圖像，只有158個(gè)波段數(shù)據(jù)能夠使用。實(shí)驗(yàn)擬對(duì)研究區(qū)域的高光譜影像分類。

3 分類實(shí)驗(yàn)

截取一景圖像中的部分區(qū)域研究，區(qū)域大小是102×157，預(yù)先定義研究區(qū)域內(nèi)有5種地物類型，即建筑、海水、養(yǎng)殖區(qū)、裸地、內(nèi)陸水體。每類取50例訓(xùn)練樣本點(diǎn)，50例測(cè)試樣本，用光譜特征和紋理特征表示。通過現(xiàn)場(chǎng)勘探，得到樣本集合。選取158個(gè)波段的反射率作為樣本的158維光譜特征，計(jì)算第27～30、47～50波段的4個(gè)灰度差分統(tǒng)計(jì)量[12]，形成32維紋理特征。

設(shè)(x,y)是圖像中一點(diǎn)，與該點(diǎn)鄰近的(x+Δx,y+Δy)點(diǎn)之間的灰度差i的概率用pΔ(i)表示。對(duì)pΔ(i)統(tǒng)計(jì)后，用對(duì)比度、角度方向二階矩、熵和平均值表示紋理特征。

對(duì)比度：

(3)

角度方向二階矩：

(4)

(5)

平均值：

(6)

用基于特征接近度和主成分分析2種方法對(duì)研究區(qū)域進(jìn)行地物分類。

3.1 基于特征接近度融合的遙感影像分類

利用基于特征矢量接近度的算法融合光譜特征和紋理特征。按照算法處理數(shù)據(jù)規(guī)則，訓(xùn)練樣本的表示維數(shù)等于類型數(shù)目，樣本被映射到5維數(shù)據(jù)空間?？臻g的第一維表示樣本點(diǎn)與第一種地物原型模式之間的吸引力，第二維表示樣本點(diǎn)與第二種地物原型模式之間的吸引力，以此類推。融合后，訓(xùn)練樣本特征的空間分布見圖1。圖1(a)是以樣本的第一、第二、第三維為坐標(biāo)軸，圖1(b)是以樣本的第三、第四、第五維為坐標(biāo)軸，顯示樣本的空間分布。圖中藍(lán)色表示內(nèi)陸水體，紅色表示建筑，綠色表示海水，黃色表示養(yǎng)殖區(qū)，黑色表示裸地。從圖中可以看出訓(xùn)練樣本特征矢量經(jīng)過處理后顯示出較好的可分離性。

圖1 訓(xùn)練樣本在特征接近度融合后的空間分布圖

訓(xùn)練樣本的分類結(jié)果見表1，測(cè)試樣本分類結(jié)果見表2。訓(xùn)練樣本分類平均正確率高達(dá)100%，測(cè)試樣本的平均分類精度也達(dá)到96%，說明提出的融合方法能夠極大地提高分類精度。

3.2 基于主成分分析融合的遙感影像分類

利用主成分分析算法融合光譜特征和紋理特征。具體處理過程是先提取5類原型模式，求協(xié)方差矩陣；根據(jù)協(xié)方差矩陣計(jì)算特征值、相應(yīng)的正交特征向量、主成分貢獻(xiàn)率和累積方差貢獻(xiàn)率，確定主成分個(gè)數(shù)；用主要成分表示融合后數(shù)據(jù)。經(jīng)過主成分分析，158維光譜和32維紋理特征被壓縮成4維特征。訓(xùn)練樣本被映射到4維數(shù)據(jù)空間，樣本在融合后的空間分布如圖2。圖2(a)是以樣本的第一、第二、第三維為坐標(biāo)軸，圖2(b)是以樣本的第二、第三、第四維為坐標(biāo)軸，展示樣本的空間分布。第一維對(duì)應(yīng)第一主成分，第二維對(duì)應(yīng)第二主成分，以此類推。點(diǎn)的顏色和樣本類型之間的關(guān)系同圖1。

表1 基于特征接近度融合的訓(xùn)練樣本分類結(jié)果

Note:①Inlandwater;②Building;③Seawater;④Aquacultureregion;⑤Bareland;⑥User′saccuracy;⑦Producer′saccuracy

表2 基于特征接近度融合的測(cè)試樣本分類結(jié)果

Note:①Inlandwater;②Building;③Seawater;④Aquacultureregion;⑤Bareland;⑥User′saccuracy;⑦Producer′saccuracy

訓(xùn)練樣本的分類結(jié)果見表3，樣本平均分類正確率是92%，其中建筑、養(yǎng)殖區(qū)和裸地的分類精度到達(dá)100%。內(nèi)陸水體樣本有3例錯(cuò)分為養(yǎng)殖區(qū)和6例錯(cuò)分為海水，海水有10例樣本錯(cuò)分到內(nèi)陸水體，1例錯(cuò)分為養(yǎng)殖區(qū)。測(cè)試樣本分類結(jié)果見表4，養(yǎng)殖區(qū)錯(cuò)分為內(nèi)陸水體的樣本有6例，裸地錯(cuò)分為建筑的有3例，測(cè)試樣本的平均正確率達(dá)到89%。實(shí)驗(yàn)結(jié)果表明，基于特征接近度的融合算法對(duì)樣本的分類正確率高于基于PCA融合的算法。

用上述2種方法對(duì)原始遙感影像進(jìn)行處理。用29波段、23波段和16波段灰度圖像合成研究區(qū)域的假彩色圖像，如圖3(a)所示。由于水深、鹽度、底質(zhì)和水的渾濁度不同，內(nèi)陸水體和海水成像不同?；谔卣魇噶拷咏鹊奶卣魅诤戏诸惤Y(jié)果見圖3(b)，基于PCA特征融合的分類結(jié)果見圖3(c)。圖中黑色表示裸地，深灰色表示建筑，灰色表示海水，淺灰色表示養(yǎng)殖區(qū)，白色表示內(nèi)陸水體。

圖2 訓(xùn)練樣本在主成分分析融合后的空間分布圖

表3 基于PCA融合的訓(xùn)練樣本分類結(jié)果

Note:①Inlandwater;②Building;③Seawater;④Aquacultureregion;⑤Bareland;⑥User′saccuracy;⑦Producer′saccuracy

比較兩種方法的分類結(jié)果，圖3(b)中養(yǎng)殖區(qū)、裸地、建筑的分類正確率都較高。主要錯(cuò)誤是內(nèi)陸水體的邊緣錯(cuò)分為養(yǎng)殖區(qū)，少量靠近海岸線的海水錯(cuò)分為養(yǎng)殖區(qū)。圖3(c)中的養(yǎng)殖區(qū)、裸地、建筑等類型基本分類正確，內(nèi)陸水體和海水錯(cuò)分比較明顯。其中左下方的三角形內(nèi)陸水體中近一半像素被錯(cuò)分為養(yǎng)殖區(qū)和海水，較多的近岸海水被錯(cuò)分為內(nèi)陸水體。從整幅圖像的分類結(jié)果可以看出，基于特征接近度的特征融合算法的分類精度遠(yuǎn)高于主成分分析融合算法的分類精度。

表4 基于PCA融合的測(cè)試樣本分類結(jié)果

Note:①Inlandwater;②Building;③Seawater;④Aquacultureregion;⑤Bareland;⑥User′saccuracy;⑦Producer′saccuracy

((a)偽彩色原始圖；(b)基于特征接近度融合的分類圖；(c)基于PCA的分類圖。(a)Pseudo-colouroriginal image；(b)Classification map based on proximity fusion；(c)Classification map based on PCA fusion.)

圖3 分類映像圖
Fig.3Classificationmap

4 結(jié)語

本文提出了基于特征接近度的融合方法，利用特征接近度表示特征點(diǎn)在特征空間的相對(duì)位置，以此作為分辨特征的依據(jù)。選擇Hyperion影像作為數(shù)據(jù)源，在特征提取方法相同的情況下，用基于特征接近度的融合算法和主成分分析法進(jìn)行多特征融合，前者產(chǎn)生的數(shù)據(jù)空間可分性更好，對(duì)實(shí)驗(yàn)區(qū)影像分類正確率更高。在用本文提出的方法解決問題時(shí)應(yīng)注意該方法的特征融合效果與原型模式有關(guān)，準(zhǔn)確表示同類模式特征的原型模式能夠提高分類精度，反之亦然。在融合過程中，不同特征空間的特征在融合中的地位是相同的。但是在實(shí)踐中，不同類型的特征對(duì)描述對(duì)象的刻畫能力是不同的，所以，沒有區(qū)分不同特征的信息量差異也是一個(gè)不足。

通過實(shí)驗(yàn)證明，本文提出的算法能夠同時(shí)融合多種類型特征，計(jì)算簡(jiǎn)單，不要求特征相互獨(dú)立。對(duì)高光譜影像能實(shí)現(xiàn)較好的特征融合。算法表示特征方式新穎，在融合特征的同時(shí)降低了特征表示維數(shù)，具有一定實(shí)用價(jià)值。

[1]PohlC,VanGenderenJL.Reviewarticlemultisensorimagefusioninremotesensing:concepts,methodsandapplications[J].InternationalJournalofRemoteSensing, 1998, 19(5): 823-854.

[2]CorreaNM,AdaliT,LiYO,etal.Canonicalcorrelationanalysisfordatafusionandgroupinferences[J].SignalProcessingMagazine,IEEE, 2010, 27(4): 39-50.

[3]WangZ,ZiouD,ArmenakisC,etal.Acomparativeanalysisofimagefusionmethods[J].GeoscienceandRemoteSensing,IEEETransactionson, 2005, 43(6): 1391-1402.

[4] 寧亞輝， 雷小奇， 王功孝， 等.Dempster-Shafer證據(jù)融合形狀特征的高分辨率遙感圖像道路信息提取 [J]. 中國(guó)圖象圖形學(xué)報(bào)， 2011， 16(12)： 2183-2190.

[5] 汪閩, 張星月. 多特征證據(jù)融合的遙感圖像變化檢測(cè) [J]. 遙感學(xué)報(bào)， 2010， 14(3)： 558-570.

[6] 孔祥兵, 舒寧, 陶建斌, 等. 一種基于多特征融合的新型光譜相似性測(cè)度 [J]. 光譜學(xué)與光譜分析, 2011, 31(8): 2166-2170.

[7] 尹宏鵬, 柴毅, 匡金駿, 等. 一種基于多特征自適應(yīng)融合的運(yùn)動(dòng)目標(biāo)跟蹤算法 [J]. 光電子. 激光, 2010, 21(6): 917-923.

[8]ScottGL,Longuet-HigginsHC.Analgorithmforassociatingthefeaturesoftwoimages[J].ProceedingsoftheRoyalSocietyofLondon.SeriesB:BiologicalSciences, 1991, 244(1309): 21-26.

[9] 焦竹青, 熊偉麗, 張林, 等. 基于接近度的多傳感器數(shù)據(jù)融合方法研究 [J]. 壓電與聲光, 2009, 31(5): 771-774.

[10] 沈瑜, 黨建武, 馮鑫, 等. 基于Tetrolet變換的紅外與可見光融合 [J]. 光譜學(xué)與光譜分析, 2013(6): 1506-1511.

[11]RossA,JainA.Informationfusioninbiometrics[J].PatternRecognitionLetters, 2003, 24(13): 2115-2125.

[12] 阮秋琦. 數(shù)字圖像處理學(xué) [M]. 北京： 電子工業(yè)出版社, 2007: 423-423.

責(zé)任編輯 陳呈超

A Multi-Feature Fusion Method Based on Proximity

LIU Jin-Mei1,2， WANG Guo-Yu1

(1. College of Information Science and Engineering, Ocean University of China, Qingdao 266100, China; 2. Science and Information College, Qingdao Agricultural University, Qingdao 266109, China)

The key problem in feature fusion is how to combine parameters optimally. A novel fusion algorithm based on feature proximity is proposed to fuse multi-feature. Attraction is defined to represent the relationship of feature vector and prototype model. The proximity vector formed by attraction between prototype models and feature vector is adopted to represent fused feature. Hyperion imagery is selected as hyper-spectral test data and terrain classification based on feature fusion is studied. Experimental results show that the proposed method has better fusion performance than principal component analysis for the same feature set.

remote sensing imagery； feature fusion； feature proximity

山東省自然科學(xué)基金項(xiàng)目(ZR2009GL008；ZR2010CL025)資助

2014-01-10；

2014-05-06

劉金梅(1979-)，女，副教授。E-mail:liu_jinmei@qau.edu.cn

TP391

A

1672-5174(2015)11-109-05

10.16441/j.cnki.hdxb.20140013