張軍 胡澤駿 王倩，3 梁繼民

(1西安電子科技大學(xué)，陜西西安710071;2國家海洋局極地科學(xué)重點(diǎn)實(shí)驗(yàn)室，中國極地研究中心，上海200136;3西安郵電大學(xué)，陜西 西安710121)

0 引言

由于極光觀測圖像數(shù)據(jù)逐年遞增，單純依靠人工手段已無法進(jìn)行有效及時(shí)的處理，因此，極光自動(dòng)分類方法已成為極光圖像分析領(lǐng)域中的研究熱點(diǎn)。

Syrj?suo等［1-4］在早期的極光自動(dòng)分類問題中采用極光圖像的一個(gè)或幾個(gè)特征，如亮度、能量密度、灰度共生矩陣(GCM)、傅里葉描述子等特征來進(jìn)行分類，雖然算法的擴(kuò)展性和可靠性有限，但是作為早期極光自動(dòng)分類工作中的經(jīng)典方法，具有極其重要的啟發(fā)意義，為后續(xù)的分類工作奠定了基礎(chǔ)。2009年，付蓉等［5］提出了一種形態(tài)分量分析(MCA)的方法并結(jié)合多種分類器進(jìn)行分類。2010年，王鈺如等［6］提出采用X-灰度氛圍矩陣(X-GLAMs)提取極光圖像特征并結(jié)合支撐向量機(jī)(SVM)進(jìn)行分類。同年，王倩等［7］利用局部二元模式(LBP)結(jié)合分塊策略提取圖像靜態(tài)特征，得到了局部紋理和全局形態(tài)的統(tǒng)一描述，并且結(jié)合K近鄰分類器取得了十分優(yōu)異的分類效果。Han等［8］采用多階統(tǒng)計(jì)特征結(jié)合小波分解，提取了包括灰度分布、灰度共生矩陣、行程長度矩陣(RLM)等特征，并結(jié)合K近鄰分類器和后向神經(jīng)網(wǎng)絡(luò)進(jìn)行自動(dòng)分類，在保證特征維度較低的情況下，得到了魯棒的分類性能。2013年，韓冰等［9］利用生物啟發(fā)特征(BIFs)并結(jié)合判別位置對(duì)齊(DLA)的流行學(xué)習(xí)方法對(duì)特征進(jìn)行稀疏表征，結(jié)合支撐向量機(jī)分類，獲得了較好的實(shí)驗(yàn)結(jié)果。

然而，極光是一個(gè)動(dòng)態(tài)物理過程，目前大部分基于靜態(tài)圖像的分析往往忽略了極光的運(yùn)動(dòng)信息。而特定的極光事件同時(shí)包含豐富的形態(tài)和運(yùn)動(dòng)信息，所以針對(duì)極光事件的動(dòng)態(tài)分析才能更好地理解這種物理現(xiàn)象。楊秋菊等［10］提出的基于隱馬爾科夫模型用于極光事件的檢測，王倩等［11］提出基于光流場的方法用來表征極光事件，這兩種方法都在極光事件的表征和檢測中取得了一定的效果，但是這兩種方法都是基于參數(shù)模型的算法，由于極光圖像的復(fù)雜性，不同事件之間存在模糊過渡事件，而同類事件又往往存在較大的差異，因此需要大量人為標(biāo)定的已知數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練。人工標(biāo)定訓(xùn)練數(shù)據(jù)非常費(fèi)時(shí)費(fèi)力，而且由于經(jīng)驗(yàn)和疲勞等原因很容易導(dǎo)致誤標(biāo)記問題。此外，這類基于參數(shù)的方法，往往難以解決事件長度不一致的問題，即使解決也是采用近似的方式進(jìn)行處理。

針對(duì)上述問題，本文采用一種非參數(shù)模型的基于單個(gè)樣本的表征方法用于動(dòng)態(tài)極光事件自動(dòng)分類。針對(duì)極光事件的運(yùn)動(dòng)方式，結(jié)合統(tǒng)計(jì)的動(dòng)態(tài)紋理特性，本文提出一種基于方向能量的三維序列表征方法。首先，通過對(duì)多個(gè)方向上能量分解來描述極光事件中的局部紋理和各個(gè)方向上的運(yùn)動(dòng)信息，結(jié)合分塊策略獲得極光的全局形態(tài)信息。其次，為了最終計(jì)算統(tǒng)計(jì)表征，借鑒一種二元編碼重組的方式對(duì)多個(gè)方向能量進(jìn)行融合，從而使得極光事件的表征具有同時(shí)捕獲多種類型信息的能力。最后，利用最近鄰和支撐向量機(jī)分類器分別對(duì)從中國北極黃河站拍攝到的極光數(shù)據(jù)中挑選的特定極光事件進(jìn)行自動(dòng)分類。該方法不需要復(fù)雜的訓(xùn)練過程，參數(shù)簡單，卻能同時(shí)表征局部紋理，全局形態(tài)和運(yùn)動(dòng)信息。所提方法具有針對(duì)性，能有效用于極光事件的分析，并且所提特征完全不依賴于極光事件長度，方便表征不同持續(xù)時(shí)間的極光事件。

1 極光事件的表征方法

紋理、形態(tài)和運(yùn)動(dòng)特征在極光事件的表征中具有重要的意義，而同時(shí)獲取這三種特性在極光事件的表征中十分必要。本文采用方向能量來表征局部紋理和運(yùn)動(dòng)特性，利用二元編碼重組的方式對(duì)多個(gè)方向能量進(jìn)行融合，結(jié)合分塊策略來獲取形態(tài)信息。

1.1 極光事件的方向能量

本文采用時(shí)空同時(shí)分解的方式獲取方向能量，具體采用三維可操控濾波器，計(jì)算各個(gè)方向上的能量［12］。采用高斯二階導(dǎo)數(shù)的輸出和其希爾伯特變換得到特定方向上的能量響應(yīng)［13］:

這里，θ∈［0，2π］和 φ∈［0，π］為球坐標(biāo)中的兩個(gè)角變量。圖1(a)-(g)為一個(gè)極光圖像序列的7個(gè)不同方向的能量示意圖，這7個(gè)方向(θ^p)分別對(duì)應(yīng):幀內(nèi)垂直運(yùn)動(dòng)(1，0，0)，幀內(nèi)水平運(yùn)動(dòng)(0，1，0)， 幀間閃爍搖曳(0，0，1)，幀間向右運(yùn)動(dòng)，幀間向上運(yùn)動(dòng)(0，和幀間向下運(yùn)動(dòng)通過這樣7個(gè)典型方向上的能量提取，可以全面地獲取紋理和運(yùn)動(dòng)信息。

1.2 二元編碼混合表征

為了進(jìn)一步對(duì)7個(gè)方向能量進(jìn)行聯(lián)合統(tǒng)計(jì)，受局部二元模式的啟發(fā)［14］，本文采用二元編碼的方式進(jìn)行特征重組。定義Ec=I2(x，y，t)為圖像序列原始能量，重組后的編碼序列為:

圖1最后一行顯示了編碼之后的序列示意圖。圖2顯示了詳細(xì)的編碼過程，通過公式(3)差分和加權(quán)編碼，并對(duì)7個(gè)方向上能量進(jìn)行編碼重組，可以使得多個(gè)方向上的能量通過一個(gè)總的能量函數(shù)表示，這對(duì)于后續(xù)的統(tǒng)計(jì)直方圖計(jì)算尤為重要。幀間向左運(yùn)動(dòng)

圖1 方向能量示意圖Fig.1.Diagram of orientated energies

圖2 編碼示意圖Fig.2.Diagram of coding procedure

1.3 分塊提取形態(tài)

圖3所示為兩種分塊模式的詳細(xì)描述，(a)為方形分塊策略，(b)為扇形分塊策略，(c)為如何提取特征的說明。每一幀圖像按照相同的分塊模式進(jìn)行劃分，所有幀的相同位置子塊相連作為三維子塊的一個(gè)劃分提取三維序列特征。本文提出基于方形和扇形兩種分塊方式，每個(gè)的子塊分別統(tǒng)計(jì)直方圖特征為:這里，W(A)={1 如果A為真0 如果A為假，Ωi是所在子塊的三維坐標(biāo)范圍，N是子塊的總數(shù)，因此每個(gè)子塊的直方圖為:所有特征串聯(lián)生成最終的圖像序列表征H:

假如分塊總數(shù)為N，最終特征維數(shù)為128×N。通過這種分塊方式，可以從整體上獲取極光圖像的形態(tài)信息，結(jié)合各個(gè)子塊方向能量的表征，實(shí)現(xiàn)所提特征能同時(shí)擁有獲取紋理、形態(tài)和運(yùn)動(dòng)信息的能力。

圖3 分塊方式示意圖Fig.3.Block partition scheme

1.4 正則化

由于每個(gè)極光事件的持續(xù)時(shí)間不同，所以對(duì)應(yīng)的極光圖像序列幀數(shù)不同。通過采用簡單的歸一化函數(shù)即可得到完全與幀數(shù)無關(guān)的序列表征:這里ε0是一個(gè)很小的常數(shù)，用來保證分母不為零。由于直方圖特征的1范數(shù)為所有直方圖條目相加，即為整個(gè)圖像序列中所有像素?cái)?shù)目總和，而由于每張圖像大小相同，所以歸一化之后可以得到與幀數(shù)無關(guān)的表征。這種簡單的歸一化操作，是很多基于參數(shù)模型難以做到的。

2 實(shí)驗(yàn)數(shù)據(jù)及參數(shù)分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

中國北極黃河站拍攝的全天空極光數(shù)據(jù)，時(shí)間分辨率為10 s，原始圖像為512×512，經(jīng)過一系列預(yù)處理(包括去除暗電流、噪聲、灰度增強(qiáng)和旋轉(zhuǎn))后，得到圖像大小為440×440，灰度級(jí)為0-255的極光序列。

挑選具有穩(wěn)定的極光過程的321個(gè)典型的極光序列進(jìn)行分類實(shí)驗(yàn)。按照胡澤駿等［15］對(duì)極光的研究和王倩等［7］對(duì)于靜態(tài)極光的分類，本文將數(shù)據(jù)庫中的極光事件分為4個(gè)類別，分別為弧狀極光序列(90)、帷幔型冕狀極光序列(62)、放射型冕狀極光序列(92)和熱點(diǎn)極光序列(77)，圖4所示為4種典型的極光序列示例。

本數(shù)據(jù)庫擁有4種類別的極光事件，整體來說同類之間擁有相似的形態(tài)和變化，但是具體的變化形態(tài)和運(yùn)動(dòng)模式卻復(fù)雜多樣，持續(xù)時(shí)間各異，并且類間依然存在少量過渡狀態(tài)，使得本數(shù)據(jù)庫中極光事件的分類非常具有挑戰(zhàn)性。

2.2 距離測度和分類器

本文分別采用支撐向量機(jī)［16］和最近鄰分類［17］的方式進(jìn)行有監(jiān)督的分類。對(duì)于支撐向量機(jī)，需要針對(duì)特征類型選擇適合的核函數(shù)，結(jié)合直方圖特征的性質(zhì)和前人的工作經(jīng)驗(yàn)，通過大量的實(shí)驗(yàn)篩選發(fā)現(xiàn)，采用卡方核函數(shù)進(jìn)行距離測度可以取得最優(yōu)的結(jié)果。對(duì)于最近鄰分類器，也采用卡方距離計(jì)算訓(xùn)練模型和測試樣本之間的不相似度?？ǚ骄嚯x測度定義如下［18］:

這里x和y分別代表了訓(xùn)練樣本和測試樣本的特征，B為直方圖特征的維度。

2.3 參數(shù)分析

圖4 極光事件示例Fig.4.Examples of auroral event

本文提出的表征方法中最重要的一個(gè)參數(shù)是如何進(jìn)行分塊，本文定義m×n的方形分塊方式為Sm×n;定義扇形分塊為Cq×h，其中同心圓個(gè)數(shù)為q，徑向塊數(shù)h。通過采用留一法的策略進(jìn)行最近鄰分類，以便選擇最優(yōu)參數(shù)。留一法是交叉驗(yàn)證中的一種極限情況，假設(shè)樣本數(shù)據(jù)集中有N個(gè)樣本數(shù)據(jù)，將每個(gè)樣本單獨(dú)作為測試集，其余N-1個(gè)樣本作為訓(xùn)練集，這樣得到了N個(gè)分類策略對(duì)應(yīng)的結(jié)果，用這N個(gè)分類策略的平均分類準(zhǔn)確率作為此組參數(shù)的性能指標(biāo)。

圖5所示為不同參數(shù)選擇下留一法的分類正確率，圖(a)為方形分塊的結(jié)果，圖(b)為扇形分塊的結(jié)果。當(dāng)選擇S3×3和C2×3時(shí)分別獲得各自最高分類正確率為:85.78%和87.00%?？傮w來說，扇形分塊可以更好地描述極光的整體形態(tài)。但由于王倩等采用方形分塊策略進(jìn)行靜態(tài)極光圖像的表征得到較好的分類效果，因此，在后續(xù)的實(shí)驗(yàn)中，本文依然對(duì)兩種分塊策略分別進(jìn)行了實(shí)驗(yàn)比較，針對(duì)不同的分類策略探討兩種分塊方式的特點(diǎn)。

圖5 參數(shù)分析Fig.5.Parameter analysis

3 有監(jiān)督分類

按照隨機(jī)的方式，挑選數(shù)據(jù)庫中一定量的樣本作為訓(xùn)練集，剩余所有樣本作為測試集，訓(xùn)練測試比例從1∶1到1∶10。圖6顯示分類結(jié)果隨著訓(xùn)練測試比改變的情況?？梢钥闯霎?dāng)采用扇形分塊方式和最近鄰分類器時(shí)可以得到最優(yōu)的實(shí)驗(yàn)結(jié)果，并且特征維度為768，相比方形分塊的1 152的特征維度有較大的降低。本文進(jìn)一步給出扇形最近鄰方式，當(dāng)訓(xùn)練測試比為1∶1時(shí)的詳細(xì)分類結(jié)果的混淆矩陣顯示，如表1所示。從表中可以看出，弧狀和放射型冕狀極光事件得到較高的分類正確率，由于這兩類極光事件各自特征明顯而獨(dú)特，類內(nèi)一致性較好，類間差異較大，這也符合人眼常規(guī)更易于區(qū)分這兩類極光的特性。反之，帷幔型冕狀極光事件中經(jīng)常出現(xiàn)過渡狀態(tài)極光，尤其是熱點(diǎn)極光事件除了擁有強(qiáng)烈的亮斑也會(huì)伴隨其他各個(gè)類型極光的特征，所以出現(xiàn)誤分的可能性較大。

從另一個(gè)角度來看，圖6中，支撐向量機(jī)的方法沒能取得比最近鄰方法更優(yōu)的分類結(jié)果。但是由于最近鄰分類器不可避免地需要計(jì)算每一個(gè)樣本與訓(xùn)練集之間的距離，效率比較低下，在實(shí)際應(yīng)用中難以推廣。由于訓(xùn)練樣本較少的緣故，最近鄰分類器所需的計(jì)算時(shí)間還可以容忍，但是在大量的訓(xùn)練和分類樣本中，支撐向量機(jī)往往能取得非常優(yōu)異的性能，特別在分類效率上，有大量提升。所以，對(duì)于海量數(shù)據(jù)實(shí)時(shí)分類，使用支撐向量機(jī)更有利于對(duì)數(shù)據(jù)進(jìn)行分類。

此外，本文將兩種經(jīng)典的動(dòng)態(tài)紋理表征方法Derpanis法［13］和 Doretto法［19］直接用于極光事件表征，結(jié)合最近鄰分類器分類與所提算法進(jìn)行比較。與這兩種方法進(jìn)行比較的原因有兩點(diǎn):第一，Derpanis的方法是基于方向能量的直接表征，跟本文所提方法最為近似;第二，Doretto的方法是非常經(jīng)典的基于參數(shù)模型的動(dòng)態(tài)紋理表征方法，與其比較的結(jié)果具有代表性。從圖6中可以看出，相比于Derpanis的方法單純使用方向能量，本文所提出的二元編碼方式和分塊策略取得了更為準(zhǔn)確的分類結(jié)果，使得分類性能大大提升，這也說明，所采用的二元編碼重組的方式，更加適用于極光序列的表征。Doretto基于參數(shù)模型的方法，取得了相對(duì)較低的分類結(jié)果，原因可能是訓(xùn)練樣本較少，而且極光事件不同于普通的自然動(dòng)態(tài)紋理序列，復(fù)雜的變化和不定的形態(tài)，類間差異不夠明確，使得此參數(shù)模型難以精確地描述極光事件。

此外，本文還進(jìn)行了K近鄰分類，部分結(jié)果如圖7所示?？梢园l(fā)現(xiàn)大部分情況下，找到的若干個(gè)近鄰序列跟原始測試序列形態(tài)一致，但是偶爾也會(huì)出現(xiàn)標(biāo)記不一樣的情況。通過仔細(xì)研究發(fā)現(xiàn)，有些結(jié)果中，雖然標(biāo)記的類別不同，但事實(shí)上，圖像序列本身依然存在非常大的相似性，由于極光圖像是連續(xù)變化的過程，難免有些中間的過渡狀態(tài)，而對(duì)于這種情況，簡單的標(biāo)記難以描述清楚，多類別標(biāo)記或者模糊標(biāo)記可能是一個(gè)很好的解決方法?？傮w來說，對(duì)于選擇的典型的極光事件，本文提出的算法取得了優(yōu)異的分類效果，能方便地輔助極光專家進(jìn)行數(shù)據(jù)的預(yù)選擇。

圖6 分類正確率隨測試訓(xùn)練比變化Fig.6.Classification accuracy with different training-testing ratio

表1 各個(gè)類別分類正確率Table 1.Classification accuracies of different categories

圖7 K近鄰分類示例Fig.7.Samples from the results of K-nearest neighbor classification

4 結(jié)語

本文提出了一種新型的基于方向能量二元編碼的三維動(dòng)態(tài)極光序列表征方法，結(jié)合不同的分塊方式，可以同時(shí)提取局部紋理、全局形態(tài)和運(yùn)動(dòng)信息。同時(shí)本文所提特征不需要復(fù)雜的訓(xùn)練過程，參數(shù)簡單，并且跟極光事件持續(xù)時(shí)間無關(guān)，可以對(duì)不同持續(xù)時(shí)間的極光事件進(jìn)行表征。

結(jié)合最近鄰分類器和支撐向量機(jī)分類器，本文的特征描述方法得到了優(yōu)異的分類性能，尤其是最近鄰分類器結(jié)合扇形分塊方式取得了最好的分類結(jié)果。實(shí)驗(yàn)結(jié)果表明，該算法可以進(jìn)一步推廣到更為海量的數(shù)據(jù)應(yīng)用中去，解決了人工不可能完成的工作量，對(duì)實(shí)際觀測結(jié)果的統(tǒng)計(jì)會(huì)有極大的幫助。如果具體應(yīng)用中對(duì)效率和實(shí)時(shí)性要求比較高，支撐向量機(jī)可以用來進(jìn)行分類，分類效率可以大幅提升。

但是，由于數(shù)據(jù)量較大，人工標(biāo)記的訓(xùn)練集，難免存在一些錯(cuò)誤標(biāo)記。在接下來的工作中，需要尋找一種針對(duì)訓(xùn)練集進(jìn)行重新篩選的策略，對(duì)訓(xùn)練集的誤標(biāo)記進(jìn)行糾正或者剔除。除此之外，相比于海量的極光數(shù)據(jù)，本文實(shí)驗(yàn)中，由于人工選擇的關(guān)系，所采用的極光事件數(shù)據(jù)量較少，實(shí)驗(yàn)結(jié)果并不能完全反映海量數(shù)據(jù)中的應(yīng)用效果。所以在接下來的工作中，可以考慮將本算法應(yīng)用于海量的極光數(shù)據(jù)分析中去，對(duì)完全未標(biāo)定的極光事件進(jìn)行檢測和自動(dòng)分類，為極光專家提供一種海量數(shù)據(jù)的自動(dòng)分析方法。

1 Syrj?suo M T， Donovan E F.Analysis of auroral images:detection and tracking.Geophysica， 2002， 38(1-2):3-14.

2 Syrj?suo M T， Donovan E F.Diurnal auroral occurrence statistics obtained viamachine vision.Annales Geophysicae， 2004， 22:1103-1113.

3 Syrj?suo M T， Donovan E F， Qin X， et al.Automatic classification of auroral images in substorm studies//Proceedings of the International Conference on Substorms(ICS8)， University of Calgary， Alberta， Canada， 2007:309-313.

4 Syrj?suo M T， Kauristie K， Pulkkinen T I.A search engine for auroral forms.Advances in Space Research， 2001， 28(11):1611-1616.

5 Fu R，Li J，Gao X B，et al.Automatic aurora images classification algorithm based on separated texture//2009 IEEE International Conference on Proceedings of the Robotics and Biomimetics(ROBIO).Guilin:IEEE，2009:1331-1335.

6 Wang Y R，Li J，F(xiàn)u R，et al.Dayside corona aurora classification based on X-grey level auramatrices and feature selection.International Journal of Computer Mathematics， 2011， 88(18):3852-3863.

7 Wang Q，Liang JM，Hu Z J，etal.Spatial texture based automatic classification of dayside aurora in all-sky images.Journal of Atmospheric and Solar-Terrestrial Physics， 2010， 72(5-6):498-508.

8 Han SM，Wu ZS，Wu G L，etal.Automatic classification of dayside aurora in all-sky imagesusing amulti-level texture feature representation.Advanced Materials Research，2012，341-342:158-162.

9 Han B，Zhao X J，Tao D C，etal.Dayside aurora classification via BIFs-based sparse representation usingmanifold learning.International Journal of Computer Mathematics， 2013， 91(11):2415-2426.

10 Yang Q J，Liang JM，Hu Z J，etal.Auroral sequence representation and classification using hiddenmarkovmodels.IEEE Transactionson Geoscience and Remote Sensing，2012， 50(12):5049-5060.

11 Wang Q，Liang JM，Hu Z J.Auroral event detection using spatiotemporal statistics of localmotion vectors.Advances in Polar Science，2013，24(3):175-182.

12 Derpanis K G，Gryn JM.Three-dimensional nth derivative ofGaussian separable steerable filters//IEEE International Conference on Image Processing，2005.Genova:IEEE，2005:Ⅲ-553-556.

13 Derpanis K G，Wildes R P.Dynamic texture recognition based on distributionsof spacetime oriented structure//2010 IEEEConference on Computer Vision and Pattern Recognition(CVPR).San Francisco， CA:IEEE，2010:191-198.

14 Ojala T，Pietikainen M，Maenpaa T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns.IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24(7):971-987.

15 Hu Z J，Yang H，Huang D，et al.Synoptic distribution of dayside aurora:Multiple-wavelength all-sky observation at Yellow River Station in Ny-?lesund， Svalbard.Journal of Atmospheric and Solar-Terrestrial Physics， 2009， 71(8-9):794-804.

16 Suykens JA K，Vandewalle J.Least squares support vectormachine classifiers.Neural Processing Letters，1999，9(3):293-300.

17 Duda R O，Hart PE，Stork D G.Pattern Classification.New York:John Wiley&Sons，2012.

18 Sokal R R， Rohlf F J.Biometry:The Principals and Practice of Statistics in Biological Research.New York:WH Freeman and Company，1995.

19 Doretto G，Chiuso A，Wu Y N，et al.Dynamic textures.International Journal of Computer Vision，2003，51(2):91-109.