董 楊，范大昭

信息工程大學，河南 鄭州，450000

?

航天影像間的自動轉點方法

董 楊，范大昭

信息工程大學，河南 鄭州，450000

航天影像間的自動轉點是航天影像自動空中三角測量的主要環(huán)節(jié)，尋找一種魯棒性好、耗時少的自動轉點方法至關重要。本文針對傳統(tǒng)人工航天影像轉點耗時、耗力的問題，提出了一種全自動的航天影像轉點方法，實現(xiàn)了批量航天影像自動化轉點，大幅減少了生產作業(yè)的成本。該方法首先在讀取影像邊角點空間坐標的基礎上，自動計算影像重疊區(qū)域；然后，在利用GPU加速SIFT算法的基礎上進行基于分塊的航天影像匹配，從而實現(xiàn)了航天影像間的自動轉點過程；最后，利用“天繪一號”衛(wèi)星的三線陣影像進行實驗，并利用最小二乘影像匹配等方法對實驗結果進行了分析。實驗表明，該自動轉點方法耗時較少、精度可靠，能夠較好地減少作業(yè)成本，具有一定的可行性。

航天影像；自動轉點；GPU；SIFT；分塊

1 引 言

近年來，航天遙感處理系統(tǒng)向低花費、低耗時、高自動化的方向不斷發(fā)展。隨著遙感大數(shù)據(jù)[1-2]概念的逐漸形成，航天遙感影像的一體化、自動化處理流程也越來越受到人們的重視?，F(xiàn)存的航天遙感處理系統(tǒng)多是考慮單幅影像的處理，未對整體影像間進行平差處理，這導致后期產品中的正射影像或DEM間不能很好地進行拼接等處理，從而影響到產品的應用和推廣。因此，考慮整體影像間的差異，進行整體的區(qū)域網平差十分重要。其中，航天影像間的轉點是進行整體平差的前提，它的自動化轉點過程是推進航天影像整體自動化處理的一個重要因素,轉點質量的優(yōu)劣直接影響到后續(xù)整體的RPC區(qū)域網平差過程。因此，尋找一種魯棒性好、耗時少的自動轉點方法尤為重要。

現(xiàn)行的自動轉點方法多是針對高分辨率航空影像的。袁修孝、明洋等人提出了利用影像定向參數(shù)進行航帶間影像的自動轉點[3]；張劍清、張勇等人提出了利用城區(qū)航空影像中存在的大量鉛垂線輔助進行空三自動轉點[4]。然而這些方法不適用于航天影像，航天影像間的自動轉點還少有研究。

影像間的自動轉點過程實質上是尋找多幅航天影像間同名點的過程。借助于現(xiàn)今硬件技術的發(fā)展，基于GPU的SIFT[5]特征匹配算法能夠快速準確地提取出影像間的同名點。其中，SIFT特征匹配算法由David Lowe提出，其能夠很好地應對圖像旋轉、尺度縮放、仿射變換和視角變化等影響。隨后，Changchang Wu依據(jù)Andrea Vedaldi的Sift++[6]方法和Sudipta N Sinha等人的GPU-SIFT[7]方法提出了SiftGPU[8]方法，利用GPU加速方法極大提升了SIFT方法的運行速度。因此文中提出轉點策略：首先，利用航天影像的四角點地理空間坐標確定各影像間的大致重疊關系；然后基于分塊影像進行GPU加速的SIFT特征提取；最后，利用多幅影像間特征點匹配策略進行最終匹配，由此得到分布良好且精度可靠的同名點，從而實現(xiàn)航天影像間的自動轉點。

2 自動轉點方法的設計

2.1 SIFT算法和GPU加速

2.1.1 SIFT算法

SIFT算法的核心是提取影像的局部特征(SIFT特征點描述子)。SIFT特征不受影像間的亮度變化、旋轉、尺度縮放等影響；對視角變化、仿射變換、噪聲也保持一定的魯棒性[9]。SIFT特征提取主要包括以下步驟[10-11]：

(1)尺度空間生成。尺度空間模擬影像的多尺度特征，由影像與高斯核函數(shù)卷積而成，而且高斯卷積核是實現(xiàn)影像尺度變換的唯一線性核。(2)確定關鍵點的位置和所在尺度。通過對尺度空間進行極值檢測，初步提取待選點。每一個采樣點都要和它所有的相鄰點比較，以確保初始點在二維影像空間和尺度空間都是極值點。然后，通過三維二次函數(shù)的擬和進行關鍵點位置和尺度的精確確定。(3)為每個關鍵點指定方向參數(shù)。該參數(shù)由關鍵點相鄰像素的梯度方向分布特性確定，這使得算子具有旋轉不變的特性。在實際計算中，在以關鍵點為中心的鄰域窗口內進行采樣，用直方圖統(tǒng)計相鄰像素的梯度方向。通過以上計算得到每個關鍵點的三個信息：位置、所處尺度、方向。至此，影像的關鍵點已提取完成。(4)生成SIFT特征向量。首先以關鍵點的指定方向為依據(jù)進行坐標軸的旋轉，從而確保算法的旋轉不變性，然后以關鍵點為中心取8×8的窗口。通過計算每4×4的小塊上8個方向的梯度方向直方圖，繪制出每個梯度方向的累加值，從而形成一個種子點。每個關鍵點由4個種子點組成，一個種子點有8個方向信息。通過這種鄰域方向性信息聯(lián)合的處理，增強了算法的抗噪性和容錯性。

2.1.2 GPU加速

2007年英偉達發(fā)布了易用的GPU編程接口，即統(tǒng)一計算架構(Compute Unified Device Architecture， CUDA)[12-14]，這使用戶無需進行復雜的著色語言或圖形處理語言的學習，就能夠進行GPU編程。CUDA是C語言的一種擴展，它允許使用標準C進行GPU代碼編程。其核心有三個重要概念：線程組層次結構、共享存儲器和屏蔽同步[15]。GPU主要用于解決能夠進行數(shù)據(jù)并行計算的問題，具有較高的計算密度，其正在改變著高性能計算領域的形式。

2.1.3 SiftGPU算法

由于遙感影像的大數(shù)據(jù)特性和SIFT方法的大計算量，引入GPU加速是航天影像自動化處理的一大趨勢。Changchang Wu依據(jù)已有的SIFT加速算法提出了SiftGPU方法。該方法通過并行的像素運算建立高斯金字塔、進行DoG關鍵點檢測?；贕PU列表，SiftGPU方法運用GPU/CPU混合編程高效地得出關鍵點列表，最后通過并行運算得到其方向參數(shù)和描述符[6]。通過實驗圖(圖1)可以看出，對于同一幅影像，經過GPU加速的SIFT算法能夠大幅減少計算時間，極大地降低作業(yè)成本。

圖中橫坐標對應的是影像的尺寸，單位為像素；縱坐標對應的是計算消耗時間，單位為毫秒。

2.2 多幅影像間特征點匹配策略

多幅影像間進行匹配，可以首先進行同一景內多張影像間的匹配，然后對于不同景之間的重疊處選擇各景的某一影像作為基準影像進行“過渡匹配”，最后檢測出共同點即可。所謂“過渡匹配”，是指依據(jù)不同景間基準影像匹配得出的同名點，由此為過渡，分別檢索出不同景內影像對應的共同點(如圖2所示)。

圖2 “過渡匹配”示意圖

圖3 分塊匹配示意圖

考慮到算法的效率和進行RPC區(qū)域網平差時所需連接點的分布特點，只在影像重疊處分布均勻的9塊區(qū)域進行同名點的提取和匹配，這樣能較大地節(jié)省匹配時間和硬件資源。傳統(tǒng)的空中三角測量轉點是按照格魯伯標準點位進行匹配的，而對于航空影像的自動空中三角測量轉點則沒有束縛，其由計算機自動選出大量連接點，由6個標準點位的小樣本觀測變?yōu)槎帱c位大樣本觀測，以多求精，從而極大提高了結果的可靠性。然而，對于航天影像的大尺寸特點，一般的航空影像轉點分布方案并不十分適用。因此，在滿足能夠獲取大量且分布均勻轉點的條件下，考慮到時間成本，提出9塊區(qū)域的轉點方案，如圖3所示。該方案選擇均勻分布在影像重疊處的9塊區(qū)域進行轉點，在滿足影像重疊處均勻分布轉點條件的同時，相對于全區(qū)域轉點能夠成倍地縮短轉點所需的時間，具有一定的優(yōu)效性。

2.3 自動轉點方法策略的設計

考慮到先前論述的原理和自動轉點的目的，本文設計如下的方法策略進行自動轉點：

(1)讀取影像輔助文件，確定影像四角點的坐標，并由此確定重疊區(qū)域；(2)選擇一個重疊區(qū)域，并確定重疊區(qū)域內影像景數(shù)；(3)將影像分成固定大小的塊狀區(qū)域，若上下或左右的塊數(shù)大于3塊，則按照均勻分布原則，只取上下或左右的其中3塊進行轉點的提??；(4)對于分塊區(qū)域，依次進行SIFT特征提取和匹配，先進行景內影像的兩兩匹配尋找出共同點，然后進行不同景的基準影像的兩兩“過渡匹配”尋找共同點，最后對匹配點進行篩選，得出該分塊區(qū)域所有影像的匹配共同點；(5)檢索輸入影像的重疊區(qū)域是否均已轉點完畢，否則轉入(2)繼續(xù)進行轉點的提取。

該策略的流程圖如圖4所示：

圖4 自動轉點工作流程圖

3 實驗與結果分析

3.1 天繪衛(wèi)星影像實驗

天繪一號衛(wèi)星是我國第一代傳輸型立體測繪衛(wèi)星，其01星和02星分別于2010年和2012年發(fā)射成功并組網運行。其中，天繪一號衛(wèi)星三線陣影像分辨率為5m，可實施全球精確定位并測制同地形圖[16-17]。實驗采用嵩山地區(qū)2014年拍攝的同軌三線陣影像、2012年與2013年分別拍攝的異軌三線陣影像，如圖5所示。同軌影像共6幅，上下大約有20%的重疊，重疊區(qū)域大部分為居民區(qū)，地勢較為平坦，影像對比度不是十分明顯。異軌影像共6幅，左右大約有80%的重疊，重疊區(qū)域為山區(qū)和居民地，影像整體較暗，對比度不足。

圖5 實驗影像示意圖

對實驗影像進行自動轉點處理，得到如下結果：

圖6 實驗結果圖

圖6為匹配出的轉點在平面上的投影。紅、綠、藍線分別表示同一景內三線陣影像前、下、后視的邊界在圖上的投影，圖中的點包括同一景內影像的3度重疊點和不同景間影像的6度重疊點。由實驗可以看出，自動轉點策略對于同軌或異軌影像，均能獲取分布較為均勻的適量影像轉點，這說明了該策略的可行性。同樣，由實驗結果圖可以看出，在異軌轉點時部分區(qū)域匹配點數(shù)較少，經分析發(fā)現(xiàn)，這是由多種因素所造成的：一方面是由于影像四角點空間坐標為粗略值，導致影像分塊區(qū)域未能精確對準；另一方面是由于異軌影像間成像條件差異較大，導致不能很好地進行自動轉點的提取。這也是下一步自動轉點策略要完善的方向。

3.2 結果分析

為了進一步驗證自動轉點策略的可行性和優(yōu)效性，下面分別從方法效率、轉點正確率、轉點質量等方面進行比對分析。

在方法效率方面，本文主要與傳統(tǒng)的手工轉點方法進行比對說明。傳統(tǒng)的手工轉點方法一般借助于圖像處理軟件，通過肉眼進行逐張影像尋點。由于每個人的視覺各有不同，且尋點的效率與操作的熟練程度有較大的關系，其效率難以統(tǒng)計。在對比實驗中，我們借助ENVI[18]軟件進行逐張尋點，其消耗時間由以往經驗值和此次耗時平均得出。

經過統(tǒng)計得出，傳統(tǒng)手工轉點方法與自動轉點方法的效率對比如圖7所示：

圖7 轉點效率對比圖

由圖7可以看出，自動轉點方法極大縮短了轉點提取的時間，能夠在極短的時間內尋找出大量影像間的轉點，具有較高的生產效率，能夠很好地減小提取影像轉點的時間成本，這說明該方法具有一定的優(yōu)效性。

轉點正確率表征轉點的正確個數(shù)，是對轉點精度較為直觀的評價。本文依據(jù)統(tǒng)計學抽樣檢驗評判自動轉點的正確率。抽樣檢驗是指通過從批中抽取樣品的檢驗結果，利用科學的統(tǒng)計方法分析和判斷該批是否合格[19]。抽樣檢驗能夠有效地表征總體的質量。在實驗中，隨機抽取轉點，然后進行對應局部影像的觀察，判斷其是否匹配正確。若提取特征點對應局部灰度特征相同，則判定轉點正確，否則錯誤。實驗中，從同軌轉點結果的10700個點中抽取500個點進行檢查，從異軌轉點結果的4084個點中抽取200個點進行逐點人工檢查，如圖8所示。最終，得到同軌轉點與異軌轉點的檢查正確率均為100%。由此，可推斷整體自動轉點的正確率具有較高值，這說明該方法具有較好的魯棒性。

圖8 點位檢查示意圖

轉點質量評價是在具有較高的轉點正確率后,對轉點精度進行更高標準的評價，這是對轉點結果精度更加科學的評估。轉點的質量由轉點進行最小二乘影像匹配后的殘差進行評定。最小二乘影像匹配的精度可達0.01至0.02個像素[20-21]，其匹配結果對于表征轉點的質量具有代表性。最小二乘影像匹配是通過比較模板窗口與搜索窗口內影像的灰度值及其分布，尋找共軛實體的一種匹配方法。它的基本思想是：考慮影像的灰度變形與幾何畸變得到相應模型式，以模板窗口與搜索窗口內影像灰度差的平方和達到極小為條件，得到模形式參數(shù)的最或然解，從而進一步得到模板中心的最佳匹配位置。其具有精度高、對幾何變形有較好的適應性等特點。利用轉點坐標作為最小二乘影像匹配的初值，利用其匹配結果作為評價參考，從而可以進行轉點質量的評定。

對轉點質量的評定也是對轉點方法優(yōu)良的評定。利用最小二乘影像匹配，對3度重疊下2014年其中一景的前、后視影像進行基于轉點坐標的重新匹配，最后計算殘差，得到如下結果，如圖9所示。

圖9 點位殘差分布圖

圖9中數(shù)目圖的橫坐標方向為殘差值，單位為像素，縱坐標方向為對應殘差區(qū)間內的點數(shù)目；比例圖中不同顏色代表不同殘差區(qū)間，顏色塊的高度對應相應殘差區(qū)間內點數(shù)在總點數(shù)中所占比例。圖中從下到上對應殘差值由小到大的區(qū)間，并且這里的殘差取絕對值。

由點位的殘差分布圖可以看出，在X和Y方向匹配點的殘差分布大致相同，其中,大約90%的點殘差處在0.7個像素以內，且大多數(shù)點殘差處在0.3個像素以內。在驗證的4753個點中，在X方向和Y方向都僅有一個點的殘差大于1個像素，這從另一方面也論證了該方法的轉點正確率極高。從平面方向的殘差來看，大約90%的點殘差處在0.8個像素以內，大多數(shù)點的平面方向殘差處在0.2至0.7個像素內。

通過最小二乘影像匹配的實驗可以看出，實驗得到的轉點質量較好，其X、Y方向精度保持在1個像素以內，這能夠滿足后續(xù)區(qū)域網RPC平差的要求，由此也可以看出自動轉點策略的可行性。通過實驗還可以看出，若想得到更高精度的點位，可在運用自動轉點之后，再對相應點進行最小二乘影像匹配。

4 總 結

航天遙感影像自動化處理系統(tǒng)可以自動快速處理大范圍的影像數(shù)據(jù)，在航天遙感數(shù)據(jù)的種類和數(shù)量快速增長的今天發(fā)揮著越來越重要的作用。通過天繪一號衛(wèi)星影像的實驗，證明了航天影像間自動轉點方法的可行性與優(yōu)效性，減少了作業(yè)員的工作量與作業(yè)成本。文中提出的方法，通過利用GPU加速SIFT算法進行基于分塊的天繪影像的自動轉點，能夠在較短的時間內提取出大量具有可靠精度的影像連接點，完成自動轉點任務，并且較大節(jié)省了影像的處理時間，在實際生產作業(yè)中具有一定的應用和推廣價值。

[1]李德仁，張良培，夏桂松. 遙感大數(shù)據(jù)自動分析與數(shù)據(jù)挖掘[J]. 測繪學報，2014(12):1211-1216.

[2]李德仁，姚遠，邵振峰. 智慧城市中的大數(shù)據(jù)[J]. 武漢大學學報·信息科學版，2014，39(6): 631-640.

[3]袁修孝，明洋. POS輔助航帶間航攝影像的自動轉點[J].測繪學報，2010(02):156-161.

[4]張劍清，張勇. 鉛垂線輔助的大比例尺城區(qū)空三自動轉點[J]. 武漢大學學報·信息科學版，2008(6):556-559.

[5]D. G. Lowe. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision,2004(11)：91-110.

[6]A. Vedaldi. Sift++ [EB/OL]. [2009-10-12].http://vision.ucla.edu/～vedaldi/code/siftpp/siftpp.html.

[7]Sudipta N Sinha, Jan-Michael Frahm, Marc Pollefeys, Yakup Genc. GPU-Based Video Feature Tracking and Matching [C]. In Workshop on Edge Computing Using New Commodity Architectures, 2006.

[8]Changchang Wu. SiftGPU [EB/OL].[2012-07-16]. http://www.cs.unc.edu/～ccwu/siftgpu/.

[9]羅征宇，寧曉剛. 不同分辨率遙感影像獲取均勻分布匹配點的匹配方法研究[J]. 測繪通報，2011(4)：38-40.

[10]趙輝. SIFT特征匹配技術講義[EB/OL].[2010-09-27]. http://wenku.baidu.com/view/dc5fffec102de2 bd9605886e.html.

[11]李二森，張保明，劉景正等. SIFT特征匹配技術在自動相對定向中的應用[J]. 測繪科學，2008，33(5):16-19.

[12]NVIDIA Corporation. NVIDIA CUDA Compute Unified Device Architecture Programming Guide 1.0 [EB/OL].[2007-06-18]. http://www.cs.berkeley.edu/～yelick/cs194f07/handouts.

[13]Cook, Shane. CUDA Programming A Developer's Guide to Parallel Computing with GPUs [M]. Newnes, 2012.

[14]Kirk, David B. Programming Massively Parallel Processors: A Hands-on Approach, Second Edition [M]. Newnes, 2012.

[15]袁修國，彭國華，王琳. 基于GPU的變型SIFT算子實時圖像配準[J]. 計算機科學，2011(3):300-303.

[16]國家遙感中心. 天繪衛(wèi)星遙感部[EB/OL].[2014-04-18]. http://www.nrscc.gov.cn/nrscc/ywfb/sjyzhfwl/201404/t20140418_32640.html.

[17]何忠煥，左志進，劉冬枝. 天繪一號衛(wèi)星遙感影像的處理方法[J]. 地理空間信息，2012，10(6):4-6.

[18]易智瑞(中國)信息技術有限公司.ENVI/IDL-Esri中國[EB/OL].[2015-4-15]. http://www.esrichina-bj.cn/softwareproduct/EI/.

[19]宋向東，何倩. 基于過程能力指數(shù)的可連續(xù)提交的驗收抽樣檢驗方案[J]. 經濟研究導刊，2014 (28):283-285.

[20]耿則勛，張保明，范大昭. 數(shù)字攝影測量學[M]. 北京：測繪出版社，2010.

[21]MCGLONE J C. Manual of photogrammetry [M]. 5th ed. Bethesda, Maryland: ASPRS, 2004.

Automatic Extraction of Connection Point in Aerospace Images

Dong Yang, Fan Dazhao

Information Engineering University, Zhengzhou 450000, China

It is a key link to find an automatic extraction of connection point in aerial triangulation measurement. In order to solve the time-consuming problem with the traditional methods, this paper proposes a new automatic turning point method, which realizes the batch aerospace images processing and greatly reduces production costs. In this way, firstly the overlapping areas are automatically calculated based on reading the image corner point coordinates. Then block matching is done by using GPU-based SIFT algorithm, thus it realizes the automatic extraction of connection points. Finally this paper conducts the experiment based on three-line array CCD images from Mapping satellite-I and analyzes the results by using the least squares image matching method. The experiments show that the automatic extraction method takes less time and has reliable accuracy. Also it can reduce the operation costs and has certain feasibility.

aerospace images; automatic extraction method; GPU; SIFT; block

2015-06-02。

國家自然科學基金資助項目(41401534)，地理信息工程國家重點實驗室開放基金資助項目(SKLGIE2013-M-3-1)。

董楊(1992—)，男，碩士研究生，主要從事數(shù)字攝影測量方面的研究。

P236

A