王海濤，洪　亮，張露林，余曉敏

(1. 中國地質(zhì)大學(武漢)國家地理信息系統(tǒng)工程技術(shù)研究中心，湖北 武漢 430074；2. 湖北省基礎地理信息中心(湖北省北斗衛(wèi)星導航應用技術(shù)研究院)，湖北 武漢 430074)

?

低空數(shù)字航空攝影成果質(zhì)量檢查

王海濤1，2，洪亮1，2，張露林2，余曉敏2

(1. 中國地質(zhì)大學(武漢)國家地理信息系統(tǒng)工程技術(shù)研究中心，湖北 武漢 430074；2. 湖北省基礎地理信息中心(湖北省北斗衛(wèi)星導航應用技術(shù)研究院)，湖北 武漢 430074)

針對低空航空攝影的特點，提出了使用GPS數(shù)據(jù)及SIFT算法實現(xiàn)其飛行質(zhì)量成果的自動化檢查。對匹配的特征點使用相關系數(shù)、相對定向模型、投影幾何模型剔除匹配錯誤，提高了匹配點準確率，使得自動化檢查具有高可靠性。使用LRM模型窗口尺寸可調(diào)節(jié)特性和均值-方差規(guī)定化的方法有效處理了外部攝影條件造成的影像色彩差異，使得提取和匹配的特征點均勻分布。通過對SIFT算法的特征提取的優(yōu)化及使用距離查找表的方法計算SIFT特征距離并利用多線程、多核編程技術(shù)(OpenMP)實現(xiàn)了質(zhì)量評定的高效處理。并對質(zhì)量評定成果采用直觀的可視化表達。

低空數(shù)字航空攝影；質(zhì)量檢查；勻光；SIFT；LRM

低空航空攝影以其低成本、機動靈活等特點，已在測繪、規(guī)劃、國土、鐵路、水利等行業(yè)得到了廣泛應用[1-6]，已成為獲取地理空間數(shù)據(jù)的一項重要手段。由于低空航空攝影系統(tǒng)在拍攝時受外部環(huán)境影響大[1-2]，拍攝的影像在重疊度、旋偏角等方面變化大，特別是受風速影響，航帶間影像的旁向重疊度變化大， 這要求對其成果的質(zhì)量開展客觀的評定，以保障為后期提供合格的地理空間數(shù)據(jù)。一般情況下低空航空攝影攜帶小面幅數(shù)碼相機攝影，獲取的影像數(shù)量大，質(zhì)量評定需要采用快速自動化的手段。

低空航空攝影測量系統(tǒng)獲取的影像為框幅式數(shù)碼影像，與傳統(tǒng)的框幅式航空影像的質(zhì)量評定工作一致[7-10]，包括飛行質(zhì)量、影像質(zhì)量、數(shù)據(jù)質(zhì)量、附件質(zhì)量。本文探索飛行質(zhì)量的像片重疊度(航向和旁向)、旋偏角、航跡等質(zhì)量高效的自動化檢查和檢查成果直觀可視化表達。

進入數(shù)碼航空攝影時代[11]，常規(guī)航空攝影已廣泛使用POS(GNSS+IMU)技術(shù)[11-12]，但是低空航空攝影一般使用導航型GNSS技術(shù)，其飛行質(zhì)量的評定自動化處理可利用GNSS數(shù)據(jù)來開展。飛行質(zhì)量評定的工作量最大的環(huán)節(jié)在重疊度、旋偏角等檢查，可通過影像匹配同名點來實現(xiàn)自動化處理。由于外部環(huán)境影響，影像間易出現(xiàn)大旋角(特別是航帶間影像)，影像匹配可采用尺度不變特征[13-14]算法實現(xiàn)，該算法廣泛用于低空航空攝影數(shù)據(jù)處理中[15-18]，對匹配的同名點使用相關系數(shù)[19]、相對定向模型[20-21]、投影幾何模型等剔除匹配錯誤，使得自動化檢查具有高可靠性。

SIFT匹配采用計算特征點描述算子的距離比來評估，快速計算有很多種，如CPU多核技術(shù)、GPU加速、FPGA硬件加速等[22-24]?？紤]降低對計算機設備的要求，在此對SIFT特征提取算法進行改進，并采用OpenMP多核技術(shù)與距離查找表技術(shù)提高計算速度。

重疊度等質(zhì)量的客觀評定要求匹配的同名點分布均勻。由于外部攝影條件的復雜性，影像色彩差異較大，這要求在提取特征點前進行勻色處理。很多成熟的勻色算法，一般用于制作正射影像[25-27]，本文影像勻色是為了突出影像細部特征，使得提取的特征點分布均勻。本文利用Schowengerdt提出的LRM(localrangemodification)[28]模型處理影像色彩差異，使用均值-方差規(guī)定化的方法來對影像勻色[26]，并通過調(diào)整LRM窗口的尺寸來增強影像細部特征，使得提取的特征分布均勻。

自動化是快速、有效的飛行質(zhì)量評定手段，質(zhì)量評定成果更需要有效的直觀表達，以便對成果開展復查，本文采用影像透明疊加、質(zhì)量分布曲線等有效手段對檢查成果進行直觀的視覺表達，便于直觀評價低空數(shù)字航空攝影成果飛行質(zhì)量。

一、檢查的基礎工作

低空航空攝影由于外部攝影條件的復雜性，獲取的影像在色彩上存在不同程度的差異(如圖1(a)所示)，在特征提取前需消除影像色彩差異，即勻光處理。航空影像勻光，一般用于制作正射影像[25-27]。本文影像勻光是為了突出影像細部特征，使得提取的特征點均勻分布，本文采用LRM[28]模型處理影像色彩差異，其具體思想是將影像分塊處理，計算每塊內(nèi)的影像參數(shù)，每個像素對應的參數(shù)采用雙線性插值，每一塊的參數(shù)在此計算均值和方差來調(diào)整影像色調(diào)差異[26]，其原理是使待處理影像經(jīng)過線性變換后和目標影像在最小二乘意義上差異最小。通過調(diào)節(jié)分塊尺寸來調(diào)節(jié)細部特征，尺寸越小細部特征越豐富(如圖1(b)、(c)所示)。原始影像由于色彩的差異使提取的特征點分布不均勻，而勻色后的影像提取的特征點分布均勻(如圖1(d)、(e)所示)。

圖1　色彩差異較大的影像勻色效果對比分析

二、檢查工作的開展

1. 航帶的自動建立

常規(guī)框幅航空攝影一般采用定點曝光的方式拍攝，而低空航空攝影一般使用等距離曝光的方式拍攝，這樣可減少風速對攝影的影響(如圖2所示)。影像拍攝時記錄曝光時的位置坐標及姿態(tài)信息?？紤]到攝影外部環(huán)境的影響，為保障無攝影漏洞，一般采用較大重疊度拍攝，這樣航帶間影像距離小于航帶間影像距離，因此利用影像間距離和飛行姿態(tài)這兩個條件自動建立航帶關系[29]。

2. 影像方向統(tǒng)一化

低空航空攝影攜帶數(shù)碼相機攝影，考慮設備設計和性能的要求，相機擺放位置如圖3所示的4種關系，圖3(b)是相機擺放90°時拍攝的影像按照航帶順序擺放示意圖，不適合人眼觀測，需要將其處理為如圖3(c)所示的效果。

圖2　無人機航空攝影拍攝軌跡特點(等距曝光航帶間影像隨機對齊)

圖3　低空拍攝影像原始數(shù)據(jù)及方向規(guī)定化后的示意圖

本文采用自動化處理(如圖4所示)，計算方法為：①以3張影像為一個單元將航帶分段；②相鄰影像匹配同名點；③以中間影像為基準，計算相鄰影像中心點基準影像下的坐標并擬合直線，計算擬合直線與X軸的夾角來估算影像旋轉(zhuǎn)角(0°、90°、180°、270°)；④統(tǒng)計各段的影像旋轉(zhuǎn)角來估算整條航帶的旋角。

(1)

圖4　自動計算旋轉(zhuǎn)角原理

3. 自動化檢查

1) 影像關系的建立。影像關系指相鄰航帶間的對應影像關系，用于航帶間影像的旁向重疊度的檢查。①航帶順序自動排列。以航帶方向為X軸建立笛卡爾坐標系，將航帶與Y軸的交點坐標按照從大到小的順序排列完成航帶順序自動排列(如圖5(a)所示)。②航帶影像間對應關系的建立依據(jù)排列航帶順序，依次計算航帶間影像對應關系。

圖5　航帶間影像關系

2) 特征自動匹配及錯誤剔除。低空航空攝影影像因相機擺放位置的不同，影像間存在0°、90°、180°、270°等旋轉(zhuǎn)關系，另外由于風速的影響還造成影像間其他角度的旋轉(zhuǎn)(如圖6所示)，因此本文采用SIFT算法來實現(xiàn)影像間質(zhì)量的自動化檢查。經(jīng)過匹配的特征點存在錯誤，需要剔除。本文SIFT特征匹配錯誤剔除采用RANSAC算法[30]和相對定向模型[20-21]、投影變換模型(見式(1))來剔除錯誤，在此之前使用影像間相關技術(shù)[19]對錯誤點進行檢查。

圖6　大旋角影像

4. 高效的自動化處理

低空航空攝影獲取的影像數(shù)量較大，對其飛行質(zhì)量的評定需要采用高效的自動化處理方法，本文使用影像金字塔、SITF特征提取優(yōu)化、距離查找表、多線程、CPU多核等技術(shù)提高處理效率。本文對某測區(qū)佳能5DMarkⅡ獲取18條航線1146張影像進行測試，重疊度、旋偏角自動化檢查21min完成。

1) 金字塔影像策略。為提高SIFT特征提取的效率和滿足快速可視化的需要，對原始影像進行降分辨率的方式處理，在此采用最大邊為1000像素的方式縮小影像(見表1)。低空航空攝影常用的數(shù)碼相機包括佳能、索尼、尼康等，相機參數(shù)見表1，可知降低影像分辨率對重疊計算的影像誤差為0.1%，不影響對飛行質(zhì)量的評定。

表1　常用數(shù)碼相機使用縮小影像檢查重疊度誤差分析

2) SIFT特征提取優(yōu)化。SIFT極值點檢測時每一個像素點要與其所有的相鄰點比較，判斷其是否比它的圖像域和尺度域的相鄰點大或者小。如圖7所示，中間的檢測點與它同尺度的8個相鄰點和上下相鄰尺度對應的9×2個點共26個點比較，以確保在尺度空間和二維圖像空間都檢測到極值點[13]。這樣檢測的數(shù)量較多，影響SIFT特征描述和匹配效率，因此本文采用較大范圍檢測極值點，如圖7所示，對每個像素在一定半徑內(nèi)檢測同尺度的相鄰點和上下相鄰尺度鄰點大或者小。

圖7　SIFT特征提取范圍分析

3) 距離計算查找表。SIFT的特征匹配計算，用特征間距離比值的方式匹配同名點，本文采用距離計算查找表的方式提高SIFT特征的計算速度。距離計算表的方式要求對SIFT特征的描述采用整數(shù)描述， 設特征的描述范圍為N， 計算查找表記錄(N-1)2，則SIFT特征的距離計算

4) 多核計算、多線程技術(shù)。影像金字塔處理、影像勻色、SIFT特征點提取采用多線程實現(xiàn)，SIFT特征點的距離計算采用多核技術(shù)(OpenMP)實現(xiàn)[31]。

三、成果可視化

自動化手段實現(xiàn)了低空航空攝影相鄰影像間的飛行質(zhì)量檢查，為滿足測區(qū)整體評定的需要將自動化檢查成果用圖表等方式加以更直觀的視覺表達，本文對飛行質(zhì)量的航向重疊度、旁向重疊度、航線彎曲等使用直觀可視化表達，如圖8—圖11所示。

圖8　航帶內(nèi)飛行質(zhì)量成果的可視化表達

圖9　航帶間飛行質(zhì)量成果的可視化表達

圖10　相鄰航帶間影像圖面質(zhì)量檢查

圖11　航攝飛行軌跡的質(zhì)量檢查

四、結(jié)束語

本文在充分分析低空航空攝影特點的基礎上，利用影像中心點的位置信息自動恢復航線關系和建立航帶間影像關系。使用LRM模型和均值-方差規(guī)定化的方法有效處理了攝影條件造成的影像色差的差異，使提取和匹配的特征點分布更均勻。使用特征不變的SIFT算法實現(xiàn)低空航空攝影間影像的自動匹配，并使用SIFT特征點主方向的方式計算特征點的相關系數(shù)剔除錯誤點，同時使用相對定向模型、投影幾何模型進一步剔除錯誤點，提高了匹配點準確率，使得自動化檢查具有高可靠性。對SIFT特征點提取優(yōu)化為控制半徑的方式控制特征點的數(shù)量及使用距離查找表的方式提高提取和匹配速度，同時利用多線程、多核編程技術(shù)實現(xiàn)質(zhì)量評定的高效處理。對自動化的成果采用直觀的可視化表達。本文方法已經(jīng)實現(xiàn)軟件程序的開發(fā)，并已用于低空攝影成果的質(zhì)量檢查實際工作中。

[1]李德仁,李明. 無人機遙感系統(tǒng)的研究進展與應用前景[J]. 武漢大學學報(信息科學版), 2014, 39(5): 505-513.

[2]畢凱,李英成,丁曉波,等. 輕小型無人機航攝技術(shù)現(xiàn)狀及發(fā)展趨勢[J]. 測繪通報, 2015(3): 27-31,48.

[3]周高偉,李英成,任延旭,等. 低空無人機雙介質(zhì)水下礁盤深度測量試驗與分析[J]. 測繪學報, 2015, 44(5): 548-554.

[4]楊青山,范彬彬,魏顯龍,等. 無人機攝影測量技術(shù)在新疆礦山儲量動態(tài)監(jiān)測中的應用[J]. 測繪通報, 2015(5): 91-94.

[5]呂立蕾,張衛(wèi)兵,胡樹林,等. 低空無人機航攝系統(tǒng)在長距離輸油(氣)管道[J]. 測繪通報, 2013(4): 42-45.

[6]史華林. 無人機航測系統(tǒng)在公路帶狀地形測量中的應用[J]. 測繪通報, 2014(6): 60-62.

[7]低空數(shù)字航空攝影規(guī)范：CH/Z 3005—2010[S].北京：測繪出版社,2010.

[8]測繪成果質(zhì)量檢查與驗收：GB/T 24356—2009[S].北京：測繪出版社,2009.

[9]航空攝影成果質(zhì)量檢驗技術(shù)規(guī)程·第2部分：框幅式數(shù)字航空攝影：CH/T 1029.2—2013[M].北京：測繪出版社,2013.

[10]洪亮，王海濤，曹金山，等. 數(shù)字航空攝影成果質(zhì)量檢驗方案[J]. 武漢大學學報(信息科學版), 2013, 38(23): 1172-1174.

[11]劉先林,鄒友峰，郭增長. 大面陣數(shù)字航空攝影原理與技術(shù)[M].鄭州：河南科學技術(shù)出版社,2013.

[12]李學友. IMU/DGPS輔助航空攝影測量原理、方法及實踐[D].鄭州：解放軍信息工程大學，2005.

[13]LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J].Internation Journal of Computer Vision,2004,60(2):91-110.

[14]BAY H, TUYTELAARS T, VAN GOOL L. SURF: Speeded Up Robust Features[C]∥Computer Vision-ECCV 2006.Berlin:Springer-Verlag,2006：404-417.

[15]徐秋輝,佘江峰,宋曉群,等. 利用Harris-Laplace和SIFT描述子進行低空遙感影像匹配[J]. 武漢大學學報(信息科學版)，2012, 37(12): 1443-1447.

[16]胡同喜,牛雪峰,譚洋,等. 基于SURF算法的無人機遙感影像拼接技術(shù)[J]. 測繪通報, 2015(1): 55-58.

[17]劉如飛,盧秀山,劉冰,等. 無人機航攝影像快速拼接方法改進[J]. 測繪通報, 2014(2): 46-49.

[18]解斐斐,林宗堅,桂德竹.基于SIFT的UAV載組合寬角相機影像匹配方法[J].吉林大學學報(信息科學版), 2014, 32(1):56-63.

[19]賈博,姜挺,郭麗,等.SIFT和相關系數(shù)在嫦娥一號月球影像匹配中的應用[J].測繪科學技術(shù)學報，2009,26(5):363-366.

[20]張永軍，張勇. 大重疊度影像的相對定向與前方交會精度分析[J]. 武漢大學學報(信息科學版), 2005, 30(2): 126-130.

[21]陸玨,陳義, 鄭波.多基線近景攝影測量連續(xù)像對相對定向[J]. 同濟大學學報(自然科學版),2010,38(3):442-447.

[22]KIM J,PARK E,CUI Xuenan，et al.A Fast Feature Extraction in Object Recognition Using Parallel Processing on CPU and GPU[C]∥Proceedings of the 2009 IEEE International Conference on Systems, Man, and Cybernetics. San Antonio, TX：IEEE，2009.

[23]韓龍,郭立,李玉云.SIFT算法的并行實現(xiàn)及應用[J]. 計算機工程與應用, 2010,46(20):56-59.

[24]CHANGL,HERNNDEZ-PALANCARJ,SUCARLE，etal.FPGA-basedDetectionofSIFTInterestKeypoints[J].MachineVisionandApplications,2013(24):371-392.

[25]袁修孝,韓宇韜,方毅.改進的航攝影像Mask勻光算法[J].遙感學報,2014,18(3):630-641.

[26]DuY,CIHLARJ,BEAUBIENJ,etal.RadiometricNormalization,Compositing,andQualityControlforSatelliteHighResolutionImageMosaicsoverLargeAreas[J].IEEETransactionsonGeoscienceandRemoteSensing，2001，39(3), 623-634.

[27]李德仁，王密，潘俊. 光學遙感影像的自動勻光處理及應用[J]. 武漢大學學報(信息科學版), 2006, 31(9): 753-756.

[28]SCHOWENGERDTRA.RemoteSensing：ModelsandMethodsforImageProcessing[M].2ed.SanDiego：[s.n.]，1997:202-219.

[29]何海清. 低空攝影測量航帶重構(gòu)及數(shù)據(jù)處理方法研究[J].測繪學報, 2014, 43(4): 440-440.

[30]FISCHLERMA，BOLLESRC.RandomSampleConsensus:AParadigmforModelFittingwithApplicationstoImageAnalysisandAutomatedCartography[J].CommunicationsoftheACM, 1981，24(6): 381-395.

[31]QUINNMJ.ParallelProgramminginCwithMPIandOpenMP[M].[S.l.]：McGraw-HillInc，2004.

Quality Inspection Technology for Low-altitude Digital Aerial Photography

WANG Haitao，HONG Liang，ZHANG Lulin，YU Xiaomin

2015-10-14；

2015-12-22

國家863計劃(2013AA122104)；測繪地理信息公益性行業(yè)科研專項(201512012)；地理國情監(jiān)測國家測繪地理信息局重點實驗室2104年開放基金(2014NGCM19)；數(shù)字制圖與國土信息應用工程國家測繪地理信息局重點實驗室開放研究基金(GCWD201410)

王海濤(1976—)，男，博士生，高級工程師，主要研究方向攝影測量與計算機視覺。E-mail：306550575@qq.com

P237

B

0494-0911(2016)08-0010-05

引文格式：王海濤，洪亮，張露林，等.低空數(shù)字航空攝影成果質(zhì)量檢查[J].測繪通報，2016(8)：10-14.DOI:10.13474/j.cnki.11-2246.2016.0246.