林火鍛 張志林

摘要：在應急救援中，需要快速了解和掌握搜救區(qū)域的實際情況。本研究提出了一套基于無人機系統(tǒng)快速獲取搜救區(qū)域正射影像的處理流程和方法，通過影像序貫平差、基于CPU-GPU異構并行的正射糾正以及影像快速拼接，得到搜救區(qū)域無明顯拼接縫的正射影像。

關鍵詞：無人機;序貫平差;正射糾正;影像拼接

中圖分類號：P231?文獻標識碼：A

文章編號：0439-8114（2020）07-0204-03

DOI：10.14088/j.cnki.issn0439-8114.2020.07.042

Abstract： In the emergency rescue，it is necessary to quickly understand the actual situation of the search and rescue region. A fast approach for ortho image generation of the search and rescue region based on unmanned aerial vehicle system was put forward，through image sequential adjustment，ortho rectification based on CPU-GPU，and fast image mosaic，ortho image of the search and rescue region without-obvious seam-line was obtained.

Key words： unmanned aerial vehicle; sequential adjustment; ortho rectification; image mosaic

無人機系統(tǒng)具有實時性強、機動靈活、受天氣影響小、使用成本低廉等優(yōu)點，且可以在高危地區(qū)作業(yè)，非常適合于各種自然災害和傷員的救援工作。由于無人機搜救與傳統(tǒng)人力、通用有人航空飛機方式相比具有突出的優(yōu)勢，近年來國內外出現(xiàn)了一些無人機搜救系統(tǒng)，并逐漸應用于應急救援中。美國的快速醫(yī)療兵“影子無人機”，采用交互式傷員搜尋模式，可對傷員進行精確定位;韓國的Camcopter S-100無人機系統(tǒng)可以進行實時空中監(jiān)測，獲取災區(qū)的實景影像圖并搜尋傷員[1]，中國航天科工集團研制的搜救機器人，可利用定位搜救，通過交互的方式搜索傷員。在應急救援中，搜救區(qū)域實景影像圖的獲取能夠使救援人員迅速了解和掌握搜救區(qū)域的地形地貌，科學組織傷員的搜尋和運送工作，這對復雜環(huán)境下的應急救援工作具有重大意義?，F(xiàn)有的無人機搜救系統(tǒng)在這方面略顯不足，不能高效、及時地獲取具備地理定位信息的搜救區(qū)實景影像圖，影響了應急救援指揮工作。針對這一問題，本研究提出一套快速獲取搜救區(qū)域正射影像的處理流程和方法。

正射影像改正了由像片傾斜以及地形起伏引起的投影差，同時具有地圖的幾何精度和影像視覺特征，已成為地理信息系統(tǒng)數(shù)據(jù)庫中的重要組成部分[2]，廣泛應用于地形測繪、環(huán)境保護、應急救援、災害監(jiān)測與災情評估等眾多領域。通過無人機系統(tǒng)快速獲取具備定位信息的正射影像，可作為搜救工作的地理底圖，用于發(fā)現(xiàn)傷員并定位傷員地理位置。

1?無人機正射影像快速獲取基本框架

近年來，國內外的一些商業(yè)軟件都支持無人機數(shù)據(jù)的快速處理，比較典型的有像素工廠（Pixel Factory）、INPHO、Pix4D Mapper和Pixel Grid。然而，這些系統(tǒng)所依賴的硬件平臺成本昂貴、軟件開發(fā)過程復雜，無法滿足多數(shù)通用硬件平臺的要求，且無法滿足應急測繪對移動性的要求。本研究提出的無人機正射影像快速獲取系統(tǒng)的基本框架如圖1所示。

無人機正射影像快速獲取系統(tǒng)主要由無人機遙感平臺、無人機有效載荷和地面處理系統(tǒng)3個部分組成。利用無人機搭載光學成像設備、定位測姿系統(tǒng)（Position and Orientation System，POS）等，按照飛行路線規(guī)劃，對任務區(qū)域進行序列成像，對獲取的數(shù)據(jù)進行在線處理，或回傳至地面處理系統(tǒng)進行處理;通過對影像連接點進行提取與匹配，進而實施光束法平差，求解拍攝時刻影像的外方位元素;利用已有的地面高程模型數(shù)據(jù)，或通過光束法平差時求解地面點進行內插得到地面高程模型，對影像進行正射糾正，得到單張正射影像;對得到的正射影像進行無縫拼接，獲取任務區(qū)域的正射影像。

2?無人機正射影像快速獲取的關鍵技術

從無人機影像的獲取到最后正射影像的輸出是一個連續(xù)緊密的過程，中間涉及影像空中三角測量、正射糾正、影像拼接等多個關鍵步驟。下面將對無人機正射影像快速獲取過程中的幾項關鍵技術進行分析，并提出相應的解決方案。

2.1?影像序貫平差

在應急響應情況下，需要無人機動態(tài)獲取影像數(shù)據(jù)，同時對影像數(shù)據(jù)進行實時或近實時處理，得到地球參考坐標系下的DSM和正射影像[3，4]。而在災害救援等情況下，依靠地面布設控制點的方法是行不通的，在無人機上安裝輕巧型POS系統(tǒng)獲取曝光時刻相機的空間位置和姿態(tài)數(shù)據(jù)進行直接定位是一種解決方案。但已有試驗表明，直接利用POS系統(tǒng)獲取的影像外方位元素進行立體測繪，其精度特別是高程精度難以滿足大比例尺地形測圖的精度要求，因此需聯(lián)合POS系統(tǒng)測定的影像外方位元素和觀測值像點觀測值進行平差計算（POS輔助光束法區(qū)域網(wǎng)平差）以提高精度[5]，這是一種數(shù)據(jù)后處理提高精度的方法，并不滿足應急情況下的需求。為實現(xiàn)數(shù)據(jù)實時或近實時的處理，就必須采用一種序貫處理的思路改進POS輔助空中三角測量。無人機影像序貫平差以時間和精度的平衡為原則，解決了應急條件下對動態(tài)獲取無人機影像進行快速平差的問題。

圖2為無人機影像外方位元素高精度實時賦值的全過程。當獲得新的影像后，采用序貫平差的方法進行處理，不僅要更新當前影像的外方位元素，還要更新之前影像的外方位元素。序貫平差處理憑借對數(shù)據(jù)間相關信息的挖掘和平差信息的重復利用[6]，實現(xiàn)了比POS輔助光束法區(qū)域網(wǎng)平差更快的速度。

無人機影像序貫實時平差的方案分為2個階段。首先是初始化階段，對一定數(shù)量的影像進行POS輔助空中三角測量;然后是序貫平差階段，計算與新影像相關的已經(jīng)平差的影像，新影像與其相關影像一起序貫平差。

2.2?基于CPU-GPU異構并行的影像正射糾正

在獲取影像的位置和姿態(tài)信息后，就可以利用數(shù)字高程模型對影像進行糾正，獲取帶定位信息的正射影像。在應急響應條件下，數(shù)字高程模型可通過2個途徑來獲取，一是利用測區(qū)已有的數(shù)字高程模型;二是利用上述序貫平差時獲得的物方點坐標進行內插，得到數(shù)字高程模型。目前，全國大部分地區(qū)已進行了1∶500 00地形圖的覆蓋和定期更新，甚至更大比例尺的地形圖數(shù)據(jù)覆蓋。全球30 m甚至更高分辨率的數(shù)字高程模型也已公開。通常，地球表面地形的變化不大，在應急條件下，可調用這些數(shù)據(jù)進行處理。

近年來，并行處理技術的出現(xiàn)使得計算機程序運行效率大大提升。單單利用CPU并行，效率的提升并不顯著。隨著可編程GPU構架的出現(xiàn)，充分發(fā)揮兩者特點的CPU-GPU異構并行方式成為研究的熱點。GPU計算能力的不斷提升，使得CPU-GPU異構并行的小型化系統(tǒng)具備與以往大規(guī)模集群系統(tǒng)相媲美的計算能力，非常適合于對小型化、移動化要求高的應急場合。

正射糾正的主要計算任務是坐標變換系數(shù)的求解和灰度內插2個部分。影像灰度內插操作是典型的計算密集型模塊，其處理過程相對固定，對每一個像點的計算形式一致，像點之間相互獨立，具有內在的并行性，因此非常適合GPU并行處理。由于遙感影像處理的數(shù)據(jù)量通常較大，與計算坐標變換系數(shù)相比，灰度內插所占據(jù)的時間更多，所以正射糾正并行優(yōu)化的重點應該是灰度內插操作的并行化。由以上正射糾正并行化分析可見，正射糾正中的灰度重采樣操作適合進行GPU并行處理。利用反解法基于CPU-GPU異構并行的正射糾正并行處理流程如圖3所示。其主要步驟包括①讀取影像與參數(shù);②進行CUDA初始化;③分配設備端內存及由主機內存向設備端內存進行數(shù)據(jù)傳輸;④調用反解法數(shù)字微分糾正的內核Kernel函數(shù)進行并行計算;⑤設備端內存向主機內存?zhèn)鬏斢嬎憬Y果;⑥重采樣影像保存。

2.3?影像拼接

在得到單張正射影像后，需要將這些單張正射影像進行拼接以獲取大區(qū)域的正射影像。這就需要選擇合適的鑲嵌線，對于待拼接的影像，其具備一定重疊度，鑲嵌線就是在重疊區(qū)域內生成的一條合理分割重疊區(qū)的全局最優(yōu)路徑，鑲嵌線應能很好地繞開建筑物等高出地面的物體[7，8]。拼接的主要任務就是消除拼縫，實現(xiàn)灰度融合，即使拼接后的影像灰度在接縫處光滑自然。然而在無人機低空遙感數(shù)據(jù)正射影像的無縫拼接上，其主要集中于重疊區(qū)影像鑲嵌線的自動尋找上[9]。本研究采用一種數(shù)學形態(tài)學結合Dijkstra算法的最優(yōu)路徑搜索算法，其流程如圖4所示。

3?結果與分析

試驗數(shù)據(jù)為2014年9月4日在南京某地區(qū)獲取的無人機遙感影像，共獲取了85張原始影像。搭載的相機為索尼a7R，其像幅為7 360×4 912像素，像素大小為4.88 um，CCD大小為35.9 mm×24 mm，焦距為35.95 cm。飛行高度為300 m，測區(qū)地面起伏較小，包含部分建筑物。圖5是飛行獲取的原始影像。對傳輸回來的原始影像進行連接點提取和匹配，在獲取一定數(shù)量的影像（10張以上）后，進行序貫平差。后續(xù)的影像傳輸回來后，通過計算其與之前影像的相關程度。設定一個相關程度的閾值ε，相關程度大于閾值ε的影像將參與隨后的序貫平差，這樣就可以獲得與新獲取影像一同參與序貫平差的影像。之前獲取的相關程度小于閾值ε的影像則可以輸出至下一步正射糾正過程，這樣可以實現(xiàn)處理流程上的并行，進一步提高系統(tǒng)效率。圖6是經(jīng)上述處理流程后獲得的測區(qū)正射影像。由圖6可見，通過無人機系統(tǒng)快速獲取的正射影像無明顯拼接縫，影像色彩較一致，能夠反映測區(qū)地形地貌的概況，可作為應急救援的地理地圖，應用于組織傷員的搜尋和運送工作中。

4?小結

采用了兼顧測量精度與平差速度無人機影像序貫平差方法，在精度滿足應急響應要求的前提下，其平差速度得到了很大提升。正射糾正過程中的灰度內插操作是密集計算區(qū)域，在分析了其并行性的基礎上，提出了一種基于CPU-GPU異構并行的處理算法，實現(xiàn)了其并行化運算，提高了算法的運行效率。在正射影像拼接過程中，拼接線要避開人工建筑物。本研究采用了一種數(shù)學形態(tài)學結合Dijkstra 算法的最優(yōu)路徑搜索算法，結果表明，該方法能避開地面建筑物，獲得無明顯拼接的正射影像。該處理流程和方法在實際應用中具有一定的參考意義。

參考文獻：

[1] CHOI K，LEE I. A UAV-based close-range rapid aerial monitoring system for emergency responses[J]. ISPRS-international archives of the photogrammetry，remote sensing and spatial information sciences，2012，XXXVIII-1/C22（1）：247-252.

[2] 朱?慶，于?杰. 城區(qū)真正射影像處理方法綜述[J]. 中國科技論文，2011，4（18）：1680-1685.

[3] 于?英. 無人機動態(tài)攝影測量若干關鍵技術研究[D]. 鄭州：解放軍信息工程大學，2014.

[4] 薛?武. 無人機視頻地理信息定標與直播處理技術[D]. 鄭州：解放軍信息工程大學，2014.

[5] 袁修孝. 當代航空攝影測量加密的幾種方法[J]. 武漢大學學報（信息科學版），2007，32（11）：1001-1007.

[6] 馮永興. 論測量平差中的序貫平差[EB/OL]. 中國科技論文在線[2010-10-28]. http：// www.paper.edu.cn.

[7] 莫德林. 基于GPU的遙感影像真正射糾正技術研究[D]. 鄭州：解放軍信息工程大學，2014.

[8] 劉?彬，陳向寧，郭連朋. 基于無人機遙感影像的三維戰(zhàn)場構建技術研究[J]. 系統(tǒng)仿真學報，2015，27（6）：1268-1273.

[9] 馮圣峰. 無人機正射影像無縫拼接的研究[D]. 南昌：東華理工大學，2013.