(四川工業(yè)科技學(xué)院,四川 德陽 618500)
在無人機目標(biāo)點間距測量過程中,雙向距離測量是非常重要的項目,通過測量不同方向信號向傳輸時延來獲取不同目標(biāo)點間距離信息[1]。以往通常使用偽碼測距和信息幀測距方法,其中偽碼測距是利用不同方向信號偽碼的相位關(guān)系進行目標(biāo)點間距測量的;而信息幀測距方法是通過上行鏈路擴頻模式,下行鏈路數(shù)據(jù)流幀標(biāo)志方式進行目標(biāo)點間距測量的[2]。這兩種方法雖然都具有測量速度快的優(yōu)勢,但偽碼測距方法上、下行信號間具有明顯相干特性,造成約束關(guān)系較強,容易造成測量結(jié)果不精準(zhǔn)。而信息幀測距方法受到遙測數(shù)據(jù)流的幀標(biāo)志抖動影響,在一定程度上無法精準(zhǔn)測量目標(biāo)點間距[3]。
為適應(yīng)復(fù)雜多徑環(huán)境使用需求,提出了基于無人機航拍圖像的關(guān)鍵目標(biāo)點間距測量研究方法。通過將測距信息傳至無人機航拍系統(tǒng)中,轉(zhuǎn)化為圖像形式,實現(xiàn)精準(zhǔn)測距的目的。
無人機航拍圖像信息是關(guān)鍵目標(biāo)點間距測量所需重要參數(shù)信息,在目標(biāo)二維序列圖像中,可將目標(biāo)信息分為兩類,分別是邊緣輪廓信息和線性線段長度信息[4]。通過無人機航拍系統(tǒng)的上行鏈路和下行鏈路作為上述兩種特征信息采集的主要途徑,由此實現(xiàn)基于無人機航拍圖像測量。
其中上行鏈路測距原理為:采用擴頻傳輸方式,對地面調(diào)制器進行編碼、擴頻處理,將處理結(jié)果以信號形式發(fā)射出去[5]。待機載接收機完成信號解調(diào)和擴散后,完成關(guān)鍵點間距測量。
下行鏈路測距原理為:采用遙測數(shù)控一體化高速數(shù)據(jù)鏈傳輸模式,使機載調(diào)制器實現(xiàn)數(shù)據(jù)塊復(fù)接,經(jīng)過調(diào)制器調(diào)制后,將調(diào)制結(jié)果以信號形式發(fā)射出去。待機載接收機完成信號解調(diào)和擴散后,完成關(guān)鍵點間距測量[6]。
基于上下行鏈路特征信息采集原理,分別計算關(guān)鍵點間單向和雙向距離,通過無人機航拍圖像誤差修正,實現(xiàn)基于無人機航拍圖像的關(guān)鍵目標(biāo)點間距高精準(zhǔn)度測量。
依據(jù)上下行鏈路測距原理,對關(guān)鍵目標(biāo)點角度進行測量,為目標(biāo)方向確定做好準(zhǔn)備;匹配圖像,標(biāo)記參考點;依據(jù)參考點信息,生成特征描述子,以此提取特征點;采用無人機上下行鏈路進行間距測量計算,由此完成關(guān)鍵目標(biāo)點間距測量[7]。
關(guān)鍵目標(biāo)點間距測量研究實現(xiàn)流程如圖1所示。
圖1 關(guān)鍵目標(biāo)點間距測量研究實現(xiàn)流程
依據(jù)該流程,進行關(guān)鍵目標(biāo)點間距測量研究。
高分辨力關(guān)鍵目標(biāo)點角度獲得是間距測量的重要條件,采用三軸機光電經(jīng)緯儀用于測量關(guān)鍵目標(biāo)點方位角和高低角[8]。
三軸機電裝置光電經(jīng)緯儀中的垂直軸、水平軸和照準(zhǔn)軸之間是相互垂直的,其中水平軸和照準(zhǔn)軸可在一維平面內(nèi)繞著垂直軸旋轉(zhuǎn),經(jīng)過測角跟蹤系統(tǒng)中軸角編碼器獲取角度。其中方位角是通過安裝在垂直軸上的軸角編碼器測量的;高低角是通過安裝在水平軸上的軸角編碼器測量的,以高精度計量光柵組件為基準(zhǔn),通過光電轉(zhuǎn)換,將旋轉(zhuǎn)發(fā)生的位移信息轉(zhuǎn)換成數(shù)字代碼形式,只要照準(zhǔn)軸瞄準(zhǔn)關(guān)鍵目標(biāo)點就可準(zhǔn)確獲取方位角和高低角,及時對目標(biāo)進行跟蹤,以此確定無人機航拍關(guān)鍵目標(biāo)點[9]。
在間距測量過程中,無需處理圖像中所有像素點,而是針對關(guān)鍵目標(biāo)點像素進行處理,即對相鄰圖像序列中目標(biāo)特征點進行匹配[10]。
采用灰度信息匹配方法,利用兩幅待匹配圖像之間灰度作為基準(zhǔn)度量,當(dāng)灰度信息相似度滿足設(shè)定的閾值時,說明圖像匹配成功;否則,失敗。
具體匹配流程為:
選取一個固定區(qū)域灰度矩陣,并對全部信息進行歸一化處理,采用數(shù)理統(tǒng)計方法搜索灰度信息?;叶刃畔⒕仃囉嬎愎饺缦滤荆?/p>
(1)
其中:Z表示相似性度量值,該值越大,說明匹配精準(zhǔn)度就越高。E(a,b)為原始圖像;Rh,g(a,b)*E(a,b)表示基準(zhǔn)圖像;Rh,g表示基準(zhǔn)圖像被原始圖像覆蓋的圖像;a,b表示Rh,g圖像中像素點坐標(biāo),即為參考點。
根據(jù)上述獲得的參考點,生成特征描述子,利用局部自相關(guān)函數(shù),對像素點進行檢測,以此提取特征點。
在某圓形區(qū)域邊長為dk(k表示參考點所在空間尺度值)的哈爾小波變換模板中,以任意參考點為中心,fk為半徑的圓,計算橫縱坐標(biāo)方向上的哈爾小波響應(yīng)。
以參考點為中心,60°角為中心的扇形區(qū)域,加權(quán)高斯函數(shù),并計算該區(qū)域內(nèi)的哈爾小波變換響應(yīng)向量,保證角度旋轉(zhuǎn)不變,通過哈爾小波變換迭代算法不斷確定參考點具體位置。
描述子的生成是以橫縱坐標(biāo)方向上標(biāo)準(zhǔn)哈爾小波響應(yīng)和加權(quán)處理后的變換響應(yīng)向量為基準(zhǔn),以參考點具體位置為中心,固定坐標(biāo)軸主方向。以固定邊長設(shè)計正方形窗口,以正方形大小為一個小塊劃分窗口,計算每一個窗口小波響應(yīng),并進行加權(quán)處理。
特征描述子生成具體過程如圖2所示。
圖2 特征描述子生成具體過程
依據(jù)圖2所示過程,計算每個小窗口水平和垂直方向小波響應(yīng)值,由此形成了多維特征描述子。
利用μ1和μ2分別表示局部自相關(guān)函數(shù)曲率,通過函數(shù)曲率對多維特征描述子進行分類,以此區(qū)分關(guān)鍵目標(biāo)點特征。
像素點檢測如圖3所示。
圖3 像素點檢測
依據(jù)圖3所標(biāo)記的像素點實際特征位置,分析局部自相關(guān)函數(shù)曲率,以此確定具體關(guān)鍵目標(biāo)點特征點位置,方便特征點提取。
1)當(dāng)μ1和μ2都相對較小時,圖像窗口并無灰度變化,說明該區(qū)域為平坦區(qū)域,其特征為圖3中的特征1區(qū)域;
2)當(dāng)μ1遠遠大于μ2或遠遠小于μ2時,圖像窗口灰度出現(xiàn)大幅度變化,說明該區(qū)域為邊緣區(qū)域,其特征為圖3中的特征2區(qū)域;
3)當(dāng)μ1和μ2大小接近時,圖像窗口灰度出現(xiàn)變化,說明該區(qū)域為角點區(qū)域,其特征為圖3中的特征3區(qū)域;
根據(jù)分析的三種區(qū)域特征情況,提取所需關(guān)鍵目標(biāo)點特征,為間距測量提供數(shù)據(jù)支持。
將提取的特征點作為無人機航拍圖像關(guān)鍵目標(biāo)點,采用無人機上下行鏈路獲取的圖像信息進行間距測量計算。圖4給出了基于無人機航拍圖像測距工作流程。
圖4 基于無人機航拍圖像測距工作流程
圖4中T下表示下行鏈路遙控幀周期;T上表示上行鏈路遙控幀周期;n是上下鏈路遙控幀周期的比值。通常情況下上行鏈路遙控幀周期要小于下行鏈路遙控幀周期,并且在一個遙控幀周期內(nèi),上行鏈路遙控幀計數(shù)器為1,兩個關(guān)鍵點之間雙向總距離為TG1+ΔtG1,關(guān)鍵點提取時延為TU1+ΔtU1,兩個關(guān)鍵點之間單向距離為:
(2)
公式(2)中:W為常數(shù),單位為m/s;TG1表示遙控幀1時和高速數(shù)據(jù)鏈之間關(guān)鍵點雙向距離時延;TU1表示機載收遙控幀1時和高速數(shù)據(jù)鏈之間關(guān)鍵點雙向距離時延;ΔtG1表示遙控幀1時圖像同步抖動時延;Δt1表示遙控幀1時機載碼環(huán)跟蹤抖動時延。
在上行遙控幀1 的周期內(nèi),對下行高速數(shù)據(jù)鏈中的n個數(shù)據(jù)塊,任意兩點雙向總測距為TGn+ΔtGn,機載系統(tǒng)處理時延為TUn+Δtu,由此計算兩個關(guān)鍵點之間單向距離為:
(3)
TGn表示遙控幀n時和高速數(shù)據(jù)鏈之間關(guān)鍵點雙向距離時延;TUn表示機載收遙控幀n和高速數(shù)據(jù)鏈之間關(guān)鍵點雙向距離時延;ΔtGn表示高速數(shù)據(jù)鏈中n個圖像塊同步抖動時延;ΔtUn表示高速數(shù)據(jù)鏈中n個圖像塊機載碼環(huán)跟蹤抖動時延。
公式(2)、(3)表示一次完整測距過程,測距周期與下行鏈路高速數(shù)據(jù)鏈圖像塊周期一致。
由于影響無人機航拍圖像質(zhì)量因素有很多,因此,以圖像坐標(biāo)變換→重采樣→圖像增強→圖像平滑為主要步驟,對間距測量計算結(jié)果進行誤差修正,保證基于無人機航拍圖像的關(guān)鍵目標(biāo)點間距測量研究結(jié)果更加精準(zhǔn)。
無人機航拍圖像幾何校正就是對原始圖像存在的質(zhì)量問題進行修正,使其符合關(guān)鍵目標(biāo)點間距測量結(jié)果高精準(zhǔn)要求,也就是確定圖像上像素坐標(biāo)與實際關(guān)鍵點坐標(biāo)之間的關(guān)系,以此反映兩者間映射關(guān)系。
具體圖像坐標(biāo)變換修正過程如下所示:
1)采用多項式對無人機航拍圖像形變進行模擬,將圖像上像素坐標(biāo)與實際關(guān)鍵點坐標(biāo)進行坐標(biāo)變換,以此表達兩者之間關(guān)系;
2)將原始圖像視為形變曲面,獲取的目標(biāo)圖像為規(guī)則平面,任務(wù)形變曲線都可以利用多項式擬合成規(guī)則平面,由此建立初始圖像坐標(biāo)點和參考坐標(biāo)點;
3)確定坐標(biāo)后,利用地面控制點協(xié)助完成形變圖像幾何校正。
一旦確定地面控制點后,需求取多項式系數(shù),并對圖像上所有關(guān)鍵像素點進行重新定位,進而校正圖像,完成坐標(biāo)變換。
經(jīng)過多項式進行坐標(biāo)變換的像素點在無人機航拍圖像中分布并不均勻,因此需對其進行重新采樣。根據(jù)圖像各關(guān)鍵像素點陣列,求取坐標(biāo)變換后像素灰度值,并依次分析各個像素點之間關(guān)系,對原始圖像重新采樣,從而建立新的圖像矩陣。
提取重新采樣的關(guān)鍵點特征,通過傅里葉變換,將圖像從空間域中轉(zhuǎn)換到頻率域中,并對原始不清晰圖像頻率域成分進行處理,利用直方圖進行圖像修正,使灰度間距被拉大,增大反差,使圖像更加清晰,實現(xiàn)圖像增強。
由于受到光照影響,無人機航拍圖像會出現(xiàn)亮度較大噪點,為了消除噪點,需對圖像進行平滑處理。采用中值平滑法,將每一個像素點灰度值都設(shè)置為鄰域窗口內(nèi)所有像素點灰度值中值,起到去燥效果。
經(jīng)過一系列處理,可對無人機航拍圖像進行處理,為關(guān)鍵目標(biāo)點間距測量提供精準(zhǔn)數(shù)據(jù),使測量結(jié)果更加精準(zhǔn)。
在Intel Core i5-3210M CPU@2.50 GHz硬件環(huán)境下,使用MATLAB編程,借助函數(shù)庫,對同一張無人機航拍圖像進行數(shù)值分析的,以此驗證基于無人機航拍圖像的關(guān)鍵目標(biāo)點間距測量研究方法的有效性。
地空鏈路有線測試平臺設(shè)計如圖5所示。
圖5 地空鏈路有線測試平臺
使用高頻電纜代替?zhèn)鹘y(tǒng)收發(fā)天線,搭建多條信道模擬上下行雙工器在工作過程中復(fù)雜環(huán)境。該平臺實際參數(shù)設(shè)置如表1所示。
表1 平臺設(shè)備參數(shù)設(shè)置
以往采用偽碼測距和信息幀測距方法進行關(guān)鍵目標(biāo)點間距測量,存在殘余非均勻性掃描噪聲、脈沖噪聲以及環(huán)境干擾噪聲等,導(dǎo)致測量結(jié)果不精準(zhǔn)。噪聲反映在圖像中,使原始圖像灰度值突然變大,輪廓邊緣都變得虛化。而基于無人機航拍圖像的測量方法設(shè)定了誤差修正步驟,不會受到噪聲影響,測量結(jié)果較為精準(zhǔn)。
對圖6(a)所示原始圖像中的關(guān)鍵目標(biāo)圖像添加方差為15的高斯噪聲,其效果圖如圖6(b)、(c)所示。
圖6 原始圖像和加高斯噪聲效果圖
由圖6可知:采用以往測距方法受到噪聲影響較大,關(guān)鍵目標(biāo)點信息特征基本無法辨識,整個圖像較為模糊。而基于無人機航拍圖像測距方法受到環(huán)境噪聲影響,邊緣部分出現(xiàn)噪點,但好在影響效果不大,關(guān)鍵目標(biāo)點信息特征可以辨識,整個圖像依然較為清晰。
依據(jù)圖6所示效果圖,進行一次完整測距,兩種方法測距結(jié)果如圖7所示。
圖7 兩種方法測距結(jié)果
圖7中:ranging _send time為上行遙控幀發(fā)送時間值,可用F1表示;ranging _recv _ time為接收高速數(shù)據(jù)鏈時間值,可用F2表示;ranging _before _minus delta為關(guān)鍵目標(biāo)點之間雙向測距粗延時,可用F3表示;ranging _after _minus delta為關(guān)鍵目標(biāo)點之間雙向測距細延時,可用F4表示;ranging_result為單向測距值,可用F5表示。
實際F1、F2、F3、F4、F5數(shù)據(jù)輸出依次為:
①F1-42157380、42157380、42157380、42157380;
②F2-39406581、39406580、39406579、39406578;
③F3-509673、509674、509675、509676;
④F4-284471、284582、284691、286783;
⑤F5-358073、358972、348815、348762。
由圖7可知,基于無人機航拍圖像測距方法與實際輸出數(shù)據(jù)一致,說明該方法測距結(jié)果較為精準(zhǔn)。
為了進一步驗證該結(jié)論的精準(zhǔn),需對圖像關(guān)鍵目標(biāo)點進行序列匹配,匹配結(jié)果如表2所示。
采用以往方法進行間距測量:根據(jù)關(guān)鍵目標(biāo)點數(shù)量進行圖像匹配,匹配個數(shù)僅為原來的一半左右,而特征線段基本沒有,由此獲得的測量值與真實距離存在較大差距。圖像匹配序列1-2、2-3、3-4、4-5對應(yīng)的測量差值為40 cm、8 cm、60 cm、95 cm。
[2] Bouwmans T. Traditional and Recent Approaches in Background Modeling for Foreground Detection: An Overview[J]. Computer Science Review, 2014, 11:31-66.
[3] 周愛民, 張青富, 張桂戌. 一種基于混合高斯模型的多目標(biāo)進化算法[J]. 軟件學(xué)報, 2014(5):913-928.
[4] Zivkovic Z, Heijden F V D. Efficient adaptive density estimation per image pixel for the task of background subtraction[J]. Pattern Recognition Letters, 2006, 27(7):773-780.
[5] 李 明, 趙勛杰. 改進的基于高斯混合模型的運動目標(biāo)檢測算法[J]. 計算機工程與應(yīng)用, 2011, 47(8):204-206.
[6] Boulmerka A, Allili M S. Foreground Segmentation in Videos Combining General Gaussian Mixture Modeling and Spatial Information[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2017, PP(99):1-1.
[7] Cucchiara R, Grana C, Piccardi M, et al. Detecting moving objects, ghosts, and shadows in video streams[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(10):1337-1342.
[8] Sanin A, Sanderson C, Lovell B C. Improved shadow Removal for Robust Person Tracking in Surveillance Scenarios[A]. International Conference on Pattern Recognition[C]. IEEE Computer Society, 2010.
[9] 武明虎, 宋冉冉, 劉 敏. 結(jié)合HSV與紋理特征的視頻陰影消除算法[J]. 中國圖象圖形學(xué)報, 2017, 22(10):1373-1380.
[10] 朱振國, 田松祿. 基于權(quán)值變化的BP神經(jīng)網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)率改進研究[J]. 計算機系統(tǒng)應(yīng)用, 2018,27(7):207-212.
[11] Sanin A, Sanderson C, Lovell B C. Shadow detection: A survey and comparative evaluation of recent methods[J]. Pattern Recognition, 2012, 45(4):1684-1695.
[12] Paschos, G. Perceptually uniform color spaces for color texture analysis: an empirical evaluation[J]. IEEE Transactions on Image Processing, 2001, 10(6):932-937.
[13] Cucchiara R. Improving shadow suppression in moving objects detection with HSV color information[Z]. Intelligent Transportation Systems. IEEE, 2002.
[14] Prati A, Cucchiara R, Trivedi M M. Analysis and Detection of Shadows in Video Streams: A Comparative Evaluation[A]. IEEE Computer Society Conference on Computer Vision & Pattern Recognition[C]. IEEE, 2001.
[15] Scharcanski J. Stochastic texture analysis for monitoring stochastic processes in industry[J]. Pattern Recognition Letters, 2005, 26(11):1701-1709.
[16] Wang Y, Jodoin P M, Porikli F, et al. CDnet 2014: An Expanded Change Detection Benchmark Dataset[A]. 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)[C]. IEEE Computer Society, 2014.
表2 圖像關(guān)鍵目標(biāo)點序列匹配
基于無人機航拍圖像測距方法進行間距測量:根據(jù)關(guān)鍵目標(biāo)點數(shù)量進行圖像匹配,匹配個數(shù)與原來數(shù)量基本一致,且特征線段獲取較多,由此獲得的測量值與真實距離基本一致。圖像匹配序列1-2、2-3、3-4、4-5對應(yīng)的測量差值為5 cm、0 cm、1 cm、0cm。
通過對比結(jié)果再一次證實基于無人機航拍圖像測距更加精準(zhǔn)的論點,也由此說明基于無人機航拍圖像的關(guān)鍵目標(biāo)點間距測量研究方法是具有有效性的。
關(guān)鍵目標(biāo)點間距測量研究可應(yīng)用在工業(yè)、生物、航空航天等領(lǐng)域之中,設(shè)計高效精準(zhǔn)間距測量方法顯得十分重要。結(jié)合無人機圖像特性,對關(guān)鍵目標(biāo)點間距測量進行研究,并在MATLAB編程環(huán)境中得到應(yīng)用。
針對關(guān)鍵目標(biāo)點間距測量這一關(guān)鍵問題,提出了基于無人機航拍圖像的關(guān)鍵目標(biāo)點間距測量研究方法。根據(jù)無人機中各個傳感器圖像相關(guān)性,縮小搜索目標(biāo)范圍,加速關(guān)鍵目標(biāo)點識別速度。由于該方法是在復(fù)雜多徑環(huán)境下進行距離測量的,所以實際測距結(jié)果與理論測距結(jié)果存在一定偏差,但偏差大小滿足理想測距誤差設(shè)計值。利用VC++環(huán)境完成測距精準(zhǔn)性能驗證,并由實驗結(jié)果證實該方法研究的有效性。
由于實驗環(huán)境受到限制,對于關(guān)鍵目標(biāo)點間距測量研究仍存在許多不足之處,需要進一步完善,以下為該方法需要改進的方面:
1)在實驗過程中,應(yīng)使用不同無人機型號,并設(shè)置相關(guān)參數(shù),使驗證結(jié)果更為全面;
2)實驗添加受到限制,應(yīng)設(shè)置相對復(fù)雜場景進行實驗對比分析;
3)實驗選取的圖像都為規(guī)則性圖像,應(yīng)將非規(guī)則性圖像作為實驗對象,展開對比分析。