段海濱 張奇夫

(北京航空航天大學(xué) 飛行器控制一體化技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京100191)

范彥銘

(中國(guó)航空工業(yè)集團(tuán)公司 沈陽(yáng)飛機(jī)設(shè)計(jì)研究所，沈陽(yáng)110035)

李 昊

(北京航空航天大學(xué) 飛行器控制一體化技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京100191)

無(wú)人機(jī)(UAV，Unmanned Aerial Vehicle)在當(dāng)今軍事行動(dòng)中扮演越來(lái)越重要的角色，能夠有效完成復(fù)雜和危險(xiǎn)的偵查和作戰(zhàn)任務(wù)[1].UAV雖然在軍事和民用等領(lǐng)域已有廣泛應(yīng)用，但其自身的很多關(guān)鍵技術(shù)尚有待進(jìn)一步研究和應(yīng)用[2].其中，自主空中加油(AAR，Autonomous Aerial Refueling)是目前UAV遠(yuǎn)程作戰(zhàn)的挑戰(zhàn)性技術(shù)之一[3－4]，自主空中加油是指在飛行過(guò)程中一架飛機(jī)在不需要人的干預(yù)下向另一架或多架飛機(jī)傳輸燃油的活動(dòng)[5].近幾年來(lái)世界各大軍事強(qiáng)國(guó)均投入了大量財(cái)力和物力開(kāi)展這一關(guān)鍵技術(shù)的攻關(guān).

自主空中加油主要分飛行硬管式(探針式)和插頭-錐套式兩種[5]，影響自主空中加油性能的兩個(gè)重要因素在于加油機(jī)與受油機(jī)的相對(duì)距離和干擾.對(duì)于軟管式加油而言，其關(guān)鍵技術(shù)是精確測(cè)量加油錐管和受油機(jī)之間的相對(duì)位置，以及對(duì)受油機(jī)實(shí)施精確導(dǎo)引和控制[6].計(jì)算機(jī)視覺(jué)具有信息豐富、精度高等優(yōu)點(diǎn)，近年來(lái)在UAV自主著陸、空中加油和協(xié)同編隊(duì)飛行等方面已有廣泛應(yīng)用.

本文在實(shí)驗(yàn)室環(huán)境下，開(kāi)發(fā)了一種基于計(jì)算機(jī)視覺(jué)的UAV自主空中加油半物理仿真平臺(tái)，通過(guò)設(shè)計(jì)相應(yīng)飛行控制律對(duì)受油機(jī)進(jìn)行精確導(dǎo)引，可完成復(fù)雜環(huán)境下的加油對(duì)接.

1 無(wú)人機(jī)加油計(jì)算機(jī)視覺(jué)算法

UAV自主空中加油半物理仿真平臺(tái)框架如圖1所示.

圖1 基于計(jì)算機(jī)視覺(jué)的UAV自主空中加油半物理仿真平臺(tái)框架

由圖1可見(jiàn)，計(jì)算機(jī)視覺(jué)自主空中加油系統(tǒng)主要包括視覺(jué)導(dǎo)航與導(dǎo)引控制兩部分.此處假定加油機(jī)進(jìn)行定高勻速直線平飛，在加油機(jī)的加油錐管上安裝輔助光學(xué)標(biāo)記，受油機(jī)上安裝機(jī)載攝像機(jī)，采用計(jì)算機(jī)視覺(jué)測(cè)量技術(shù)實(shí)時(shí)測(cè)量并解算加油錐管的位置和姿態(tài)，通過(guò)設(shè)計(jì)相應(yīng)飛行控制律對(duì)受油機(jī)進(jìn)行精確導(dǎo)引，可完成復(fù)雜環(huán)境下的加油對(duì)接.

1.1 點(diǎn)檢測(cè)算法

由于加油錐上的發(fā)光二極管(LED，Light E-mitting Diode)是紅色，可利用其顏色特征信息進(jìn)行點(diǎn)提取.首先對(duì)機(jī)載攝像機(jī)所采集圖像進(jìn)行彩色空間(RGB，Red-Green-Blue)到色相、飽和度和明度(HSV，Hue-Saturation-Value)處理，選取H、S、V三個(gè)通道中的H、S通道圖像進(jìn)行閾值分割，可得二值化圖像.二值化圖像存在噪聲，可用腐蝕、膨脹等形態(tài)處理技術(shù)，把噪聲濾除[7].然后對(duì)兩個(gè)通道的二值圖像進(jìn)行融合，可檢測(cè)到LED光點(diǎn)，并為加油錐與機(jī)載攝像機(jī)相對(duì)位姿測(cè)量做準(zhǔn)備.

1.2 對(duì)應(yīng)點(diǎn)匹配

對(duì)應(yīng)點(diǎn)匹配(point feature matching)指的是匹配標(biāo)記連續(xù)幀圖像對(duì)應(yīng)特征點(diǎn)的位置[8].假定投影點(diǎn)集為，從機(jī)載攝像機(jī)采集圖像提取特征點(diǎn)所得的觀測(cè)點(diǎn)集為{p1，p2，…，pn}，其中pj=(uj，vj)表示圖像坐標(biāo)，對(duì)應(yīng)的投影點(diǎn)集為)是根據(jù)針孔投影成像模型計(jì)算而得的圖像坐標(biāo).對(duì)于點(diǎn)集，可根據(jù)式(1)計(jì)算二者之間的m×n歐式距離矩陣:

由式(1)，可用經(jīng)典的數(shù)學(xué)指派問(wèn)題來(lái)描述點(diǎn)集對(duì)應(yīng)問(wèn)題，其數(shù)學(xué)模型可表述為:假設(shè)有兩個(gè)點(diǎn)集A，B，用Sik表示集合A中的點(diǎn)i與集合B中的點(diǎn)k之間的歐式距離，則若建立A、B兩個(gè)點(diǎn)集之間的對(duì)應(yīng)關(guān)系，有如下公式:

式中，sik＞0，xik∈{0，1}.對(duì)于求解對(duì)應(yīng)點(diǎn)匹配問(wèn)題，可采用Hungarian算法(限于求方陣)，或采用改進(jìn)Munkres算法(限于求非方陣).

1.3 位姿匹配算法

文獻(xiàn)[9]中，Lu，Hager和Mjolsness提出了通過(guò)求解對(duì)象空間線性誤差最小值來(lái)解決位置估計(jì)問(wèn)題的LHM算法.首先，設(shè)圖像序列在k時(shí)刻檢測(cè)、標(biāo)記的特征點(diǎn)j的坐標(biāo)是[ujvj1]T，記

第k時(shí)刻的對(duì)象空間線性誤差向量用ej表示，定義如下:

其中，CTT表示從加油機(jī)坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)移矩陣.由此，計(jì)算機(jī)視覺(jué)自主加油的位姿估計(jì)問(wèn)題等價(jià)于使得誤差平方和最小化的參數(shù)求解問(wèn)題.

該算法通過(guò)迭代，更新改善位姿向量旋轉(zhuǎn)部分的估算值，估計(jì)相關(guān)的平移分量，最終計(jì)算出滿足性能指標(biāo)的估計(jì)值.實(shí)際應(yīng)用中，這是通過(guò)利用線性方程組來(lái)實(shí)現(xiàn)的:

2 擾動(dòng)及加油錐建模

2.1 大氣擾動(dòng)與尾渦流模型

在空中加油過(guò)程中，加油機(jī)和UAV均會(huì)受到復(fù)雜風(fēng)擾動(dòng)的影響.對(duì)于UAV而言，還會(huì)受到來(lái)自前方加油機(jī)產(chǎn)生的尾渦流干擾.加油機(jī)尾渦流場(chǎng)在加油機(jī)后方某一截面內(nèi)，按照渦場(chǎng)對(duì)受油機(jī)的作用效果可以分為上洗、下洗和滾轉(zhuǎn)3個(gè)區(qū)域.其中，兩條尾渦的內(nèi)側(cè)為下洗區(qū)，受油機(jī)進(jìn)入該區(qū)域時(shí)，迎角減小，上升率降低;兩條尾渦的外側(cè)為上洗區(qū)，加油機(jī)進(jìn)入該區(qū)域時(shí)，迎角增加;兩條尾渦的渦心區(qū)域?yàn)闈L轉(zhuǎn)區(qū)，加油機(jī)進(jìn)入此區(qū)域時(shí)，將受到附加滾轉(zhuǎn)力矩的影響.

尾渦風(fēng)場(chǎng)的作用實(shí)際上就是改變受油機(jī)上的相對(duì)氣流，從而改變受油機(jī)所受到的氣動(dòng)力，而這種附加的氣動(dòng)力可通過(guò)受油機(jī)運(yùn)動(dòng)狀態(tài)量的等價(jià)改變來(lái)進(jìn)行表示.

2.2 加油錐運(yùn)動(dòng)建模和狀態(tài)預(yù)估

2.2.1 加油錐模型

空中加油過(guò)程中，加油錐將受到多種不確定性因素的影響，一般難以建立準(zhǔn)確的數(shù)學(xué)模型，這里將加油錐運(yùn)動(dòng)模型簡(jiǎn)化為是一個(gè)彈性阻尼線性時(shí)不變系統(tǒng)，其狀態(tài)方程如下:

式中，加油錐的狀態(tài)向量為

式中，Δxd，Δyd和Δzd表示相對(duì)于基準(zhǔn)位置的位置偏差量;表示相對(duì)于基準(zhǔn)位置的速度偏差量(假設(shè)基準(zhǔn)位置偏差量和速度偏差量均為0);wg(t)表示大氣湍流干擾下的外部擾動(dòng)輸入.

加油錐在大氣擾動(dòng)、尾渦流等作用下，前向、縱向和側(cè)向都將產(chǎn)生一定程度的自由擺動(dòng)，其中縱向和側(cè)向的自由擺動(dòng)幅度比較大，可以達(dá)到1～1.5 m，前向的擺動(dòng)相對(duì)較小，一般只有厘米級(jí).因此，在UAV飛行控制系統(tǒng)設(shè)計(jì)中可忽略前向位置的自由擺動(dòng)，僅考慮加油錐縱向和側(cè)向位置的自由擺動(dòng).

2.2.2 加油錐狀態(tài)預(yù)估

相對(duì)位置運(yùn)動(dòng)的預(yù)估計(jì)是UAV自主加油導(dǎo)引控制的基礎(chǔ).本文采用卡爾曼濾波器實(shí)現(xiàn)對(duì)實(shí)時(shí)運(yùn)動(dòng)物體的狀態(tài)預(yù)估計(jì).其過(guò)程分兩步:

1)利用當(dāng)前狀態(tài)和誤差協(xié)方差估計(jì)下一時(shí)刻狀態(tài)，得到先驗(yàn)估計(jì);

2)通過(guò)反饋將新的實(shí)際觀測(cè)值與先驗(yàn)估計(jì)值同時(shí)考慮，從而獲得后驗(yàn)估計(jì).

在每次完成預(yù)測(cè)和更新以后，由后驗(yàn)估計(jì)值預(yù)測(cè)下一時(shí)刻的先驗(yàn)估計(jì)，重復(fù)以上步驟，此即卡爾曼濾波器的遞歸原理，工程上易于實(shí)現(xiàn).

3 無(wú)人機(jī)飛行控制律設(shè)計(jì)

UAV自主加油問(wèn)題本質(zhì)上為緊密編隊(duì)問(wèn)題，即UAV的飛行控制律必須使其能夠沿著可行的參考航路飛至期望的固定位置.緊密編隊(duì)飛行控制系統(tǒng)的輸入量為加油機(jī)相對(duì)于UAV的距離，且在編隊(duì)飛行過(guò)程中保持不變.將加油機(jī)的運(yùn)動(dòng)作為對(duì)系統(tǒng)的干擾量，飛行過(guò)程中會(huì)引起編隊(duì)拓?fù)浣Y(jié)構(gòu)變化，因此在控制器設(shè)計(jì)中必須充分考慮到加油機(jī)影響.該導(dǎo)引控制問(wèn)題可采用線性二次型調(diào)節(jié)器(LQR，Linear Quadratic Regulator)進(jìn)行實(shí)現(xiàn)，圖2給出了飛行控制系統(tǒng)實(shí)現(xiàn)方案.

圖2中，“控制器”的目的是使UAV受油管與目標(biāo)點(diǎn)之間的相對(duì)距離rd在規(guī)定時(shí)間內(nèi)趨近于0(r=0).“計(jì)算機(jī)視覺(jué)(MV)”模塊向UAV提供相對(duì)位置和姿態(tài)信息.“控制器”模塊用來(lái)通過(guò)LQR產(chǎn)生控制指令使UAV能按給定指令操縱舵面，從而能準(zhǔn)確快速到達(dá)加油點(diǎn)并完成加油任務(wù).本文微粒群優(yōu)化(PSO，Particle Swarm Optimization)算法作為一種高效的仿生智能優(yōu)化算法，在UAV圖像匹配[10]、編隊(duì)協(xié)同[11]等各方面均獲得了實(shí)際應(yīng)用，將PSO用于對(duì)兩機(jī)之間相對(duì)距離的實(shí)時(shí)優(yōu)化.

圖2 UAV自主加油控制模塊

4 無(wú)人機(jī)視覺(jué)加油半實(shí)物平臺(tái)

4.1 機(jī)載攝像機(jī)內(nèi)參數(shù)標(biāo)定

求得機(jī)載攝像機(jī)的內(nèi)參數(shù)(包括圖像中心位置、焦距、畸變系數(shù)等)在工程實(shí)現(xiàn)過(guò)程中是必不可少的環(huán)節(jié)[12].根據(jù)機(jī)載攝像機(jī)內(nèi)參數(shù)，結(jié)合相應(yīng)算法，計(jì)算實(shí)際加油錐與機(jī)載攝像機(jī)坐標(biāo)系之間的位姿信息.每個(gè)像素都是通過(guò)透射投影得到的，對(duì)應(yīng)于與場(chǎng)景點(diǎn)的一條射線，因此機(jī)載攝像機(jī)標(biāo)定問(wèn)題是確定該射線在場(chǎng)景絕對(duì)坐標(biāo)系中的方程，由此建立圖像陣列中的像素位置和場(chǎng)景點(diǎn)位置之間的關(guān)系，本文利用張氏標(biāo)定法來(lái)標(biāo)定機(jī)載攝像機(jī)的固有內(nèi)參數(shù).

4.2 機(jī)載攝像機(jī)/投影儀半實(shí)物仿真環(huán)境

機(jī)載攝像機(jī)采用的是德國(guó)AVT Manta-G125C彩色CCD攝像機(jī)，成像分辨率為1 292×964，拍攝幀率在理想情況下為30幀/s.屏幕分辨率為1 600×1200.實(shí)際處理時(shí)，需要根據(jù)攝像機(jī)與投影儀的相對(duì)位置，以及投影屏幕之間距離設(shè)置成像分辨率，本實(shí)驗(yàn)設(shè)置成像分辨率700×540，在該配置下，目標(biāo)跟蹤算法的處理速度為6～7幀/s.所用機(jī)載攝像機(jī)及相應(yīng)系統(tǒng)如圖3所示.

機(jī)載攝像機(jī)/投影儀半實(shí)物仿真步驟如下:

1)投影棋盤標(biāo)定板，分辨率為1600×1200，格子數(shù)為40×30;

2)設(shè)置機(jī)載攝像機(jī)合適的感興趣區(qū)域(ROI，Region of Interest)，保證能采集到整個(gè)投影幕上的標(biāo)定板圖像;

3)棋盤格特征點(diǎn)提取和單應(yīng)性矩陣計(jì)算，其中特征點(diǎn)提取采用OpenCV庫(kù)函數(shù)中提供的角點(diǎn)檢測(cè)算法;

4)加/受油視景投影，LED特征點(diǎn)提取、匹配和位姿估計(jì).所開(kāi)發(fā)的UAV自主空中加油視景部分如圖4所示.

圖3 基于虛擬視景的UAV空中自主加油半物理仿真系統(tǒng)構(gòu)成

圖4 UAV自主空中加油視景

5 試驗(yàn)分析

5.1 攝像機(jī)內(nèi)參標(biāo)定結(jié)果

半物理仿真試驗(yàn)中，從各個(gè)角度拍攝了20張標(biāo)定板圖片，其中一張如圖5所示.

圖5 用于機(jī)載攝像機(jī)內(nèi)參數(shù)標(biāo)定的圖像

開(kāi)啟實(shí)物加油錐上的LED光源，并確保加油錐在機(jī)載攝像頭視野范圍內(nèi)，然后運(yùn)行相應(yīng)的計(jì)算機(jī)視覺(jué)處理模塊進(jìn)行位置測(cè)量.圖6為20張標(biāo)定圖片中的一張.

圖6 張氏標(biāo)定角點(diǎn)提取序列圖像

所采用的機(jī)載相機(jī)內(nèi)參數(shù)標(biāo)定后得到的參數(shù)矩陣為

5.2 投影儀攝像頭半實(shí)物仿真

將投影棋盤標(biāo)定板圖像投影到屏幕上，調(diào)整機(jī)載攝像頭與投影儀之間的幾何位置，保證機(jī)載攝像頭能采集到屏幕上的棋盤標(biāo)定板，且使標(biāo)定板恰好能充滿整個(gè)圖像空間.對(duì)投影儀/機(jī)載攝像機(jī)幾何關(guān)系進(jìn)行標(biāo)定，得到單應(yīng)性矩陣.隨后投影仿真視景，輸入單應(yīng)性矩陣，運(yùn)行并實(shí)時(shí)采集圖像，調(diào)節(jié)HSV通道閾值，以保證能檢測(cè)到LED特征點(diǎn)，所得測(cè)試結(jié)果如圖7、圖8所示.

圖7 機(jī)載攝像機(jī)采集的棋盤格投影圖像

圖8 OpenCV角點(diǎn)檢測(cè)結(jié)果

通過(guò)計(jì)算，所得的單應(yīng)性矩陣和逆矩陣分別為

在此基礎(chǔ)上，對(duì)圖像特征點(diǎn)進(jìn)行實(shí)時(shí)檢測(cè).首先提取圖像H、S通道信息，如圖9所示.

圖9 圖像通道提取

對(duì)HSV通道圖像進(jìn)行二值化閾值分割，H、S、V閾值具體分別為0.03，0.5，0.5.通過(guò)腐蝕、膨脹形態(tài)學(xué)操作，濾除二值圖像噪聲，結(jié)果如圖11所示.

圖11 加油錐特征點(diǎn)檢測(cè)過(guò)程和結(jié)果

當(dāng)檢測(cè)到特征點(diǎn)后，計(jì)算所得的加油錐距虛擬視點(diǎn)相對(duì)位置姿態(tài)信息通過(guò)千兆網(wǎng)卡實(shí)時(shí)傳給UAV飛行控制系統(tǒng)，然后通過(guò)控制指令傳給視景計(jì)算機(jī)，并驅(qū)動(dòng)視景，構(gòu)成自主空中加油半物理閉環(huán)仿真環(huán)境.設(shè)置視景加油錐的相對(duì)距離為:(－1.4，0.5，5.6)，通過(guò)計(jì)算機(jī)視覺(jué)信息處理算法計(jì)算所得的相對(duì)距離為:(－1.412，0.517，5.631).當(dāng)軟管和加油錐處于這個(gè)距離并達(dá)到相對(duì)穩(wěn)態(tài)時(shí)，就可進(jìn)行精確對(duì)接.

6 結(jié)束語(yǔ)

自主空中加油是解決UAV燃油量少、航程短的有效技術(shù)途徑.本文對(duì)基于計(jì)算機(jī)視覺(jué)的UAV軟管式自主加油技術(shù)進(jìn)行了系統(tǒng)研究和實(shí)現(xiàn)，利用計(jì)算機(jī)視覺(jué)算法進(jìn)行特征提取、點(diǎn)匹配和位姿估計(jì).考慮了風(fēng)、尾渦等復(fù)雜干擾因素，設(shè)計(jì)了基于LQR的UAV自主飛行控制律.在此基礎(chǔ)上，利用機(jī)載攝像機(jī)和投影儀等開(kāi)發(fā)半物理仿真試驗(yàn)環(huán)境.

系列半物理仿真試驗(yàn)結(jié)果驗(yàn)證了采用計(jì)算機(jī)視覺(jué)進(jìn)行UAV自主空中加油對(duì)接的可行性和有效性.

References)

[1]段海濱，范彥銘，張雷.高空長(zhǎng)航時(shí)無(wú)人機(jī)技術(shù)發(fā)展新思路[J].智能系統(tǒng)學(xué)報(bào)，2012，7(3):195－199

Duan Haibin，F(xiàn)an Yanming，Zhang Lei.New thoughts on the development of a HALE UAV[J].CAAI Transactions on Intelligent Systems，2012，7(3):195－199(in Chinese)

[2]Duan H B，Shao S，Su B W，et al.New development thoughts on the bio-inspired intelligence based control for unmanned combat aerial vehicle[J].Science China Technological Sciences，2010，53(8):2025－2031

[3]Nalepka J，Hinchman J.Automated aerial refueling:extending the effectiveness of UAVs[R].AIAA 2005-6005，2005

[4]Lee J H，Hullender D，Dogan A，et al.Estimation of receiver aircraft states and wind vectors in aerial refueling[R].AIAA 2012-4533，2012

[5]董新民，徐躍鑒，陳博.自動(dòng)空中加油技術(shù)研究進(jìn)展與關(guān)鍵問(wèn)題[J].空軍工程大學(xué)學(xué)報(bào):自然科學(xué)版，2008，9(6):1－5

Dong Xinmin，XuYuejian，Chen Bo.Progress and shallenges in Automatic aerial refueling[J].Journal of Air Force Engineering University:Natural Science Edition，2008，9(6):1－5(in Chinese)

[6]Napolitano M R，F(xiàn)ravolini M L.Simulation environment for machine vision based aerial refueling for UAVs[J].IEEE Transactions on Aerospace and Electronic Systems，2009，45(1):138－151

[7]Duan H B，Deng Y M，Wang X H，et al.Small and dim target detection via lateral inhibition filtering and artificial bee colong based selective visual attention[J].PLoS ONE，2013，8(8):e72035

[8]Campa G，Mammarella M，Napolitano M R，et al.A comparison of pose estimation algorithms for machine vision based aerial refueling for UAVs[C]//Proceedings of the 14th Mediterranean Conference on Control and Automation.Ancona:IEEE，2006:1－4

[9]Lu C P，Hager G D，Mjolsness E.Fast and globally convergent pose estimation from video images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(6):610－622

[10]Liu F，Duan H B，Deng Y M.A chaotic quantum-behaved particle swarm optimization based on lateral inhibition for image matching[J].Optik，2012，123(21):1955－1960

[11]Duan H B，Liu S Q.Nonlinear dual-mode receding horizon control for multiple UAVs formation flight based on chaotic particle swarm optimization[J].IET Control Theory＆Applications，2010，4(11):2565－2578

[12]張偉，程鴻，韋穗.攝像機(jī)標(biāo)定系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程，2007，33(2):255－256

Zhang Wei，Cheng Hong，Wei Sui.Design and implementation of camera calibration system[J].Computer Engineering，2007，33(2):255－256(in Chinese)