侯強(qiáng) 陳茂銀 周東華

(清華大學(xué)自動(dòng)化系，北京 100084)(清華大學(xué)信息科學(xué)與技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100084)

基于計(jì)算機(jī)視覺(jué)的自主飛行器著陸技術(shù)，是通過(guò)飛行器上安裝的攝像機(jī)或照相機(jī)獲取著陸區(qū)域的景象，利用視頻或圖像信息獲取相機(jī)姿態(tài)，從而控制飛行器的著陸.20世紀(jì)90年代，美國(guó)一些大學(xué)和研究機(jī)構(gòu)開展了相關(guān)的研究［1-2］，設(shè)計(jì)具有自主能力的無(wú)人直升機(jī)，實(shí)現(xiàn)基于視覺(jué)的無(wú)人機(jī)自主降落.著陸區(qū)域采用特殊的幾何圖形，利用圖形隨姿態(tài)變化規(guī)律實(shí)時(shí)計(jì)算相機(jī)姿態(tài)，實(shí)現(xiàn)無(wú)人機(jī)控制.Tsai等［3］采用“T”字母作為著陸平臺(tái)的特征標(biāo)識(shí)，張廣軍等［4］采用雙圓圖案作為著陸區(qū)域的標(biāo)識(shí)物，實(shí)現(xiàn)了無(wú)人機(jī)的視覺(jué)著陸導(dǎo)航.這類基于具有特殊幾何特征的著陸場(chǎng)坪的姿態(tài)估計(jì)方法，不僅處理速度較快，而且精度也較高.但這類方法將不適用于一般著陸跑道上的著陸，主要是由于著陸跑道的基本幾何特征是兩條平行的直線.近年來(lái)，國(guó)內(nèi)學(xué)者進(jìn)行了無(wú)人機(jī)在機(jī)場(chǎng)跑道上自主著陸的研究.南京航空航天大學(xué)研究小組［5］針對(duì)固定翼無(wú)人機(jī)的著陸問(wèn)題，采用地平線及著陸跑道的特征，利用射影幾何的理論，提出采用地平線獲得無(wú)人機(jī)的滾動(dòng)角，通過(guò)圖像中跑道的滅點(diǎn)來(lái)解決姿態(tài)角求解問(wèn)題.

本文以機(jī)場(chǎng)跑道作為著陸環(huán)境，采用機(jī)載相機(jī)拍攝圖像中跑道邊緣作為特征，基于球面投影，通過(guò)球面的幾何性質(zhì)就可以求出跑道邊緣球面投影的交點(diǎn).相機(jī)姿態(tài)不同時(shí)，跑道邊緣的交點(diǎn)在球面上的位置也不相同.本文建立了姿態(tài)和球面上跑道邊緣交點(diǎn)的對(duì)應(yīng)關(guān)系，通過(guò)球面上的交點(diǎn)，就可以得到相機(jī)姿態(tài).

1 直線的球面投影

球面投影多用于配備有全向(魚眼)鏡頭攝像機(jī)的系統(tǒng)或應(yīng)用環(huán)境.魚眼鏡頭為近似球面，通過(guò)全景鏡頭拍攝的圖像會(huì)發(fā)生較大形變，例如空間中的直線變?yōu)閳A弧，空間中的平行直線變?yōu)橄嘟恢本€，將圖像恢復(fù)為人眼視覺(jué)可識(shí)圖像時(shí)采用合適的球面投影模型必不可少.采用和圖像大小相關(guān)的球面模型對(duì)平面圖像投影，圖像中內(nèi)部元素間的幾何關(guān)系將被擴(kuò)大或縮小.

1.1 球面投影模型

圖1 球面投影模型

1.2 直線的球面投影

采用球面投影，空間中的直線經(jīng)過(guò)投影后為球面上的大圓.圖像中的直線(線段)經(jīng)過(guò)投影變換后為球面大圓上的一段圓弧.采用檢測(cè)球面大圓的方法可以實(shí)現(xiàn)圖像中直線的檢測(cè)，利用球面圓弧的有限性可以方便實(shí)現(xiàn)圖像中直線(線段)端點(diǎn)檢測(cè)［6-11］.

利用球面投影及球面大圓檢測(cè)圖像直線的步驟如下:

①利用Canny算子提取圖像的邊緣.將提取邊緣后的圖像二值化處理，邊緣點(diǎn)記錄為1，圖像的其他點(diǎn)為0.

②將二值化圖像中的邊緣點(diǎn)投影到球面上.投影采用如上的變換關(guān)系.

③采用球面霍夫變換［7］的方法檢測(cè)球面大圓，獲取球面大圓參數(shù).

圖像中不同直線在球面上的投影為不同大圓.球面的不同大圓必然相交，利用大圓的交點(diǎn)可以求出直線間的交點(diǎn).

2 姿態(tài)估計(jì)的球面投影方法

相機(jī)固定安裝在飛行器上，估計(jì)出相機(jī)在空間中的姿態(tài)就可獲得飛行器的姿態(tài).著陸區(qū)域的景象在航拍圖像中的形態(tài)會(huì)隨飛行器姿態(tài)變化而變化.對(duì)于機(jī)場(chǎng)著陸區(qū)，典型的景象特征為機(jī)場(chǎng)跑道，一般機(jī)場(chǎng)跑道為細(xì)長(zhǎng)型的矩形區(qū)域.航拍圖像中由于透視投影，矩形區(qū)域發(fā)生形變，圖像中機(jī)場(chǎng)跑道的邊緣線將不平行.對(duì)圖像中機(jī)場(chǎng)跑道的邊緣延長(zhǎng)，將交于一點(diǎn).采用球面投影，跑道邊緣延長(zhǎng)線的交點(diǎn)在球面上的投影為邊緣線在球面投影大圓的交點(diǎn).當(dāng)相機(jī)姿態(tài)變化時(shí)，跑道邊緣在球面上的投影將隨著相機(jī)位置變化在球面上移動(dòng)，其相應(yīng)的交點(diǎn)也在球面上移動(dòng).通過(guò)球面上圓弧及交點(diǎn)的移動(dòng)可估計(jì)相機(jī)姿態(tài).

2.1 球面大圓的交點(diǎn)

球面上兩大圓的交點(diǎn)可以通過(guò)球心和大圓所在平面的法向量求得.球面的大圓和球心確定一個(gè)平面.平面間的交線和球面的交點(diǎn)為兩球面大圓的交點(diǎn).通過(guò)兩相交平面的法向量可求出交線的方向向量，交線經(jīng)過(guò)球心，利用交線就可獲得交點(diǎn).

取球心為原點(diǎn)，大圓所在平面的法向量通過(guò)球面大圓上兩點(diǎn)獲得.兩平面法向量的外積為交線的方向向量，且交線通過(guò)球心，即通過(guò)兩平面法向量的外積可獲得交線.交線和球面的交點(diǎn)即為兩大圓的交點(diǎn).求解原理如圖2所示.

圖2 球面交點(diǎn)求解原理

2.2 姿態(tài)估計(jì)球面投影算法

飛行器在空間中的運(yùn)動(dòng)為剛體運(yùn)動(dòng)，剛體運(yùn)動(dòng)可分解為剛體中心的平移和剛體繞中心的旋轉(zhuǎn).若固定空間坐標(biāo)系不動(dòng)，利用坐標(biāo)系間的變換，飛行器相對(duì)于空間坐標(biāo)的姿態(tài)估計(jì)可以轉(zhuǎn)化為飛行器繞其中心姿態(tài)變化的估計(jì).

結(jié)合相機(jī)距離跑道的高度及水平距離，當(dāng)相機(jī)在固定位置拍攝著陸區(qū)域時(shí)，采用合適的球面投影可以使圖像中機(jī)場(chǎng)跑道邊緣在球面上投影的形狀不隨姿態(tài)的變化而形變，而投影的位置隨姿態(tài)改變而移動(dòng)，同理跑道邊緣投影延長(zhǎng)線的交點(diǎn)亦會(huì)隨著相機(jī)姿態(tài)的改變而在球面上移動(dòng).由此利用交點(diǎn)在球面上的位置來(lái)估計(jì)相機(jī)的姿態(tài).

圖3為相機(jī)在空間一點(diǎn)不同姿態(tài)下，拍攝機(jī)場(chǎng)跑道的圖像和圖像中跑道邊緣在球面上的投影.

圖3 相機(jī)姿態(tài)不同時(shí)跑道邊緣在球面上投影

若實(shí)現(xiàn)快速飛行器姿態(tài)估計(jì)，有效的方法是預(yù)先計(jì)算相機(jī)在各個(gè)姿態(tài)下拍攝的機(jī)場(chǎng)跑道在球面上投影的交點(diǎn)，建立為姿態(tài)-交點(diǎn)基準(zhǔn)數(shù)組.飛行器著陸過(guò)程中實(shí)時(shí)拍攝機(jī)場(chǎng)跑道，對(duì)獲取圖像進(jìn)行邊緣提取，投影求取交點(diǎn)，搜索姿態(tài)-交點(diǎn)數(shù)組，確定姿態(tài).

相機(jī)距離機(jī)場(chǎng)跑道中心的高度和水平距離不同，相機(jī)拍攝圖像中機(jī)場(chǎng)跑道的大小是不同的.如圖4所示，相機(jī)在不同高度，同一姿態(tài)角下拍攝的機(jī)場(chǎng)跑道的在圖像中占有的區(qū)域大小不同.相機(jī)到機(jī)場(chǎng)中心越遠(yuǎn)，跑道在圖像中的成像區(qū)域越小.

圖4 相機(jī)不同高度拍攝機(jī)場(chǎng)跑道的不同成像

在圖像球面投影采用的模型中，圖像所在平面到原點(diǎn)的距離n為可調(diào)參數(shù)，n越大投影變得越小.在姿態(tài)估計(jì)中，相機(jī)到機(jī)場(chǎng)中心越遠(yuǎn)，可取n越小，使得跑道在球面上占有的區(qū)域大小不變，進(jìn)行姿態(tài)估計(jì)時(shí)可濾去相機(jī)空間位置不同對(duì)算法的影響.

算法的詳細(xì)步驟為:

①離線計(jì)算相機(jī)在各種姿態(tài)下拍攝圖像中跑道邊緣在球面上投影延長(zhǎng)線的交點(diǎn).設(shè)定姿態(tài)量化的最小角度，建立姿態(tài)-交點(diǎn)坐標(biāo)對(duì)應(yīng)表.

②相機(jī)固定安裝在飛行器上，著陸過(guò)程中，保持相機(jī)相對(duì)于飛行器的姿態(tài)固定，實(shí)時(shí)獲取圖像，對(duì)圖像提取邊緣.

③將圖像的邊緣投影到球面上，利用上節(jié)中提到的方法檢測(cè)球面大圓參數(shù).

④利用大圓法向量求取大圓間的交點(diǎn).

⑤在姿態(tài)-交點(diǎn)坐標(biāo)對(duì)應(yīng)表中搜索最近交點(diǎn)坐標(biāo)，獲得相機(jī)姿態(tài).

3 實(shí)驗(yàn)仿真

圖像數(shù)據(jù)獲取來(lái)自于虛擬三維仿真環(huán)境(見(jiàn)圖5)，機(jī)場(chǎng)跑道為3200 m×50 m，以機(jī)場(chǎng)跑道的中心為空間坐標(biāo)原點(diǎn)，相機(jī)焦距為50 mm，視野為39.598°，遠(yuǎn)距范圍 25.146 m.相機(jī)成像的分辨率28.346像素/cm，相機(jī)成像大小為640×480像素.將相機(jī)放置于200 m高度，距離原點(diǎn)水平距離2000 m位置，不同姿態(tài)下拍攝圖像.利用拍攝的圖像通過(guò)文中設(shè)計(jì)的算法估計(jì)相機(jī)姿態(tài).

圖5 虛擬仿真環(huán)境

如表1所示，當(dāng)姿態(tài)角發(fā)生變化時(shí)，跑道邊緣在球面上投影的夾角變化比較小，而跑道邊緣在球面上投影的夾角的位置隨著姿態(tài)角的變化而發(fā)生變化.

表1 姿態(tài)角變化時(shí)跑道邊緣球面投影的交點(diǎn)及夾角信息

通過(guò)實(shí)驗(yàn)仿真得到當(dāng)飛行器存在俯仰和偏航姿態(tài)時(shí)，利用跑道邊緣球面投影交點(diǎn)的位置可以得到飛行器的姿態(tài).當(dāng)飛行器在不同滾動(dòng)姿態(tài)角下，跑道邊緣球面投影交點(diǎn)的位置相同，由此該方法不能很好的分離滾動(dòng)姿態(tài)角.

4 結(jié)語(yǔ)

本文主要研究了著陸過(guò)程中飛行器的姿態(tài)估計(jì).在著陸過(guò)程中飛行器拍攝圖像中最主要的特征為機(jī)場(chǎng)跑道，當(dāng)飛行器的姿態(tài)變化時(shí)，圖像中機(jī)場(chǎng)跑道的位置及形態(tài)發(fā)生變化，這種變化性主要集中在圖像中跑道邊緣的交點(diǎn)的位置不同上.利用球面投影可以將機(jī)場(chǎng)跑道邊緣檢測(cè)并較方便的得到交點(diǎn)位置，利用交點(diǎn)位置區(qū)分不同的姿態(tài)，該方法對(duì)于飛行器存在俯仰和偏航姿態(tài)角時(shí)有較好的估計(jì)性能，但不能很好的估計(jì)滾動(dòng)角.對(duì)于滾動(dòng)角可以研究采用兩跑道邊緣球面投影長(zhǎng)度的不同來(lái)估計(jì).

References)

［1］Saripalli S，Montgomery J F，Sukhatme G S.Visionbased autonomous landing of an unmanned aerial vehicle［C］//Preceeding of IEEE International Conference on Robotics and Automation.Washington，DC，2002:2799-2804.

［2］Sharp C S，Shakeernia O，Sastry S S.A vision system for landing an unmanned aerial vehicle［C］//Preceeding of IEEE Conference on Robotics and Automation.Seoul Korea 2001:1720-1727.

［3］Tsai Allen C，Gibbens Peter W，Stone R Hugh.Terminal phase vision-based target recognition and 3d pose estimation for a tail-sitter，vertical takeoff and landing unmanned air vehicle［C］//Pacific-rim Symposium on Image and Video Technology.Hsinchu，Taiwan，Chi-na，2006，4319:672-681.

［4］張廣軍，周富強(qiáng).基于雙圓特征的無(wú)人機(jī)著陸位置姿態(tài)視覺(jué)測(cè)量方法［J］.航空學(xué)報(bào)，2005(3):344-348.Zhan Guangjun，Zhou Fuqiang.Position and orientation estimation method for landing of unmanned aerial vehicle with two circle based computer vision［J］.Acta Aeronau Tica Et Astronau Tica Sinica，2005(3):344-348.(in Chinese)

［5］劉新華.基于視覺(jué)的無(wú)人機(jī)著陸姿態(tài)檢測(cè)和跑道識(shí)別［D］.南京:南京航空航天大學(xué)，2004.

［6］Torii A，Imiya A.The randomized Hough transform based method or great-circle detection on sphere ［J］.Pattern Recognition Letters，2007，28(10):1186-1192.

［7］Dell Acqua A，Sarti A，Tubaro S.3D motion from structures of points，lines and planes［J］.Image and Vision Computing，2008，26(4):529-549.

［8］Dorst L，F(xiàn)ontijne D.Geometric algebra for computer science:an object-oriented approach to geometry［M］.Morgan Kaufmann，2007.

［9］Kim H，Lee S.A novel line matching method based on intersection context［C］//Proceedings of IEEE International Conference on Robotics and Automation.Anchorage，AK，USA，2010，2010:1014-1021.

［10］Lopez-Franco C，Arana-Daniel N，Bayro-Corrochano E.Vision-based robot control with omnidirectional cameras and conformal geometric algebra［C］//Proceedings of IEEE International Conference on Robotics and Automation.Anchorage，AK，USA，2010:2543-2548.

［11］Dai B，Pan Y，Liu H，et al.An improved RHT algorithm to detect line segments［C］//Proceedings of IEEE International Conference on Image Analysis and Signal.Xiamen，China，2010:407-410.