孫澤華（山東科技大學(xué)，山東青島，266590）

?

無人機(jī)機(jī)載視覺測速系統(tǒng)設(shè)計(jì)

孫澤華
（山東科技大學(xué)，山東青島，266590）

摘要：具有魯棒性和高更新速率的速度和位置估計(jì)對可無人機(jī)的航行至關(guān)重要。本論文給出了一種具有高感光度的視覺傳感器設(shè)計(jì)，使用ARM核M4單片機(jī)STM32以250Hz的實(shí)時(shí)更新速率來估計(jì)無人機(jī)的運(yùn)動(dòng)狀態(tài)，使用板載慣性傳感器進(jìn)行角速率補(bǔ)償，使用超聲波傳感器測量距離。在硬件設(shè)計(jì)基礎(chǔ)上，提出了一種基于預(yù)測的圖像塊匹配算法，實(shí)現(xiàn)速度的精準(zhǔn)測量。

關(guān)鍵詞：STM32單片機(jī)；無人機(jī)；塊匹配算法；慣性傳感器

0　引言

移動(dòng)式機(jī)器人航行的成功依賴于高魯棒性的位置和速度信息，足夠高的更新速率和足夠小的延遲是維持飛行軌跡所必須的。近年來，基于計(jì)算機(jī)鼠標(biāo)傳感器的光流傳感器已成功用于此目的。然而，鼠標(biāo)傳感器的準(zhǔn)確測量需要在強(qiáng)有力的照明下。車載CMOS圖像傳感器有更好的光敏感度，可以無人工照明的在室內(nèi)環(huán)境和不良的戶外條件下工作，但是基于CMOS的輕量傳感器不能簡單的集成在無人機(jī)系統(tǒng)中。因此，論文提出了一個(gè)基于ARM 核M4的傳感器系統(tǒng)，它使用CMOS機(jī)器視覺傳感器，對分辨率64x64像素的子樣品以每秒250幀執(zhí)行光流處理；一個(gè)超聲波傳感器用來測量對場景的距離以及實(shí)現(xiàn)圖像速度場和三維運(yùn)動(dòng)場的轉(zhuǎn)換；利用機(jī)載陀螺儀正確估計(jì)平移速度來補(bǔ)償角速度。

1　運(yùn)動(dòng)估計(jì)原理

運(yùn)動(dòng)場是三維速度場在成像平面的投影。設(shè)P3=［X，Y，Z］T是相機(jī)三維參考坐標(biāo)系上的一點(diǎn)，光軸是這個(gè)坐標(biāo)系的Z軸，f代表焦距，投影中心在原點(diǎn)上，則P點(diǎn)在成像平面的投影像素坐標(biāo)由式（1.1）給出，

因?yàn)榻咕鄁等于成像平面到原點(diǎn)的距離，所以p點(diǎn)的第三個(gè)坐標(biāo)是恒定的p=［x，y，f］T。相機(jī)和P點(diǎn)的相對運(yùn)動(dòng)由式（1.2）給出，其中，w是角速度，T運(yùn)動(dòng)的平移分量。取（1.1）式兩邊關(guān)于時(shí)間的導(dǎo)數(shù)，得到相機(jī)參考坐標(biāo)系中的P點(diǎn)的速度和成像平面中的p點(diǎn)的速度或者流度之間的關(guān)系：

將（1.2）式帶入到運(yùn)動(dòng)場的x和y分量得到：

運(yùn)動(dòng)場成分等于純粹的平移部分加上純粹的轉(zhuǎn)動(dòng)部分。（1.4）式中的平移分量由焦距和Z到場景的當(dāng)前距離決定。如果需要平移速度，例如，如果轉(zhuǎn)動(dòng)速率是零或者已知（由陀螺儀測量）并由運(yùn)動(dòng)場補(bǔ)償，就可以用下式計(jì)算米制比例下的平移速率：

2　系統(tǒng)硬件設(shè)計(jì)

本文設(shè)計(jì)的視覺傳感器，通過一個(gè)M12鏡頭（21°視野）來捕捉畫面，這個(gè)鏡頭覆蓋在MT9V034芯片的上方。在752H×480V的全分辨率下，視覺傳感器圖像輸出頻率達(dá)到60fps。當(dāng)啟用像素合并，幀率可以進(jìn)一步提高。在像素4倍合并，即188H×120V的分辨率下，圖像輸出頻率達(dá)到250Hz。像素4倍合并模式中，MT9V034給出的一個(gè)像素值是普通模式下4×4像素的均值［2］。

圖2.1顯示了視覺傳感器的系統(tǒng)配置，MT9V034直接連在STM32F417單片機(jī)一個(gè)特殊的外圍圖像總線上，對從CMOS鏡頭獲得的圖像進(jìn)行計(jì)算，像素?cái)?shù)據(jù)流使用并行接口。MT9V034在相應(yīng)的像素時(shí)鐘對像素值進(jìn)行采樣，使用具有雙緩沖處理功能的直接內(nèi)存訪問（DMA）將圖像數(shù)據(jù)傳輸?shù)絊TM32F417內(nèi)存，只存儲當(dāng)前幀和參考幀。STM32F417提供配置幀的水平和垂直尺寸以及像素顏色深度的全參數(shù)相機(jī)接口，在處理圖像數(shù)據(jù)時(shí)，采用每個(gè)像素分配8位分辨率的方法，保證在特殊的32位指令下同時(shí)處理四個(gè)像素。相機(jī)接口使用DMA方式將傳入的像素?cái)?shù)據(jù)存儲在STM32F417內(nèi)存中。

圖2　.1 視覺傳感器模塊框圖Fig. 2.1 The format of visual sensor

3　系統(tǒng)軟件設(shè)計(jì)

在視覺測量的過程中，首先由2節(jié)設(shè)計(jì)的視覺傳感器得到了前后兩幀的圖像信息，然后根據(jù)塊匹配算法的絕對差之和（SAD）匹配準(zhǔn)則，進(jìn)行前后兩幀圖像的匹配。

3.1搜索中心的預(yù)測

針對現(xiàn)有的塊匹配搜索算法計(jì)算復(fù)雜這一不足，采用視覺預(yù)測方法來定位算法的初始搜索點(diǎn)，節(jié)省大量的搜索時(shí)間。為了預(yù)測圖像在當(dāng)前幀中的位移dt，需要利用上一刻（t-1）的速度更新Vt-1、視覺傳感器的抓幀頻率Fcam。因此，前一幀圖像中的像素位置X1在當(dāng)前幀圖像Ⅰ2中的預(yù)測位置可以表示為：（3.2）

3.2基于梯度先驗(yàn)的選域加權(quán)平均處理

第一步，在搜索中心點(diǎn)Xpred周圍以3像素點(diǎn)為單位間隔選取8×8個(gè)點(diǎn)，對這64個(gè)點(diǎn)進(jìn)行4×4的梯度運(yùn)算，記錄梯度值滿足梯度閾值條件的點(diǎn)及個(gè)數(shù)NSAD。梯度值不滿足閾值條件，證明特征點(diǎn)不明顯，認(rèn)為是不可用的點(diǎn)，所以將其剔除，不再進(jìn)行使用。

第二步，對第二步中滿足梯度閾值條件的NSAD個(gè)匹配點(diǎn)逐個(gè)進(jìn)行前后兩幀圖像的8×8的SAD運(yùn)算，找到各自SAD值最小時(shí)的整像素偏移點(diǎn)。

第四步，對NSAD個(gè)匹配點(diǎn)全部執(zhí)行第四步的計(jì)算后，得到了NSAD個(gè)像素點(diǎn)偏移值。對這NSAD個(gè)點(diǎn)做加權(quán)均值處理，得到最終的像素點(diǎn)偏移值λL，λL可以看作為視覺導(dǎo)航系統(tǒng)在二維光流場中的位移。

3.3消除旋轉(zhuǎn)分量

4　系統(tǒng)實(shí)驗(yàn)與結(jié)論

將本文設(shè)計(jì)的視覺導(dǎo)航系統(tǒng)安裝在六旋翼無人機(jī)平臺的底部中央位置，安裝時(shí)盡量與無人機(jī)平臺的底面負(fù)載板平行，鏡頭垂直向下放置。通過無人機(jī)的懸停和飛行實(shí)驗(yàn)，驗(yàn)證提出的導(dǎo)航算法的實(shí)際應(yīng)用性能。在100s的懸停實(shí)驗(yàn)中，最終獲得的數(shù)據(jù)顯示無人機(jī)懸停精度為±40cm，飛行實(shí)驗(yàn)結(jié)果比較GPS測量位移和視覺系統(tǒng)測量結(jié)果，顯示視覺測量誤差為3%。

5　結(jié)束語

本文給出了一種應(yīng)用于無人機(jī)的視覺測速系統(tǒng)方案，包括硬件配置和實(shí)現(xiàn)算法，通過實(shí)際測試表明，應(yīng)用該系統(tǒng)的無人機(jī)具有一定自主導(dǎo)航能力。

參考文獻(xiàn)

［1］Honegger D， Meier L， Tanskanen P， et al. An open source and open hardware embedded metric optical flow CMOS camera for indoor and outdoor applications［C］// Robotics and Automation （ICRA）， 2013 IEEE International Conference on. IEEE， 2013：1736-1741.

［2］Aptina Imaging，1/3-Inch Wide-VGA CMOS Digital Image Sensor MT9V034 Datasheet［EB/OL］ （2014-6）.http：// www.aptina.com.

［3］張瑞.基于稀疏梯度場的非局部圖像去噪算法［J］. 自動(dòng)化學(xué)報(bào)，2015（9）：1542-1546.

［4］方凱.一種基于矢量方法的彩色圖像雙線性插值算法［J］. 計(jì)算機(jī)與數(shù)字工程，2006（35）：100-103.

［5］Pal M， Gupta A P V. An Efficient Block Matching Algorithm Using Logical Image［J］. International Journal of Engineering Research & Applications， 2014， 4（12）.

Vision-Based Velocity Measurement System for Unmanned Aerial Vehicle

Sun Zehua
（Shandong University of Science and Technology，Qingdao Shandong，266590）

Abstract：Robust velocity and position estimation at high update rates is crucial for mobile robot navigation.We present an optical flow sensor based on a machine vision CMOS image sensor for indoor and outdoor applications with very high light sensitivity.Optical flow is estimated on an ARM Cortex M4 microcontroller in real-time at 250 Hz update rate. Angular rate compensation with a gyroscope and distance scaling using a ultrasonic sensor are performed onboard.

Keywords：STM32 microprocessor；Unmanned Aerial Vehicle；Block Matching Algorithm；Inertial Sensor

作者簡介

孫澤華（1990—），男，山東煙臺，碩士研究生。主要研究方向：通信與信息系統(tǒng)。