王欣

摘 要

早期機(jī)場(chǎng)建設(shè)時(shí)，對(duì)飛行區(qū)的視頻監(jiān)控需求僅停留在重點(diǎn)關(guān)注區(qū)域可視，缺少飛行區(qū)大場(chǎng)面監(jiān)控手段。機(jī)場(chǎng)對(duì)于飛行器在場(chǎng)區(qū)內(nèi)的監(jiān)控主要使用場(chǎng)監(jiān)雷達(dá)系統(tǒng)，但其只能在地圖上顯示飛機(jī)的標(biāo)識(shí)，無法實(shí)際觀察到飛機(jī)實(shí)際滑行環(huán)境及周邊情況。而在站坪上或航站樓樓頂架設(shè)的攝像機(jī)數(shù)量較少，很難實(shí)現(xiàn)對(duì)飛行區(qū)場(chǎng)面的整體監(jiān)控。本文介紹了如何使用視頻圖像拼接技術(shù)實(shí)現(xiàn)對(duì)飛行區(qū)大場(chǎng)面監(jiān)控，提升運(yùn)行管理人員的管理效率。

【關(guān)鍵詞】圖像融合 BURF特征檢測(cè)圖像匹配

1 背景描述

機(jī)場(chǎng)對(duì)于飛行器在場(chǎng)區(qū)內(nèi)的監(jiān)控主要使用場(chǎng)監(jiān)雷達(dá)系統(tǒng)以及在站坪上或航站樓樓頂架設(shè)的攝像機(jī)進(jìn)行監(jiān)控。其中，場(chǎng)監(jiān)雷達(dá)系統(tǒng)主要是對(duì)機(jī)場(chǎng)飛行區(qū)區(qū)域內(nèi)的飛機(jī)進(jìn)行監(jiān)視，從而保證機(jī)場(chǎng)在各種氣候條件下的運(yùn)行效率及運(yùn)行安全性，尤其在較低能見度的條件下，該系統(tǒng)對(duì)維持機(jī)場(chǎng)運(yùn)行流量能起到非常有效的作用。由于其只能在地圖上顯示飛機(jī)的標(biāo)識(shí)，無法實(shí)際觀察到飛機(jī)實(shí)際滑行環(huán)境及周邊情況。而視頻監(jiān)控的監(jiān)控范圍僅停留在對(duì)重點(diǎn)關(guān)注區(qū)域的可視化監(jiān)控，監(jiān)控點(diǎn)位較少，且點(diǎn)位是零星分布在航站樓屋面、遠(yuǎn)機(jī)位等區(qū)域，受點(diǎn)位分布和攝像機(jī)鏡頭限制拍攝范圍有限，對(duì)于飛行區(qū)這種比較開闊的區(qū)域，現(xiàn)有監(jiān)控系統(tǒng)無法實(shí)現(xiàn)全區(qū)域覆蓋，獲得大視野場(chǎng)景，因此，很難實(shí)現(xiàn)對(duì)飛行區(qū)場(chǎng)面的整體監(jiān)控，從而導(dǎo)致監(jiān)控人員不能快速、正確的判斷飛行區(qū)場(chǎng)區(qū)整體運(yùn)行情況，存在一定安全監(jiān)控隱患。

2 視頻圖像拼接原理

圖像拼接算法的種類較多，各種算法之間在拼接步驟上會(huì)有一些不同，但概括起來由視頻圖像采集、視頻圖像預(yù)處理、視頻圖像配準(zhǔn)和視頻圖像融合這四個(gè)部分組成。

第一部分是視頻圖像采集過程：該過程主要是通過視頻圖像采集設(shè)備實(shí)時(shí)獲得場(chǎng)景中的內(nèi)容并通過數(shù)字編碼形成輸出數(shù)字視頻圖像，最常用的視頻圖像采集設(shè)備主要由照相機(jī)、攝像機(jī)等，本文采用的視頻圖像采集設(shè)備是球型高清數(shù)字?jǐn)z像機(jī)。

第二部分是視頻圖像預(yù)處理過程：該過程主要是圖像配準(zhǔn)的前期準(zhǔn)備工作，以便圖像能夠較好的進(jìn)行配準(zhǔn)，一般是用圖像處理方法對(duì)在采集過程中生成的噪音、失真、畸變等情況進(jìn)行優(yōu)化調(diào)整。常用的方法有：特征值提取、直方圖處理、圖像增強(qiáng)以及圖像匹配模板構(gòu)建等。

第三部分是圖像配準(zhǔn)過程：該過程完成的工作主要是建立多圖像間特征點(diǎn)之間的關(guān)聯(lián)關(guān)系，將多幅從不同視角獲取的同一場(chǎng)景有重疊區(qū)域的圖像轉(zhuǎn)換到同一坐標(biāo)中，為后續(xù)融合打好基礎(chǔ)。

第四部分是圖像融合過程，該過程主要是在圖像配準(zhǔn)的基礎(chǔ)上，使圖像在拼接縫隙處實(shí)現(xiàn)平滑過渡，將圖像疊加后在重疊區(qū)域出現(xiàn)拖尾、模糊的現(xiàn)場(chǎng)盡量消除以達(dá)到良好的拼接質(zhì)量。

其中，視頻圖像配準(zhǔn)是視頻全景拼接的關(guān)鍵步驟，配準(zhǔn)的準(zhǔn)確性、效率等嚴(yán)重影響視頻全景拼接的最終效果。

3 視頻圖像拼接在飛行區(qū)智能監(jiān)控系統(tǒng)中的應(yīng)用

3.1 視頻采集點(diǎn)位

本次全景拼接采用的是安裝在中跑道西側(cè)機(jī)庫頂部的四臺(tái)HIC6621高清快球，監(jiān)控點(diǎn)位距離站坪的垂直距離大約為40米，距離中跑道中心線的距離約595米，四臺(tái)攝像機(jī)的水平位置一致，兩兩相鄰的攝像機(jī)之間的距離一致，且攝像機(jī)的焦距等參數(shù)配置也保持一致。具體布點(diǎn)位置如下圖2，紅點(diǎn)表示拼接使用的攝像機(jī)，黃色區(qū)域是全景拼接區(qū)域。

3.2 飛行區(qū)全景視頻拼接流程

由于視頻圖像一般是不低于每秒25幀的圖像顯示的效果，本文主要考慮視頻的上下文性和實(shí)時(shí)性，為了既確保圖像的質(zhì)量又兼顧拼接的時(shí)效性，結(jié)合首都機(jī)場(chǎng)現(xiàn)場(chǎng)實(shí)際需求及采集圖像的情況，使用了一種全自動(dòng)、實(shí)時(shí)視頻拼接方法，主要分為三個(gè)核心部分：

3.2.1 圖像采集

本文用于圖像拼接圖像采集的攝像機(jī)型號(hào)是HIC6621，利用廠家提供的SDK開發(fā)包，進(jìn)行解碼端的開發(fā)。解碼端作為拼接平臺(tái)與視頻監(jiān)控平臺(tái)的接口，主要負(fù)責(zé)與視頻監(jiān)控平臺(tái)的交互，實(shí)現(xiàn)對(duì)圖像的實(shí)時(shí)采集。同時(shí)，為了確保圖像后續(xù)的拼接質(zhì)量，編碼端在提取視頻時(shí)，要確保從四路攝像機(jī)同步提取。

3.2.2 圖像預(yù)處理

圖像預(yù)處理模塊主要是對(duì)提取的圖像進(jìn)行諸如：降噪、畸變校正、特征點(diǎn)提取等操作，為后續(xù)圖像配準(zhǔn)及融合時(shí)，提供相對(duì)精確、特征點(diǎn)更突出、圖像質(zhì)量更好等特點(diǎn)的待拼接圖像，以確保全景拼接有更好的拼接效果。

3.2.3 圖像配準(zhǔn)及融合

圖像配準(zhǔn)及融合模塊主要是通過對(duì)依據(jù)圖像的首幀進(jìn)行特征匹配和提純后，求解圖像間的投射矩陣，本參考矩陣變換實(shí)現(xiàn)圖像配準(zhǔn)及融合拼接，后續(xù)幀將直接套用投射矩陣參數(shù)進(jìn)行圖像配準(zhǔn)及融合，可有效提升融合效率，以便更好的實(shí)現(xiàn)實(shí)時(shí)拼接輸出。

3.3 視頻圖像采集

視頻圖像采集模塊主要是通過用接口開發(fā)實(shí)現(xiàn)對(duì)拼接視頻所需圖像的實(shí)時(shí)、同步、無損采集，作為視頻拼接的基礎(chǔ)，為后續(xù)視頻拼接提供高清晰度數(shù)據(jù)源。本文測(cè)試使用的攝像機(jī)為HIC6621高清快球，通過廠家提供的SDK開發(fā)接口，實(shí)現(xiàn)對(duì)視頻圖像的調(diào)用。

3.4 視頻圖像預(yù)處理

視頻圖像預(yù)處理模塊主要負(fù)責(zé)視頻預(yù)拼接、相鄰視頻重疊區(qū)域計(jì)算、重疊區(qū)域內(nèi)融合邊緣分割等工作，其處理結(jié)果作為實(shí)時(shí)視頻拼接的必要參數(shù)。本模塊的存在能極大提高后續(xù)拼接處理的效率，節(jié)省硬件成本開銷。圖像預(yù)處理模塊的具體流程如圖3所示。

3.5 視頻圖像配準(zhǔn)

視頻圖像配準(zhǔn)主要包括特征點(diǎn)粗匹配和提純兩個(gè)步驟，特征點(diǎn)粗匹配本文主要參考Lowe使用的基于次近鄰特征點(diǎn)與最近鄰特征點(diǎn)的特征點(diǎn)匹配方法，進(jìn)行特征點(diǎn)粗匹配。圖4是特征提取實(shí)驗(yàn)的樣本圖，圖5是依據(jù)SURF算法提取的特征點(diǎn)示意圖，其中，圖5（a）檢測(cè)出來的特征點(diǎn)是192個(gè)，圖5（b）檢測(cè)出來的特征點(diǎn)是166個(gè)。

粗匹配的具體方法是依據(jù)公式得出最近鄰與次最近鄰的比率ROD（Ratio of Distance），如果ROD小于特定閾值，則認(rèn)為匹配成功，反之則不成功，通常閾值會(huì)設(shè)置成一個(gè)小于1的正數(shù)。

粗匹配的具體過程是：

（1）將圖5（a）中的特征點(diǎn)每一個(gè)均與圖5（b）中的所有特征點(diǎn)進(jìn)行特征點(diǎn)之間歐式距離計(jì)算；

（2）通過優(yōu)先K-D樹查找每個(gè)特征點(diǎn)的兩個(gè)最近、次近特征點(diǎn)；

（3）計(jì)算ROD，如果ROD小于或等于設(shè)定的閾值，則配對(duì)成功，并組的形式納入圖像配對(duì)序列中。圖6即進(jìn)行圖像粗匹配的效果。

由于圖像粗匹配完成后，還是會(huì)存在一些誤匹配，有些是肉眼可以直接觀察到的，有些事肉眼無法觀察到的，但求解圖像之間變換矩陣的參數(shù)既要具有很高的精度，又要保證特征點(diǎn)之間沒有誤匹配。為此，必須采取措施去除誤匹配，以獲得更準(zhǔn)確的特征匹配對(duì)，為此本文選用了RANSAC算法進(jìn)行特征點(diǎn)提純。對(duì)圖6的兩幅圖像特征粗匹配，可以獲得25對(duì)特征，但通過肉眼還能看到一些誤匹配，通過RANSAC算法去除誤匹配，獲得的結(jié)果如圖7所示，共獲得24對(duì)匹配特征點(diǎn)。從圖7中可以發(fā)現(xiàn)，誤匹配已經(jīng)被消除，而精確匹配的匹配對(duì)仍然在，并沒有被錯(cuò)誤地消除。

3.6 視頻圖像融合

依據(jù)視頻預(yù)處理模塊計(jì)算得到的拼接參數(shù)，將視頻幀映射（Warping）到全景平面上。由于視頻之間存在部分重疊區(qū)域，在Warping過程中，可根據(jù)計(jì)算得到的邊緣分割參數(shù)Mask圖，將有效像素映射到拼接平面上，無效部分，即Mask圖以外的部分像素值不用映射到拼接平面上。圖8是圖像融合的示意。

利用視頻預(yù)處理和匹配計(jì)算得到的拼接參數(shù)，計(jì)算每張圖片的mask圖，具體如圖9所示。

根據(jù)邊緣分割參數(shù)Mask圖，將四幅圖像的有效像素映射到拼接平面上，形成拼接畫面，如圖10所示。

4 結(jié)論

將飛行區(qū)全景拼接在機(jī)場(chǎng)相關(guān)業(yè)務(wù)部門進(jìn)行了上屏和使用測(cè)試，用戶反饋全景拼接能輔助運(yùn)行管理者在第一時(shí)間掌握現(xiàn)場(chǎng)運(yùn)行情況，但在細(xì)節(jié)調(diào)看層面還需進(jìn)一步提升。同時(shí)，使用視頻拼接技術(shù)可以用少量攝像機(jī)即可獲得較大場(chǎng)面的監(jiān)控，對(duì)于24小時(shí)不間斷運(yùn)行，且站坪布線施工較復(fù)雜的大型機(jī)場(chǎng)能有比較好的應(yīng)用效果。因此，視頻全景拼接技術(shù)在機(jī)場(chǎng)大場(chǎng)景監(jiān)控中能起到作用。

參考文獻(xiàn)

[1] LowEDGobjeetReeo，itionfrolnLOealSeale-ivariantFeatures[C].IntemationalConferenceon ComPuterVision，1999：1150-1157.

[2] M.A.FISCHLER，R.C.BOLLES.RandomSamPleConsensus：AParadignforModelFittingwithAPPlieationstolmageAnalysisandAutomatedCartograPhy[J].Comm.oftheACM，1981，24（06）：381-395.