梁恩澤，李宏剛，杜 雙

（中國飛行試驗(yàn)研究院，陜西 西安 710089）

0 引 言

隨著機(jī)場行業(yè)的飛速發(fā)展及智慧機(jī)場等新興信息技術(shù)的迅速崛起和應(yīng)用，復(fù)雜機(jī)場場面運(yùn)行管控的效率提升需求日益凸顯。機(jī)場場面全景可視化管控作為未來機(jī)場的重要管控手段之一，正在穩(wěn)步推進(jìn)。全景視頻可以提高機(jī)場場面運(yùn)行態(tài)勢感知能力，提升場面運(yùn)行安全和管控效率。

復(fù)雜機(jī)場全景視頻通過多路高清攝像機(jī)采集的視頻拼接融合形成一副全景畫面。由于機(jī)場復(fù)雜環(huán)境因素影響，攝像機(jī)部署位置距離機(jī)場比較近，這要求攝像機(jī)采集范圍超過180°。在這種特殊室外環(huán)境進(jìn)行大視場全景視頻拼接，現(xiàn)階段的全景系統(tǒng)視頻拼接技術(shù)仍存在一些不足，因光照條件變化等影響會產(chǎn)生拼縫及鬼影[1-2]。本文對復(fù)雜機(jī)場中全景視頻拼接出現(xiàn)的問題進(jìn)行分析，針對復(fù)雜機(jī)場內(nèi)物體過縫時(shí)鬼影造成的監(jiān)視困難，提出一種適用于復(fù)雜機(jī)場全景視頻鬼影的優(yōu)化方法，查找最佳縫合線，優(yōu)化運(yùn)動(dòng)目標(biāo)過縫產(chǎn)生的鬼影現(xiàn)象，從而達(dá)到較好的呈現(xiàn)效果。

1 機(jī)場場面監(jiān)視局限性

目前，機(jī)場行業(yè)以服務(wù)為主，如何解決占地面積大、飛行區(qū)域廣闊、航班延誤或客流量大導(dǎo)致的起降時(shí)間不規(guī)則、現(xiàn)場環(huán)境復(fù)雜等缺點(diǎn)，已經(jīng)成為各大機(jī)場和航空公司角逐的關(guān)鍵。目前，復(fù)雜機(jī)場飛行保障相關(guān)人員主要采用目視監(jiān)視為主，其他設(shè)備監(jiān)視管控為輔的監(jiān)管手段。指揮人員通過塔臺目視、通信設(shè)備、輔助攝像頭等獲取飛行區(qū)、滑行道、聯(lián)絡(luò)道、停機(jī)坪中人、機(jī)、物的信息。因此，場面運(yùn)行效率會受到惡劣天氣、建筑物遮擋、人眼疲勞等因素的影響，這直接限制了飛行任務(wù)的有 效開展[3]。

2 全景視頻拼接融合

本文采用的全景系統(tǒng)的拼接通過接收前端多臺高清攝像機(jī)實(shí)時(shí)視頻，對視頻進(jìn)行拼接參數(shù)檢測，根據(jù)具體的拼接參數(shù)，對多個(gè)視頻的每一幀圖像進(jìn)行特征提取、特征匹配、投影變換、曝光補(bǔ)償、尋找拼縫、圖像融合等處理，形成一幅全景式優(yōu)質(zhì)圖像[4]。視頻全景拼接的流程如圖1所示。

圖1 全景拼接流程示意圖

2.1 視頻采集

使用IP高清攝像機(jī)實(shí)現(xiàn)復(fù)雜機(jī)場視頻的實(shí)時(shí)無損采集，為后續(xù)拼接處理提供高清晰度數(shù)據(jù)源。IP高清攝像機(jī)能夠超越PAL/NTSC制式的分辨率及幀速率，獲得高清晰度的視頻。

2.2 預(yù)處理

相機(jī)多角度采集的視頻因光照不同造成圖像序列對應(yīng)的明暗不一致現(xiàn)象，導(dǎo)致拼接后的全景圖像信息存在較多的問題，如亮度和色調(diào)不一致等。因此，色差一致性處理是預(yù)處理的重要環(huán)節(jié)。一般需要通過白平衡處理方式，將圖像的白色色塊進(jìn)行還原，還原到經(jīng)典的光源拍攝下白色所具備的像素值，對像素塊的信息進(jìn)行優(yōu)化和管理，使用變換參數(shù)矩陣乘以當(dāng)前圖像矩陣，可以獲得當(dāng)前圖像在經(jīng)典光源下的像素系統(tǒng)[5]。

2.3 投影變換

圖像采集及拍攝過程中，相機(jī)角度不是一成不變的。對于多角度拍攝，需對采集到的機(jī)場痕跡進(jìn)行管理，按照指定的管理模式進(jìn)行優(yōu)化，因而無法開展圖像的配準(zhǔn)分析。為了有效解決以上問題，復(fù)雜機(jī)場全景視頻拼接進(jìn)行投影變換時(shí)，采用柱面投影模型的圖像獲取方式，能夠保證圖像間有一定的重疊區(qū)域，速度和精度都較好[6]。

2.4 圖像配準(zhǔn)

全景視頻的圖像配準(zhǔn)就是采用一定的方法對拼接的圖像進(jìn)行處理，使它們建立特定的對應(yīng)關(guān)系，之后再進(jìn)行匹配疊加。按照配準(zhǔn)時(shí)所使用的圖像信息不同，配準(zhǔn)方法可以分為基于灰度、基于特征以及基于變換域的配準(zhǔn)方法。在復(fù)雜機(jī)場環(huán)境下，本文采用基于特征的配準(zhǔn)方式，能有效避免匹配位置不精確和對重疊區(qū)域有限制的缺點(diǎn)。特征匹配算法是一種高魯棒性的局部特征點(diǎn)的檢測算法。在復(fù)雜機(jī)場視頻圖像配準(zhǔn)過程中，算法主要分為4步。

（1）尺度空間極值點(diǎn)的檢測。搜索所有尺度空間上的圖像，通過Hessian矩陣找到極值點(diǎn)作為特征點(diǎn)，同時(shí)在尋找極值點(diǎn)的過程中采用了許多加速運(yùn)算量的方法，因此在一定程度上提高了運(yùn)算 速度。

（2）特征點(diǎn)的精確定位。對候選特征點(diǎn)的位置和尺度都用泰勒級數(shù)插值擬合方法來決定，而其穩(wěn)定性是特征點(diǎn)選擇的主要依據(jù)。

（3）選取特征點(diǎn)的主方向。通過統(tǒng)計(jì)特征點(diǎn)區(qū)域的哈爾小波特征，選取特征點(diǎn)的主方向。

（4）特征點(diǎn)的描述。沿特征點(diǎn)的主要方向結(jié)合相鄰的區(qū)域，取4×4的矩形區(qū)域，每個(gè)區(qū)域需要25個(gè)像素點(diǎn)，并且呈現(xiàn)垂直和水平方向分布，呈現(xiàn)哈爾小波特征。

2.5 視頻融合

全景視頻融合是將配準(zhǔn)后的多幅圖像進(jìn)行拼接管理，融合成為一幅更大的圖像。由于復(fù)雜機(jī)場中多路攝像機(jī)的角度、曝光程度、不同相機(jī)自身物理屬性及鏡頭畸變等問題，采集多路視頻圖像的過程中勢必會產(chǎn)生差異。匹配的過程會出現(xiàn)一些局部區(qū)域無法完全對齊的情況，故融合過程中也會出現(xiàn)模糊虛影現(xiàn)象。

常用的視頻融合算法有直接平均法、加權(quán)平均法以及重疊區(qū)線性過渡法等。直接平均法和加權(quán)平均法存在融合的圖像過渡不平滑、具有帶狀痕跡等缺點(diǎn)，因此，基于這種大視場下的復(fù)雜機(jī)場全景視頻融合，本文擬采用重疊區(qū)線性過渡法來減少帶狀痕跡等缺點(diǎn)的影響，具體分析如下。

設(shè)復(fù)雜機(jī)場全景視頻采集的圖像重疊區(qū)域?qū)挾葹長，xmax、xmin分別對應(yīng)x軸上的最大值和最小值。則漸變系數(shù)d可由式（1）求解：

f1(x, y)、f2(x, y)分別表示圖A和圖B在重疊域的像素值。沿著x軸的值從開始為1慢慢過渡到為0時(shí)，復(fù)雜機(jī)場圖像的重疊域從屬于圖像A緩緩變化到屬于圖像B。該算法的相關(guān)信息應(yīng)用較為直觀，在復(fù)雜的機(jī)場中應(yīng)用效果明顯，且融合后的圖像平滑性較好。

3 復(fù)雜全景視頻拼縫及鬼影

3.1 拼縫及鬼影問題描述

一般情況下，機(jī)場全景圖像是通過一系列手段將一副完整的圖像呈現(xiàn)給管控人員。但是，管控人員往往可以通過目視發(fā)現(xiàn)整幅圖中的一些明顯拼接縫隙，影響全景圖像的整體視覺效果。而在圖像中有物體運(yùn)行時(shí)，運(yùn)動(dòng)的物體在通過特定區(qū)域或拼縫時(shí)又會出現(xiàn)鬼影現(xiàn)象。

3.2 復(fù)雜機(jī)場拼縫及鬼影成因分析

經(jīng)過實(shí)地分析得出復(fù)雜機(jī)場全景視頻中拼縫和鬼影的成因如下。

拼縫問題的成因是機(jī)場當(dāng)天天氣及日光照射角度等原因產(chǎn)生色差，造成拼縫的出現(xiàn)。因?yàn)椴煌瑪z像機(jī)的擺放角度不同，一天中光照角度不一致，導(dǎo)致相機(jī)之間的曝光差異特別大。

復(fù)雜機(jī)場多視角攝像機(jī)的視頻拼接過程中，若視頻序列中出現(xiàn)運(yùn)動(dòng)的物體，則會出現(xiàn)鬼影問題。對于復(fù)雜機(jī)場架設(shè)環(huán)境，由于多視角攝像機(jī)的相機(jī)質(zhì)量存在差異，擺放的角度不同，很難使所有的攝像機(jī)光心相同。而且，運(yùn)動(dòng)物體相對于全景拼接背景會有不同的視差，以及環(huán)境中的逆光問題等，都是造成鬼影問題的主要原因。由此，拼接之后的圖像會在錯(cuò)誤的位置產(chǎn)生錯(cuò)誤的像。根據(jù)運(yùn)動(dòng)物體的位置不同，又分為三種情況。第一，若運(yùn)動(dòng)目標(biāo)都在某單一圖中，則不會產(chǎn)生拼縫及鬼影問題。如圖2中的目標(biāo)A。第二，運(yùn)動(dòng)目標(biāo)均有一部分滲透到了拼縫融合區(qū)域，但只在兩幅圖中的某一幅圖出現(xiàn)，如圖2中的目標(biāo)B和目標(biāo)E。第三，運(yùn)動(dòng)目標(biāo)互相滲透到了拼縫融合區(qū)域，如圖2中的目標(biāo)C和 目標(biāo)D。

圖2 鬼影分析示意圖

對上述運(yùn)動(dòng)物體的三種情況進(jìn)行分析如下。

對于第一種情況，不需要進(jìn)行修正或優(yōu)化。因?yàn)槟繕?biāo)僅僅出現(xiàn)于單圖中，故不用擔(dān)心會產(chǎn)生拼縫及鬼影問題。

對于第二種情況，運(yùn)動(dòng)物體往往會出現(xiàn)一些模糊或部分消失情況，需要補(bǔ)全目標(biāo)在拼縫區(qū)域由于漸入漸出而造成的漸隱情況。

對于第三類情況，必須判斷運(yùn)動(dòng)目標(biāo)所屬具體圖像，并將該幅圖像的目標(biāo)貼入機(jī)場全景拼接圖中，同時(shí)抹去其他圖像在原位置生成的目標(biāo)。這給復(fù)雜機(jī)場全景拼接造成了很大的困擾。

3.3 對復(fù)雜機(jī)場場面管控的影響

按照文章第2章全景視頻的拼接步驟實(shí)施后，得到了特定的復(fù)雜機(jī)場場面全景視頻的實(shí)時(shí)呈現(xiàn)。但在兩個(gè)相機(jī)畫面拼接處，能夠發(fā)現(xiàn)色彩與攝像頭采集的原始圖像存在不一致之處，特別是在兩個(gè)畫面色差較大時(shí)，拼縫更加明顯。同時(shí)，場面上運(yùn)動(dòng)的目標(biāo)在經(jīng)過拼接處時(shí)會產(chǎn)生重影、模糊、部分消失等問題，即使在一些靜態(tài)看上去沒有明顯拼縫的地方，運(yùn)動(dòng)目標(biāo)經(jīng)過時(shí)這些問題也會凸顯出來。在飛機(jī)起降過程中，拼縫及鬼影問題的出現(xiàn)，可能會給指揮人員傳遞虛假信息，嚴(yán)重時(shí)塔臺甚至無法依靠全景視頻判斷飛行器的確切位置及起落架收放情況等運(yùn)行狀態(tài)，對飛行器的飛行安全產(chǎn)生較嚴(yán)重的影響。

因此，本文提出一種針對復(fù)雜機(jī)場的全景拼縫優(yōu)化方法，用于消除拼接過程中視頻圖像產(chǎn)生的拼縫及鬼影。

4 大視場下全景視頻拼縫優(yōu)化設(shè)計(jì)

4.1 最佳縫合線尋找方法

一般情況下，解決拼縫問題可以通過物理手段（相機(jī)罩等）對攝像機(jī)進(jìn)行適當(dāng)遮光處理。為了更好地解決拼縫造成的管控困難，本文采用一種最優(yōu)的拼縫尋找方法，使兩個(gè)相機(jī)畫面在拼縫處差異最小，優(yōu)化拼接的平滑性。

全景技術(shù)中，兩幅圖像能夠拼接融合的前提是兩幅圖像有一定的重合區(qū)域，再在重疊區(qū)域進(jìn)行融合算法處理。重疊區(qū)域的縫合線選擇對融合后的全景圖像效果有很大影響，好的縫合線選擇算法和策略能夠使全景視頻的過渡更加平滑。

本文采用基于圖割的方法來尋找最佳縫合線，以圖3為例，首先需要對待拼接的圖像進(jìn)行抽象化分析。

圖3 圖割抽象模型

圖3 中每一個(gè)方框區(qū)域代表著一個(gè)像素，通過模擬將圖像中的每一個(gè)像素抽象成為一個(gè)點(diǎn)，并對圖中點(diǎn)與點(diǎn)之間的邊進(jìn)行控制，賦予每條邊權(quán)值進(jìn)行分析，作為切割的代價(jià)。設(shè)s和t為相鄰的兩個(gè)點(diǎn)，A（）和B（）分別為其對應(yīng)位置的像素值，可以將切割代價(jià)表示為：

式中：||*||表示取絕對值。

針對移動(dòng)目標(biāo)只存在于某個(gè)圖像的像素要點(diǎn)，屬于A或者B的像素信息，用權(quán)值為+∞的邊進(jìn)行分析，連結(jié)到特定圖像所代表的點(diǎn)。因此結(jié)合上述模型進(jìn)行分析，設(shè)定將兩幅圖像的重疊區(qū)域構(gòu)建成一個(gè)圖結(jié)構(gòu)。如何定義帶權(quán)線是構(gòu)建圖結(jié)構(gòu)過程的關(guān)鍵。能量函數(shù)取決于帶權(quán)線的定義。能量函數(shù)的計(jì)算公式一般為：

式中：V、D兩部分計(jì)算分別代表了能量函數(shù)的數(shù)據(jù)項(xiàng)和平滑項(xiàng)?？p合線尋優(yōu)也就是該能量函數(shù)的最小化過程。

在初始化階段，利用基準(zhǔn)圖像來構(gòu)建初始圖。一般來說，設(shè)定該圖結(jié)構(gòu)有兩個(gè)源點(diǎn)，也就是分別從基準(zhǔn)圖和待拼接圖中生成該圖結(jié)構(gòu)，即縫合線定義中的重疊區(qū)域分別來自基準(zhǔn)圖像和待拼接圖像。

初始化圖后，利用式（3）的能量函數(shù)公式來計(jì)算圖的總能量，進(jìn)行算法的迭代最小化，并對可選源進(jìn)行α-擴(kuò)張，定義為：

式中：I'(p)為p節(jié)點(diǎn)的α-擴(kuò)張結(jié)果值，而I(p)為p節(jié)點(diǎn)α-擴(kuò)張前的值。

α-擴(kuò)張可以將p節(jié)點(diǎn)用可選源中的其他節(jié)點(diǎn)替換，并重新計(jì)算替換后的圖的總能量。如果能量增加，則恢復(fù)p節(jié)點(diǎn)的能量值；如果能量減少，則采用替換后的可選源的節(jié)點(diǎn)作為結(jié)果圖中的節(jié)點(diǎn)。循環(huán)迭代最小化能量函數(shù)，保留能量最小值的節(jié)點(diǎn)。從而得到最終能量最小化結(jié)果，劃分可選源的最小能量值分割線就是最優(yōu)縫合線。

在循環(huán)迭代能量最小化過程中，需要不斷計(jì)算能量函數(shù)，并比較和選取能量函數(shù)的大小。因此，需要詳細(xì)研究計(jì)算能量函數(shù)的方法，采用最高效和適應(yīng)性高的計(jì)算方法來實(shí)現(xiàn)縫合線的尋優(yōu)和圖像的拼接。能量函數(shù)一般分為數(shù)據(jù)項(xiàng)和平滑項(xiàng)，其中數(shù)據(jù)項(xiàng)可以簡單定義為：

式（5）中I1和I2為兩個(gè)待拼接圖像，能量函數(shù)的數(shù)據(jù)項(xiàng)定義是為了考察縫合線節(jié)點(diǎn)是否落在重疊區(qū)域內(nèi)。如果該節(jié)點(diǎn)屬于重疊區(qū)域，數(shù)據(jù)項(xiàng)為0，即不影響能量函數(shù)值；如果該節(jié)點(diǎn)不屬于重疊區(qū)域內(nèi)，則能量函數(shù)數(shù)據(jù)項(xiàng)值將為+∞，即能量函數(shù)值逼近無窮大，不符合能量最小化的要求。這樣可以確保該縫合線定位于兩幅圖像間的重疊區(qū)域內(nèi)。

4.2 鬼影優(yōu)化方法

4.2.1 色差差異造成的鬼影優(yōu)化

完成機(jī)場最優(yōu)縫合線搜尋后，進(jìn)行機(jī)場全景拼接圖像的融合處理。由于源圖像與待拼接圖像之間存在不可避免的亮度差異，整個(gè)機(jī)場的圖像會存在亮度不一致的現(xiàn)象。且由于飛行器運(yùn)動(dòng)、匹配誤差等客觀原因?qū)е碌墓碛艾F(xiàn)象，使得拼接圖像效果不佳。因此，本文采用泊松圖像融合技術(shù)進(jìn)一步優(yōu)化拼接圖像。

設(shè)拼接圖像為S，S上的修復(fù)區(qū)域定義為Ω，其邊界是

式中：N代表圖像待修復(fù)區(qū)域中p點(diǎn)的鄰域。設(shè)f是定義在Ω上的顏色融合信息，?Ω上的已知顏色信息設(shè)為f*。則求解Ω的圖像顏色融合，轉(zhuǎn)化為求解邊界?Ω上的己知像素的顏色在Ω上的顏色修復(fù)梯度場的插值，求解公式為：

式中：p∈Ω，gp和gq是Ω上的顏色修復(fù)值，vpq=gp-gq是Ω上的顏色修復(fù)梯度。

式（7）是大型稀疏線性方程組。因此，本文采用共軛梯度法求解待修復(fù)區(qū)域的顏色融合值，計(jì)算速度較快，顏色融合的效果較好。

4.2.2 運(yùn)動(dòng)物體產(chǎn)生的鬼影優(yōu)化

在圖像拼接過程中，源圖像序列中的運(yùn)動(dòng)物體經(jīng)過拼接操作，在拼接圖像中形成鬼影現(xiàn)象。因此需要在當(dāng)前全景拼接圖像和其源圖像的重疊區(qū)域中探測鬼影現(xiàn)象。當(dāng)發(fā)現(xiàn)“鬼影”時(shí)，定位源圖像中的相關(guān)運(yùn)動(dòng)物體，創(chuàng)建梯度域剔除并區(qū)域填充該運(yùn)動(dòng)物體，同時(shí)創(chuàng)建一個(gè)新的源圖像，重新拼接源圖像，以擺脫“鬼影”。在梯度域?qū)ο笾幸瞥蛥^(qū)域填充操作過程中，通過編輯源圖像的梯度來創(chuàng)建一個(gè)梯度向量場，并利用邊界條件構(gòu)造和求解泊松方程，將源圖像從梯度向量場中恢復(fù)信息，獲取新的全景拼接圖像。具體算法流程如圖4所示。

圖4 算法流程圖

對于飛機(jī)等運(yùn)動(dòng)物體所產(chǎn)生的鬼影現(xiàn)象，進(jìn)行如下處理：輸入源圖像后，標(biāo)注所有待移除物體的鄰域，通過編輯源圖像的梯度來創(chuàng)建一個(gè)梯度向量域。從源圖像和梯度向量場中移除對象。為了使這些被移除的區(qū)域看起來像場景中沒有相應(yīng)對象變化，通過梯度域的區(qū)域填充操作，使用圖像其他部分中能找到的最適合的內(nèi)容來恢復(fù)這些區(qū)域。用這種方式能獲得一個(gè)填充到拼接圖像If中的域和一個(gè)填充到合成梯度向量場(Gx,Gy)的域。

下一步是要從梯度向量場(Gx,Gy)中恢復(fù)一個(gè)新的拼接圖像Ic。為了做到這點(diǎn)，從梯度向量場(Gx,Gy)中計(jì)算向量場散度div(G)，并用它作為指導(dǎo)向量來構(gòu)造一個(gè)泊松方程，新的拼接圖像Ic可以通過求解泊松方程和邊界條件，從向量場中恢復(fù)。

在求解方程時(shí)，使用圖像If作為初始值可以給出線性求解程序一個(gè)好的初始解決方案的評估。

假設(shè)I(x, y)是拼接圖像，使用散度作為指導(dǎo)，構(gòu)造一個(gè)泊松方程：

這是一個(gè)線性偏微分方程。為了解決這個(gè)方程，必須首先指定邊界條件。在優(yōu)化方法中，使用Neumann邊界條件。

最后，新的拼接圖像Ic能夠通過求解泊松方程，從梯度向量場(Gx,Gy)中恢復(fù)，用這個(gè)結(jié)果做為最后的拼接圖像，用于全景圖像拼接過程中運(yùn)動(dòng)物體產(chǎn)生鬼影的移除。

5 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的效果，在復(fù)雜機(jī)場全景可視化平臺上進(jìn)行實(shí)驗(yàn)驗(yàn)證。平臺主要配置為：

（1）攝像機(jī)為4臺華為X2381-VG4K槍機(jī)；

（2）服務(wù)器采用華為2288H V5，至強(qiáng)銀牌4210，16 GB內(nèi)存，顯卡為NVIDIA Quadro RTX4000；

（3）軟件平臺為Visual Studio 2019，C#、C++語言。

算法實(shí)驗(yàn)效果如圖5、圖6及圖7所示。

圖5 特征點(diǎn)配準(zhǔn)圖像

實(shí)驗(yàn)表明，本文提出的最佳縫合線尋找方法和鬼影優(yōu)化方法能夠?qū)?fù)雜機(jī)場全景視頻拼接中存在的拼縫明顯問題及出現(xiàn)鬼影問題起到較好的優(yōu)化 效果。

6 結(jié) 語

在復(fù)雜機(jī)場這種特殊的大視場環(huán)境中，使用多攝像機(jī)進(jìn)行全景拼接，實(shí)時(shí)呈現(xiàn)機(jī)場運(yùn)行態(tài)勢，是復(fù)雜環(huán)境下機(jī)場管控的有效輔助手段和發(fā)展趨勢。本文分析了復(fù)雜機(jī)場目前存在的問題，對大視場下復(fù)雜機(jī)場全景系統(tǒng)進(jìn)行了分析，針對全景系統(tǒng)實(shí)施過程中存在的問題進(jìn)行總結(jié)，提出了優(yōu)化最佳縫合線的算法和抑制鬼影的思路，并實(shí)際測試了效果。實(shí)驗(yàn)結(jié)果證明，該方法能夠優(yōu)化全景視頻中的拼縫并對運(yùn)動(dòng)目標(biāo)的鬼影進(jìn)行抑制。但本文的研究也存在一定的不足，全景視頻呈現(xiàn)的實(shí)時(shí)性有待進(jìn)一步解決。