朱齊丹，徐從營，蔡成濤

（哈爾濱工程大學(xué) 自動(dòng)化學(xué)院，哈爾濱150001）

0 引 言

折反射全景視覺系統(tǒng)以其360°視場(chǎng)觀察能力，被廣泛應(yīng)用于車載／艦載視頻監(jiān)控、無人飛行器的姿態(tài)計(jì)算、機(jī)器人導(dǎo)航、圖像測(cè)量等領(lǐng)域［1－2］。但全景視覺系統(tǒng)在船載、機(jī)載、車載等運(yùn)動(dòng)載體上進(jìn)行拍攝時(shí)，受載體運(yùn)動(dòng)的影響，采集到的圖像序列會(huì)產(chǎn)生晃動(dòng)，嚴(yán)重影響人們觀測(cè)與識(shí)別目標(biāo)。

電子 穩(wěn) 像（Electronic image stabilization，EIS）是指使用圖像處理技術(shù)從視頻圖像序列中去除因攝像機(jī)隨機(jī)運(yùn)動(dòng)而引入的圖像抖動(dòng)，使圖像序列平滑、穩(wěn)定的技術(shù)。在機(jī)載、車載、艦載電視攝像等系統(tǒng)得到了廣泛應(yīng)用。比較成熟的電子穩(wěn)像算法有塊匹 配算法［3－4］、相位匹配算法［5］、特征 點(diǎn) 匹 配 算 法［6－7］、位 平 面 匹 配 算 法［8］、投 影 算法［9］以及專門針對(duì)艦載攝像系統(tǒng)的水天線穩(wěn)像算法［10－11］等。文獻(xiàn)［4］提出的穩(wěn)像算法采用宏塊預(yù)判算法和改進(jìn)的SSDA 宏塊匹配算法快速計(jì)算運(yùn)動(dòng)矢量，結(jié)合最小二乘法與LMedS 算法求解最優(yōu)的穩(wěn)像模型參數(shù)，具有亞像素級(jí)的穩(wěn)像精度。文獻(xiàn)［7］基于自適應(yīng)濾波和特征點(diǎn)集運(yùn)動(dòng)矢量提取技術(shù)，提出了帶特征匹配驗(yàn)證的電子穩(wěn)像算法（FMVA）。這兩種方法均可以有效處理攝像機(jī)的平移和旋轉(zhuǎn)抖動(dòng)，實(shí)現(xiàn)實(shí)時(shí)穩(wěn)定圖像序列。文獻(xiàn)［12］提出了一種穩(wěn)像圖像修補(bǔ)技術(shù)，判斷相鄰圖像幀的光流變化，并利用光流法填補(bǔ)當(dāng)前穩(wěn)像圖像的丟失像素，有效實(shí)現(xiàn)了穩(wěn)像無效區(qū)域的修補(bǔ)。然而，以上文獻(xiàn)研究對(duì)象多是針對(duì)普通攝像機(jī)拍攝的視頻，而針對(duì)折反射全景視覺系統(tǒng)進(jìn)行電子穩(wěn)像的研究較少。這些文獻(xiàn)雖然對(duì)于全景視頻穩(wěn)像有一定的參考作用，但折反射式全景攝像機(jī)與普通攝像機(jī)的成像原理存在很大差別，所以對(duì)于后者來說，仍需要深入研究適應(yīng)其特點(diǎn)的電子穩(wěn)像方法。

本文針對(duì)艦載折反射全景視覺系統(tǒng)拍攝的圖像序列進(jìn)行了電子穩(wěn)像算法研究，提出了一種使用海天線進(jìn)行電子穩(wěn)像的方法。根據(jù)全景圖像中海天線成像特點(diǎn)，使用基于最優(yōu)邊緣估計(jì)的海天線提取算法計(jì)算海天線成像方程，提出了基于海天線的簡(jiǎn)化全景圖像電子穩(wěn)像模型及圖像無效區(qū)域重建方法。使用海上拍攝的全景序列圖像進(jìn)行了穩(wěn)像實(shí)驗(yàn)，結(jié)果表明該算法可實(shí)時(shí)地進(jìn)行電子穩(wěn)像，有效地減小全景圖像的晃動(dòng)，極大地改善了視覺效果。

1 全景視覺系統(tǒng)成像原理

折反射全景攝像機(jī)由反射鏡和普通攝像機(jī)組成，空間中的光線經(jīng)過反射鏡反射后進(jìn)入攝像機(jī)成像，生成環(huán)形的全景圖像，如圖1（a）所示，兩個(gè)白色環(huán)形區(qū)域是全景視覺系統(tǒng)的有效成像區(qū)域。當(dāng)系統(tǒng)安裝滿足單視點(diǎn)要求時(shí)［13］，可方便地建立系統(tǒng)的成像模型，計(jì)算所有空間成像點(diǎn)對(duì)應(yīng)的入射光線向量。

圖1 雙曲面折反射攝像機(jī)與全景圖Fig.1 Hyperbolical catadioptic camera and panoramic image

圖1 （b）為理想情況下拍攝的全景海洋圖片，不考慮攝像機(jī)鏡頭畸變時(shí)可將海天線近似為圓形。當(dāng)載體發(fā)生晃動(dòng)時(shí)，空間景物成像將發(fā)生形變，海天線成像為橢圓，如圖1（c）所示。與普通穩(wěn)像圖像不同，在全景圖像中除載體外，背景區(qū)域由海面和天空組成。海面會(huì)不斷發(fā)生變化，而天空則比較平滑，具有極少的不變特征。因此，傳統(tǒng)的穩(wěn) 像 算 法，例 如 基 于 塊 匹 配［3－4］和 特 征 點(diǎn) 匹配［6－7］的穩(wěn)像算法，在這種海面不斷變化的背景模式下，會(huì)造成嚴(yán)重的誤匹配，無法實(shí)現(xiàn)全局運(yùn)動(dòng)矢量的準(zhǔn)確估計(jì)。同時(shí)現(xiàn)有的穩(wěn)像算法均無法解決全景圖像穩(wěn)像過程中初始參考幀的選取。

與普通圖像不同，全景圖像發(fā)生形變導(dǎo)致各像素點(diǎn)的移動(dòng)量均不一樣，因此現(xiàn)有電子穩(wěn)像算法中全局運(yùn)動(dòng)矢量補(bǔ)償方法無法矯正全景圖像中景物的形變。若建立精確的矯正模型，則必然要計(jì)算每個(gè)圖像點(diǎn)的移動(dòng)量，算法復(fù)雜，不具有實(shí)用性。因此現(xiàn)有的全景圖像電子穩(wěn)像算法均針對(duì)展開圖像，使用傳統(tǒng)穩(wěn)像算法進(jìn)行電子穩(wěn)像，以降低算法難度［14－15］。

本文根據(jù)海天線成像特點(diǎn)，使用海天線成像方程進(jìn)行全景圖像形變矯正，提出了簡(jiǎn)化的穩(wěn)像模型。該模型雖然不能完全矯正圖像形變，但算法速度快，矯正效果好，可極大地改善視覺效果，并且不需要參考圖像，實(shí)用性較強(qiáng)。

2 海天線提取

2.1 分區(qū)自適應(yīng)閾值Canny邊緣檢測(cè)

全景圖像容易受光照影響造成整幅圖像對(duì)比度不均勻，傳統(tǒng)Canny算子在進(jìn)行邊緣檢測(cè)時(shí)使用同一對(duì)高低閾值，會(huì)導(dǎo)致邊緣信息丟失或出現(xiàn)偽邊緣。本文將圖像均勻分為大小相同的圖像塊，對(duì)每個(gè)圖像塊使用文獻(xiàn)［16］提出的最大類間方差法（Otsu算法）確定Canny算子的高低閾值。每個(gè)子圖像閾值更能反映其所在子區(qū)域的邊緣特性，檢測(cè)結(jié)果既保留了局部的細(xì)節(jié)邊緣，也不會(huì)產(chǎn)生虛假邊緣。修改后Canny 邊緣檢測(cè)算法具體流程為：

（1）利用二維高斯函數(shù)對(duì)圖像進(jìn)行低通平滑濾波，去除圖像中的噪聲。

（2）使用2×2鄰域一階偏導(dǎo)的有限差分計(jì)算梯度幅值和梯度方向，記每個(gè)像素點(diǎn)的梯度幅值和梯度方向分別為M［i，j］和θ［i，j］。

（3）對(duì)梯度幅值進(jìn)行非極大值抑制，在梯度的方向上互相比較鄰接像素的梯度幅值，保留幅值局部變化最大的點(diǎn)。

（4）將圖像均勻分為大小相同的圖像塊（64×64像素，也可根據(jù)圖像尺寸設(shè)定），每個(gè)方塊使用Otsu算法確定Canny算子的高低閾值并進(jìn)行雙閾值化檢測(cè)和邊緣連接。

（5）經(jīng)過非極大值抑制獲取的邊緣圖像還達(dá)不到單像素級(jí)邊緣，為方便進(jìn)行邊緣長(zhǎng)度統(tǒng)計(jì)，使用文獻(xiàn)［17］提出的形態(tài)學(xué)算子對(duì)邊緣檢測(cè)后的圖像進(jìn)行邊緣細(xì)化。

2.2 雙閾值梯度方向過濾

與普通圖像不同，全景圖像中海天線邊緣上像素點(diǎn)梯度方向指向圖像中心。因此可通過判斷梯度方向去除載體天線和全景裝置支撐桿等造成的徑向邊緣并保留海天線邊緣。但由于噪聲、圖像采樣量化和載體劇烈地晃動(dòng)等原因，造成部分海天線邊緣點(diǎn)梯度方向偏離圓心，采用單一閾值會(huì)造成海天線邊緣的斷裂，因此本文借鑒Canny算法中雙閾值化檢測(cè)的思想，提出了雙閾值梯度方向過濾的方法，即設(shè)置高低閾值分別為θth1、θth2，其中θth1＞θth2。對(duì)所有邊緣點(diǎn)計(jì)算其與圓心的夾角θ′［i，j］：

其中［u0，v0］為全景圖像中心。如果θ′［i，j］＜0，則θ′［i，j］＝θ′［i，j］＋360°，將角度轉(zhuǎn)到0～360°范圍內(nèi)。若｜θ［i，j］－θ′［i，j］｜≤θth2，則保留此邊緣點(diǎn)。這樣得到的海天線邊緣會(huì)因?yàn)殚g斷而變的不連續(xù)，為了最大程度地保留海天線邊緣點(diǎn)，采用遞歸邊界跟蹤方法，將八鄰域區(qū)域內(nèi)｜θ［i，j］－θ′［i，j］｜≤θth1的點(diǎn)判定為邊緣點(diǎn)并保留。

圖2（a）為邊緣檢測(cè)效果，海天線邊緣全部被檢測(cè)出來。圖2（b）為有效區(qū)域內(nèi)邊緣雙閾值過濾結(jié)果，取θth1＝5，θth2＝15。從圖中可以看出，徑向邊緣被全部消除，而海天線邊緣被完整地保留下來。

圖2 邊緣檢測(cè)與過濾Fig.2 Edge detection and filtering

2.3 最優(yōu)邊緣估計(jì)算法

由圖2（b）中可以發(fā)現(xiàn)邊緣圖像有如下幾個(gè)特點(diǎn)：①環(huán)形海天線被分割為斷續(xù)的曲線段；②圖像中最長(zhǎng)的曲線段為海天線邊緣；③相鄰的海天線曲線段首尾端點(diǎn)在切向方向上距離最近，即到圖像中心點(diǎn)距離相近的同時(shí)保證端點(diǎn)距離最近。根據(jù)以上特點(diǎn)，本文提出了一種最優(yōu)邊緣估計(jì)算法提取海天線邊緣，建立了最優(yōu)邊緣估計(jì)方程，并使用一種簡(jiǎn)單的方法判斷海天線提取是否成功。

首先統(tǒng)計(jì)所有邊緣曲線的起始點(diǎn)、起始角、曲線長(zhǎng)度等信息。假設(shè)有效區(qū)域內(nèi)共有m 條邊緣，將所有邊緣信息表示為：

式中：RAi、RBi為第i條邊緣起始點(diǎn)和終止點(diǎn)到圖像中心點(diǎn)的距離；θAi、θBi為邊緣起始點(diǎn)和終止點(diǎn)的方向角；ni為邊緣長(zhǎng)度。

所有邊緣信息按逆時(shí)針方向統(tǒng)計(jì)排列，即邊緣終止點(diǎn)在起始點(diǎn)的逆時(shí)針方向。

然后使用最優(yōu)邊緣估計(jì)算法提取海天線邊緣。根據(jù)邊緣圖像特點(diǎn)②將最長(zhǎng)的邊緣設(shè)為第1條海天線邊緣，并記為L(zhǎng)j，將已經(jīng)搜索到的海天線邊緣起始／終止角，起始／終止半徑分別記為：

最優(yōu)邊緣估計(jì)算法搜索海天線邊緣具體流程為：

（1）逆時(shí)針?biāo)阉鳌８鶕?jù)邊緣圖像特點(diǎn)③，假設(shè)最優(yōu)邊緣估計(jì)方程為：

式中：α和β 為比例系數(shù)。由于相鄰端點(diǎn)距離非常近，即使海天線發(fā)生嚴(yán)重變形，半徑變化差值也會(huì)非常小，因此選取α＝0.3，β＝0.7；θth為角度偏差閾值；Rth為半徑偏差閾值，端點(diǎn)相鄰越遠(yuǎn)則半徑相差閾值應(yīng)該越大，因此取Rth＝1.5θth，或根據(jù)圖像分辨率設(shè)置為0.03R，其中R 為理想情況下海天線成像圓半徑。

選取計(jì)算值最小，即與現(xiàn)有邊緣曲線半徑相似并且距離最近的邊緣作為海天線。同時(shí)將θ2和R2替換為選取的海天線邊緣的θBi和RBi，并刪除起始角和終止角位于θ1至θ2范圍內(nèi)的所有邊緣曲線信息以提高下一次搜索效率。重復(fù)步驟（1）直至沒有邊緣滿足條件公式（3）。

（2）順時(shí)針?biāo)阉鳌Ｅc逆時(shí)針?biāo)阉髟硐嗤?，條件公式及偏差計(jì)算公式替換為公式（4）：

重復(fù)步驟（2）直至沒有邊緣滿足條件公式（4）。

（3）終止條件判斷。為提高橢圓擬合精度，搜索完成后海天線起始與終止角度若滿足如下條件：

且已搜索到的邊緣角度范圍大于240°，則轉(zhuǎn)到步驟（4），否則重新計(jì)算最長(zhǎng)邊緣，轉(zhuǎn)到步驟（1）。

（4）橢圓擬合。根據(jù)搜索出的海天線邊緣像素點(diǎn)位置直接使用橢圓擬合方法求解海天線橢圓成像方程。本文直接使用OPenCV 提供的橢圓擬合函數(shù)求解橢圓方程。

圖3顯示了海天線搜索的結(jié)果及海天線橢圓方程擬合結(jié)果，其中圖像分辨率為1024×1024像素，角度偏差閾值θth＝10，半徑偏差閾值Rth＝15。從圖中可以看出，白線代表的橢圓方程較好地?cái)M合出了海天線的真實(shí)位置，具有較高的精度。

圖3 海天線提取Fig.3 Sea－sky line extraction

大部分情況下由于載體的晃動(dòng)會(huì)使海天線成像為橢圓。多次手動(dòng)提取海天線實(shí)驗(yàn)結(jié)果表明，假設(shè)理想情況下海天線成像圓半徑為rc，海天線變形時(shí)成像的橢圓長(zhǎng)短軸分別為a，b，則它們之間的關(guān)系滿足rc≈（a＋b）／2，因此可將其作為海天線提取是否成功的判斷依據(jù)，其中rc可手動(dòng)確定。若提取的海天線滿足如下條件公式，則認(rèn)為海天線提取成功：

式中：dth為判斷閾值。

3 基于海天線的全景圖像電子穩(wěn)像

3.1 電子穩(wěn)像模型

本文所提出的簡(jiǎn)化穩(wěn)像模型基于如下兩個(gè)假設(shè)：①載體不發(fā)生晃動(dòng)時(shí)，全景圖像可由一系列相鄰的密集同心圓表示，當(dāng)圖像發(fā)生晃動(dòng)時(shí)，同心圓變?yōu)橥臋E圓并發(fā)生中心點(diǎn)偏移；②同一圓周上所有的景物點(diǎn)在變形后仍會(huì)位于同一橢圓上。如圖4所示，其中黑色粗實(shí)線表示海天線。實(shí)際情況下全景圖像中海天線上的點(diǎn)對(duì)應(yīng)于無窮遠(yuǎn)處景物，只有海天線上的景物點(diǎn)滿足條件②。當(dāng)載體發(fā)生晃動(dòng)時(shí)，除與全景相機(jī)固定連接的載體外，所有空間景物點(diǎn)的投影角度都將發(fā)生變化，成像將發(fā)生形變，假設(shè)條件②并不能精確滿足。

基于兩個(gè)假設(shè)條件下的全景圖像穩(wěn)像算法即將同心橢圓矯正為同心圓，如圖5（a）所示，然后將圓心Oc平移至理想情況下海天線中心點(diǎn)O′c，如圖5（b）所示。

圖4 全景圖像穩(wěn)像模型Fig.4 Omnidirectional image stabilization model

圖5 圖像坐標(biāo)系設(shè)置Fig.5 Image coordinate system

圖5 為穩(wěn)像坐標(biāo)系設(shè)置，圖像坐標(biāo)系原點(diǎn)位于圖像左上角。其中XeOeYe為失穩(wěn)圖像同心橢圓坐標(biāo)系，XcOcYc為矯正后同心橢圓坐標(biāo)系，X′cO′cY′c為穩(wěn)像圖像同心圓坐標(biāo)系，θ為海天線橢圓方程傾斜角?；诩僭O(shè)條件的圖像穩(wěn)像雖然不能完全矯正景物形變，但能極大地簡(jiǎn)化穩(wěn)像算法，提高計(jì)算速度。

記理想情況下海天線成像圓心為［uc，vc］，半徑為R；a、b為失穩(wěn)圖像中海天線成像橢圓長(zhǎng)短軸；［ue，ve］為橢圓中心點(diǎn)；θ為橢圓旋轉(zhuǎn)角度。假設(shè)點(diǎn)p ＝［i，j］為穩(wěn)像圖像上任意一點(diǎn)的圖像坐標(biāo)，穩(wěn)像過程即計(jì)算出點(diǎn)p 對(duì)應(yīng)失穩(wěn)圖像上的點(diǎn)坐標(biāo)p′＝［i′，j′］。記r為該點(diǎn)到圖像中心點(diǎn)［uc，vc］的距離，矩陣E和C 分別表示該點(diǎn)對(duì)應(yīng)穩(wěn)像前后的橢圓和圓，a′，b′為對(duì)應(yīng)的橢圓長(zhǎng)短軸，在圖5（a）坐標(biāo)系下橢圓和圓二次曲線方程可表示為：

式中：矩陣E 和C 表示為：

已知橢圓旋轉(zhuǎn)角度為θ，則點(diǎn)m 在XcOcYc坐標(biāo)系下可表示為：

式中：

由公式（6）知橢圓長(zhǎng)短軸a′、b′與r 存在如下關(guān)系：

由比例關(guān)系可得：

假設(shè)矩陣K 為3×3矩陣，令：

將公式（12）帶入公式（7）得：

對(duì)比公式（7）中兩方程有：

對(duì)公式（14）求解可得：

計(jì)算出m′后，用下式算出最終p′點(diǎn)坐標(biāo)：

3.2 背景模板

全景圖像中部分背景不會(huì)隨著載體搖晃而發(fā)生變化，這部分圖像為固定背景，可進(jìn)行手動(dòng)提取，并設(shè)置為非穩(wěn)像區(qū)域，如圖6所示。

圖6 背景區(qū)域Fig.6 Background region

4 實(shí)驗(yàn)結(jié)果

4.1 全景圖像采集設(shè)備

實(shí)驗(yàn)時(shí)使用自主設(shè)計(jì)制造的全景圖像采集處理設(shè)備，如圖7所示。設(shè)備采用模塊化分體設(shè)計(jì)，可方便地根據(jù)任務(wù)需要拆分使用或者換裝不同分辨率的相機(jī)和反射鏡。圖像采集后即可直接進(jìn)行本地處理，也可使用光纖模塊傳輸至處理終端進(jìn)行處理。相機(jī)具有曝光時(shí)間自動(dòng)調(diào)整功能，整套裝置采用三防設(shè)計(jì)，可滿足長(zhǎng)時(shí)間海洋環(huán)境使用要求，前端處理器為UNO－3083 嵌入式計(jì)算機(jī)，主要配置為intel酷睿i7 處理器，主頻為2.2 GHz，內(nèi)存大小為4G，操作系統(tǒng)為Windows XP，實(shí)驗(yàn)以VC6.0軟件為平臺(tái)結(jié)合OpenCV 庫編寫。

圖7 實(shí)驗(yàn)裝置Fig.7 Experimental device

4.2 算法復(fù)雜度分析和海天線提取實(shí)驗(yàn)

在最優(yōu)邊緣估計(jì)算法中，已知有效區(qū)域內(nèi)共有m 條邊緣，則每次搜索中計(jì)算最長(zhǎng)邊緣選取所需的最大計(jì)算次數(shù)為m，順／逆時(shí)針?biāo)阉髯顑?yōu)邊緣估計(jì)方程最大計(jì)算次數(shù)為m－1。假設(shè)最大循環(huán)搜索次數(shù)為t，每次逆／順時(shí)針?biāo)阉鞯倪吘墏€(gè)數(shù)最大為s，則算法的最大運(yùn)算時(shí)間復(fù)雜度可表示為：

在實(shí)際測(cè)試中，t和s 均為個(gè)位數(shù)，算法只需數(shù)次計(jì)算即可完成海天線邊緣搜索。

為測(cè)試海天線提取算法性能，本文使用分別在港口、航道、遠(yuǎn)海3種不同實(shí)驗(yàn)環(huán)境下拍攝的大量圖片進(jìn)行了實(shí)際測(cè)試。圖像分辨率為1024×1024像素，取θth1＝5，θth2＝15，θth＝10，Rth＝15。部分測(cè)試圖片及海天線計(jì)算結(jié)果如圖8所示。

圖8中（a1）拍攝環(huán)境為遠(yuǎn)海，（a2）和（a3）拍攝環(huán)境分為航道和港口，使用單測(cè)垂直視角為120°的雙曲面反射鏡，較大的垂直視野使全景攝像機(jī)對(duì)載體的晃動(dòng)具有更強(qiáng)的適應(yīng)性。圖中除設(shè)置有效檢測(cè)區(qū)域外（兩白色圓圈之間部分），根據(jù)遮擋情況設(shè)置了遮擋區(qū)域（兩條白線之間部分）。

分區(qū)自適應(yīng)閾值邊緣檢測(cè)算法有效地檢測(cè)出了不同環(huán)境下的海天線區(qū)域（圖8（b1）～（b3）），雙閾值梯度方向過濾法則有效地過濾掉了徑向邊緣，并將干擾物分割為較短的邊緣（圖8（c1）～（c3））。圖8（d1）～（d3）和圖8（e1）～（e3）則分別顯示了海天線提取結(jié)果及最終的橢圓擬合效果。即使在有效區(qū)域小于180°的環(huán)境下仍然精確地?cái)M合出了海天線（圖8（e3））。

圖8 海天線提取實(shí)驗(yàn)Fig.8 Sea－sky line extraction experiment

為測(cè)試算法的成功率與實(shí)時(shí)性，本文使用連續(xù)拍攝的1700張圖片進(jìn)行了測(cè)試，設(shè)置不同的圖像分辨率與檢測(cè)參數(shù)，測(cè)試結(jié)果如表1所示。

表1 海天線提取算法性能Table1 Algorithm performance of sea－sky line extraction

部分圖片由于晃動(dòng)較大，海天線被艦船遮擋或超出視野，造成海天線檢測(cè)失敗。同時(shí)圖像分辨率的下降也會(huì)影響最終橢圓擬合結(jié)果的準(zhǔn)確性，造成海天線提取成功率下降，但由表1中可以看出影響較小。為保證海天線提取精度，進(jìn)行海天線提取時(shí)圖像尺寸不宜太小。

4.3 全景圖像穩(wěn)像實(shí)驗(yàn)

本文使用低分辨率256×256像素的圖像進(jìn)行快速海天線成像方程計(jì)算，然后對(duì)分辨率為1024×1024像素的圖像進(jìn)行圖像穩(wěn)像實(shí)驗(yàn)，穩(wěn)像效果如圖9所示。

圖9 全景圖像穩(wěn)像Fig.9 Omnidirectional image stabilization

圖9 （a）（b）為穩(wěn)像矯正前后的圖像對(duì)比，圖9（b）中白色部分為穩(wěn)像無效區(qū)域。如果不填充合適的像素值將會(huì)嚴(yán)重影響圖像的視覺效果，因此本文提出了關(guān)鍵幀補(bǔ)償法對(duì)穩(wěn)像無效區(qū)域進(jìn)行重建，改善視覺效果。

4.4 無效區(qū)域重建像實(shí)驗(yàn)

由于穩(wěn)像對(duì)象為連續(xù)的圖像序列，載體的晃動(dòng)會(huì)導(dǎo)致周期性地出現(xiàn)晃動(dòng)較小的圖像，因此可通過提取的橢圓參數(shù)進(jìn)行判斷。如果橢圓長(zhǎng)短軸非常接近，并且橢圓中心點(diǎn)與理想情況下海天線圓中心點(diǎn)非常接近，則可以認(rèn)為該圖像晃動(dòng)較小，如圖10所示。

圖10 理想海天圖像及穩(wěn)像結(jié)果Fig.10 Ideal omnidirectional image and stabilization result

圖10 為較理想的海天圖像及其穩(wěn)像圖像。從圖10（a）中可以看出圖像晃動(dòng)極小，因此圖10（b）中的無效區(qū)域較小，使用與原圖相同位置處的像素值進(jìn)行填充，重建效果如圖11所示。

圖11 無效區(qū)域重建Fig.11 Invalid region reconstruction

由圖11中可以看出，填充后的圖像較為完整，視覺效果大為改善。此時(shí)可設(shè)置此穩(wěn)像圖像為關(guān)鍵幀圖像，其后穩(wěn)像圖像中的無效區(qū)域全部填充為關(guān)鍵幀圖像中相同位置的像素值，直至出現(xiàn)新的關(guān)鍵幀圖像，關(guān)鍵幀圖像被更新。圖12示出了對(duì)1700張連續(xù)全景視頻圖像序列進(jìn)行穩(wěn)像實(shí)驗(yàn)的部分圖像穩(wěn)像效果。

圖12 穩(wěn)像實(shí)驗(yàn)結(jié)果Fig.12 Results of image stabilization

從圖12中可以看出，晃動(dòng)不但被抑制，而且無效區(qū)域被填充為相鄰關(guān)鍵幀中的像素，即使圖像晃動(dòng)使海天線超出視野，重建后的穩(wěn)像圖像中仍然能保證海天區(qū)域的完整性，極大地改善了視覺效果?；诤?jiǎn)化穩(wěn)像模型的穩(wěn)像算法計(jì)算簡(jiǎn)單，對(duì)分辨率為1024×1024像素的全景圖像矯正和重建平均計(jì)算時(shí)間為10 ms，基于海天線的全景圖像電子穩(wěn)像算法可控制在50ms以內(nèi)，具有較高的實(shí)時(shí)性。由于未見國內(nèi)外其他全景圖像整體穩(wěn)像算法的相關(guān)文獻(xiàn)報(bào)道，同時(shí)全景圖像中海浪時(shí)刻變化，普通圖像電子穩(wěn)像算法中的幀差法和峰值信噪比等評(píng)價(jià)方法均不適用，因此未對(duì)穩(wěn)像效果作進(jìn)一步評(píng)價(jià)。

5 結(jié)束語

本文針對(duì)船載折反射全景視覺系統(tǒng)采集的圖像序列進(jìn)行了研究，并提出了基于海天線的電子穩(wěn)像算法。首先使用最優(yōu)邊緣估計(jì)算法提取海天線邊緣，進(jìn)行橢圓擬合得到海天線成像橢圓方程；然后建立穩(wěn)像模型并進(jìn)行圖像穩(wěn)像；最后根據(jù)全景海天圖像特點(diǎn)對(duì)穩(wěn)像無效區(qū)域進(jìn)行重建。實(shí)驗(yàn)結(jié)果證明，基于海天線的電子穩(wěn)像算法可有效抑制海天線晃動(dòng)，并具有計(jì)算速度快、成功率高的優(yōu)點(diǎn)，在實(shí)際應(yīng)用中取得了良好的使用效果。

［1］Mondragod I F，Pascual C，Caro M，et al.Omnidirectional vision applied to unmanned aerial vehicles（UAVs）attitude and heading estimation［J］.Robotics and Autonomous Systems，2010，58（6）：809－819.

［2］Mariottini G L，Scheggi S，Morbidi F，et al.An accurate and robust visual－compass algorithm for robot－mounted omnidirectional cameras［J］.Robotics and Autonomous Systems，2012，60（9）：1179－1190.

［3］蔡成濤，梁小龍，譚吉來，等.自適應(yīng)最優(yōu)塊匹配視頻穩(wěn)像算法［J］.系統(tǒng)工程與電子技術(shù)，2013，35（6）：1324－1329.Cai Cheng－tao，Liang Xiao－long，Tan Ji－lai，et al.Adaptive optimal block matching video stabilization algorithm［J］.Systems Engineering and Electronics，2013，35（6）：1324－1329.

［4］仲訓(xùn)昱，朱齊丹，張 智.數(shù)字穩(wěn)像中的快速和魯棒運(yùn)動(dòng)估計(jì)研究［J］.電子學(xué)報(bào)，2010，38（1）：251－256.Zhong Xun－yu，Zhu Qi－dan，Zhang Zhi.Study of fast and robust motion estimation in the digital image stabilization［J］.Acta Electronica Sinica，2010，38（1）：251－256.

［5］邵向鑫，郭樹旭，王朗.基于邊緣擴(kuò)展相位相關(guān)的圖像拼接算法［J］.吉林大學(xué)學(xué)報(bào)：信息科學(xué)版，2010，28（1）：95－99.Shao Xiang－xin，Guo Shu－xu，Wang Lang.Image mosaic algorithm based on extended phase correlation of edge［J］.Journal of Jilin University：Information Science Edition，2010，28（1）：95－99.

［6］王洪，戴明.區(qū)域快速魯棒特征跟蹤電子穩(wěn)像［J］.吉林大學(xué)學(xué)報(bào)：工學(xué)版，2012，42（2）：451－458.Wang Hong，Dai Ming.Area speed up robust feature tracking for electric image stablization［J］.Journal of Jilin University：Information Science Edition，2012，42（2）：451－458.

［7］朱娟娟，郭寶龍.電子穩(wěn)像的特征點(diǎn)跟蹤算法［J］.光學(xué)學(xué)報(bào)，2006，26（4）：516－521.Zhu Juan－juan，Guo Bao－long.Features tracking algorithm for video stabilization［J］.Acta Optica Sinica，2006，26（4）：516－521.

［8］Zhao H，Wang T.Image stabilization algorithm based on multi－bitplane［C］∥Proc of the International Symposium on Photo－electronic Detection and Imaging，Beijing，2009：73842Z.

［9］Tian S，Wang N，Zhao P，et al.Aims at moving objects improvement based on gray projection of algorithm of the electronic image stabilization［C］∥Proc of the 3th International Congress on Image and Signal Processing，Yantai，2010：2483－2487.

［10］趙紅穎，晏磊，熊經(jīng)武.船載攝像系統(tǒng)的一種電子穩(wěn)像算法［J］.光學(xué)技術(shù)，2003，29（5）：628－633.Zhao Hong－ying，Yan Lei，Xiong Jing－wu.A new electronic image stabilizing algorithm for the image sequence of camera system on board［J］.Optical Technique，2003，29（5）：628－633.

［11］Xue Y T，Wu T.A new horizon electronic image stabilization algorithm based on SVM［C］∥2010International Conference on Optoelectronics and Image Processing，Haiko 2010：59－63.

［12］Matsushita Y，Ofek E，Ge W N，et al.Full－frame video stabilization with motion inpainting［J］.IEEE Trans Pattern Analysis and Machine Intelligence，2006，7（28）：1150－1163.

［13］馬子嶺，王建中.折反射全景偵察系統(tǒng)電子穩(wěn)像技術(shù)研究［J］.北京理工大學(xué)學(xué)報(bào)，2010，30（12）：1475－1479.Ma Zi－ling，Wang Jian－zhong.Research on electronic image stabilizing algorithm of catadioptric panoramic reconnaissance system［J］.Transactions of Beijing Institute of Technology，2010，30（12）：1475－1479.

［14］朱齊丹，馬宏業(yè)，左小祥.全景攝像系統(tǒng)中展開圖像的電子穩(wěn)像方法研究［J］.計(jì)算機(jī)應(yīng)用研究，2009，26（3）：1192－1194.Zhu Qi－dan，Ma Hong－ye，Zuo Xiao－xiang.Electronic image stabilizing method research for developing image in omnidirectional camera system［J］.Application Research of Computers，2009，26（3）：1192－1194.

［15］Baker S，Nayar S.A theory of catadioptric image formation［C］∥Sixth International Conference on Computer Vision，Bombay，1998：35－42.

［16］Mei F，Yue G X，Yu Q C.The study on an application of otsu method in canny operator［C］∥Proceedings of the 2009International Symposium on Information Processing，Huangshan，2009：109－112.

［17］譚郁松，周興銘.保持連通的邊緣細(xì)化算法［J］.國防科技大學(xué)學(xué)報(bào)，2004，26（4）：51－56.Tan Yu－song，Zhou Xing－ming.Connectivity preserved edge thinning algorithm［J］.Journal of National University of Defense Technology，2004，26（4）：51－56.