楊曉冉, 蹇制京, 孫潔潔, 丁祝順

（北京航天控制儀器研究所, 北京 100039）

0 引言

近年來, 機載空地偵察、 監(jiān)視任務提出了多元地物目標精細檢測、 跟蹤等新興功能需求, 從而對無人機光電載荷觀測視場尺度、 探測空間分辨率等性能指標提出了較高要求［1］。 主流研究通過圖像拼接技術實現大尺度、 高空間分辨率機載成像, 然而機載成像環(huán)境復雜, 無人機翻滾、 旋轉、 方向變換運動、 光學離焦、 鏡頭畸變等因素導致圖像拼接不準確, 在圖像中表現為偽影、 模糊、 失真等圖像質量劣化, 不利于目標精細提取。 因此, 無人機載圖像精細拼接成為了目前學術界研究熱點。

提升圖像拼接質量方面, 目前已有較多研究成果。 Zaragoza 等［2］估計了加權的局部單應模型,然而引起了非重疊區(qū)域的投影形狀失真; Chang等［3］保留了非重疊區(qū)域原始圖像, 但引起了過渡區(qū)域的透視關系失真。 針對失真現象, Zhang 等［4］提出了圖像矩形邊緣約束, Liao 等［5］關注了線結構斜率問題, Jia 等［6］指出了圖像中線結構共線特性的射影不變性質并設計了定量評估指標。 李加慧等［7］提出了基于級聯光學的系統, 通過光學設計實現了單孔徑廣域成像, 然而設計維護成本較高。 Xue等［8］改善了最優(yōu)縫合線檢索的學習機制, 但引入了較高的時間開銷。

為了匹配無人機載圖像拼接的高質量需求,本文提出了一種高精度、 高自然度的圖像精細拼接方法: 首先通過一種射影不變特征子, 為待拼接圖像劃分子平面并進行局部配準; 然后通過網格局部優(yōu)化實現透視改善, 包括基于圖像直線結構的投影失真約束與透視失真約束, 從而最小化并均勻分配形狀結構失真能量, 改善非自然扭曲;最后基于GraphCut 定位最優(yōu)縫合線, 實現無縫融合。 通過定量對比多種圖像拼接算法, 證明本文方法提高了機載圖像拼接精度, 并在改善扭曲失真方面具有良好性能, 為多元地面目標精細提取奠定良好基礎。

1 機載圖像局部精細拼接算法

本文通過圖像線特征劃分重疊區(qū)域子平面［6］,綜合加速魯棒點特征（Speed Up Robust Features,SURF）［9］與 線 分 割 特 征（Line Segment Detector,LSD）［10］構建射影不變特征子品質數（Characteristic Number, CN）［11］, 獲取圖像拼接局部預配準關系。為精細化配準模型, 本文在圖中建立密集網格進行局部配準。 定義目標圖像I與參考圖像I′,I中網格頂點構成向量V=［x1y1x2y2…xnyn］ （V∈R2×n）, 其預配準變換結果為, 則圖中任意點坐標p（x,y）可由四角網格點的雙線性插值表出, 記作τ（p）。 為了最小化變換后圖像I^ 與I′間的差異, 本文以網格控制點作為配準模型稀疏表示, 最優(yōu)化目標函數由匹配精度約束與透視改善約束構成, 形式如下

式（1）中,為匹配精度約束,為透視改善約束。

1.1 匹配精度約束

目標函數中,為與I′間匹配精度約束條件, 形式如下

式（2）中,λq與λl為權重系數, 通過SURF 與LSD 獲取圖像點特征匹配集與線特征匹配集。Eq為點特征匹配精度約束,滿足

在線特征lk上進行等距離點采樣, 得到點集合, 如圖1（a）所示,為lk的單位法向量。 在lk預配準取得的l^k上存在的對應點集合, 則線特征匹配精度約束條件為

式（4） 中,為采樣點與參考圖像中對應線特征的幾何距離［12］, 如圖1（b）所示。為的單位法向量, 約束線特征的直線性, 如圖1（c）所示。

圖1 線匹配精度約束Fig.1 Constraint of line features correspondence accuracy

1.2 線結構透視改善約束

一方面, 視差致使不同圖像的透視消失點在世界坐標系中不一致, 因此拼接后圖像中重疊區(qū)域O與非重疊區(qū)域Z之間的過渡區(qū)域T存在透視關系失真, 在圖像中呈現為局部直線的彎曲變形;另一方面, 在延展單應變換至非重疊區(qū)域Z時,邊緣形狀結構受到射影變換的非線性影響, 存在形狀扭曲情況, 即投影形狀失真。 針對失真問題,本文創(chuàng)新性地研究了透視改善約束, 通過線性結構保留兼顧透視關系一致性與目標結構自然度,提升拼接圖像質量。

式（5）中,λpe與λpr為權重系數,約束非重疊區(qū)域Z的投影失真。 準單應變換（Quasi Homography, QH）［13］證明存在一組對于投影變換具有平行不變性的直線族, 其變換前后的斜率均僅與射影變換參數有關［5］。

圖2 QH 變換Fig.2 Diagram of quasi homography（QH）

式（7）中,和分別為參考圖像中對應直線族和的單位法向量,保持了直線族的直線性,均勻分布v方向的尺度拉伸。

式（7）中,基于共線性射影不變的性質建立。 本 文 通 過 線 段 共 線 評 價 標 準［6］提 取中共線子集, 擬合形成全局直線集。 對跨越O、T、Z的全局直線進行點采樣, 具體形式如下

綜合上述約束條件, 優(yōu)化目標函數得到精確對齊的機載圖像。 為了保留機載圖像邊界的關鍵地物信息, 本文利用GraphCut 算法［14］檢索圖像最優(yōu)縫合線, 并在HSV 色度空間中協調明度、 飽和度均衡性［15］, 進行圖像無縫自然融合。

2 實驗與分析

為評估本文算法應用于機載圖像拼接中的實際效果, 本文利用飛行實驗中光電載荷采集的圖像數據, 對比本文算法與當前先進圖像拼接算法,定量評價算法性能。 實驗所用硬件平臺為PC 機,處理器為i5-10210U, CPU 時鐘頻率為1.6GHz, 主存儲器為12.0G, 軟件平臺為Matlab 與Visual Studio。 實驗通過拼接后圖像均方根誤差（Root Mean Squared Error, RMSE）對比圖像質量, 根據直線結構保留性定量評價準則［6］評估失真扭曲改善效果,并客觀給出算法運行時間。

2.1 圖像質量評估

實驗選用不同飛行高度（500m ～3000m）的真實機載圖像6 組, 如圖3 所示。

圖3 圖像拼接算法評估實驗數據Fig.3 Images for evaluation experiment of stitching method

實驗對比了開源算法中的盡可能投影拼接（As Projective As Possible, APAP）［2］、 形狀保留半投影拼接（Shape Preserve Half Projective, SPHP）［3］和 單視角翹曲（Single Perspective Warps, SPW）［5］三種先進圖像拼接算法。 本文算法所涉及參數中,λq與λl分別設置為1 和5,λpe為50,λpr為100, 線特征長度下限閾值為30, 對照算法所涉及參數均依據原文推薦設置。 拼接后圖像的均方根誤差（RMSE）如表1 所示。

表1 不同機載圖像拼接算法RMSE 對比Table 1 Comparison of RMSE on airborne images by different stitching methods

實驗結果表明, 相比于對照算法, 本文算法在機載圖像拼接實現中引入的誤差更小, RMSE 比APAP 算法平均減小了0.9808, 比SPHP 算法平均減小了0.9857, 比SPW 算法平均減小了0.2290,圖像質量更好。

2.2 透視關系保留能力評估

實驗選擇了8 組視差較大的機載圖像, 根據文獻［6］中給出的直線性定量指標評估透視關系保留情況。 直線性定量指標包括如下3 項:

1）點共線性誤差: 基于拼接圖像中直線上點與擬合直線間最小二乘誤差構成;

2）線對齊誤差: 基于拼接圖像中直線上點與參考圖像間匹配精度誤差構成;

3）直線傾角一致誤差: 基于拼接圖像中直線與參考圖像間斜率變化誤差構成。

實驗結果如圖4 所示。

圖4 直線性定量指標評估Fig.4 Diagram of quantitative evaluation on line property

實驗結果表明, 本文算法在圖像配準變換前后的圖像點共線性水平、 線特征對齊水平方面都呈現出優(yōu)于對照算法的效果。 本文算法的點共線性誤差相比SPW 算法平均減小了41.83%, 線對齊誤差減小了26.33%, 直線傾角一致誤差減小了13.95%。 其中, 本文算法的直線傾角一致誤差略高于APAP 算法, 這是由于APAP 算法完全基于單應變換實現, 因此在直線性保留方面呈現出較好性能。

圖5、 圖6 將不同算法實現的機載圖像拼接結果進行了對比: 在藍色實線框標注的房屋線條、 陰影處, 可以看出相比于APAP 算法與SPHP 算法,SPW 算法和本文算法都緩解了形狀拉伸變形, 減小了投影失真; 在紅色虛線框標注的街道、 樹林處, 可以看出本文算法增加的共線性約束條件減弱了局部偽影。

圖5 不同算法的機載圖像拼接結果對比（陰影、 街道）Fig.5 Comparison of results on different airborne image stitching methods（architectures shadow, road）

圖6 不同算法的機載圖像拼接結果對比（房屋線條、 樹林）Fig.6 Comparison of results on different airborne image stitching methods（architectures edge, bush）

將本文算法對上述6 組圖像運算時間具體列出, 如表2 所示。 實驗前已將圖像尺寸統一調節(jié)至600 ×450, 均為8 位RGB 三通道圖像。

表2 本文算法運行時間Table 2 Operation time for proposed method

3 結論

為了提高無人機載圖像拼接算法性能, 本文提出了一種基于透視改善的局部精細拼接算法,包括預配準、 網格優(yōu)化與無縫融合環(huán)節(jié)。 通過在網格優(yōu)化約束條件中引入特殊直線族和線段共線判別準則, 綜合減小并平衡了透視失真與投影失真。 根據實際機載圖像實驗, 本文方法優(yōu)化了輸出圖像的質量, 減小了圖像中形狀結構的非自然形變, 保留了拼接圖像目標細節(jié)信息, 提升了拼接圖像精細度, 適用于無人機載圖像拼接應用場景。 然而, 本文算法在無縫融合階段的計算效率較低, 后續(xù)將對該階段進行更深層次的優(yōu)化研究,減少時間開銷。