趙 金

（鄭州科技學(xué)院，河南 鄭州 450000）

0 引 言

艦船圖像三維重構(gòu)時，過于依賴艦船表面的紋理信息[1]，當(dāng)艦船表面過于光滑時，目標(biāo)重構(gòu)結(jié)果[2-3]容易存在數(shù)據(jù)空洞。目前已有眾多研究學(xué)者，針對目標(biāo)三維重構(gòu)進行研究[4]。莊蘇鋒等[5]采用水下雙目立體視覺相機采集艦船目標(biāo)，在匹配采集圖像目標(biāo)特征的基礎(chǔ)上實現(xiàn)了目標(biāo)三維重構(gòu)。石磊等[6]依據(jù)圖像中目標(biāo)的幾何信息和光度信息，選取稀疏度自適應(yīng)方法，對圖像像素點分類，利用變分模型對圖像去噪，選取稀疏度正交匹配算法實現(xiàn)三維重構(gòu)。以上方法雖然可以實現(xiàn)目標(biāo)三維重構(gòu)，重構(gòu)時間較短，但是艦船航行環(huán)境背景復(fù)雜，采集艦船圖像時，極易成為弱、暗目標(biāo)，無法獲取艦船目標(biāo)的深度信息。存在三維重構(gòu)結(jié)果丟失過多細節(jié)的情況，重構(gòu)結(jié)果分辨率不理想。

為了獲取最佳的艦船圖像三維重構(gòu)結(jié)果，結(jié)合雙目視覺相機采集的艦船可見光圖像與艦船紅外遙感圖像，設(shè)計艦船圖像三維重構(gòu)方法。

1 紅外遙感艦船圖像三維重構(gòu)

1.1 可見光圖像與紅外遙感圖像的點云融合

根據(jù)上述過程獲取的可見光圖像提供了豐富的顏色和紋理信息，能夠幫助識別和分類目標(biāo)。而紅外遙感圖像[7]則能夠探測艦船的熱量輻射，提供了艦船的熱紅外特征，可幫助識別隱蔽或遮擋的目標(biāo)。因此，將雙目視覺相機采集的艦船可見光圖像與艦船紅外遙感圖像的點云信息融合處理，即將點云融合問題，視為將紅外遙感圖像的點云數(shù)據(jù)，通過像素坐標(biāo)系和世界坐標(biāo)系的相關(guān)轉(zhuǎn)換實現(xiàn)點云數(shù)據(jù)融合。

用P1與P2分別表示雙目特征點的稀疏點云以及紅外遙感圖像的點云信息，二者分別位于世界坐標(biāo)系以及圖像像素坐標(biāo)系。相同像素點在不同坐標(biāo)系內(nèi)，其坐標(biāo)值不同。用分別表示艦船特征點在像素坐標(biāo)系O1-xyz以及世界坐標(biāo)系Ow-XYZ的坐標(biāo)值，轉(zhuǎn)換像素坐標(biāo)系與世界坐標(biāo)系的表達式如下：

式中，k為尺度縮放因子，R為旋轉(zhuǎn)矩陣，T為平移系數(shù)，(X,Y,Z)表示雙目視覺空間中艦船的一點在世界坐標(biāo)下的齊次坐標(biāo)。

紅外遙感艦船圖像的像素坐標(biāo)系與雙目視覺攝像機坐標(biāo)系內(nèi)，不存在旋轉(zhuǎn)關(guān)系，取R值為0。轉(zhuǎn)換如下：

平移變換紅外遙感像素坐標(biāo)下的艦船點云數(shù)據(jù)[8]，移動至坐標(biāo)原點坐標(biāo)系。利用最小二乘法，求解艦船Z方向的尺度轉(zhuǎn)換參數(shù)。

雙目視覺相機在艦船圖像采集過程中，主像素點位置與理論位置存在一定差異，因此設(shè)置平移參數(shù)糾正誤差。艦船紅外遙感圖像坐標(biāo)系與雙目視覺坐標(biāo)系，在X軸與Y軸的平移參數(shù)表達式如下：

式中，(u'0,v'0)表示通過立體標(biāo)定獲取艦船的真實值，dx與dy分別表示雙目相機像元在X軸與Y軸的尺寸。

通過相機標(biāo)定獲取X軸與Y軸的焦距值fx與fy。艦船像素點在Z軸的平移參數(shù)表達式如下：

綜合式（3）與式（4），獲取紅外遙感圖像的像素坐標(biāo)系與雙目視覺相機坐標(biāo)系之間的平移參數(shù)T。

選取最小二乘法，獲取滿足轉(zhuǎn)化誤差最小目標(biāo)的不同坐標(biāo)下的尺度轉(zhuǎn)換因子k，得到最終的可見光圖像與紅外遙感圖像的點云融合表達式如下：

式中，N為特征點數(shù)量。

1.2 艦船圖像特征點提取與匹配

為獲取艦船圖像三維重構(gòu)的最佳匹配效果，結(jié)合艦船目標(biāo)的點狀特征與區(qū)域特征，選取艦船目標(biāo)的質(zhì)心、質(zhì)心區(qū)域灰度以及艦船區(qū)域面積，作為艦船圖像的特征基元。通過艦船圖像中的連通域集合中心，獲取艦船目標(biāo)質(zhì)心的幾何中心坐標(biāo)：

式中，(xi,yi) 與(xo,yo)分別表示相同連通域的像素點坐標(biāo)以及幾何中心坐標(biāo)。

計算各連通域內(nèi)元素灰度之差，獲取艦船質(zhì)心區(qū)域的平均灰度表達式如下：

式中，d()表示相同連通域內(nèi)的像素點灰度值。艦船質(zhì)心區(qū)域的平均灰度D可反映艦船的整體亮度和顏色特征。艦船通常具有明顯的亮度差異與背景相比，因此利用艦船質(zhì)心區(qū)域的平均灰度可將其作為一個代表性特征點。

利用半全局匹配算法，對所提取的艦船圖像特征點D進行匹配。艦船圖像灰度值的絕對偏差容易受環(huán)境影響，半全局匹配算法利用改進的匹配代價函數(shù)進行匹配，并計算兩幅圖像的互信息值，令匹配結(jié)果更加精準(zhǔn)。

艦船圖像互信息的計算公式如下:

式中，EL與ER分別為左圖像與右圖像直方圖的熵，ELR為聯(lián)合分布直方圖的熵。

艦船特征點匹配時，對不同方向設(shè)置順序性約束，得到艦船圖像特征點匹配結(jié)果為：

式中，G表示艦船圖像特征點匹配結(jié)果，e(x,y,z)表示艦船圖像的像素點匹配誤差，l表示像素點距離。

1.3 基于三角化曲面的艦船圖像三維重構(gòu)

在特征點匹配過程中，由于艦船圖像本身的特性、遮擋等因素導(dǎo)致部分特征點缺失或重復(fù)。使用三角化曲面算法在缺失或重復(fù)特征點的區(qū)域進行插值或去除操作，優(yōu)化艦船圖像三維重構(gòu)質(zhì)量。因此，依據(jù)艦船圖像特征點匹配結(jié)果，采用三角化曲面算法，通過像素點的延伸，連接網(wǎng)格中滿足拓撲正確性和幾何正確性的點，實現(xiàn)艦船圖像三維重構(gòu)。具體重構(gòu)過程如下：

1）對于艦船圖像像素點p=1-G，設(shè)置固定的半徑，利用KD 樹算法，搜索該像素點在圖像空間內(nèi)的k鄰域。

2）將該像素點領(lǐng)域內(nèi)的點，投影至像素點p的曲面切平面。

3）將所獲取的投影點，利用可見性修剪方法修剪處理，將投影結(jié)果連接至p點至相鄰點內(nèi)，組成1 個三角形。

重復(fù)以上過程，直至完成艦船點云內(nèi)全部點的遍歷。完成遍歷后，連接不同點之間的線，所獲取的三角化結(jié)果，即最終的艦船三維重構(gòu)的網(wǎng)格化模型。以所構(gòu)建的網(wǎng)格化模型為基礎(chǔ)，依據(jù)可見光圖像，為網(wǎng)格化模型進行紋理信息的貼圖處理。完成網(wǎng)格化模型的紋理貼圖后，即可獲取最終艦船三維重構(gòu)結(jié)果。

2 實驗分析

為驗證所研究的艦船三維重構(gòu)方法的重構(gòu)性能，選取某艦船作為研究對象。

2.1 實驗設(shè)置

以目標(biāo)艦船為測試對象進行實驗，實驗步驟如下：

1）相機標(biāo)定。使用標(biāo)定板和角度測量儀標(biāo)定Stereolab 公司的ZED 雙目立體視覺相機和FLIR 船載熱像儀M400XR，獲取其內(nèi)外參數(shù)。

2）圖像采集。分別利用Stereolab 公司的ZED 雙目立體視覺相機和FLIR 船載熱像儀M400XR，采集目標(biāo)艦船的可見光圖像與紅外遙感圖像。其中，選取ZED 雙目立體相機采集艦船的可見光圖像。艦船可見光圖像采集結(jié)果如圖1 所示。采用FLIR 船載熱像儀M400XR 采集艦船的紅外遙感圖像，采集結(jié)果如圖2 所示。

圖1 可見光圖像采集結(jié)果Fig. 1 Visible light image acquisition results

圖2 艦船紅外遙感圖像采集結(jié)果Fig. 2 Acquisition results of ship infrared remote sensing images

通過圖1、圖2 實驗結(jié)果可看出，采用雙目視覺相機采集的艦船可見光圖像，與艦船紅外遙感圖像，分別可體現(xiàn)艦船目標(biāo)的不同細節(jié)。依據(jù)不同類型圖像中包含的豐富圖像細節(jié)，令艦船三維重構(gòu)結(jié)果更加豐富，避免艦船三維重構(gòu)結(jié)果出現(xiàn)空洞情況。

3）圖像預(yù)處理。使用OpenCV 圖像處理軟件進行圖像去噪、校正和對齊等預(yù)處理操作。

4）特征點提取和匹配。在預(yù)處理后的圖像上提取特征點，并通過半全局匹配算法匹配艦船圖像特征點。

5）三維重建?；谌腔娣椒▽崿F(xiàn)艦船圖像三維重構(gòu)。

6）重建結(jié)果分析和可視化。使用Matlab 軟件對重建結(jié)果進行分析和可視化，評估重建效果和準(zhǔn)確性。

2.2 結(jié)果分析

采用本文方法從艦船圖像中提取特征點，統(tǒng)計艦船特征點匹配結(jié)果的三維坐標(biāo)，驗證本文方法的特征匹配性能，統(tǒng)計結(jié)果如表1 所示。

表1 特征點三維坐標(biāo)匹配結(jié)果Tab. 1 Results of three-dimensional coordinate matching of feature points

可看出，采用本文方法可實現(xiàn)所提取特征點的精準(zhǔn)匹配。本文方法從艦船可見光圖像與艦船紅外遙感圖像的融合結(jié)果中，提取艦船目標(biāo)特征，并進行特征點的匹配，2 幅圖像的特征點吻合度極高，驗證本文方法的匹配性能。

采用本文方法對艦船三維網(wǎng)格化結(jié)果進行貼圖處理，獲取最終的艦船三維重構(gòu)結(jié)果，如圖3 所示。

圖3 艦船三維重構(gòu)結(jié)果Fig. 3 Results of ship 3D reconstruction

由圖3 可看出，采用本文方法有效利用雙目視覺相機采集的可見光圖像，與紅外遙感圖像結(jié)合，實現(xiàn)艦船的三維重構(gòu)。進一步分析圖3 的艦船三維重構(gòu)結(jié)果可知，重構(gòu)結(jié)果未出現(xiàn)細節(jié)丟失或空洞情況，豐富度較高，分辨率高，基本可體現(xiàn)艦船圖像中的全部內(nèi)容。

3 結(jié) 語

結(jié)合雙目視覺相機采集的艦船可見光圖像與紅外遙感艦船圖像，進行艦船圖像的三維重構(gòu)。通過可見光圖像與紅外遙感圖像的融合，在艦船目標(biāo)紋理信息較少時，仍可獲取理想的三維重構(gòu)結(jié)果。實驗結(jié)果驗證，該方法有效改善缺少目標(biāo)紋理，導(dǎo)致重構(gòu)結(jié)果中存在大量空洞的問題，獲取高分辨率的艦船三維重構(gòu)結(jié)果。