趙春暉，趙若晨，馮 收

(哈爾濱工程大學 信息與通信工程學院，哈爾濱 150001)

0 引 言

受極地自然環(huán)境的惡劣條件影響，獲取極地數(shù)據(jù)具有較高的作業(yè)難度，這一特點使航空拍攝成為獲取信息的一個重要途徑。通過搭載的光學成像傳感器對地成像是尤為重要的一種形式，其具有成本低、使用靈活、作業(yè)周期短等特點，在軍事和民用領域成為不可替代的測繪手段。在圖像處理方面，通過序列圖像分析對目標三維重建已成為近年來研究的方向之一[1-2]。

圖1 預處理和三維重建階段基本流程圖Fig.1 Basic flow chart for pre-processing and 3D reconstruction

通過序列圖像進行三維重建的方法，主要分為基于光流的三維重建方法、基于機器學習方法和基于特征的運動恢復結構方法[3-7]。其中光流法對變化的光線敏感[8]，而機器學習的方法對數(shù)據(jù)要求較高。因此基于特征的運動恢復結構是目前用于場景三維重建的主流方法。

航拍海冰場景圖像由于視場范圍大，飛行速度快，使得拍攝圖像尺度變化大，相似區(qū)域少；同時由于海冰場景自身成像特點，使得海冰圖像具有很高的相似性。這對場景重建造成了很大的困難，難以應用現(xiàn)有的三維重建方法。

為解決這一問題，本文提出了一種基于海冰場景分類的三維重建方法，利用神經(jīng)網(wǎng)絡自動篩選分類后，分割待重建區(qū)域，最后實現(xiàn)海冰場景三維重建。相比于傳統(tǒng)的重建方法，該方法大幅提高了重建速度，同時降低了重建流程中累積的誤差。通過利用NSIDC格陵蘭島附近海域真實航拍數(shù)據(jù)進行測試，驗證了該方法的優(yōu)越性。

1 本文方法

本文提出的海冰航拍場景的三維重建方法，分為預處理與三維重建兩個階段。預處理階段基本流程見圖1(a)，后續(xù)三維重建流程見圖1(b)。在預處理階段，通過結合海冰自身物理性質(zhì)及特征分布特點，制定了一種分類標準，將全部海冰數(shù)據(jù)分為5類來訓練一個VGG[9]分類模型，以實現(xiàn)可自動篩選可重建的海冰圖像這一目的。在得到同一類序列圖像后，將待處理圖像進行8鄰域填充算法分割，得到候選重建區(qū)域。

在三維重建階段，采用主流的基于特征的SFM[10](Structure from motion，運動恢復結構)方法，首先通過對預處理獲取的候選重建區(qū)域圖像依次提取SIFT[11]特征并進行兩兩匹配，在匹配后利用RANSAC[12](Random Sample Consensus，隨機抽樣一致)以獲得匹配的內(nèi)點集，之后經(jīng)BA[13](Bundle Adjustment，光束平差)平差后得到這組圖像的相對位姿和相機參數(shù)，最后通過PMVS[14](Patch-based MVS，基于面片的三維多視角立體視覺算法)算法，利用多視匹配原理得到可利用的稠密點云數(shù)據(jù)，從而完整實現(xiàn)海冰場景的三維重建。

2 海冰場景航拍圖像的分類與篩選

通過SFM進行三維重建的第一步，是找到合適的一組序列圖像。這一組圖像數(shù)據(jù)需在保證隸屬于同一海冰場景的同時具有一定重合區(qū)域，從而得到圖像的匹配特征對。而海冰場場景航拍圖像受限于極地環(huán)境及自身物理屬性的影響，重合區(qū)域的圖像相似度較高，給人工篩選帶來了較高的難度，本文結合特征點分布特性，綜合海冰物理特性，將總體海冰數(shù)據(jù)分為5大類，通過訓練并測試幾種分類神經(jīng)網(wǎng)絡模型，最終選定VGG模型用做海冰的篩選分類。

2.1 海冰自身特性及場景分類依據(jù)

海冰分類方式依照研究問題的不同有多種分類方法，常見的有依其發(fā)展階段分類、運動狀態(tài)分類等。這里結合海冰的發(fā)展過程及SIFT特征分布情況，將其分為：厚冰(a)、薄冰(b)、混合冰(c)、陸生冰(d)、海水(e)5大類，這5類不同種類的海冰圖像見圖2。

2.2 海冰場景分類方法

在光學圖像場景分類任務上，基于VGG及其改進型模型表現(xiàn)出了極高的準確度。VGG網(wǎng)絡模型是由牛津大學視覺小組于2014年提出，相比于傳統(tǒng)卷積神經(jīng)網(wǎng)絡模型，它具有小卷積核、小池化核、特征圖寬的特點。在海冰航拍圖像分類任務上，由于數(shù)據(jù)量較大，小運算核可以在保證參數(shù)量基本持平的情況下降低卷積計算量。同時較寬的特征圖也保證了特征的豐富性。VGG網(wǎng)絡結構模型見圖3。

由圖3可見，輸入為下采樣后224×224×3的RGB海冰圖像，卷積層步長(Stride)及卷積核的填充(Padding)均設為1像素。白色部分為有修正單元的卷積層；紅色部分為池化層，采用最大池化(Max Pooling)；藍色部分為具有修正單元的全連接層(Fully Connected Layer)。最后的橙色部分為Soft Max邏輯回歸函數(shù)，以實現(xiàn)多分類的目的。其中修正單元為非線性修正激活函數(shù)ReLU，函數(shù)見圖4，函數(shù)表達式為：

(1)

圖4 ReLU激活函數(shù)Fig.4 Activation function ReLU

3 候選重建區(qū)域的分割

通過對篩選歸類后的海冰場景依次進行特征提取，發(fā)現(xiàn)針對于本文所使用的數(shù)據(jù)集，可靠特征點的分布呈現(xiàn)連通域稀疏的特性，而不利于三維重建的離群特征點也多分布于短連通域中。幾種典型的場景特征分布情況見圖5。因此，若能在三維重建的預處理過程中，剔除短連通域，可以降低后續(xù)去除離群點時的計算量，從而保證在不影響重建準確性的情況下，提升后續(xù)降噪過程的效果。

圖5 幾類海冰場景特征分布Fig.5 Features distribution of sea-ice scenes

圖6 8鄰域填充過程Fig.6 Eight neighborhood filling’s process

針對這一問題，本文采用了基于8鄰域填充算法的圖像分割，以去除海冰圖像數(shù)據(jù)集的短連通域。通過查找目標像素點的上，下，左，右，左上，左下，右上，右下8個臨近像素點，是否被填充，若已被填充則填充它們，并且繼續(xù)尋找它們的8鄰域像素，直到封閉區(qū)域完全被填充為止。填充過程見圖6。

設目標像素點的坐標為p(x,y)，則遞歸填充過程可表示為：

N4(p)=∪ (x,y+1),(x,y-1),(x-1,y),(x+1,y)

(2)

N8=N4∪ (x+1,y+1),(x+1,y-1),(x-1,y+1),(x-1,y-1)

(3)

其中，式(2)為4鄰域填充，目標像素點p的上下左右填充過程，式(3)為在4鄰域基礎上的8方向填充過程。

4 海冰場景的三維重建

海冰三維場景重建的根本任務是求解空間中點間的相對位姿關系。其核心步驟是通過求解二維圖像中特定點間的關系，建立匹配的特征點對。由于二維特征點空間關系與其對應三維點相對位姿間存在非線性映射。如何提取每幅二維圖像中的特征點是重建過程的重要工序。在SFM流程中，進行到特征提取這一步時，現(xiàn)階段最常用且成熟的方法是提取待處理圖像的SIFT特征。

4.1 SIFT特征提取與匹配

SIFT(Scale Invariant Feature Transform)即尺度不變特征變換，由加拿大學者David G.Lowe 2004年提出。該算法通過對所有尺度空間上的圖像進行高斯微分以形成一個尺度連續(xù)變化的高斯差分空間。在檢測到尺度空間中極值點后，生成極值點的128維特征描述子。通過對描述子的匹配以實現(xiàn)特征點的匹配。匹配過程采用K-D樹最近鄰域搜索算法[15-16]，通過迭代比較與目標匹配點歐式距離最近兩點，小于閾值的點即視為可接受匹配點。同樣，閾值設置過高會導致誤匹配點增加；過低會使匹配點數(shù)減少，使后續(xù)的重建過程由于匹配對數(shù)量過少而無法進行。

經(jīng)多類不同海冰數(shù)據(jù)匹配結果驗證，設置參數(shù)param_p3p_inlier_ratio_min 0.4即閾值為0.4時可獲得較好的特征匹配結果。

4.2 離群點的去除

受限于三維重建工作的長流程特性，每一子環(huán)節(jié)累積的誤差是不可避免的。由于所選取的特征提取與匹配的方法存在目標特異性，上一步得到的粗匹配結果必然存在較多的誤匹配特征對。對于海冰場景圖像，離群點問題較為顯著，幾種典型的離群點誤匹配結果見圖7。為了獲得更穩(wěn)定可靠的內(nèi)點集，在此流程本文采用了RANSAC算法來自動去除誤匹配點，結果表明，針對海冰場景圖像，該方法可有效去除離群點，提高匹配效果。詳細參數(shù)設置見表1。

圖7 海冰圖像特征點外點集Fig.7 Exterior feature points of sea ice image

4.3 海冰場景的稀疏重建

在建立稀疏點云過程中，最后一步是解決區(qū)域平差問題。通過前面一系列工作得到的二維點間的相對關系，對空間中同一點而言，從每個對應的相機光心發(fā)射并經(jīng)過圖像中該點對應的像素的光線，都將交匯于這一點。全部的三維空間點形成大量的光束(bundle)，由于實際應用中存在噪聲等問題，每條光線不可能匯聚于一點，因此在求解過程中需不斷對信息進行調(diào)整(adjustment)，使最終光線能交匯于同一點來得到更準確的空間點位姿。為了解決這一問題，本文采用結合Levenberg-Marquardt(簡稱LM)的稀疏光束平差法(Sparse Bundle Adjustment,簡稱SBA)[17]。對于m幅序列圖像中存在n個具有多相機成像的點進行光束平差的目標函數(shù)可表示為：

表1 RANSAC算法詳細參數(shù)Table 1 Detailed parameters of RANSAC

(4)

式中，xij為n個空間點中第i個點投影到m幅圖像上存在對應成像點時的第j幅圖像；aj為圖像的投影矩陣；bi為空間點；Q(aj,bi)為第i個空間點到第j幅圖像的投影函數(shù)；d(x,y)為觀測點和估計點的歐式距離。

將式(4)中的向量am，bn，xmn歸一化并整合為兩個單一向量，可得參數(shù)向量P及觀測向量X：

(5)

(6)

X=f(P)

(7)

(8)

為求解上述提到的最小二乘問題，這里采用了LM算法。設J為式(7)的雅可比矩陣，δ為最佳參數(shù)的迭代步長，由于投影矩陣互不相關，必然存在一個具有更快迭代速度的稀疏結構式:

JT∑x-1Jδ=JT∑x-1ε

(9)

這一稀疏性特征提高了迭代運算的速度并在這一步獲得更可靠的三維空間內(nèi)點的坐標及相機參數(shù)。

4.4 海冰場景的稠密重建

經(jīng)過上述一系列重建工作后，得到的是一組稀疏的點云數(shù)據(jù)。這并不利于觀察重建效果，也很難滿足實際應用的需要。為了更加直觀地恢復海冰場景的三維結構，還需要進行稠密重建。

圖8 PMVS基本流程圖Fig.8 Basic flow chart for PMVS

近年來基于多視圖的稠密重建(Multi-View Stereo，簡稱MVS)在三維重建任務上取得了良好的效果。本文采用了Furukawa等人提出的PMVS算法，相比于更魯棒的SIFT特征，PMVS在初始化特征匹配的過程中，使用高斯差分金字塔和Harris角點特征代替這一過程。在獲得更多特征點的同時，使用極線幾何約束生成種子點。結合稀疏重建過程獲取的魯棒性較高的相機參數(shù)，并以種子點為中心向鄰域進行擴散從而得到稠密的點云數(shù)據(jù)。

最后，利用以稀疏重建時得到的第一個相機坐標為世界坐標系，建立稠密點云和世界坐標系間的位姿關系，其后用離散的稠密點云數(shù)據(jù)生成三角網(wǎng)表面模型，得到目標海冰場景的三維模型。PMVS流程見圖8。

5 實驗結果與分析

本文實驗數(shù)據(jù)來源為NISDIC航拍海冰場景光學圖像數(shù)據(jù)，數(shù)據(jù)詳細信息見表2。

實驗主要分為：①驗證所制定的分類標準，及在此標準下海冰場景航拍圖像分類篩選方案的準確性；②分析海冰場景SIFT特征分布情況及分割后區(qū)域的三維重建。通過對真實數(shù)據(jù)使用上述完整過程進行仿真，驗證三維重建效果。

5.1 海冰場景分類篩選

選用了VGG網(wǎng)絡模型及其衍生的VGG-16，VGG-19共3種模型進行對比實驗。筆者從總體數(shù)據(jù)集中，將每類海冰場景分為若干子場景，對一個特定的子場景，抽取一定數(shù)量的連續(xù)時間拍攝的序列圖像。這些圖像要盡量保證時間上的連續(xù)性，以減少光照條件變化對實驗結果造成的干擾。

在此條件下，共選取每類500張，5類共計2 500張航拍海冰圖像作為訓練集；不同于這2 500張的，另外選取每類100張，5類共500張作為測試集。

測試3種不同的網(wǎng)絡模型，更改相關參數(shù)并比較分類效果，結果見表3。

表2 數(shù)據(jù)源詳細參數(shù)Table 2 Detailed parameters of data

表3 分類篩選實驗參數(shù)和結果Table 3 Parameters and result of classification

由表3可見，在分類篩選的過程中，選用VGG模型在合理的參數(shù)設置下，可以取得較好的圖像分類結果。同樣，為了便于后續(xù)的三維重建工作，結合海冰特征分布的特點，所選取的分類方案達到了整體精度90.4%的成績。驗證了所指定海冰場景航拍圖像分類標準并以場景類別作后續(xù)工作約束的可行性。

5.2 場景重建過程特征點的處理

上述過程已經(jīng)得到了歸類好的序列圖像，通過依次對一子類序列圖像進行SIFT特征提取和匹配可以發(fā)現(xiàn)匹配點數(shù)量決定了該場景是否可以進行三維重建，不同場景部分粗匹配過程結果見圖9。

通過上述實驗，可直觀的得到結論，相比于其他3類場景，混合冰和陸生冰場具有更多的匹配特征對。在多級降噪后，三維重建的結果更具可靠性。

圖9 部分場景粗匹配結果Fig.9 Sample rough matching result of scenes

傳統(tǒng)的特征提取和匹配過程，存在大量的冗余計算。由于SIFT特征要對整幅圖像進行特征提取，而三維重建工作前期需將大量的序列圖像兩兩匹配，以獲取相機位姿等參數(shù)。

圖10 圖像分割后結果Fig.10 Result of image segmentation

這里結合海冰的成像特點和任務目標需求，在特征提取前將海冰光學圖像通過8鄰域填充法進行分割，以陸生冰場景為例分割后的結果見圖10。原始圖像使用RANSAC算法去除誤匹配后的結果和分割后去除誤匹配的結果見圖11。

匹配結果表明，在特定海冰場景三維重建任務特征匹配步驟上，使用圖像分割算法可以降低由RANSAC算法固定參數(shù)設置帶來的局限性。

5.3 海冰場景三維重建

經(jīng)過以上幾步后，最后將各子步驟整合為一個完整的流程。

選取兩組不同場景的海冰航拍圖像作為重建數(shù)據(jù)來源，以其對應的機載激光雷達數(shù)據(jù)為真值。以在前步工序中表現(xiàn)良好的陸生冰和混合冰為例，重建后的結果見圖12和圖13。

圖12(a)為陸生冰航拍圖像，(b)為重建的稀疏點云，(c)和(d)分別為稠密重建后生成的三角網(wǎng)表面模型。

圖13(a)為混合冰航拍圖像，(b)為重建的稀疏點云，(c)和(d)為生成的表面模型。

為了驗證所生成模型的準確性，本文使用了同一架次飛行任務上同一海冰場景的激光雷達數(shù)據(jù)作為真實值。由于SFM算法得到的模型沒有絕對的尺度關系，所得模型為相對模型，而場景邊界范圍很難界定，同時真實數(shù)據(jù)為激光雷達傳感器采集的密集點云數(shù)據(jù)。所以，這里采用了將三維點云數(shù)據(jù)二維化的方法，把兩組點云數(shù)據(jù)轉(zhuǎn)化為散點圖，通過比較兩幅圖像的相似度，以結構相似性作為評價重建精度的指標，航拍圖像和與其對應激光雷達信息所生成散點圖間關系見圖14。選取3組不同場景，進行重建，實驗所得結果見表4。

圖11 去除誤匹配后結果Fig.11 Removal of mismatched features

圖12 三維重建結果Fig.12 Result of 3D reconstruction

圖13 三維重建結果Fig.13 Result of 3D reconstruction

圖14 三維重建結果Fig.14 Result of 3D reconstruction

表4 三維重建結果Table 4 Result of 3D reconstruction

6 結 論

本文設計了一種基于海冰場景圖像分類的三維重建方法。相比于傳統(tǒng)方法，該方法通過先分類后分割的預處理思想，大幅提高篩選圖像序列時的準確性，減少三維重建前的準備工作。同時，在三維重建的流程中，通過分割重建區(qū)域的方法有效去除了離群點，改善了重建流程中篩選匹配特征的效果，降低了各子流程中的累積誤差，提高了重建的精度。通過真實的航拍海冰數(shù)據(jù)仿真實驗對所提方法的精度進行了驗證，實驗結果表明，自動分類的海冰數(shù)據(jù)是可靠的，可用于后續(xù)的三維重建工作，且運動恢復結構方法不僅可用在小場景范圍，也可在特定情況下應用于極地遙感測繪領域。