摘 要：海岸無人機航拍圖像拼接時存在特征點分布不均引起拼接結果失真扭曲的問題。針對此問題，提出了一種基于海陸分割的海岸無人機航拍圖像拼接算法。首先，提出了一種基于U-Net的海陸分割改進算法，解決了特征匹配時難以統(tǒng)一調(diào)參的問題。其次，提出了一種基于鄰域的外點去除算法，用于去除特征匹配后的誤匹配點。最后，在網(wǎng)格變換中充分結合海岸圖像的特點，加入了基于海岸線的自然項約束，對圖像的扭曲進行限制。與目前主流的圖像拼接算法相比，所提算法在視覺效果上消除了傳統(tǒng)算法中的重影現(xiàn)象，提高了拼接結果的自然度，并通過定量評價標準的對比分析，驗證了所提算法的卓越性能，為海岸線的研究工作提供了可靠的全景圖像。

關鍵詞：圖像拼接；特征匹配；圖像分割；網(wǎng)格變換；無人機；圖像配準

中圖分類號：TP751.1 文獻標識碼：A 文章編號：2095-1302（2025）04-0-05

0 引 言

海岸區(qū)域作為陸地與海洋的交界處，其提供的寶貴信息在潮灘變化監(jiān)測[1]及近海船舶檢測中具有重要作用。為了獲取海岸區(qū)域的詳細信息，通常使用衛(wèi)星遙感、無人機航拍采集海岸圖像。相比于衛(wèi)星遙感，無人機拍攝可以捕捉到更多細節(jié)[2]。然而，單張航拍圖像只能捕捉到有限的海岸視野，因此需要進行圖像拼接，以獲取廣闊視野的高分辨率海岸全景圖像。圖像拼接過程包括特征提取與匹配、圖像配準和圖像融合[3]。其中，圖像配準是至關重要的一步，如果圖像配準無法準確完成，會導致拼接結果出現(xiàn)失真扭曲等問題。

為了能夠使圖像更好地對齊以提高圖像配準的精度，文獻[4]提出了盡可能投影（as-Projective-as-Possible， APAP）算法，使用移動直接線性變換（Direct Linear Transformation， DLT）實現(xiàn)盡可能接近透視變換的圖像拼接，從而提高圖像拼接的逼真度和連續(xù)性。文獻[5]從特征提取方面入手，通過改進加速穩(wěn)健特征（Speeded up Robust Feature， SURF），提高特征匹配的速度與精度。文獻[6]通過引入光流場來定義圖像像素顏色域的能量代價函數(shù)，實現(xiàn)圖像的無縫拼接。近年來，一些拼接方法更傾向于結合更多的特征聯(lián)合對單應性進行約束。例如基于點線特征單視角扭曲（Single-Perspective Warps， SPW）[7]以及利用點線一致性（Line-Point Consistency， LPC）[8]來保留寬視差的圖像拼接，這些算法利用點線雙特征對圖像的扭曲加以約束，可以應對大多數(shù)傳統(tǒng)的圖像拼接場景。然而，大多算法在進行圖像拼接時，高度依賴于大量均勻分布的特征數(shù)據(jù)。在特定的海岸場景下，面對海陸特征點分布不均等帶來的挑戰(zhàn)，上述算法無法出色地完成海岸圖像的拼接任務。

針對上述問題，本文提出了一種基于海陸分割的海岸無人機航拍圖像拼接算法。考慮到無人機航拍海岸圖像中海陸差異大、特征點分布不均勻的問題，在圖像預處理過程中提出基于U-Net的海陸分割改進算法[9]，將圖像分割成海面與陸地兩部分。將分割后的圖像分別進行特征匹配，解決了海陸差異帶來的特征匹配調(diào)參困難的問題。對于特征匹配后出現(xiàn)的誤匹配點對問題，提出基于鄰域的外點去除算法，通過對該點鄰域內(nèi)匹配點對數(shù)量的分析，進一步提高特征匹配的質(zhì)量。為了提高圖像整體的自然度，引入網(wǎng)格變換，并結合海岸場景的特點提出基于海岸線的自然項，有效解決了圖像扭曲失真的問題。將所提算法進行實驗驗證，并通過定量指標對比，證明了本文所提算法的有效性。

1 海岸圖像拼接算法

為了準確快速地獲取海岸全景圖像，本文使用無人機航拍采集低空高分辨率圖像，結合海岸場景的特點提出了一種基于海陸分割的海岸圖像拼接算法，具體的算法流程如

圖1所示。首先，通過基于U-Net的海陸分割改進算法有效將海洋與陸地進行分割。其次，分別對海洋和陸地進行特征匹配。為了進一步精煉匹配結果，提出基于鄰域的外點去除算法有效剔除誤匹配的特征點。最后，引入網(wǎng)格變換并提出基于海岸線的自然項約束變形，通過計算單應性矩陣將目標圖像進行扭曲融合，完成拼接任務。

1.1 基于U-Net的海陸分割改進算法

對于圖像的預處理，本文需要對輸入圖像進行海陸分割。傳統(tǒng)算法中有許多關于圖像分割的算法，比如分水嶺算法[10]和基于K-means的圖像分割算法[11]等，然而由于海上場景的多變性，它們并不能在海岸場景下出色地完成分割任務。對此，本文提出了一種基于U-Net的海陸分割算法。

U-Net是最流行的卷積神經(jīng)網(wǎng)絡[12]（Convolutional Neural Networks， CNN）之一。U-Net的網(wǎng)絡結構形似一個“U”形，因此得名。本文使用標準的U-Net網(wǎng)絡進行訓練，并在預測輸出后加入了噪點去除模塊，用于去除分割后的噪聲，便于后續(xù)圖像配準?；赨-Net的海陸分割改進算法流程如圖2所示。

首先，輸入圖像通過U-Net網(wǎng)絡進行圖像分割處理，再將得到的分割圖像進行邊緣檢測，找到圖像中每一塊的邊緣。然后進行連通區(qū)域分析，通過分析每一個區(qū)域的大小判斷其是否由噪點引起。最后將噪點區(qū)域進行填充得到修復后的結果。

1.2 特征匹配

在完成海陸分割后，將分割圖像中的海面與陸地的特征點進行分組，然后對兩組特征點分別利用局部單應性矩陣進行特征點初匹配。由于海面部分受到反光等影響會出現(xiàn)誤匹配點，因此，本文提出基于鄰域的外點去除算法。詳細算法過程如下：

（1）對于一組匹配點對{pi， p'i|i=1， 2， ...， n}，遍歷所有的點，計算它們與該點的距離，計算如下所示：

（1）

式中：I、I'分別表示目標圖像與參考圖像，其中p∈I，p'∈I'；dispi， j表示點pi與點pj之間的距離。

（2）每當有一個點滿足式（1）時，點pi的鄰域匹配點數(shù)量加1；

（3）當遍歷完所有的點后，判斷點pi的鄰域中匹配點個數(shù)是否小于閾值n，若小于n，則將該點視為錯誤匹配并刪除；

（4）I、I'中所有的匹配點需完成上述流程。

通過上述算法，能夠篩選出初匹配的特征點，進一步提升特征匹配的準確性。

1.3 網(wǎng)格變換

為了實現(xiàn)良好的對齊和自然度，本文引入網(wǎng)格變換。在完成特征匹配后，為所有圖像構建規(guī)則的網(wǎng)格，并將控制頂點索引為1到m，然后將它們的坐標放入一個2m維度的向量中。設I和I'分別表示目標圖像和參考圖像，對于目標圖像中的頂點表示如下：

（2）

網(wǎng)格變形后（如圖3所示）對應的m個頂點表示如下：

（3）

圖3為網(wǎng)格扭曲變換前后示意圖。圖3（a）表示原始網(wǎng)格頂點和特征點，圖3（b）表示扭曲后的頂點和特征點。對于I中的任意一個點p，都可以使用式（4）的形式表示為雙線性插值：

（4）

插值系數(shù)wi利用式（5）計算：

（5）

假定系數(shù)是固定的，即假設每個網(wǎng)格都經(jīng)過了仿射變換，那么該假設[7]在經(jīng)典的全景場景中是合理的。變換后的對應點p*的雙線性插值可以用式（6）表示：

（6）

引入網(wǎng)格約束的目的在于可以將所有對于點的約束轉化為對于網(wǎng)格頂點的約束。在SPW[7]中，提出了一種基于網(wǎng)格的扭曲，它將對齊、自然度、扭曲等問題視為不同的能量項，然后最小化總能量函數(shù)以獲得所需的單視角扭曲。本文在此基礎上提出了基于海岸線的自然項，針對網(wǎng)格的能量函數(shù)公式見式（7）：

（7）

式中：Es（V）代表SPW中的約束項。本文結合海岸場景提出了基于海岸線的自然約束項Ec（V），來保證拼接結果的自然度，見式（8）：

（8）

式中：I、I'為一組待拼接圖像；海岸線鄰域內(nèi)的匹配點集為（pj， p'j）Ncj=1，其中pj是目標圖像中的特征點，p'j為參考圖像中與之對應的特征點，Nc表示海岸線所在網(wǎng)格中的所有匹配點數(shù)量。本文對于海岸線鄰域的判定為：遍歷每個網(wǎng)格，如果某個網(wǎng)格中存在海岸線區(qū)域，則將該網(wǎng)格定義為海岸線鄰域，并將其中的匹配點添加到海岸線鄰域匹配點集中。

通過上述算法流程，能夠?qū)⒋唇拥暮０秷D像進行精準的特征對齊，保證了圖像配準的準確性。利用網(wǎng)格變換將所有的限制條件轉化為一個線性求解問題，通過求解最小化E（V）得到目標圖像的扭曲結果，最后將扭曲后的目標圖像與參考圖像進行圖像融合得到拼接結果。

2 實驗分析

2.1 實驗準備

本文的實驗環(huán)境為Intel i7 2.3 GHz CPU，內(nèi)存為16 GB，實驗數(shù)據(jù)來源于MOBDrone[13]。從該數(shù)據(jù)集中視頻中篩選出海岸視頻，并對視頻進行抽幀得到海岸無人機航拍待拼接圖像數(shù)據(jù)集。

本章主要對所提算法與主流圖像拼接算法進行測試比較，通過可視化評價和客觀指標評價算法優(yōu)劣。為驗證所提算法的效果，本章通過詳細的測試實驗和對比分析進行了有效性評估。主要在以下兩個方面證明了所提算法的有效性：首先，將本文所提的拼接算法與APAP、SPW和LPC[4， 7-8]進行可視化比較；然后，對拼接結果進行定量評估，將本文所提出的拼接算法與同樣使用網(wǎng)格扭曲的SPW、LPC算法通過客觀評估指標進行比較。

2.2 可視化對比試驗

圖像拼接在可視化方面的評價至關重要，評價主要基于人眼系統(tǒng)的主觀感受，分別從整體和局部細節(jié)兩個方面對圖像拼接后的全景圖進行評估。整體的評價能夠宏觀地展現(xiàn)拼接的整體質(zhì)量，而局部細節(jié)的評價則能夠微觀地揭示拼接結果存在的瑕疵或不足。一般來說，可以根據(jù)以下幾點進行評價：首先，判斷圖像整體是否自然、大小是否正常，有無形變和色彩偏差；其次，觀察重疊區(qū)域是否具有重影現(xiàn)象，像素過渡區(qū)域是否自然；最后，分析圖中的形狀是否變形，邊界是否彎曲等。

本文提出的算法可以對航拍海岸圖像進行拼接，為了使實驗具有參照對象，在提取特征時均使用尺度不變特征（Scale Invariant Feature Transform， SIFT），設置參數(shù)時均將峰值閾值設置為0，邊界閾值設置為500，以此保證所有算法提取的初始特征點一致。

圖4所示為一組待拼接圖像，其中圖4（a）為參考圖像，圖4（b）為目標圖像。圖像拼接的過程就是將參考圖像作為一個模板，將目標圖像進行扭曲變換后與參考圖像進行對齊配準，最終將扭曲變換后的目標圖像與參考圖像進行融合，得到最終的拼接結果，拼接結果如圖5所示。

圖5為不同算法的拼接結果。圖5（a）為使用APAP算法的拼接結果，在圖中可以看出船有很明顯的重影現(xiàn)象，而且在圖像的過渡區(qū)域部分色彩差距較大，過渡不夠平滑。

圖5（b）為使用SPW算法的拼接結果，從圖中可以看出，船的重影現(xiàn)象沒有減弱，且在左下角的區(qū)域有明顯的向內(nèi)扭曲，使得拼接結果整體看起來不夠自然。圖5（c）為使用LPC算法得到的拼接結果，船的重影問題得到了解決，但是在下邊界處出現(xiàn)了明顯的向外扭曲，使圖像邊界結構失真。圖5（d）為使用本文所提算法得到的拼接結果，通過觀察可以看出，由于在圖像配準方面進行了優(yōu)化，使得船的重影現(xiàn)象得到明顯改善，并實現(xiàn)了重疊區(qū)域的平滑過渡。同時，通過針對基于海岸線自然項對圖像的限制，成功解決了邊界處的扭曲失真問題。這表明本文所提算法在海岸圖像場景下相比其他算法能夠更為出色地完成拼接任務。

2.3 定量評估指標

為了進行客觀評價，通常使用一些定量的評估指標。對于定量評價標準，本文選擇均方根誤差（Root Mean Square Error， RMSE）、峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）以及結構相似度（Structural Similarity Index， SSIM）。由于本文引入了網(wǎng)格扭曲，所以與同樣引入了網(wǎng)格扭曲的SPW以及LPC進行對比。

RMSE用于計算待評價圖像與原始圖像之間的差異。對于拼接圖像而言，RMSE值越小，表示圖像質(zhì)量越好；PSNR用于衡量圖像失真程度，PSNR值越大，代表失真程度越小，即圖像質(zhì)量越好；SSIM是一種衡量兩幅圖像相似度的指標，用于評估扭曲后的目標圖像與參考圖像在重疊區(qū)域的相似程度。與RMSE和PSNR不同，SSIM是一種感知模型，更符合人眼的直觀感受。SSIM的取值范圍為0～1，SSIM值越大且越接近1，表示配準變換后的目標圖像與參考圖像的相似度越高，拼接效果越好。實驗結果見表1。

由表1可知，與其他方法相比，使用本文方法得到的拼接圖像均方根誤差明顯降低，因為本文所提算法分別匹配了海面與陸地的特征點，并通過外點去除模塊進一步提升了特征匹配的準確性。同時，峰值信噪比與結構相似度都有不同程度的提升，這是因為本文在網(wǎng)格變換中加入了基于海岸線的自然項，能夠限制圖像不會過度扭曲，使得拼接結果看起來更加自然。

根據(jù)主觀和客觀指標評價，可以看出本文方法的拼接質(zhì)量較高，提高了拼接后圖像的清晰度和融合效果，并很好地解決了扭曲和重影問題。

3 結 語

本文針對海岸圖像的特殊性，提出了一種基于海陸分割的圖像拼接算法，能夠有效地解決由于海陸差異帶來的特征點匹配失誤的問題。首先，本文使用基于U-Net的海陸分割算法將海面與陸地進行分割并分別進行特征匹配。其次，為了進一步去除誤匹配的外點，提出了一種基于鄰域的外點去除算法，有效去除了錯誤的特征匹配點。最后，本文引入基于網(wǎng)格的約束算法，將所有對特征點的限制轉化為了對于網(wǎng)格頂點的限制，并且在此基礎上提出了基于海岸線的自然項，有效解決了失真扭曲等問題。通過將提出算法與一些先進的算法進行可視化對比能夠清晰地看到，不管是在重影去除還是在扭曲、自然度等方面，本文所提算法在海岸圖像拼接場景中都優(yōu)于其他算法。通過定量指標的客觀綜合評估，證明了本文所提算法在抑制失真與扭曲變換方面均優(yōu)于其余算法。

注：本文通訊作者為李世寶。

參考文獻

[1]裘誠，王岳峰，方略任，等.基于無人機技術的潮灘動態(tài)監(jiān)測研究[J].海洋開發(fā)與管理，2022，39（11）：114-120.

[2]理晨，馮磊，暴景陽，等.一種無人機傾斜攝影的海岸線提取方法[J].測繪地理信息，2020，45（5）：165-168.

[3] SZELISKI R. Image alignment and stitching： a tutorial [Z]. 2006.

[4] ZARAGOZA J H， CHIN T J， TRAN Q H， et al. As-Projective-As-Possible image stitching with moving DLT [J]. IEEE transactions on pattern analysis and machine intelligence， 2014： 1285-1298.

[5]夏磊，胡欣宇，岳亞偉，等.基于改進SURF算法的紅外圖像拼接[J].物聯(lián)網(wǎng)技術，2020，10（6）：48-51.

[6]覃江穎，明飛雄，李明.一種基于顏色域的低空無人機圖像拼接算法[J].地理空間信息，2023，21（10）：1-4.

[7] LIAO T， LI N. Single-Perspective warps in natural image stitching [J]. IEEE transactions on image processing， 2020： 724-735.

[8] JIA Q， LI Z， FAN X， et al. Leveraging line-point consistence to preserve structures for wide parallax image stitching [C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville， TN， USA： IEEE， 2021.

[9] RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation [M]// Lecture Notes in Computer Science，Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015. [S.l.]： [s.n.]， 2015： 234-241.

[10]周文一，李林升，陶怡帆，等.基于Gabor濾波與分水嶺算法的鋰電池極片缺陷檢測方法[J].機械設計與研究，2023，39（5）：147-151.

[11]董志民，喬棟，朱守健，等.蜣螂算法優(yōu)化k-means在煤矸石圖像分割的應用[J].山西焦煤科技，2023，47（12）：23-26.

[12]王瑜佳.基于卷積神經(jīng)網(wǎng)絡的圖片風格轉換系統(tǒng)[J].物聯(lián)網(wǎng)技術，2022，12（7）：68-70.

[13] CAFARELLI D， CIAMPI L， VADICAMO L， et al. MOBDrone： a drone video dataset for man overboard rescue [EB/OL]. https： //link.springer.com/chapter/10.1007/978-3-031-06430-2_53/cover.