摘 要：本文將視頻拼接技術(shù)應(yīng)用于近岸測(cè)深，將2架無人機(jī)捕獲的2個(gè)視頻作為輸入，采用統(tǒng)一的視頻拼接和防抖優(yōu)化，以獲得最佳的視頻拼接效果，同時(shí)采用基于線性關(guān)系的時(shí)間互相關(guān)分析方法，對(duì)獲取的全景視頻估算水深。在計(jì)算中，首先從全景視頻中選擇感興趣區(qū)域（ROI）并進(jìn)行正射校正變換，以提取時(shí)間堆棧圖像。其次對(duì)信號(hào)進(jìn)行濾波，以消除噪聲。最后將該方法應(yīng)用于2架無人機(jī)，以獲得更寬的視場(chǎng)角，擴(kuò)大測(cè)量區(qū)域，為測(cè)深算法提供有效的視頻輸入數(shù)據(jù)。

關(guān)鍵詞：無人機(jī)；視頻拼接；進(jìn)岸測(cè)深

中圖分類號(hào)：P 642" " " " " " " " 文獻(xiàn)標(biāo)志碼：A

水深是直接反映近岸地形的關(guān)鍵參數(shù)，然而在波浪運(yùn)動(dòng)、極端天氣和人類活動(dòng)的影響下，近岸地形會(huì)經(jīng)常發(fā)生變化[1]，使海/水岸帶管理面臨較大挑戰(zhàn)，因此需要及時(shí)測(cè)量近岸水深，并亟需一種能應(yīng)用于實(shí)際工作的準(zhǔn)確、便捷的測(cè)深方法[2]。傳統(tǒng)的水深測(cè)量方法主要利用浮標(biāo)、聲納等設(shè)備，操作受限、成本較高，在復(fù)雜水域環(huán)境下測(cè)量精度不足[3-4]。隨著無人機(jī)技術(shù)的普及，應(yīng)用雙無人機(jī)系統(tǒng)可以同時(shí)獲取水體表面和底部的信息，從而為水深測(cè)量提供更全面、立體的數(shù)據(jù)源。這種整合視覺信息的方法有望克服傳統(tǒng)方法的局限性，對(duì)水深進(jìn)行高精度測(cè)量。本文通過2架無人機(jī)的應(yīng)用案例證明了可以使用視頻拼接和波速反演算法從全景視頻中估計(jì)水深。

1 應(yīng)用案例的視頻處理

1.1 視頻采集方案

視頻采集位置是一個(gè)面向西太平洋的沙質(zhì)海岸。該地區(qū)在長(zhǎng)岸方向上有約5km的海灘海岸線，在跨岸方向有一個(gè)顯著的地平線，可以觀察海浪。涌入的海浪傳播方向與海岸線間的夾角幾乎為0。該地點(diǎn)的波浪具有清晰的波峰線和理想的振幅。因此本文選擇該海灣作為圖像采集地點(diǎn)，并獲取1月—5月的該地點(diǎn)不同條件下淺水深區(qū)的無人機(jī)視頻。使用配有24mm焦距普通廣角鏡頭的無人機(jī)，將像素分辨率調(diào)整為FHD（1920 ppi×1080 ppi）。由于需要連續(xù)視頻，因此將捕獲視頻的幀速率設(shè)置為30f/s。為了更好地利用視頻并實(shí)現(xiàn)深度多點(diǎn)反演過程，無人機(jī)應(yīng)部署得盡可能高，并確保無人機(jī)不超過安全可控的高度，因此將無人機(jī)懸停在60m～120m的高度，視頻時(shí)長(zhǎng)為4min～15min。

1.2 視頻拼接和穩(wěn)定

在固定視角下，無人機(jī)拍攝的測(cè)深視頻通常受攝像機(jī)視場(chǎng)（FOV）的限制[5]。拼接視頻是增加攝像機(jī)水平視場(chǎng)的一種方法，適當(dāng)增加另一個(gè)攝像機(jī)可以減少第一個(gè)攝像機(jī)偏置的影響[6]。為了穩(wěn)定輸入視頻，將視頻在空間上劃分為網(wǎng)格。在原始視頻中的相鄰幀間估計(jì)單個(gè)單應(yīng)性Fi（t），其中i代表幀t處的網(wǎng)格，它是通過相鄰幀間的跟蹤特征來估計(jì)的，相機(jī)路徑可以定義為一系列連續(xù)單應(yīng)性的乘法，如公式（1）所示。

Ci（t）=Fi（t）·Fi（t-1）…Fi（1），1≤t≤T，1≤i≤m2 （1）

式中：T為視頻文件中的幀數(shù)；m2為m×m網(wǎng)格的大小。

網(wǎng)格的局部變化通?？梢愿玫厝〉闷唇有Ч?。相機(jī)路徑可由KLT跟蹤來計(jì)算特征軌跡。給定原始路徑C={C（t）}，優(yōu)化路徑為P={P（t）}，特征軌跡如公式（2）所示。

（2）

式中：Ωt為第t幀的鄰域；數(shù)據(jù)項(xiàng)||Pi（t）?Ci（t）||2強(qiáng)制優(yōu)化路徑接近原始路徑、||Pi（t）?Pr（t）||2主要穩(wěn)定優(yōu)化路徑；λ和ωt，r均為權(quán)重系數(shù)，平衡上述2項(xiàng)，根據(jù)經(jīng)驗(yàn)，將λ設(shè)置為5。

通過2個(gè)高斯函數(shù)計(jì)算ωt，r，如公式（3）所示。

ωt，r=G（||r-t||）·G（||Ci（r）-Ci（t）||） （3）

如果所有網(wǎng)格都參與路徑優(yōu)化，則公式（3）轉(zhuǎn)化為公式（4）。

（4）

式中：P={Pi|1≤i≤m2}；j∈N（i）為網(wǎng)格j是網(wǎng)格單元i的鄰網(wǎng)格；Estable為穩(wěn)定性能量函數(shù)，它的作用是通過優(yōu)化過程中的能量項(xiàng)來確保系統(tǒng)的穩(wěn)定性。

視頻拼接是為了創(chuàng)建更寬的FOV，假設(shè)P A和P B分別是視頻A和視頻B生成的優(yōu)化路徑，H是用于拼接2個(gè)視頻的單個(gè)單應(yīng)性。對(duì)于拼接過程，公式（5）、公式（6）的優(yōu)化算法可以同時(shí)實(shí)現(xiàn)拼接和穩(wěn)定。

E（PA，PB，H）=Estable（PA）+Estable（PB）+β·Estitch（PA，PB，H） （5）

（6）

式中：vkA（t）和vkB（t）分別為在視頻A和視頻B的t幀處，通過傅里葉變換計(jì)算的第k個(gè)特征點(diǎn)；i和j分別為特征點(diǎn)vkA（t）和vkB（t）所在的網(wǎng)格；Estitch（P A，P B，H）為使用傅里葉變換來拼接幀。

基于上述原則，本文規(guī)劃了2條飛行路線，并根據(jù)相機(jī)鏡頭參數(shù)，將2架無人機(jī)間的距離從100m合理調(diào)整到130m。2架無人機(jī)的飛行參數(shù)見表1。

1.3 正射校正和背景識(shí)別

正射校正是對(duì)影像進(jìn)行幾何畸變糾正的一個(gè)過程，逐幀提取感興趣區(qū)域（ROI），每個(gè)圖像的正射校正主要包括3個(gè)階段。1）通過地面控制點(diǎn)確定ROI的真實(shí)坐標(biāo)。2）確定像素分辨率。3）計(jì)算ROI像素坐標(biāo)。4）將這些像素重新組織成完整的圖像，以便輸入算法?？紤]復(fù)雜的相機(jī)運(yùn)動(dòng)，背景識(shí)別通過在連續(xù)幀的特征流上聚類和識(shí)別背景點(diǎn)，實(shí)現(xiàn)視覺里程計(jì)的作用，并提取出圖像中的前景點(diǎn)，如圖1所示。

由于無人機(jī)可能會(huì)受機(jī)械振動(dòng)和強(qiáng)風(fēng)等環(huán)境因素的影響，每幅圖像的特征參數(shù)都需要求解一次，如公式（7）所示的位置信息（xw、yw、zw）和相機(jī)歐拉角。

（7）

將黑白相間的紙張作為地面控制點(diǎn)，以便在每一幀中對(duì)其進(jìn)行快速識(shí)別。由于無人機(jī)攜帶的慣性測(cè)量單元（IMU）和GPS定位模塊的數(shù)據(jù)可能不是最準(zhǔn)確的，會(huì)導(dǎo)致相機(jī)外在參數(shù)估計(jì)困難，因此在后續(xù)的識(shí)別中，需要通過靜態(tài)或簡(jiǎn)單的相機(jī)運(yùn)動(dòng)、顏色閾值分類或模板匹配來確定地面控制點(diǎn)的像素坐標(biāo)。而背景識(shí)別是一種有效的方法，可在連續(xù)幀的特征流上聚類和識(shí)別背景點(diǎn)，背景點(diǎn)的運(yùn)動(dòng)與相機(jī)運(yùn)動(dòng)非常接近，可以作為視覺里程計(jì)，從幀間的背景點(diǎn)計(jì)算相機(jī)的運(yùn)動(dòng)路徑。

2 信號(hào)提取

在理想情況下，波浪可以近似為多個(gè)正弦波的疊加。然而，海面上存在許多與海浪運(yùn)動(dòng)無關(guān)的短風(fēng)浪，表明像素強(qiáng)度信號(hào)有大量噪聲與水深無關(guān)。此外，如果不對(duì)原始信號(hào)進(jìn)行適當(dāng)處理，就很難在各種其他不確定因素的共同作用下從下采樣圖像中直接獲得可用信號(hào)。因此，需要對(duì)信號(hào)進(jìn)行3次濾波，得到與水深相關(guān)的信號(hào)分量。波的運(yùn)動(dòng)特性可以通過像素波動(dòng)直接反映出來，像素強(qiáng)度信號(hào)可以從一系列正射校正圖像中提取，某指定樣帶的時(shí)間堆棧圖像如圖2所示。第一次濾波通過圖像濾波方法消除短風(fēng)波等高頻噪聲，高斯低通濾波器可以顯著降低像素強(qiáng)度波動(dòng)。第二次濾波應(yīng)擺脫由光學(xué)噪聲等產(chǎn)生的不相關(guān)因素的影響，帶通濾波器將截取頻率范圍為0.05Hz～0.5Hz的像素強(qiáng)度信號(hào)，并通過快速傅里葉變換截?cái)嗌鲜鲱l段之外的信號(hào)。第三次濾波提取信號(hào)的主頻率分量，以強(qiáng)調(diào)不同信號(hào)間的相關(guān)性。

3 深度的估計(jì)

經(jīng)過正射校正后，波浪傳播方向基本垂直于海岸線。根據(jù)是否能完整反映波浪的傳播特性，使用時(shí)間延遲法來確定波速的最佳范圍，將時(shí)間滯后Δt固定為3s，然后選擇一個(gè)參考像素位置i，從1到i-1（0m～149m）的所有相鄰像素位置j都參與相關(guān)系數(shù)的計(jì)算，如公式（8）所示。

Cor（xij，yij）=〈I（xi，yi，t），I（xj，yj，t+?t）〉 （8）

對(duì)于跨岸方向的每個(gè)像素，將正相關(guān)系數(shù)最大的點(diǎn)與參考像素間的距離視為波速估計(jì)的合適范圍，再通過線性擬合方法確定波速，最后將波速乘以時(shí)間，即為水深。

4 測(cè)深結(jié)果

4.1 不同數(shù)量無人機(jī)的測(cè)深結(jié)果

為了取得基準(zhǔn)測(cè)深結(jié)果，使用帶有RTK-GPS和單波束聲納系統(tǒng)的無人遙控船執(zhí)行測(cè)深任務(wù)?；趩蝹€(gè)無人機(jī)的測(cè)深結(jié)果如圖3所示，其測(cè)量的長(zhǎng)岸范圍為0m～100m。

為了實(shí)現(xiàn)雙無人機(jī)測(cè)深，本文選擇比單無人機(jī)更大的ROI區(qū)域，其長(zhǎng)岸為0m～200m。本文算法和傳統(tǒng)算法水深測(cè)繪的結(jié)果如圖4所示，2種算法的試驗(yàn)拼接結(jié)果總體吻合較好，因?yàn)樗鼈兌际腔诰€性色散關(guān)系求解的水深，證明了本文所提拼接算法的有效性。

此外，本文還計(jì)算了全局均方誤差（MSE）和全局均方根誤差（RMSE），分別為0.37m2和0.60m。均方誤差和長(zhǎng)岸線的關(guān)系如圖5所示。從圖5可以看出，約50m和200m海岸的深度曲線非常不一致，這可能是與相機(jī)的距離較遠(yuǎn)造成的。由于在視頻拼接過程中增加了一個(gè)攝像頭，另一個(gè)攝像頭的整流偏差需要在一定程度上得到補(bǔ)償，例如波浪通常單獨(dú)影響相機(jī)A結(jié)果誤差，而相機(jī)B通常需要利用其與相機(jī)A的距離來補(bǔ)償相機(jī)A的整流偏差。因此，為了進(jìn)一步降低視頻拍攝時(shí)整流偏差的影響，應(yīng)根據(jù)現(xiàn)場(chǎng)調(diào)整相機(jī)歐拉角度和相機(jī)距離。

由單個(gè)無人機(jī)和雙無人機(jī)的測(cè)深對(duì)比結(jié)果可以看出，基于雙無人機(jī)的視頻拼接方法可以創(chuàng)建更寬的視場(chǎng)，以擴(kuò)大測(cè)量區(qū)域，可為測(cè)深算法提供有效的輸入數(shù)據(jù)。

4.2 討論

雖然4.1節(jié)的結(jié)果表明，該方法能夠合理地實(shí)現(xiàn)基于視頻拼接的測(cè)深測(cè)繪算法，但該方法存在的問題及其適用性仍需要做進(jìn)一步探討。為了獲得最終的全景視頻，通過公式（5）、公式（6）中估計(jì)的拼接和穩(wěn)定變量對(duì)輸入視頻進(jìn)行變換。然而前景圖像容易被誤識(shí)別，造成該結(jié)果的主要原因是相機(jī)歐拉角度相近、距離相對(duì)較短的2臺(tái)相機(jī)間存在輕微的視差偏差。

5 結(jié)論

本文提出了一種利用無人機(jī)視頻拼接的近岸測(cè)深測(cè)量方法，通過引入第二架無人機(jī)來彌補(bǔ)無人機(jī)測(cè)深測(cè)繪的不足。結(jié)果表明，該方法通過拼接2架無人機(jī)拍攝的視頻，擴(kuò)大了無人機(jī)測(cè)繪的水平視場(chǎng)角。此外，在提高測(cè)量效率的同時(shí)，還解決了校正偏差影響測(cè)繪結(jié)果的部分問題，可為測(cè)深算法提供有效的技術(shù)支持。

參考文獻(xiàn)

[1]潘文俊.基于色散關(guān)系的無人機(jī)淺海水深自主測(cè)繪系統(tǒng)研究[D].廣州：華南理工大學(xué)，2021.

[2]鄭鵬，張華，潘子英，等.多波束測(cè)深聲吶成像仿真及作用距離分析[J].數(shù)字海洋與水下攻防，2023，6（6）：664-669.

[3]郭孝祖.基于ICESat-2和Sentinel-2的淺水測(cè)深研究[D].南京：南京信息工程大學(xué)，2023.

[4]高敬涵，李道京，周凱，等.共形衍射光學(xué)系統(tǒng)機(jī)載激光雷達(dá)測(cè)深距離的分析[J].激光與光電子學(xué)進(jìn)展，2021，58（12）：67-74.

[5]姚贇.無人機(jī)多路航拍視頻拼接方法研究[D].西安：西安理工大學(xué)，2023.

[6]劉臺(tái)，胡斌，田進(jìn)龍，等.全景視頻實(shí)時(shí)拼接技術(shù)研究與實(shí)現(xiàn)[J].移動(dòng)通信，2023，47（2）：69-76.