梅杰 覃嘉銳 陳定方 陳昆

摘要 ：針對(duì)仿生機(jī)器魚水下作業(yè)時(shí)面臨的水下圖像質(zhì)量偏低、水下自主定位難的問(wèn)題，提出一種顏色均衡與G-B通道先驗(yàn)融合的水下圖像增強(qiáng)式算法。將該算法和視覺(jué)同時(shí)定位與地圖構(gòu)建（SLAM）方法結(jié)合，實(shí)現(xiàn)了水下圖像增強(qiáng)式的視覺(jué)三維重建。在不同水域環(huán)境下進(jìn)行了水下圖像處理實(shí)驗(yàn)、水下環(huán)境視覺(jué)三維重建實(shí)驗(yàn)和運(yùn)動(dòng)軌跡跟蹤實(shí)驗(yàn)，結(jié)果表明該方法有效提高了水下圖像綜合質(zhì)量，特征匹配效率提高了16.03%，真實(shí)軌跡與估計(jì)軌跡的誤差平均約為7.99 mm。

關(guān)鍵詞 ：水下圖像增強(qiáng)；三維重建；運(yùn)動(dòng)軌跡跟蹤；視覺(jué)同時(shí)定位與地圖構(gòu)建（SLAM）

中圖分類號(hào) ：TP391.4；X832；P283

DOI：10.3969/j.issn.1004-132X.2024.02.011

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

SLAM-based Underwater Image Enhanced Visual 3D Reconstruction Method

MEI Jie ?1，2，3 ?QIN Jiarui ?1，2 ?CHEN Dingfang 2 CHEN Kun ?1，2

1. School of Transportation and Logistics Engineering，Wuhan University of Technology，Wuhan，430063

2. Institute of Intelligent Manufacturing and Control，Wuhan University of Technology，Wuhan，430063

3.Key Laboratory of Port Cargo Handling Technology of Wuhan University of Technology，

Wuhan，43006

Abstract ： Regarding with problems of low quality of underwater images and difficulty of underwater autonomous localization faced by bionic robotic fish in underwater operations， an enhanced underwater image algorithm with color equalization and a priori fusion of G-B channels was proposed. The algorithm was combined with visual SLAM construction methods to enhance visual 3D reconstruction of underwater images. Underwater image processing experiments， underwater environment visual 3D reconstruction experiments， and motion trajectory tracking experiments were carried out in different water environments. The results show that the method effectively improves the comprehensive quality of underwater images. The feature matching efficiency is improved by 16.03%， and the error between the real trajectory and the estimated trajectory is about 7.99 mm on average.

Key words ： underwater image enhancement; 3D reconstruction; trajectory tracking； visual simultaneous localization and mapping（SLAM）

0 引言

自主式水下機(jī)器人是海洋資源勘探和開發(fā)的重要工具之一。仿生機(jī)器魚模擬魚類運(yùn)動(dòng)，具備噪聲低、尾流小、靈活性高和控制簡(jiǎn)單等特點(diǎn)，近年已成為研究熱點(diǎn)。機(jī)器魚在水下的實(shí)時(shí)定位是否精確， 能否反映水下的真實(shí)情況，已成為衡量機(jī)器魚價(jià)值的重要標(biāo)準(zhǔn)。算法缺陷導(dǎo)致水下定位精度較低，難以滿足愈來(lái)愈嚴(yán)格的水下勘測(cè)、地圖測(cè)繪等任務(wù)要求。視覺(jué)同時(shí)定位與地圖構(gòu)建 （simultaneous localization and mapping，SLAM）算法 ?［1］ 是一種比較高效的方式。但水下環(huán)境復(fù)雜，水體對(duì)光的吸收及散射造成水下圖像質(zhì)量顯著下降 ?［2］ ，不利于視覺(jué)SLAM技術(shù)的前端處理，影響算法穩(wěn)性。為解決這一問(wèn)題，優(yōu)化水下圖像處理技術(shù)需結(jié)合到視覺(jué)SLAM算法中，以提高水下圖像質(zhì)量，改善地圖構(gòu)建的結(jié)果，提高機(jī)器人定位的準(zhǔn)確性。

水下圖像處理技術(shù)分為水下圖像增強(qiáng)方法和水下圖像復(fù)原方法。水下圖像增強(qiáng)方法利用計(jì)算機(jī)圖形學(xué)和數(shù)學(xué)變換的方法直接對(duì)圖像進(jìn)行增強(qiáng)處理，其中，具有代表性的方法有直方圖均衡化 ?［3］ （histogram equalization， HE）、自適應(yīng)直方圖均衡化 ?［4］ （adaptive histogram equalization， AHE）和限制對(duì)比度自適應(yīng)直方圖均衡化 ?［5］ （contrast constrained adaptive ?histogram equalization， CLAHE）。馬敏慧等 ?［6］ 提出一種改進(jìn)的帶色彩恢復(fù)的多尺度視網(wǎng)膜與限制對(duì)比度自適應(yīng)直方圖均衡化多尺度融合的水下圖像增強(qiáng)算法（multi-scale retinex with color restore contrast limited adaptive histogram equalization， MSRCR-CLAHE），以解決水下圖像顏色衰退和對(duì)比度低的問(wèn)題。李廣豪等 ?［7］ 提出一種改進(jìn)的水下融合算法，將自適應(yīng)伽馬校正算法、MSRCR算法、CLAHE算法、銳化算法和水下圖像融合增強(qiáng)算法相結(jié)合，降低了圖像噪聲，解決局部對(duì)比度增大造成的顏色失真問(wèn)題。以上兩種算法能在一定程度上提高圖片的對(duì)比度，但圖片銳化程度較高，圖像局部邊緣細(xì)節(jié)視覺(jué)效果差，顏色衰變問(wèn)題仍有待解決。

水下圖像復(fù)原方法通過(guò)計(jì)算物理成像過(guò)程中的模型參數(shù)，反向求解模型變量，最后獲得復(fù)原的水下圖像，其中，具有代表性的有基于維納濾波器（Winener filter， WF）去噪的復(fù)原算法 ?［8］ 和暗通道先驗(yàn)（dark channel prior，DCP）去霧算法 ?［9］ 。直接將這些算法應(yīng)用于水下圖像增強(qiáng)，存在噪聲大、顏色偏差和過(guò)度曝光的問(wèn)題。龔萬(wàn)齊等 ?［10］ 提出的改進(jìn)水下暗通道先驗(yàn)方法有效解決了低照度水下圖像顏色衰退的問(wèn)題，但圖像出現(xiàn)了霧化現(xiàn)象。 ZHOU等 ?［11］ 提出一種新的中值水下暗通道先驗(yàn)（median underwater dark channel prior， MUDCP）去霧算法來(lái)精確估計(jì)藍(lán)綠通道傳輸圖， 該算法在圖像局部對(duì)比度差距較小時(shí)增強(qiáng)效果較差。

上述方法僅對(duì)水下圖像進(jìn)行處理，對(duì)水下環(huán)境的視覺(jué)SLAM研究較少。LI等 ?［12］ 提出的水下目標(biāo)可視化三維重建系統(tǒng)由水下圖像序列采集、水下圖像預(yù)處理和三維重建組成，利用CO-LMAP+OpenMVS+Meshlab對(duì)水下圖像序列進(jìn)行重構(gòu)，但該方法建圖精度不足，平均誤差達(dá)到3%。HUO等 ?［13］ 提出一種基于雙目視覺(jué)的水下目標(biāo)檢測(cè)與三維重建系統(tǒng)來(lái)對(duì)系統(tǒng)視覺(jué)獲取的圖像序列進(jìn)行去噪和色彩恢復(fù)。HOU等 ?［14］ 提出了一種基于立體攝像機(jī)的水下實(shí)時(shí)三維重建系統(tǒng)，基于SLAM系統(tǒng)和密集點(diǎn)云融合拼接的方法來(lái)提高視差圖的精度、實(shí)現(xiàn)多視圖的點(diǎn)云拼接。

水下圖像增強(qiáng)處理算法可提高水下地圖構(gòu)建質(zhì)量 ?［15］ ，但目前的水下圖像算法沒(méi)有考慮圖像對(duì)比度、噪聲、顏色偏差和霧化等問(wèn)題的綜合影響，導(dǎo)致水下圖像處理效果不佳，水下地圖構(gòu)建精度誤差較大。因此，為實(shí)現(xiàn)仿生機(jī)器魚在水下環(huán)境的地圖測(cè)繪和自身定位，需以視覺(jué)SLAM為基礎(chǔ)框架，研究出一種結(jié)合水下圖像增強(qiáng)算法的視覺(jué)三維重建方法。本文提出一種顏色均衡與G-B通道先驗(yàn)融合（the fusion of color balance and ?G-B ?channel prior， CB-GBCP）的水下圖像增強(qiáng)算法，基于視覺(jué)SLAM實(shí)現(xiàn)水下地圖三維重建。通過(guò)改進(jìn)的關(guān)鍵幀跟蹤實(shí)驗(yàn)驗(yàn)證了CB-GBCP算法對(duì)特征匹配環(huán)節(jié)優(yōu)化的效果，基于標(biāo)準(zhǔn)數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的建圖實(shí)驗(yàn)驗(yàn)證了本方法在地圖構(gòu)建和定位上的可行性。

1 CB-GBCP圖像增強(qiáng)算法

圖像處理是各種視覺(jué)算法的基礎(chǔ)和重要環(huán)節(jié)。水下環(huán)境的復(fù)雜性導(dǎo)致水下圖像質(zhì)量較低，存在亮度低、飽和度低、色彩偏差和白色霧化等問(wèn)題。針對(duì)以上問(wèn)題，提出CB-GBCP水下圖像增強(qiáng)算法。

1.1 CB-GBCP算法總體方案

如圖1所示，CB-GBCP算法主要有三個(gè)環(huán)節(jié)，即RGB顏色空間色彩均衡、G-B通道先驗(yàn)圖像復(fù)原、Lab顏色空間直方圖拉伸。通過(guò)該方案能夠逐步消除水下圖像的缺陷，綜合提高圖像的對(duì)比度、色彩、亮度和清晰度等屬性質(zhì)量。

RGB顏色空間色彩均衡主要通過(guò)計(jì)算圖像紅色（R）、綠色（G）和藍(lán)色（B）通道值的比值，按比例調(diào)整通道值來(lái)消除色偏。水下圖像的R通道值通常較小，因此在色彩均衡階段僅需處理G、B通道。通過(guò)G、B通道的平均通道值 G ??av ?G、 G ??avB 計(jì)算放大系數(shù) r ?G、 r ?B來(lái)抑制G、B通道值，再對(duì)圖像整體的像素值進(jìn)行拉伸，完成圖像的色彩均衡。

首先將輸入圖像 Q 在RGB顏色空間中按照紅色、綠色和藍(lán)色進(jìn)行通道分離，獲得3個(gè)獨(dú)立顏色通道值 Q ?R、 Q ?G和 Q ?B。然后計(jì)算水下圖像綠色通道平均值：

G ??avG ?= 1 MN ∑ M i=1 ∑ N j=1 Q ?G （i，j） ?（1）

式中，MN為圖像的像素總數(shù)。

再計(jì)算綠色通道的放大系數(shù)：

r ?G = 2G ??avG ??255 ??（2）

最后計(jì)算色彩均衡后的綠色通道值：

Q′ ??G = Q ?G ?r ?G ???（3）

同理可得色彩均衡后的藍(lán)綠顏色通道值 Q′ ??B 。 合并修正后的Q′ ??G 、Q′ ??B 和Q ?R ，完成 RGB 顏色空間內(nèi)的色彩均衡處理，再對(duì)圖像整體像素值進(jìn)行拉伸，進(jìn)一步提高均衡效果，得到最終的均衡圖像，具體流程如圖2所示。

在G、B通道先驗(yàn)圖像復(fù)原環(huán)節(jié)中，對(duì)DCP去霧算法中的透射率與背景光的估算環(huán)節(jié)進(jìn)行優(yōu)化，采用引導(dǎo)濾波器對(duì)G、B通道內(nèi)計(jì)算的傳輸圖進(jìn)行細(xì)化，最后實(shí)現(xiàn)圖像的復(fù)原，如圖3所示。

復(fù)原通道計(jì)算公式為

J c（x）= Q c－A c t c（x） +A c ?c= G，B ??（4）

其中，A c為環(huán)境背景光照強(qiáng)度；t c（x）為估計(jì)透射率；x為相機(jī)成像中某一位置的像素點(diǎn)。

為使水下圖像的整體色調(diào)不變，并提高復(fù)原后圖像的質(zhì)量，先對(duì)圖像進(jìn)行顏色空間RGB到顏色空間Lab的轉(zhuǎn)換，然后對(duì)亮度通道L和色彩通道a、b進(jìn)行像素值自適應(yīng)拉伸，在使亮度提高的同時(shí)色彩不會(huì)過(guò)度增強(qiáng)，最后達(dá)到提高復(fù)原圖像亮度、減小色偏及增強(qiáng)對(duì)比度的目的。

首先進(jìn)行RGB到Lab的顏色空間轉(zhuǎn)換，并進(jìn)行3個(gè)通道（亮度L、色彩a和b）的分離。對(duì)亮度通道L分量像素值進(jìn)行自適應(yīng)拉伸，對(duì)單個(gè)分量中的所有像素進(jìn)行變換：

L′（i，j）=100 L（i，j）－L ??min ??L ??max ?－L ??min ????（5）

式中，L（i， j）、L′（i， j）分別為 L 通道中坐標(biāo)為（i， j）處的像素值及拉伸后的像素值；L ??max ?、L ??min ?分別為 L 通道中像素的最大值和最小值。

對(duì)色彩通道 a 和色彩通道 b 的像素值分別進(jìn)行自適應(yīng)拉伸，遍歷兩個(gè)通道中的像素，對(duì)每個(gè)像素進(jìn)行變換：

C′（i，j）=C（i，j）φ ?1－|C（i，j）|/128 ??（6）

式中，C（i， j）、C′（i， j）分別為 a、b 分量中位于（i， j）處的像素原始值和對(duì)比度校正之后的值。

取指數(shù)函數(shù)對(duì)像素進(jìn)行拉伸，φ=1.3。最后將對(duì)比度拉伸之后的 L、a和b 分量進(jìn)行極限值限制和通道合并，如圖4所示。

1.2 算法實(shí)驗(yàn)對(duì)比

為驗(yàn)證CB-GBCP算法在提高水下圖像綜合質(zhì)量的可行性和有效性，對(duì)選取的一組水下圖片（圖5）進(jìn)行實(shí)驗(yàn)分析，可以看出，原始圖像的亮度和對(duì)比度較低，存在藍(lán)色、綠色的色彩偏差與白色霧化現(xiàn)象。

圖6 所示為不同算法處理后的結(jié)果，可以看出，HE算法處理后的圖像對(duì)比度顯著提高，但存在對(duì)比度過(guò)度增強(qiáng)、噪聲增大和改變圖像色調(diào)等問(wèn)題；CLAHE算法處理后圖像的對(duì)比度小幅度提高，圖像基本色調(diào)保持不變，但存在藍(lán)綠色偏和模糊等問(wèn)題；DCP算法處理后，圖像的白色霧化問(wèn)題得到改善，提高了清晰度，但存在加劇色偏和亮度變低等問(wèn)題；MSRCR-CLAHE算法處理后的圖像對(duì)比度提高，但存在模糊、藍(lán)綠色偏的問(wèn)題；MUDCP算法處理后，對(duì)比度小幅度提高，但依然存在圖片去霧效果不佳的問(wèn)題； CB-GBCP算法處理后的圖像在色彩得到有效均衡的同時(shí)，合理提高了圖片對(duì)比度和亮度，改善了水下圖像的白色霧化現(xiàn)象，輸出圖像具有清晰度高、對(duì)比度飽和、色彩偏差小且明亮的特點(diǎn)。

采用水下彩色圖像質(zhì)量評(píng)估（underwater color image quality evaluation， UCIQE）及水下圖像質(zhì)量度量（underwater image quality measurement，UIQM）的方法來(lái)對(duì)水下圖像的質(zhì)量進(jìn)行計(jì)算與評(píng)價(jià)，結(jié)果如表1、表2所示。CB-GBCP 算法處理結(jié)果在 UCIQE 方法下的評(píng)分均值為 0.5574， 在 UIQM 方法下的評(píng)分均值為0.8394，均高于其他算法。

2 基于SLAM的水下視覺(jué)三維重建

2.1 水下視覺(jué)三維重建方法總體方案

根據(jù)SLAM算法的數(shù)據(jù)傳輸和計(jì)算流程，將水下視覺(jué)三維重建方法分為獲取傳感器數(shù)據(jù)環(huán)節(jié)、改進(jìn)的關(guān)鍵幀跟蹤環(huán)節(jié)、局部建圖環(huán)節(jié)和回環(huán)檢測(cè)環(huán)節(jié)（分別對(duì)應(yīng)SLAM系統(tǒng)的前端、后端和建圖部分的內(nèi)容）。結(jié)合CB-GBCP算法的水下視覺(jué)三維重建方法如圖7所示。與orb-slam算法相比，CB-GBCP算法的區(qū)別如下：獲取視覺(jué)傳感器數(shù)據(jù)后，將獲取的圖片數(shù)據(jù)代入CB-GBCP算法進(jìn)行圖像處理，提高水下圖像的質(zhì)量、特征提取與匹配的效率；在改進(jìn)的關(guān)鍵幀環(huán)節(jié)中，針對(duì)獲取特征點(diǎn)較為困難的問(wèn)題，采用尺度不變特征轉(zhuǎn)換（scale-invariant feature transform，SIFT）算法提取特征點(diǎn)，并進(jìn)行特征點(diǎn)匹配。相對(duì)于特征描述算法ORB（oriented FAST and rotated BRIEF），SIFT算法能進(jìn)一步提高匹配的效率與質(zhì)量，優(yōu)化相機(jī)的位姿估計(jì)，提高相機(jī)在水下的定位精度；在局部建圖環(huán)節(jié)中，三維點(diǎn)云存在平面投影位置偏差問(wèn)題，SIFT可提高三維點(diǎn)云的配準(zhǔn)，讓點(diǎn)云匹配更準(zhǔn)確，SIFT特征點(diǎn)匹配后，通過(guò)構(gòu)建光束平差 （bundle adjustment，BA）問(wèn)題來(lái)進(jìn)一步減小重投影誤差。

2.2 視覺(jué)三維重建各環(huán)節(jié)的實(shí)現(xiàn)方法

2.2.1 獲取傳感器數(shù)據(jù)環(huán)節(jié)

仿生機(jī)器魚運(yùn)動(dòng)時(shí)，主機(jī)會(huì)控制搭載的相機(jī)采集環(huán)境數(shù)據(jù)并傳輸給后續(xù)模塊。在控制機(jī)上采用OpenCV模塊調(diào)用相機(jī)接口以采集圖像信息，獲取的圖像數(shù)據(jù)包含圖像的RGB信息和深度信息，將圖像信息輸入系統(tǒng)后，先將原始圖像轉(zhuǎn)換為灰度圖，再將圖像幀序列按順序讀取，并進(jìn)入到下一環(huán)節(jié)——改進(jìn)的關(guān)鍵幀跟蹤環(huán)節(jié)。

2.2.2 改進(jìn)的關(guān)鍵幀跟蹤環(huán)節(jié)

根據(jù)處理后相鄰幀之間的圖像相似度進(jìn)行特征提取和匹配，通過(guò)確認(rèn)相鄰幀圖像的位置關(guān)系判斷相機(jī)是否進(jìn)入新的坐標(biāo)位置，然后估計(jì)兩幀之間的相機(jī)位姿變換關(guān)系，生成局部地圖。改進(jìn)的關(guān)鍵幀跟蹤環(huán)節(jié)的流程如圖8所示。

特征點(diǎn)提取環(huán)節(jié)采用 SIFT 算法進(jìn)行特征點(diǎn)的提取，該算法計(jì)算精確，充分考慮了光照、尺度、旋轉(zhuǎn)變換等因素對(duì)水下圖像特征點(diǎn)提取數(shù)量與匹配效率的影響，具體提取與匹配流程如圖9所示，圖中，K=（ max ?d+ min ?d）/2，d為特征點(diǎn)X t與X ?t+1 之間的距離。

相機(jī)的位姿估計(jì)與軌跡追蹤主要由以下幾個(gè)步驟完成：

（1） 相機(jī)位姿初次估計(jì)。相機(jī)位姿通過(guò)當(dāng)前幀的圖像特征點(diǎn)，基于EPnP算法的匹配過(guò)程實(shí)現(xiàn)初次估計(jì)。該方法首先對(duì)上一幀獲取的數(shù)據(jù)進(jìn)行初始化，定義匹配算法參數(shù)；然后利用已知的3D點(diǎn)獲取對(duì)應(yīng)的控制點(diǎn)； 再將已知的3D坐標(biāo)在相機(jī)坐標(biāo)系中投射成2D坐標(biāo)，求解控制點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)；最后利用最近點(diǎn)迭代（iterative closest point，ICP）算法迭代求解初步的位姿。

（2）構(gòu)建 BA問(wèn)題。BA 問(wèn)題指的是如何在視覺(jué)重建中得到最好的地圖和相機(jī)位姿，即將相機(jī)的重投影誤差最小化。通過(guò)計(jì)算化簡(jiǎn)得到誤差 e 關(guān)于擾動(dòng)量 δ ?ξ 和 p ??w ?i（ p ??w ?i表示為空間點(diǎn)i的世界坐標(biāo)系）的導(dǎo)數(shù)，優(yōu)化兩個(gè)導(dǎo)數(shù)來(lái)最小化誤差以求解精確的位姿：

e ??δ ?ξ ?= e ??p ??c ?i ??p ??c ?i ?δ ?ξ ?=

f x Z′ ?i ?0

0 ?f y Z′ ?i

－ f xX′ ?i （Z′ ?i） 2 ?－ f yY′ ?i （Z′ ?i） 2

－ f xX′ Y′ ?i （Z′ ?i） 2 ?－f y－ f y（Y′ ?i） 2 （Z′ ?i） 2

f x+ f x（X′ ?i） 2 （Z′ ?i） 2 ??f yX′ Y′ ?i （Z′ ?i） 2

－ f xY′ Z′ ?i

f yX′ Z′ ?i ????T ??（7）

e ??p ??w ?i =－ ??f x Z′ ?i ?0 － f xX′ ?i （Z′ ?i） 2 ?0 ?f y Z′ ?i ?－ f yY′ ?i （Z′ ?i） 2 ???R ??（8）

式中， p ??c ?i為點(diǎn)i在相機(jī)坐標(biāo)系上的坐標(biāo)， p ??c ?i=（X′ ?i，Y′ ?i， Z′ ?i） ?T ； f x、f y為將該點(diǎn)投影到歸一化平面需要乘的系數(shù)； R 為點(diǎn)i的相機(jī)坐標(biāo)與世界坐標(biāo)的導(dǎo)數(shù)， R = ?p ??c ?i ?p ??w ?i 。

（3）g2o位姿優(yōu)化。g2o位姿優(yōu)化是將圖像描述成由頂點(diǎn)和邊構(gòu)成的廣義圖像。相機(jī)的位姿也就是狀態(tài)變量對(duì)應(yīng)廣義圖像的頂點(diǎn)，位姿之間的變化關(guān)系對(duì)應(yīng)廣義圖像的邊，g2o位姿優(yōu)化是將頂點(diǎn)和邊之間的關(guān)系構(gòu)建成最小二乘優(yōu)化問(wèn)題，進(jìn)而組成一個(gè)廣義上的超圖，具體結(jié)構(gòu)如圖10所示。

2.2.3 局部建圖環(huán)節(jié)

局部建圖環(huán)節(jié)的作用是篩選出質(zhì)量較好的地圖點(diǎn)并篩選出對(duì)應(yīng)的關(guān)鍵幀。通過(guò)三角化計(jì)算出新的地圖點(diǎn)，將與新地圖點(diǎn)重復(fù)的地圖點(diǎn)剔除，然后將與當(dāng)前關(guān)鍵幀相連的另一關(guān)鍵幀及其地圖點(diǎn)做局部BA來(lái)進(jìn)行優(yōu)化。該環(huán)節(jié)的流程如圖11所示。

針對(duì)水下地圖構(gòu)建時(shí)三維點(diǎn)云的配準(zhǔn)問(wèn)題，本文采用的方法如圖12所示。該方法分為點(diǎn)云粗匹配與點(diǎn)云精匹配兩個(gè)環(huán)節(jié)。點(diǎn)云粗匹配首先計(jì)算出每個(gè)特征點(diǎn)的法向量，然后檢測(cè)并匹配空間中的SIFT關(guān)鍵點(diǎn)，之后采用隨機(jī)采樣一致性（random sample consensus，RANSAC） 算法去除點(diǎn)云中的錯(cuò)誤匹配點(diǎn)。點(diǎn)云精匹配基于ICP算法對(duì)匹配結(jié)果進(jìn)行進(jìn)一步優(yōu)化，最后用奇異分解（singular value decomposition ， SVD）算法計(jì)算出最終的變換矩陣來(lái)完成點(diǎn)云的精匹配。

2.2.4 回環(huán)檢測(cè)環(huán)節(jié)

相機(jī)的運(yùn)動(dòng)會(huì)導(dǎo)致位姿和地圖點(diǎn)位置產(chǎn)生一定的誤差 ?［16］ 。誤差累計(jì)過(guò)多會(huì)導(dǎo)致相機(jī)偏移，從而使地圖構(gòu)建失敗，所以利用回環(huán)檢測(cè)來(lái)消除誤差，如圖13所示，其中，Sim3求解進(jìn)程是使用3對(duì)匹配點(diǎn)進(jìn)行相似變換（similarity transformation） ?［17］ 的求解，進(jìn)而解出兩個(gè)坐標(biāo)系之間的旋轉(zhuǎn)矩陣、平移向量和尺度。

3 基于SLAM水下圖像增強(qiáng)算法的視覺(jué)三維重建實(shí)驗(yàn)

3.1 改進(jìn)的關(guān)鍵幀跟蹤實(shí)驗(yàn)

本小節(jié)實(shí)驗(yàn)的實(shí)施方案如圖14所示。分別選取兩組水下圖像幀進(jìn)行特征點(diǎn)提取與匹配實(shí)驗(yàn)，第一組圖像幀不進(jìn)行水下圖像處理，直接進(jìn)行特征提取與匹配，如圖15所示，由此測(cè)出其提取的特征點(diǎn)數(shù)與匹配對(duì)數(shù)；第二組先對(duì)圖像進(jìn)行CB-GBCP圖像處理，再來(lái)進(jìn)行特征提取與匹配，如圖16所示。

將兩組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行對(duì)比，如表3所示，其中，括號(hào)內(nèi)左右兩個(gè)數(shù)值分別為左圖和右圖的特征點(diǎn)提取數(shù)量。由表3可知，CB-GBCP圖像增強(qiáng)處理之后，提取的特征點(diǎn)數(shù)量與匹配點(diǎn)對(duì)數(shù)量明顯增大。

為進(jìn)一步驗(yàn)證算法的有效性，將各算法對(duì)兩組圖像幀進(jìn)行處理之后提取的特征點(diǎn)數(shù)量與匹配對(duì)數(shù)進(jìn)行對(duì)比，如表4所示，可看出，CB-GBCP算法在水下圖像的特征點(diǎn)提取與特征點(diǎn)匹配上均好于其余算法。

各算法的匹配精度如表5所示，通過(guò)計(jì)算出不同算法分別在大于2、3、4、5個(gè)像素中的平均視覺(jué)誤差。

相機(jī)的重投影誤差計(jì)算可以通過(guò)固定標(biāo)定板（圖17a），移動(dòng)相機(jī)使標(biāo)定板位于不同位置、姿態(tài)下采集圖像（圖17b），從采集到的圖像中選取12張圖像作為輸入圖像，得出相機(jī)的外部參數(shù)，然后計(jì)算出相機(jī)的重投影誤差。計(jì)算得雙目重投影平均誤差約為0.612，優(yōu)于文獻(xiàn)［20］的0.705。

3.2 實(shí)驗(yàn)室環(huán)境下的視覺(jué)三維重建

本小節(jié)根據(jù)相機(jī)在實(shí)驗(yàn)室環(huán)境錄制的測(cè)試數(shù)據(jù)集進(jìn)行視覺(jué)三維重建， 步驟如圖18所示。首先對(duì)相機(jī)進(jìn)行初始化， 獲取相機(jī)節(jié)點(diǎn)后開啟機(jī)器人操作系統(tǒng) （robot operating system ， ROS） 節(jié)點(diǎn)， ?然后在ROS中啟動(dòng)數(shù)據(jù)集錄制（rosbag record）功能錄制數(shù)據(jù)集，最后在Rviz開啟相應(yīng)話題，保存數(shù)據(jù)集進(jìn)行三維重建。實(shí)驗(yàn)環(huán)境為晴天，通過(guò)光照計(jì)測(cè)量得到室內(nèi)光照強(qiáng)度為800-1000lux， 實(shí)驗(yàn)采用的設(shè)備為攝像頭Intel REALSENSE D435i。 實(shí)驗(yàn)室環(huán)境測(cè)試數(shù)據(jù)集如圖19所示。

將ROS中的節(jié)點(diǎn)切換成mono節(jié)點(diǎn)進(jìn)行系統(tǒng)輸入來(lái)完成實(shí)驗(yàn)室環(huán)境的三維點(diǎn)云重建。物體上的地圖點(diǎn)雖然匹配正確，但基于這些特征點(diǎn)估計(jì)出的位姿是物體運(yùn)動(dòng)和相機(jī)運(yùn)動(dòng)的疊加，算法通過(guò)地圖點(diǎn)篩選，剔除移動(dòng)物體上的點(diǎn)，如圖20所示，圖中，有效地圖點(diǎn)為紅色，移動(dòng)物體上被剔除的地圖點(diǎn)為黑色，綠色方框?yàn)橄鄼C(jī)位置。

將ROS中的節(jié)點(diǎn)切換成rgbd節(jié)點(diǎn)進(jìn)行系統(tǒng)輸入，進(jìn)而完成實(shí)驗(yàn)室測(cè)試數(shù)據(jù)集的視覺(jué)三維重建，建成的視覺(jué)三維地圖還原效果清晰且符合原始色彩，如圖21所示。

在使用相機(jī)進(jìn)行實(shí)驗(yàn)室數(shù)據(jù)集的視覺(jué)三維重建過(guò)程中，跟蹤相機(jī)的位姿如圖22所示。

結(jié)合上述實(shí)驗(yàn)結(jié)果可知，在使用相機(jī)采集圖像數(shù)據(jù)時(shí)，提出的方法能在實(shí)驗(yàn)室環(huán)境下完成三維地圖的精確重建，并在建圖的同時(shí)實(shí)現(xiàn)運(yùn)動(dòng)軌跡的跟蹤。

3.3 戶外水下環(huán)境的視覺(jué)三維重建

實(shí)驗(yàn)設(shè)備為搭載攝像頭Intel Realsense D435i的仿生機(jī)器魚，如圖23所示；實(shí)驗(yàn)環(huán)境為晴天戶外，光照計(jì)測(cè)量得到戶外光照強(qiáng)度為 28 000—30 000lux， 水下水深2 m處的光照強(qiáng)度為16 800—19 000lux。

3.3.1 CB-GBCP算法優(yōu)化的關(guān)鍵幀跟蹤實(shí)驗(yàn)

圖24為機(jī)器魚在不同的水下環(huán)境采集到的代表性圖像幀。對(duì)圖24中的圖像進(jìn)行SIFT特征提取和匹配實(shí)驗(yàn)，結(jié)果如圖25所示。

先采用CB-GBCP算法對(duì)機(jī)器魚在兩個(gè)水下環(huán)境采集到的圖像進(jìn)行增強(qiáng)處理，再進(jìn)行SIFT特征提取和匹配實(shí)驗(yàn)，結(jié)果分別如圖26、圖27所示。

兩組圖像的特征匹配數(shù)量如表6所示，CB-GBCP算法增強(qiáng)后，戶外水下圖像特征提取和匹配的數(shù)量增多。

3.3.2 視覺(jué)三維重建實(shí)驗(yàn)與結(jié)果分析

針對(duì)仿生機(jī)器魚獲取的景觀池塘和野外池塘的水下圖像，在預(yù)處理后重建兩個(gè)水下環(huán)境的三維地圖，結(jié)果如圖28、圖29所示

圖30為CB-GBCP算法優(yōu)化生成的三維地圖點(diǎn)云圖。景觀池塘重建地圖中的地圖點(diǎn)從 350 123 個(gè)增加到401 361個(gè)，野外池塘重建地圖中的地圖點(diǎn)從786 498個(gè)增加到923 598個(gè)，平均增幅約16.03%。

實(shí)驗(yàn)結(jié)果表明：本文設(shè)計(jì)的水下圖像增強(qiáng)式視覺(jué)三維重建方法能提取更多的環(huán)境特征點(diǎn)，增加了重建點(diǎn)云的地圖點(diǎn)，豐富了水下地圖細(xì)節(jié)，實(shí)現(xiàn)了仿生機(jī)器魚的水下環(huán)境感知和地圖測(cè)繪。

3.3.3 運(yùn)動(dòng)軌跡跟蹤實(shí)驗(yàn)

仿生機(jī)器魚實(shí)驗(yàn)平臺(tái)在完成水下視覺(jué)三維重建后，將計(jì)算的機(jī)器魚運(yùn)動(dòng)軌跡提取出來(lái)，并在重建點(diǎn)云中實(shí)時(shí)顯示。圖31中的綠色軌跡為仿生機(jī)器魚在水下運(yùn)動(dòng)的軌跡（通過(guò)算法估算的運(yùn)動(dòng)位姿轉(zhuǎn)換而成）。仿生機(jī)器魚實(shí)驗(yàn)平臺(tái)估算的運(yùn)動(dòng)軌跡和真實(shí)的運(yùn)動(dòng)軌跡如圖32所示。

在同一數(shù)據(jù)幀，即同一時(shí)刻的前提下，真實(shí)軌跡與預(yù)估軌跡的誤差值隨著數(shù)據(jù)幀的變化曲線如 圖33所示。由表7可知，平均誤差約為7.99 mm，真實(shí)軌跡的平均位置為1327.53 mm，所以平均誤 差率為0.6%，在機(jī)器魚定位的誤差允許范圍內(nèi)。

文獻(xiàn)［12-14］對(duì)水下物體進(jìn)行了重建，并測(cè)出相機(jī)實(shí)際軌跡與預(yù)估軌跡的誤差，它們與本文結(jié)果如表8所示。

實(shí)驗(yàn)結(jié)果表明：基于SLAM的水下圖像增強(qiáng)式視覺(jué)三維重建方法完成了機(jī)器魚的水下運(yùn)動(dòng)跟蹤，軌跡誤差在允許范圍內(nèi)并優(yōu)于參考方法，能實(shí)現(xiàn)機(jī)器魚的水下定位。

4 總結(jié)

（1）針對(duì)水下圖像質(zhì)量偏低的問(wèn)題提出了CB-GBCP水下圖像增強(qiáng)算法，實(shí)驗(yàn)證明所提算法在改善圖像色偏，提高對(duì)比度、亮度和清晰度方面具有良好的效果。

（2）結(jié)合CB-GBCP算法提出了水下視覺(jué)三維重建方法的總體方案。改進(jìn)的關(guān)鍵幀跟蹤實(shí)驗(yàn)驗(yàn)證了CB-GBCP算法優(yōu)化特征匹配進(jìn)程的性能。實(shí)驗(yàn)室環(huán)境的視覺(jué)三維重建實(shí)驗(yàn)的地圖重建結(jié)果和軌跡跟蹤效果驗(yàn)證了所提方法在解決水下地圖三維重建和仿生機(jī)器魚定位的問(wèn)題上具有一定的優(yōu)越性。

（3）完成了水下圖像增強(qiáng)式視覺(jué)三維重建實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，CB-GBCP水下圖像增強(qiáng)算法能有效提高水下圖像的綜合質(zhì)量，并能提高特征匹配效率。

參考文獻(xiàn) ：

［1］ ?MACARIO ?BARROS A， MICHEL M， MOLINE Y， et al. A Comprehensive Survey of Visual Slam Algorithms［J］. Robotics， 2022， 11（1）：24-51.

［2］ ?WANG ?X， FAN X， SHI P， et al. An Overview of Key SLAM Technologies for Underwater Scenes［J］. Remote Sensing， 2023， 15（10）：2496.

［3］ ?RAO ?B S. Dynamic Histogram Equalization for Contrast Enhancement for Digital Images［J］. Applied Soft Computing， 2020， 89：106114.

［4］ ?ULUTAS ?G， USTUBIOGLU B. Underwater Image Enhancement Using Contrast Limited Adaptive Histogram Equalization and Layered Difference Representation［J］. Multimedia Tools and Applications， 2021， 80：15067-15091.

［5］ ?REZA ?A M. Realization of the Contrast Limited ?Adaptive ?Histogram Equalization（CLAHE） for real-time image enhancement［J］. Journal of VLSI Signal Processing Systems for Signal， Image and Video Technology， 2004， 38：35-44.

［6］ ?馬敏慧，王紅茹，王佳. 基于改進(jìn)的MSRCR-CLAHE融合的水下圖像增強(qiáng)算法［J］. 紅外技術(shù)，2023，45（1）：23-32.

MA Minhui， WANG Hongru， WANG Jia. Underwater Image Enhancement Algorithm Based on Improved MSRCR-CLAHE Fusion［J］. Infrared Technology， 2023， 45（1）：23-32.

［7］ ?李廣豪， 席志紅. 基于圖像融合的水下光照不均勻圖像增強(qiáng)算法［J］. 計(jì)算機(jī)仿真，2023，40（4）：330-335.

LI Guanghao， XI Zhihong. Underwater Illumination Inhomogeneity Image Enhancement Algorithm Based on Image Fusion［J］. Computer Simulation，2023，40（4）：330-335.

［8］ ?PETKOVA ?L， DRAGANOV I. Noise Adaptive Wiener Filtering of Images［C］∥2020 55th International Scientific Conference on Information， Communication and Energy Systems and Technologies （ICEST）. Serbia， 2020：177-180.

［9］ ?ANAN ?S， KHAN M I， KOWSAR M M S， et al. Image Defogging Framework Using Segmentation and the Dark Channel Prior［J］. Entropy， 2021， 23（3）：285-312.

［10］ ?龔萬(wàn)齊，馮常. 基于改進(jìn)暗通道的水下圖像快速?gòu)?fù)原［J］. 計(jì)算機(jī)工程與設(shè)計(jì)，2022，43（7）：2015-2021.

GONG Wanqi， FENG Chang. Rapid Underwater Image Restoration Based on Improved Dark Channel［J］. Computer Engineering and Design，2022，43（7）：2015-2021.

［11］ ?ZHOU ?J， LIU D， XIE X， et al. Underwater Image Restoration by Red Channel Compensation and Underwater Median Dark Channel Prior［J］. Applied Optics， 2022， 61（10）：2915-2922.

［12］ ?LI ?B， MA H， LI J. Design and Realization of Underwater Target Vision 3D Reconstruction System［C］∥2022 IEEE International Conference on Mechatronics and Automation （ICMA）. Guilin， 2022：467-474.

［13］ ?HUO ?G， WU Z， LI J， et al. Underwater Target Detection and 3D Reconstruction System Based on Binocular Vision［J］. Sensors， 2018， 18（10）：3570-3601.

［14］ ?HOU ?J， YE X. Real-time Underwater 3D Reconstruction Method Based on Stereo Camera［C］∥2022 IEEE International Conference on Mechatronics and Automation （ICMA）. Guilin， 2022：1204-1209.

［15］ ?魏郭依哲， 陳思遙， 劉玉濤， 等. 水下圖像增強(qiáng)和修復(fù)算法綜述［J］. 計(jì)算機(jī)應(yīng)用研究， 2021， 38（9）：2561-2569.

WEI Guoyizhe， CHEN Siyao， LIU Yutao， et al. Survey of Underwater Image Enhancement and Restoration Algorithms［J］. Application Research of Computers， 2021， 38（9）：2561-2569.

［16］ ?王霞， 左一凡. 視覺(jué)SLAM研究進(jìn)展［J］. 智能系統(tǒng)學(xué)報(bào)， 2020， 15（5）：825-834.

WANG Xia， ZUO Yifan. Research Progress on Visual SLAM［J］. Journal of Intelligent Systems， 2020， 15（5）：825-834.

［17］ ?余卓平，鞠然，韓燕群，等. 融合車輛動(dòng)力學(xué)的雙目視覺(jué)慣性SLAM研究［J］. 華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，50（11）：85-89.

YU Zhuoping， JU Ran， HAN Yanqun， et al. Study on Binocular Vision Inertial SLAM Based on Vehicle Dynamics［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2022， 50（11）：85-89.

［18］ ?HIRSCHMULLER ?H. Accurate and Efficient Stereo Processing by Semi Global Matching and Mutual Information［C］∥Proc of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington DC， 2005：807-814.

［19］ ?GEIGER ?A， ROSER M， URTASUN R. Efficient Large-scale Stereo Matching［C］∥Asian Conference on Computer Vision. Queenstown， 2010：25-38.

［20］ ?王子昂，李剛，劉秉琦，等. 超大視場(chǎng)長(zhǎng)波紅外立體視覺(jué)外部參數(shù)標(biāo)定及內(nèi)外參數(shù)評(píng)價(jià)［J］. 光譜學(xué)與光譜分析，2020，40（9）：2670-2675.

WANG Ziang， LI Gang， LIU Bingqi. Calibration of External Parameters and Evaluation of Internal and External Parameters of Long-wave Infrared Stereo Vision with Large Field of View［J］. Spectroscopy and Spectral Analysis，2020，40（9）：2670-2675.

（ 編輯 張 洋 ）

作者簡(jiǎn)介 ：

梅 杰 ，男，1985年生，副教授。研究方向?yàn)槲⒓{機(jī)電系統(tǒng)、仿生機(jī)器人路徑規(guī)劃與導(dǎo)航。發(fā)表論文25篇。E-mail：meijieben@foxmail.com。