摘 要:由于水體對(duì)光線的吸收和散射作用,水下圖像易出現(xiàn)色偏、對(duì)比度低等問(wèn)題。針對(duì)上述問(wèn)題,提出一種基于顏色校正與改進(jìn)的限制對(duì)比度自適應(yīng)直方圖均衡(Contrast Limited Adaptive Histogram Equalization,CLAHE) 多尺度融合水下圖像增強(qiáng)方法。提出自動(dòng)對(duì)比度調(diào)整的改進(jìn)版白平衡方法對(duì)圖像顏色進(jìn)行校正;采用結(jié)合自適應(yīng)伽馬校正的CLAHE 提高圖像的對(duì)比度、亮度、輪廓與細(xì)節(jié);采用高斯與拉普拉斯金字塔提取圖像不同特征圖進(jìn)行多尺度融合,從而實(shí)現(xiàn)水下圖像的增強(qiáng)處理。此外,還對(duì)提出的算法與其他算法進(jìn)行主客觀評(píng)價(jià)與對(duì)比分析。對(duì)比實(shí)驗(yàn)結(jié)果表明,采用所提方法增強(qiáng)處理后的水下圖像質(zhì)量明顯提升,水下圖像顏色質(zhì)量評(píng)價(jià)(Underwater Color Image Quality Evaluation,UCIQE)、信息熵、水下圖像質(zhì)量評(píng)價(jià)(Underwater Image Quality Measure,UIQM) 的均值分別為0. 639 0、7. 714 9、0. 718 3,均證明了所提方法的有效性。另外,消融實(shí)驗(yàn)結(jié)果也證明所提算法的合理性,能夠有效解決水下圖像色偏問(wèn)題,均衡提高水下圖像的對(duì)比度與亮度,增強(qiáng)圖像的邊緣和細(xì)節(jié)特征。
關(guān)鍵詞:水下圖像增強(qiáng);多尺度融合;白平衡;自適應(yīng)伽馬校正;限值對(duì)比度自適應(yīng)直方圖均衡
中圖分類(lèi)號(hào):TP391 文獻(xiàn)標(biāo)志碼:A 開(kāi)放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):
文章編號(hào):1003-3106(2024)06-1470-11
0 引言
近年來(lái)我國(guó)海洋信息技術(shù)發(fā)展迅速,水下圖像是獲取海洋信息的最直接、最有效的手段之一。清晰的水下圖像對(duì)于海洋探索起到關(guān)鍵作用,能更有效地推進(jìn)水下資源勘探、水下環(huán)境檢測(cè)等領(lǐng)域的發(fā)展[1]。由于在水下傳播時(shí),水中的顆粒、浮沉等使光發(fā)生散射,水介質(zhì)對(duì)光有選擇性地吸收,導(dǎo)致水下拍攝的圖像出現(xiàn)模糊、顏色偏差和失真等一系列降質(zhì)問(wèn)題[2]。低質(zhì)量的水下圖像直接影響了其實(shí)際應(yīng)用能力,因此增強(qiáng)水下圖像非常有必要。
針對(duì)上述問(wèn)題,國(guó)內(nèi)外眾多學(xué)者對(duì)水下圖像進(jìn)行增強(qiáng)處理并取得了一定的成果。傳統(tǒng)的水下圖像增強(qiáng)法如He 等[3]提出的暗通道先驗(yàn)(Dark Channel Pri-or,DCP)算法,根據(jù)水下圖像的霧化模糊與有霧圖像的相似性對(duì)水下圖像進(jìn)行處理,該方法去霧效果較好,但是水對(duì)光有選擇性地吸收,無(wú)法解決色偏問(wèn)題。Ancuti 等[4]提出了一種多尺度融合方法,該方法基于白平衡與色彩補(bǔ)償,利用不同的權(quán)重圖與金字塔進(jìn)行多尺度融合,提高了圖像全局對(duì)比度與邊緣清晰度,但是色彩補(bǔ)償使圖像整體偏暗色調(diào),圖像的背景區(qū)域被忽略,導(dǎo)致圖像欠缺真實(shí)度。Mishra 等[5]對(duì)限制對(duì)比度自適應(yīng)直方圖均衡(Contrast Limited AdaptiveHistogram Equalization,CLAHE)進(jìn)行改進(jìn)并應(yīng)用于水下圖像增強(qiáng),提升了水下圖像的對(duì)比度,但無(wú)法解決色偏問(wèn)題。胡振宇等[6]基于顏色平衡與CLAHE進(jìn)行多尺度融合,圖像色偏問(wèn)題與對(duì)比度明顯提升,但使用的CLAHE 未有效增強(qiáng)圖像細(xì)節(jié)。Lin等[7]提出一種顏色校正與改進(jìn)版Retinex 結(jié)合的算法,緩解圖像色偏問(wèn)題并改善圖像細(xì)節(jié),但其對(duì)比度提升不明顯?;艄鈭虻龋郏福莞鶕?jù)DCP 和計(jì)算折射率自適應(yīng)矯正圖像的顏色,對(duì)于色偏不嚴(yán)重的水域圖像,提高了圖像的亮度,恢復(fù)了圖像的顏色。Sethi 等[9]提出了一種改進(jìn)版對(duì)比度拉伸與直方圖均衡(Histogram Equalization,HE)的融合算法,提升了圖像的輪廓細(xì)節(jié)與對(duì)比度,但其色偏改善效果不明顯。Marques 等[10]提出了一種多尺度融合算法解決水下圖像亮度低、光照不均問(wèn)題,色偏問(wèn)題未有效解決。Zhou 等[11]提出了多間隔子直方圖均衡,通過(guò)計(jì)算圖像子區(qū)域的特征漂移程度,指導(dǎo)圖像自適應(yīng)增強(qiáng),處理的圖像色彩程度鮮明,對(duì)比度與色偏問(wèn)題均得到有效改善。
此外,近些年來(lái)隨著深度學(xué)習(xí)的發(fā)展,也有不少學(xué)者提出基于深度學(xué)習(xí)的圖像增強(qiáng)方法。Li 等[12]利用空氣圖像和水下圖像生成對(duì)抗網(wǎng)絡(luò)生成水下圖像,解決水下圖像色偏問(wèn)題。王昊天等[13]提出了一種循環(huán)性生成對(duì)抗網(wǎng)絡(luò),對(duì)水下圖像顏色進(jìn)行校正。徐巖等[14]根據(jù)水下圖像成像模型提出一種卷積神經(jīng)網(wǎng)絡(luò),提高了水下圖像的質(zhì)量。但由于水下環(huán)境的復(fù)雜性,水下圖像數(shù)據(jù)集比較缺乏,不同水質(zhì)、不同深度等模型泛化能力也有待考究,這種基于深度學(xué)習(xí)的增強(qiáng)方法仍有待完善。
本文針對(duì)傳統(tǒng)算法對(duì)圖像多重降質(zhì)處理效果差,難以做到圖像的顏色、對(duì)比度、亮度和細(xì)節(jié)方面等綜合型的提升,提出顏色校正與改進(jìn)的CLAHE 多尺度融合水下圖像增強(qiáng)方法。該方法采用改進(jìn)白平衡算法對(duì)圖像顏色進(jìn)行校正,采用自適應(yīng)伽馬校正的CLAHE 解決圖像對(duì)比度低、亮度低問(wèn)題,增強(qiáng)圖像邊緣和細(xì)節(jié)特征;使用金字塔分解增強(qiáng)后的圖像以及其不同權(quán)重圖,并進(jìn)行多尺度融合。結(jié)合主客觀評(píng)價(jià)、消融實(shí)驗(yàn)表明,增強(qiáng)后的圖像有更好的表現(xiàn)。
1 算法原理
1. 1 基于改進(jìn)版白平衡的顏色平衡
水介質(zhì)對(duì)不同顏色的光線會(huì)有選擇性地吸收,水對(duì)光的吸收作用會(huì)衰減光的強(qiáng)度。波長(zhǎng)越長(zhǎng)的光在水中越容易被吸收,如紅光波長(zhǎng)最長(zhǎng),在水中更容易被吸收,衰減最嚴(yán)重,阻礙光能圖像的顏色形成,因此水下圖像成藍(lán)綠色調(diào)。白平衡可以有效地解決圖像顏色偏差問(wèn)題,通過(guò)在圖像中選擇參考白色點(diǎn)來(lái)調(diào)整圖像顏色平衡,使得該點(diǎn)在圖像中呈現(xiàn)出的顏色更加自然和準(zhǔn)確。為此,本文借鑒Chen 等[15]提出的顏色校正的思想,該文獻(xiàn)通過(guò)對(duì)顏色通道進(jìn)行灰度世界白平衡和基于直方圖分布的仿射變換來(lái)解決顏色失真問(wèn)題。本文在此基礎(chǔ)上進(jìn)行改進(jìn),針對(duì)其需要設(shè)定顏色通道調(diào)整因子的弊端,提出利用直方圖自動(dòng)對(duì)比度調(diào)整以減少參數(shù)對(duì)圖像顏色調(diào)整的敏感性,從而得到改進(jìn)版白平衡處理方法。具體步驟如下:
① 對(duì)RGB 顏色通道進(jìn)行白平衡增益調(diào)整,計(jì)算公式為:
式中:Avg 為RGB 顏色通道均值的平均值,R、G、B為RGB 顏色通道的均值。
② 利用直方圖自動(dòng)對(duì)比度調(diào)整對(duì)3 個(gè)通道分別進(jìn)行調(diào)整,將圖像像素值[Vmin,Vmax ]映射到[0,255],使輸出圖像的像素值范圍充分利用整個(gè)灰度級(jí)別范圍,其計(jì)算公式為:
式中:x 為圖像某點(diǎn)像素值,Vmin 為圖像像素值的最小值,Vmax 為圖像像素值的最大值。
以圖1(a)原圖為例,分別利用白平衡算法、改進(jìn)版白平衡算法對(duì)其進(jìn)行顏色矯正,其增強(qiáng)處理前后的圖像與圖像的顏色通道如圖1 所示。
由圖1 可以看出,白平衡算法增強(qiáng)(圖1(e))處理的圖像色彩程度過(guò)于鮮明,其藍(lán)色通道(圖1(h))出現(xiàn)過(guò)度曝光現(xiàn)象;本文改進(jìn)版白平衡處理效果(圖1(i))色彩程度適中,更符合人類(lèi)感知視覺(jué)效果,顏色通道圖的灰度分布也更加均勻。
1. 2 自適應(yīng)伽馬校正的CLAHE
CLAHE 作為一種圖像增強(qiáng)方法,在水下圖像中用于提升對(duì)比度,以改善圖像質(zhì)量[16]。由于CLAHE 在提升圖像對(duì)比度方面表現(xiàn)卓越,但其關(guān)注點(diǎn)似乎主要集中在增強(qiáng)像素值分布,而對(duì)于圖像的邊緣細(xì)節(jié)信息似乎并未充分考慮[17]。馬敏慧等[18]將伽馬校正與CLAHE 相結(jié)合,可以使圖像在增強(qiáng)圖像亮度與對(duì)比度的同時(shí)更好地保持邊緣和細(xì)節(jié)特征。普通伽馬校正參數(shù)需要根據(jù)圖像進(jìn)行手動(dòng)設(shè)定,因此本文借鑒自適應(yīng)伽馬校正的方法[19],得到自適應(yīng)伽馬校正的CLAHE,提升圖像對(duì)比度與亮度的同時(shí)保持圖像邊緣和細(xì)節(jié)特征,從而在視覺(jué)效果上更自然和準(zhǔn)確。具體步驟如下:
① 將圖像分割成連續(xù)、大小不等M×N 個(gè)子塊,每個(gè)子塊的像素?cái)?shù)量為m。
② 計(jì)算每個(gè)子塊的直方圖,用hm(k)表示子塊的直方圖,k 表示灰度級(jí)。
③ 計(jì)算裁剪受限值:
式中:C 表示截?cái)嘞禂?shù),Nx ×Ny 表示每個(gè)子塊在x、y上的像素個(gè)數(shù)。
④ 對(duì)每個(gè)子塊使用對(duì)應(yīng)的T 值對(duì)hm(k)進(jìn)行裁剪,將裁剪下來(lái)的像素值對(duì)直方圖的灰度級(jí)進(jìn)行重新分配,記為fm(k),CLAHE 裁剪示意如圖2 所示。
⑤ 對(duì)fm(k)進(jìn)行HE 處理,并采用雙線性插值對(duì)子塊進(jìn)行像素重構(gòu)。
⑥ 對(duì)圖像進(jìn)行自適應(yīng)伽馬校正,根據(jù)亮度分量L 計(jì)算伽馬校正的參數(shù),計(jì)算如下:
式中:IL 表示圖像I 的亮度分量,var 和mean 分別表示IL 的方差和平均值,D 表示常數(shù),經(jīng)實(shí)驗(yàn)得知設(shè)置D = 15 效果較好;OL 表示輸出圖像的亮度分量,γ表示伽馬系數(shù)。
以圖1(i)為例,分別利用CLAHE、自適應(yīng)伽馬校正和自適應(yīng)伽馬校正的CLAHE 對(duì)其進(jìn)行增強(qiáng),處理效果如圖3 所示。
由圖3 可以看出,CLAHE(圖3(a))增強(qiáng)了圖像的對(duì)比度,其直方圖分布均勻;自適應(yīng)伽馬校正(圖3(b))對(duì)圖像的亮度進(jìn)行調(diào)整,其直方圖部分灰度級(jí)別的像素?cái)?shù)量相對(duì)較少,出現(xiàn)明顯的亮度變化,一些區(qū)域也出現(xiàn)過(guò)于暗淡的情況。自適應(yīng)伽馬校正的CLAHE 方法(圖3 (c)),其直方圖分布均勻,有效調(diào)整了圖像的亮度與對(duì)比度,相比于其他2 種方法,視覺(jué)效果也進(jìn)一步改善。
以圖1(a)原圖的細(xì)節(jié)圖為例,分別利用CLAHE、自適應(yīng)伽馬校正和自適應(yīng)伽馬校正的CLAHE 對(duì)其進(jìn)行增強(qiáng),處理效果的細(xì)節(jié)如圖4 所示。
由圖4 可以看出,原圖的細(xì)節(jié)(圖4(a))存在亮度不均勻和細(xì)節(jié)不清晰等問(wèn)題,CLAHE(圖4(b))使圖像的對(duì)比度得到增強(qiáng);自適應(yīng)伽馬校正(圖4(c)),使圖像的亮度發(fā)生變化,使一些邊緣區(qū)域的對(duì)比度增加;自適應(yīng)伽馬校正的CLAHE(圖4(d))結(jié)合了上述2 種方法的優(yōu)點(diǎn),提高了圖像的整體對(duì)比度與亮度,且細(xì)節(jié)和輪廓特征方面都得到了改善。
1. 3 權(quán)重計(jì)算
單一權(quán)重特征所含圖像的信息量有限,不能反映圖像各個(gè)基本特征。本文選擇拉普拉斯對(duì)比度權(quán)重、局部對(duì)比度權(quán)重、顯著性權(quán)重和色彩權(quán)重以更完整的方式呈現(xiàn)圖像的基本特征。由于不同權(quán)重所含的信息特征不同,不能進(jìn)行簡(jiǎn)單的線性疊加,因此將上述不同權(quán)重進(jìn)行歸一化。
(1)拉普拉斯對(duì)比度權(quán)重(WL)
該權(quán)重通過(guò)計(jì)算圖像的亮度通道的拉普拉斯濾波絕對(duì)值,估計(jì)圖像的全局對(duì)比度,以突出顯示圖像的邊緣和紋理等高頻信息[20]。此權(quán)重針對(duì)圖像全局計(jì)算,為了使圖像的細(xì)節(jié)部分更加明顯,還需要結(jié)合局部對(duì)比度權(quán)重使用。WL 計(jì)算如下:
WL =| F(Ik )| , (6)
式中:F 表示拉普拉斯濾波。
(2)局部對(duì)比度權(quán)重(WLC )
該權(quán)重通過(guò)計(jì)算圖像中的像素點(diǎn)與其相鄰像素點(diǎn)平均值之間的標(biāo)準(zhǔn)差,以凸顯圖像的高亮和陰影部分之間的區(qū)域[21]。WLC 計(jì)算如下:
WLC(x,y) = ||Ik - Ikwhc||, (7)
式中:k 表示輸入圖像索引,Ik 表示該圖像的亮度通道,Ikwhc 表示Ik 經(jīng)過(guò)鄰域內(nèi)低通濾波后的結(jié)果,低通濾波器的濾波核為1 / 16[1,4,6,4,1];whc 表示截止頻率,whc = π / 2. 75。
(3)顯著性權(quán)重(WS)
圖像的顯著性與多個(gè)方面相關(guān),如亮度、對(duì)比度和細(xì)節(jié)紋理等[22]。WS 計(jì)算如下:
WS(x,y) =||Iμ - Iwhc||, (8)
式中:Iμ 表示輸入圖像的像素平均值,Iwhc 表示經(jīng)高斯模糊的圖像。
(4)色彩權(quán)重(WE )
該權(quán)重為了衡量圖像的曝光程度,WE 計(jì)算如下:
式中:k 表示輸入圖像索引,k = 2;i 表示權(quán)重個(gè)數(shù),本文多尺度融合采用2 張圖像,i = 4。
1. 4 多尺度融合
簡(jiǎn)單線性疊加的方式可以對(duì)不同方法增強(qiáng)的圖像進(jìn)行融合,但會(huì)導(dǎo)致最終圖像出現(xiàn)偽影和光暈[23]。本文使用多尺度融合算法對(duì)圖像進(jìn)一步增強(qiáng),通過(guò)拉普拉斯金字塔與高斯金字塔分別對(duì)增強(qiáng)圖及其歸一化權(quán)重圖進(jìn)行分解,分解后進(jìn)行多尺度融合。主要流程如圖5 所示,融合過(guò)程分為3 個(gè)階段:圖像融合輸入獲取、權(quán)重計(jì)算與多尺度分解與融合。圖像融合的輸入采用改進(jìn)版白平衡對(duì)圖像進(jìn)行顏色校正,采用自適應(yīng)伽馬校正的CLAHE 對(duì)圖像的對(duì)比度、亮度輪廓細(xì)節(jié)進(jìn)行增強(qiáng)。獲得圖像融合輸入后,選取輸入圖像的拉普拉斯對(duì)比度權(quán)重圖、局部對(duì)比度權(quán)重圖、顯著性權(quán)重圖和色彩權(quán)重圖,將上述的權(quán)重圖做歸一化處理,得到歸一化權(quán)重圖。將2 幅輸入圖像和歸一化權(quán)重圖分別采用拉普拉斯金字塔和高斯金字塔進(jìn)行分解,然后在金字塔的每一層對(duì)輸入圖和權(quán)重圖通過(guò)逐層重建的方法得到融合圖像。金字塔融合計(jì)算如下:
2 實(shí)驗(yàn)結(jié)果及分析
2. 1 主觀評(píng)價(jià)
通過(guò)水下圖像評(píng)價(jià)中標(biāo)準(zhǔn)色卡驗(yàn)證本文算法的顏色復(fù)原效果,與文獻(xiàn)[3-11]提出的算法以及本文算法分別進(jìn)行增強(qiáng)處理并作對(duì)比分析。顏色恢復(fù)實(shí)驗(yàn)處理效果如圖6 所示,以松下TS1 相機(jī)拍攝的水下圖像圖6(a)、標(biāo)準(zhǔn)色卡圖6(l)為例。
由圖6 可以看出,圖6(b)對(duì)比度提升不明顯,也不能解決圖像色偏問(wèn)題;圖6(c)解決了圖像的色偏問(wèn)題,但是對(duì)比度和亮度效果較差;圖6(d)對(duì)比度有所改善,但是暫未解決色偏問(wèn)題;圖6(d)被過(guò)度增強(qiáng),顏色失真較嚴(yán)重;圖6(e)有效解決了色偏問(wèn)題,圖像的對(duì)比度也有效改善,但亮度偏低;圖6(f)與圖6(e)相比增強(qiáng)程度相對(duì)緩和,有效解決了色偏問(wèn)題,提高了圖像的對(duì)比度和亮度;圖6(g)紅色失真較嚴(yán)重,圖像質(zhì)量也降低;圖6(h)整體亮度偏低,色偏增強(qiáng)效果不明顯;圖6(i)不能解決色偏問(wèn)題,對(duì)比度較高;圖6(j)色彩鮮明程度、清晰度較高;圖6(k)解決了色偏問(wèn)題,本文算法的CLAHE 結(jié)合自適應(yīng)伽馬校正,與CLAHE 未結(jié)合自適應(yīng)伽馬校正的圖6(e)相比,其亮度與對(duì)比度進(jìn)一步提高,清晰度也提高。
為進(jìn)一步驗(yàn)證本文水下圖像的增強(qiáng)效果,從郭繼昌等[24]創(chuàng)建的水下圖像數(shù)據(jù)集中選出5 組典型的水下降質(zhì)圖像進(jìn)行實(shí)驗(yàn)。以圖7(a)原圖為例,用文獻(xiàn)[3-11]以及本文算法分別進(jìn)行增強(qiáng)處理并作對(duì)比分析。具體實(shí)驗(yàn)結(jié)果如圖7 所示。
由圖7 可以看出,文獻(xiàn)[3]去霧效果較好,進(jìn)行顏色校正無(wú)效;文獻(xiàn)[4]解決了圖像的偏色問(wèn)題,且圖像整體偏暗色調(diào),圖像的對(duì)比度不佳;文獻(xiàn)[5]算法不能解決圖像色偏問(wèn)題,但是提高了對(duì)比度;文獻(xiàn)[6]可以有效解決圖像色偏問(wèn)題,對(duì)比度提高,背景區(qū)域也更明顯,但是圖像引入噪點(diǎn)或偽影,圖像清晰度降低;文獻(xiàn)[7 ]圖像色彩程度不夠豐富;文獻(xiàn)[8]圖像顏色出現(xiàn)嚴(yán)重的失真現(xiàn)象,視覺(jué)效果較差;文獻(xiàn)[9]校正顏色效果不明顯,圖像對(duì)比度也未提高;文獻(xiàn)[10]圖像的輪廓與細(xì)節(jié)較為突出,存在綠色失真問(wèn)題;文獻(xiàn)[11]飽和度鮮明,圖像的亮度與對(duì)比度均有不錯(cuò)的效果,但輪廓特征與圖像的細(xì)節(jié)不夠豐富;本文算法色彩飽和程度適中,能夠解決圖像色偏問(wèn)題,且圖像對(duì)比度與亮度均衡,細(xì)節(jié)清晰,圖像質(zhì)量較高。
2. 2 客觀評(píng)價(jià)
為了客觀評(píng)價(jià)所提算法的性能,采用水下圖像顏色質(zhì)量評(píng)價(jià)(Underwater Color Image QualityEvaluation,UCIQE)、信息熵、水下圖像質(zhì)量評(píng)價(jià)(Underwater Image Quality Measure,UIQM)、時(shí)間及空間復(fù)雜度指標(biāo)進(jìn)行評(píng)測(cè)。
(1)UCIQE
UCIQE 由Yang 等[25]提出,以圖像的色度、對(duì)比度和飽和度的線性組合綜合評(píng)價(jià)水下圖像的質(zhì)量,UCIQE 值越高代表水下圖像的質(zhì)量越高,其計(jì)算如下:
UCIQE = c1 σc + c2 conl + c3 μs , (13)
式中:σc 表示色度的標(biāo)準(zhǔn)方差,conl 表示圖像對(duì)比度,μs 表示飽和度平均值,c1 、c2 、c3 表示加權(quán)系數(shù),c1 = 0. 468 0、c2 = 0. 274 5、c3 = 0. 256 7。表1 為圖7所有圖像的UCIQE 結(jié)果。
表1 數(shù)據(jù)表明,除了Zhou 等[11]等處理的序號(hào)為1、2 的圖像的UCIQE 高于本文算法外,其余圖像UCIQE 本文算法均高于其他對(duì)比算法。圖像的色度、飽和度和對(duì)比度均有不錯(cuò)的效果。本文方法UCIQE的均值為0. 639 0,相比原始圖像,其UCIQE 提升了約0. 229 4。經(jīng)本文算法處理后的圖像顏色恢復(fù)自然,可以有效提高水下圖像質(zhì)量。
(2)信息熵
信息熵代表圖像的平均信息量,信息熵?cái)?shù)值越大,表明圖像所含信息量越豐富,其計(jì)算如下:
式中:L 表示灰度級(jí)別,x 表示灰度值,p(x)表示灰度值分布概率。表2 為圖7 中所有圖像的信息熵評(píng)價(jià)結(jié)果。
表2 數(shù)據(jù)表明,除了胡振宇等[6]處理的序號(hào)為3、6、7 的圖像,Lin 等[7]、Zhou 等[11]處理的序號(hào)為3、6 的圖像的信息熵高于本文算法外,本文算法信息熵均值為7. 714 9,相比于對(duì)比算法均值最高,相比原始圖像提高了約1. 368 1。經(jīng)本文算法增強(qiáng)處理后的圖像所含信息最豐富。
(3)UIQM
UIQM 由Panetta 等[26]提出,以圖像的色彩測(cè)量、清晰度測(cè)量和對(duì)比度測(cè)量的線性組合綜合評(píng)價(jià)水下圖像的質(zhì)量,UIQM 值越高代表水下圖像的質(zhì)量越高,其計(jì)算如下:
UIQM = c1 UICM + c2 UISM + c3 UIConM, (15)
式中:UICM 表示對(duì)圖像色彩測(cè)量,UISM 表示對(duì)圖像的清晰度測(cè)量,UIConM 表示圖像對(duì)比度測(cè)量,c1 、c1 、c3 表示加權(quán)系數(shù),c1 =0. 028 2,c1 =0. 295 3,c3 =2. 575 3。表3 為圖7 中所有圖像的UIQM 結(jié)果。
表3 數(shù)據(jù)表明,除了Lin 等[7]處理的序號(hào)為2 的圖像的UIQM 高于本文算法外,其余圖像UIQM 本文算法均高于其他對(duì)比算法。本文算法UIQM 均值為0. 718 3,相比于對(duì)比算法均值最高,相比原始圖像提高了約0.555 8。經(jīng)本文算法增強(qiáng)處理的圖像色彩鮮明,對(duì)比度適中,清晰度也較高。
(4)時(shí)間和空間復(fù)雜度評(píng)價(jià)
對(duì)上述實(shí)驗(yàn)中各類(lèi)算法時(shí)間和空間復(fù)雜度進(jìn)行評(píng)價(jià),以各類(lèi)算法對(duì)原始圖像處理時(shí)間的平均值和算法運(yùn)行內(nèi)存為例,比較各算法在圖像處理速度方面的性能差異和資源占用方面的性能表現(xiàn),實(shí)驗(yàn)結(jié)果如表4 所示。
表4 數(shù)據(jù)表明,文獻(xiàn)[5]算法處理時(shí)間最短,占用的運(yùn)行內(nèi)存資源較少,但處理圖像的質(zhì)量不佳。除了文獻(xiàn)[4]算法占用的運(yùn)行內(nèi)存最多以外,本文算法也占用了較多的運(yùn)行內(nèi)存。另外,本文算法處理圖像的時(shí)間在各類(lèi)算法中處于中上水平,能在相對(duì)較短的時(shí)間內(nèi)完成圖像處理任務(wù)。
2. 3 消融實(shí)驗(yàn)
本文多尺度融合算法包括改進(jìn)版白平衡與自適應(yīng)伽馬校正的CLAHE 兩個(gè)關(guān)鍵步驟。在上述水下圖像數(shù)據(jù)集中選出3 組圖像進(jìn)行消融實(shí)驗(yàn),分別用改進(jìn)版的白平衡、自適應(yīng)伽馬校正的CLAHE 對(duì)圖像進(jìn)行增強(qiáng),與本文算法增強(qiáng)處理的圖像進(jìn)行比較,實(shí)驗(yàn)消融結(jié)果如圖8 所示。
由圖8 可以看出,改進(jìn)版白平衡能有效解決水下圖像色偏問(wèn)題,其輪廓特征、細(xì)節(jié)不明顯。自適應(yīng)伽馬校正的CLAHE 不能解決水下圖像色偏問(wèn)題,但能有效提高圖像的對(duì)比度,輪廓特征與細(xì)節(jié)得到改善。本文多尺度融合算法能有效解決圖像色偏問(wèn)題,提高圖像的整體對(duì)比度并與亮度,且細(xì)節(jié)和輪廓特征也得到有效保留。表5 為圖8 中所有圖像的消融實(shí)驗(yàn)客觀指標(biāo)評(píng)價(jià)結(jié)果。
表5 數(shù)據(jù)表明,本文算法的UCIQE、信息熵和UIQM 均優(yōu)于改進(jìn)版白平衡、自適應(yīng)伽馬校正的CLAHE,證明了本文多尺度融合算法的有效性。
3 結(jié)束語(yǔ)
由于水下惡劣成像環(huán)境,導(dǎo)致拍攝的水下圖像有色偏、對(duì)比度低和細(xì)節(jié)模糊等問(wèn)題,本文提出了一種基于顏色校正與改進(jìn)的CLAHE 多尺度融合水下圖像增強(qiáng)方法。利用改進(jìn)版白平衡方法對(duì)圖像顏色校正,采用結(jié)合自適應(yīng)伽馬校正的CLAHE 方法提升圖像對(duì)比度與亮度,保留圖像的細(xì)節(jié)邊緣。將2 種方法增強(qiáng)后的圖像采用不同的權(quán)重進(jìn)行多尺度分解與融合得到水下增強(qiáng)圖像。實(shí)驗(yàn)結(jié)果表明,在主觀評(píng)價(jià)上,本文視覺(jué)效果優(yōu)于對(duì)比方法;在客觀評(píng)價(jià)上,所提方法的UCIQE、信息熵和UIQM 的平均值優(yōu)于對(duì)比方法,平均值分別為0. 639 0、7. 714 9、0. 718 3;在消融實(shí)驗(yàn)中,所提算法的UCIQE、信息熵和UIQM 均優(yōu)于單獨(dú)使用改進(jìn)版的白平衡、自適應(yīng)伽馬校正的CLAHE。本文算法能夠有效解決水下圖像色偏問(wèn)題,均勻提升圖像的對(duì)比度與亮度,增強(qiáng)圖像的細(xì)節(jié)與邊緣特征,提高圖像的清晰度。
參考文獻(xiàn)
[1] 衛(wèi)依雪,周冬明,王長(zhǎng)城,等. 采用多尺度密集殘差網(wǎng)絡(luò)的水下圖像增強(qiáng)[J]. 無(wú)線電工程,2021,51(9):870-878.
[2] 林森,劉世本,唐延?xùn)|. 多輸入融合對(duì)抗網(wǎng)絡(luò)的水下圖像增強(qiáng)[J]. 紅外與激光工程,2020,49(5):217-225
[3] HE K M,SUN J,TANG X O. Single Image Haze RemovalUsing Dark Channel Prior [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33 (12):2341-2353.
[4] ANCUTI C O,ANCUTI C,DE VLEESCHOUWER C,etal. Color Balance and Fusion for Underwater Image Enhancement[J]. IEEE Transactions on Image Processing,2018,27(1):379-393.
[5] MISHRA A,GUPTA M,SHARMA P. Enhancement ofUnderwater Images Using Improved CLAHE[C]∥ International Conference on Advanced Computation and Telecommunication(CACAT). Bhopal:IEEE,2018:1-6.
[6] 胡振宇,陳琦,朱大奇. 基于顏色平衡和多尺度融合的水下圖像增強(qiáng)[J]. 光學(xué)精密工程,2022,30 (17 ):2133-2146.
[7] LIN S J,LI Z,ZHENG F H,et al. Underwater Image Enhancement Based on Adaptive Color Correction and Improved Retinex Algorithm [J]. IEEE Access,2023,11:27620-27630.
[8] 霍光堯,佃松宜,武偉讓?zhuān)龋?基于暗通道先驗(yàn)和自適應(yīng)顏色校正的水下圖像處理[J]. 電光與控制,2019,26(11):70-74.
[9] SETHI R,INDU S. Fusion of Underwater Image Enhancement and Restoration[J]. International Journal of PatternRecognition and Artificial Intelligence, 2020, 34(3):2054007.
[10] MARQUES T P,ALBU A B. L2 UWE:A Framework forthe Efficient Enhancement of Lowlight UnderwaterImages Using Local Contrast and Multiscale fusion[C]∥Proceedings of the IEEE / CVF Conference on ComputerVision and Pattern Recognition Workshops. Seattle:IEEE,2020:538-539.
[11] ZHOU J C,PANG L,ZHANG D H,et al. UnderwaterImage Enhancement Method via Multiinterval Sub Histogram Perspective Equalization [J ]. IEEE Journal ofOceanic Engineering,2023,48(2):474-488.
[12] LI C Y,GUO C L,REN W Q,et al. An Underwater ImageEnhancement Benchmark Dataset and Beyond[J]. IEEETransactions on Image Processing,2019,29:4376-4389.
[13] 王昊天,劉慶省,陳亮,等. 改進(jìn)的CycleGAN 網(wǎng)絡(luò)用于水下顯微圖像顏色校正[J]. 光學(xué)精密工程,2022,30(12):1499-1508.
[14] 徐巖,孫美雙. 基于卷積神經(jīng)網(wǎng)絡(luò)的水下圖像增強(qiáng)方法[J ]. 吉林大學(xué)學(xué)報(bào)(工學(xué)版),2018,48 (6 ):1895-1903.
[15] CHEN Q,ZHANG Z,LI G L. Underwater Image Enhancement Based on Color Balance and Multiscale Fusion[J].IEEE Photonics Journal,2022,14(6):3963010 .
[16] 王昕平,張森林,劉妹琴,等. 基于多尺度圖像融合和SIFT 特征的水下圖像拼接研究[J]. 計(jì)算機(jī)應(yīng)用與軟件,2021,38(5):213-217.
[17] 成宏達(dá),駱海明,夏慶超,等. 基于改進(jìn)γCLAHE 算法的水下機(jī)器人圖像識(shí)別[J]. 浙江大學(xué)學(xué)報(bào)(工學(xué)版),2022,56(8):1648-1655.
[18] 馬敏慧,王紅茹,王佳. 基于改進(jìn)的MSRCRCLAHE 融合的水下圖像增強(qiáng)算法[J]. 紅外技術(shù),2023,45(1):23-32.
[19] 杜雪,孫秀娟,李長(zhǎng)安,等. 基于加權(quán)融合的多空間轉(zhuǎn)換水下圖像增強(qiáng)方法[J]. 電光與控制,2021,28(11):101-105.
[20] 朱祥坤,王坤,云利軍,等. 基于多尺度融合技術(shù)的低光照?qǐng)D像增強(qiáng)技術(shù)研究[J]. 云南師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2023,43(3):30-35.
[21] 丁潔,陸安江,彭熙舜,等. 基于顏色校正和加權(quán)融合的水下圖像增強(qiáng)[J]. 國(guó)外電子測(cè)量技術(shù),2023,42(3):167-174.
[22] LI X J,HOU G J,TAN L,et al. A Hybrid Framework forUnderwater Image Enhancement[J]. IEEE Access,2020,8:197448-197462.
[23] ROWGHANIAN V. Underwater Image Restoration withHaar Wavelet Transform and Ensemble of Triple CorrectionAlgorithms Using Bootstrap Aggregation and RandomForests[J]. Scientific Reports,2022,12(1):8952.
[24] 郭繼昌,李重儀,郭春樂(lè),等. 水下圖像增強(qiáng)和復(fù)原方法研究進(jìn)展[J]. 中國(guó)圖象圖形學(xué)報(bào),2017,22 (3):273-287.
[25] YANG M,SOWMYA A. An Underwater Color ImageQuality Evaluation Metric [J ]. IEEE Transactions onImage Processing,2015,24(12):6062-6071.
[26] PANETTA K,GAO C,AGAIAN S. Humanvisualsysteminspired Underwater Image Quality Measures [J]. IEEEJournal of Oceanic Engineering,2016,41(3):541-551.
作者簡(jiǎn)介
弭永發(fā) 男,(1998—),碩士研究生。主要研究方向:圖像處理、機(jī)器視覺(jué)。
(*通信作者)遲明善 男,(1985—),博士,副教授。主要研究方向:服務(wù)機(jī)器人開(kāi)發(fā)、機(jī)器視覺(jué)等。
張 強(qiáng) 男,(1982—),博士,教授。主要研究方向:船舶運(yùn)動(dòng)與控制、機(jī)器視覺(jué)等。
劉鵬杰 男,(1996—),碩士研究生。主要研究方向:圖像處理、機(jī)器視覺(jué)。
王天佑 男,(2001—)。主要研究方向:圖像處理。
基金項(xiàng)目:山東省自然科學(xué)基金面上項(xiàng)目(ZR2022ME087);山東交通學(xué)院2023 年校級(jí)研究生科技創(chuàng)新項(xiàng)目立項(xiàng)(2023YK097);山東交通學(xué)院博士科研啟動(dòng)基金(BS2024009)