摘要:為提高煤礦塵霧圖像的可觀測性,提出一種基于全局雙約束的Retinex算法的塵霧圖像增強算法(GCFCDL-Retinex)。首先,將輸入圖像進行內(nèi)外循環(huán),訓(xùn)練聚類和稀疏雙重約束下的過完備字典,對圖像中的噪聲分量進行抑制;然后,通過Retinex算法對照度分量和反射分量進行估計及提取,并對提取的照度分量進行自適應(yīng)Gamma校正;最后輸出增強后的圖像。研究結(jié)果表明:在煤礦井下的復(fù)雜環(huán)境中,所提出的圖像增強算法能夠有效提高礦井下塵霧圖像的對比度和清晰度,去除真實粉塵,同時抑制圖像光暈、邊緣模糊的現(xiàn)象,增強后的圖像色彩自然,視覺效果明顯提升。研究結(jié)論為礦井下視頻監(jiān)控清晰化的工程應(yīng)用提供理論依據(jù)。
關(guān)鍵詞:圖像增強;圖像去噪;稀疏約束;聚類約束;Retinex算法
中圖分類號:TD67 文獻標(biāo)志碼:A 文章編號:1008-0562(2024)02-0225-07
0 引言
隨著智能信息時代的發(fā)展,越來越多的智能視頻監(jiān)控設(shè)備應(yīng)用于煤礦井下,但由于煤礦井下環(huán)境復(fù)雜,采集到的圖像噪聲大、照度低,顯著降低了監(jiān)控場景中的能見度,影響智能視頻監(jiān)控的清晰度,降低煤礦安全任務(wù)的可靠性。因此,礦井塵霧圖像增強技術(shù)成為建設(shè)智能化礦山開采需要攻克的關(guān)鍵技術(shù)之一。
許多學(xué)者針對圖像增強開展了大量研究。圖像增強算法有直方圖均衡化算法、同態(tài)濾波算法、小波變換算法、尺度變化算法及Retinex理論相關(guān)算法等。多尺度Retinex(multi-scaleRetinex,MSR)算法會放大噪聲,增強后的圖像會出現(xiàn)光暈和偽影;加權(quán)變分低照度Retinex算法(simultaneous reflectance and illumination estimation,SRIE)會造成圖像色彩失真。文獻[16]將圖片分解為反射分量和亮度分量,提出一種對圖像的亮度分量進行增強的NPE(natural preservationenhancement)算法。文獻[17]提出一種從全局亮度增強局部對比度的MF (multi-scale fusion)算法,增強后的圖像顏色自然。文獻[18]提出基于變分的圖像增強LIME(low-light illumination map estimation)算法?,F(xiàn)有圖像增強算法,對于低照度強粉塵的煤礦井下圖像,處理后粉塵噪聲去除不徹底,色彩度和對比度不自然。目前,對于實際工程應(yīng)用中礦井下粉塵圖像的增強研究較少,無法滿足礦井下圖像增強的需求。
本文以煤礦開采視頻監(jiān)控清晰化為背景,開展井下塵霧圖像清晰化及圖像增強的實驗研究,提出一種基于模糊C均值(cuccy C means,F(xiàn)CM)聚類和字典學(xué)習(xí)的全局雙約束Retinex圖像增強算法(global dual constraint Retinex image enhancementalgorithm based on FCM clustering and dictionarylearning,GCFCDL-Retinex),用于礦井塵霧圖像增強。該算法通過引入FCM聚類,增加對圖像結(jié)構(gòu)的約束,并結(jié)合字典學(xué)習(xí)稀疏約束,完成對圖像噪聲的抑制和圖像細節(jié)信息的保留,在對數(shù)域中估計照度分量和反射分量,對照度分量進行增強,完成圖像亮度和色彩修正,從而得到增強后的礦井塵霧圖像。
1 GCFCDL-Retinex算法
由于礦井開采時,粉塵強,環(huán)境亮度低,井下圖像的清晰度較低,影響井下環(huán)境觀測,為使圖像清晰明亮,并且不丟失細節(jié)信息,需要對礦井圖像進行增強處理,去除圖像中的粉塵噪聲,以提升圖像的可觀測性。
1.1 GCFCDL算法圖像噪聲分量抑制
為避免去噪后的礦井圖像過平滑,更好地保留礦井圖像的邊緣和細節(jié)信息,結(jié)合學(xué)習(xí)字典的去噪算法,基于模糊C均值聚類算法,考慮自然圖像低秩性和圖像整體結(jié)構(gòu)性兩個先驗信息,提出基于聚類算法圖像結(jié)構(gòu)約束和稀疏約束的字典學(xué)習(xí)去噪函數(shù),表示為
式中:y為含噪圖像;α、αi為稀疏表示系數(shù);α為α的估計量;D是一個過完備學(xué)習(xí)字典;μ1和μ2為非負參數(shù)懲罰因子;ωi為聚類中心;i為聚類中心的序號。
1.2 Retinex算法提取圖像照度分量和反射分量
為解決礦井下圖像低照度不便觀測的問題,使用Retinex算法對礦井圖像的照度分量和反射分量進行提取,并使用Gamma校正對礦井圖像的照度分量進行校正,解決礦井下圖像過暗不便獲取圖像信息的問題。
Retinex理論可表示為
S= R·L,(2)
式中:S為原始圖像;L為照度分量;R為反射分量。
由于對數(shù)變換符合韋伯定律所描述的人類對光強的感知,因此將圖像轉(zhuǎn)至對數(shù)域,進行照度分量L和反射分量R的估計和提取,即
式中:R和L為代替er和el的常數(shù)向量,此常數(shù)向量使用前次迭代結(jié)果。
煤礦是點光源照射環(huán)境,光源集中在某幾處地方,使得圖像部分區(qū)域過亮,難以觀測到暗區(qū)域的信息,影響視覺效果。采用自適應(yīng)伽馬校正對圖像的照度分量進行調(diào)整,使亮度分布更加均勻。調(diào)整后的照度分量為
式中,y為自適應(yīng)Gamma的校正系數(shù),參照文獻[13]取2.2。
1.3 GCFCDL-Retinex圖像增強算法
GCFCDL-Retinex算法對礦井塵霧圖像增強流程見圖1。
GCFCDL-Retinex算法的計算步驟如下。
步驟1 將輸入圖像進行內(nèi)外循環(huán),在字典學(xué)習(xí)去噪模塊中利用外部循環(huán)構(gòu)造學(xué)習(xí)字典,內(nèi)部循環(huán)使用聚類算法對學(xué)習(xí)字典進行結(jié)構(gòu)約束,加強對圖像邊緣和細節(jié)的保留能力;內(nèi)外循環(huán)迭代,得到稀疏和結(jié)構(gòu)聚類雙重約束下的過完備學(xué)習(xí)字典。
(1)內(nèi)循環(huán)
FCM更新方法為
(2)外循環(huán)
D的求解是一個最小絕對值選擇與收縮算子(least absolute shrink-age and selection operator,LASSO)問題,使用交替方向乘子法(altematingdirection method of multipliers,ADMM)進行求解,把D初始化為過冗余離散余弦變換(discrete cosinetransform,DCT)字典,將x初始化為y,用主成分分析法(principal component analysis,PCA)進行字典更新,直到達到迭代閾值和稀疏度的要求,結(jié)束更新字典。求解方法為
步驟2 根據(jù)步驟1得到的過完備字典D和對應(yīng)的稀疏表示系數(shù)a,通過冗余字典和稀疏表示系數(shù)對真實礦井圖像中的粉塵噪聲分量進行抑制,得到噪聲抑制后的礦井塵霧圖像x,提升礦井圖像的清晰度和可觀測性,提高對礦井圖像中有用信息的利用率。
步驟3 通過GCFCDL-Retinex算法估計和提取照度分量和反射分量。以聚類函數(shù)為約束的稀疏編碼去噪模塊作為多尺度Retinex算法中的輸入函數(shù),在梯度和稀疏雙重約束下,在對數(shù)域中估計照度和反射率,用L2范數(shù)懲罰區(qū)分照度分量,加強空間平滑性,L1范數(shù)區(qū)分反射分量,進行分段平滑。
步驟4 采用補償?shù)姆绞綇浹a在對數(shù)域上梯度過于放大暗部區(qū)域的問題。對步驟3中得到的圖像進行自適應(yīng)Gamma校正,得到校正后的照度分量,提升圖像對比度,完成圖像亮度和色彩修正,得到增強的礦井塵霧圖像,輸出增強后的圖像。彌補對數(shù)域上梯度問題的計算公式為
步驟5 彌補梯度對于小變量的缺陷,優(yōu)化目標(biāo)函數(shù)。
優(yōu)化后的目標(biāo)函數(shù)為
2 實驗驗證
實驗測試環(huán)境為Matlab R2018b,CPU為配備3.00 GHz鐳射顯卡的第5代AMD銳龍?zhí)幚砥? 600 H,隨機存儲器為16.0 GB。為驗證算法的有效性和可行性,使用礦井強粉塵真實礦井環(huán)境數(shù)據(jù)集,針對真實強粉塵礦井噪聲圖像進行實驗。將本文算法與NPE算法、MF算法、LIME算法、MSR算法進行對比,從主觀評價和客觀評價兩個方面對圖像增強效果進行評價。
實驗參數(shù)設(shè)置如下。在利用GCFCDL-Retinex算法進行粉塵噪聲抑制時,根據(jù)礦井塵霧圖像中粉塵噪聲強度,設(shè)置分割圖像塊的大小和迭代閾值T,可以更加自適應(yīng)地根據(jù)圖像的噪聲程度,調(diào)整去噪時各參數(shù)值,以達到更好的噪聲去除效果,并且可以合理調(diào)整抑制噪聲的處理時間,提高算法的運行速度及效率。當(dāng)粉塵噪聲強度分別為小、中和大時,圖像分塊大小分別設(shè)置為6 cm×6 cm、7 cm×7 cm和8 cm×8 cm,T分別設(shè)為2、3、3。
2.1 主觀驗證
圖2為礦井下低照度強粉塵圖像增強處理結(jié)果。圖3為礦井下低照度強粉塵圖像增強處理結(jié)果的灰度直方圖。
從圖2的增強效果可以看出,NPE算法和GCFCDL-Retinex算法都達到了很好的去霧效果。GCFCDL-Retinex算法比NPE算法的結(jié)果具有更好的清晰度、對比度和顏色信息。LIME算法的輸出圖像整體區(qū)域亮度偏高、對比度高、顏色失真。MSR算法的輸出圖像整體區(qū)域亮度偏高,圖像原本的粉塵噪聲在圖像增強的過程中被放大。NPE算法和MF算法可以很好地提升圖像的亮度,顏色無失真,但局部細節(jié)信息恢復(fù)較差,粉塵噪聲被放大。觀察局部圖可知,GCFCDL-Retinex算法能夠保留局部細節(jié)信息,去除礦井圖像強粉塵場景中的粉塵噪聲,提升礦井圖像的清晰度和亮度。
由圖3可以看出,原始圖像1的灰度級主要分布在0~150;經(jīng)NPE算法和MF算法增強后的圖像直方圖灰度級分布在50~200;經(jīng)LIME算法和MSR算法增強后的圖像直方圖灰度級分布在100~225,表明增強后圖像亮度過高;經(jīng)GCFCDL-Retinex算法增強后的圖像直方圖灰度級均勻分布在0~250。
圖4為礦井下強光的礦井塵霧圖像增強處理結(jié)果。圖5為礦井下強光的礦井塵霧圖像增強處理結(jié)果的灰度直方圖。
從圖4圖像增強效果對比可以看出,所有算法都在一定程度上提高了恢復(fù)圖像的清晰度、對比度和顏色信息。但觀察局部圖可知,LIME算法處理后的齒輪顏色過于飽和,細節(jié)不明顯。NPE算法和MF算法處理后的圖像左上角噪點放大。MSR算法處理后的結(jié)果亮度低,顏色失真。NPE和GCFCDL-Retinex算法都能得到較好的結(jié)果,但本文算法的結(jié)果顏色更自然,對比度更高,整體效果好。
由圖5可看出,原始圖像2的灰度級大多分布在25~75;經(jīng)NPE、MF、LIME和MSR算法增強后的圖像灰度級分布在50~150,表明增強后圖像亮度過強;經(jīng)GCFCDL- Retinex算法增強后的圖像直方圖灰度級均勻分布在0~250。灰度級分布范圍廣泛且均勻,表明GCFCDL-Retinex算法增強后圖像的對比度高。
2.2 客觀驗證
采用信息熵、平均梯度、標(biāo)準(zhǔn)差和結(jié)構(gòu)相似性(structural similarity,SSIM)作為客觀評價指標(biāo)。信息熵反映了1張圖片所具有的信息量;平均梯度反映圖像對微小細節(jié)反差表達的能力;標(biāo)準(zhǔn)差反映圖像的對比度;結(jié)構(gòu)相似性反映處理前后圖像之間的結(jié)構(gòu)相似度。
以圖2和圖4中礦井塵霧圖像為例,客觀評價結(jié)果見表1、表2。由表1、表2可知,經(jīng)GCFCDL-Retinex算法處理后的圖像信息熵和平均梯度最大。與原始圖像1和原始圖像2相比,經(jīng)GCFCDL-Retinex算法增強后的圖像標(biāo)準(zhǔn)差分別提高了16.Og%和56.17%。但與處理過后亮度過高的LIME和MSR算法相比,標(biāo)準(zhǔn)差有所下降,這是亮度校正時基于梯度和稀疏約束保持自然度的結(jié)果。GCFCDL-Retinex算法對于塵霧圖像中的粉塵有去除的作用,故結(jié)構(gòu)相似性不是最大,這是去除圖像中粉塵噪聲提升視覺清晰度的結(jié)果。與其他圖像增強算法相比,GCFCDL-Retinex算法處理后的圖像細節(jié)和紋理信息豐富,圖像清晰度提升,增強后的圖像具有更好的可觀測性。
客觀評價結(jié)果表明:對于礦井塵霧圖像,經(jīng)GCFCDL-Retinex算法增強后的圖像信息熵提高了10.29%,平均梯度提高了312.35%,標(biāo)準(zhǔn)差提高了16.09%。對于有強光直射的礦井塵霧圖像,與NPE算法相比,GCFCDL-Retinex算法增強后的圖像信息熵提高了8.61%,平均梯度提高了169.93%,標(biāo)準(zhǔn)差提高了48.68%;與LIME算法相比,GCFCDL-Retinex算法標(biāo)準(zhǔn)差較小,但在平均梯度和信息熵方面有改善,分別提高了9.39%和67.75%。
2.3 GCFCDL-Retinex算法效率分析
各算法基于煤礦井下塵霧圖像的增強過程用時見圖6。MF和MSR算法用時最短,但增強后的圖像視覺效果差;LIME算法處理粉塵噪聲嚴(yán)重的圖像時,用時較長,且圖像視覺效果差;NPE算法處理后的圖像視覺效果好,但算法用時較長,且對粉塵噪聲無抑制作用;GCFCDL-Retinex算法用時比NPE算法少,處理后的圖像清晰,結(jié)果更好。GCFCDL-Retinex算法應(yīng)用于實時監(jiān)控視頻場景下,需要對視頻進行抽幀處理,但準(zhǔn)實時的視頻延遲約為1~3 s,故其應(yīng)用在實時監(jiān)控視頻場景下,需增加并行處理,加快算法的實時處理速度。
在GCFCDL-Retinex算法中,存在成對出現(xiàn)的“if”和“else”等二分查找語句,其時間復(fù)雜度為O(log2n)。在去噪過程中還有二次的循環(huán)嵌套和三次循環(huán)嵌套,其時間復(fù)雜度分別為O(n2)和O(n3);最大的三次循環(huán)嵌套為在對圖片進行分類時,既要計算行i列j的圖像塊,又對分類后的圖像進行排列,故時間復(fù)雜度為O(n3)。在增強過程中,有二次循環(huán)嵌套,其時間復(fù)雜度為O(n2)。時間復(fù)雜度從小到大排序為:O(log2n)
3 結(jié)論
針對礦井塵霧圖像增強,提出一種GCFCDL-Retinex算法。實驗結(jié)果表明:該算法能有效抑制圖像增強過程中塵霧噪聲的放大,對于真實塵霧有去除效果,提高圖像的亮度和清晰度,對邊緣和細節(jié)信息具有保持作用,避免出現(xiàn)圖像亮度過飽、光暈現(xiàn)象和顏色失真。經(jīng)該算法增強后的礦井圖像在信息熵、平均梯度方面均有明顯提高;與原始圖像相比,標(biāo)準(zhǔn)差有所提升,與對比度過高的算法相比,標(biāo)準(zhǔn)差有所下降,但保持了圖像的色度和飽和度。GCFCDL-Retinex算法整體提升了礦井塵霧圖像的視覺可觀測性和清晰度。
基金項目:遼寧省教育廳基本科研項目(LJKM220220677)