梁燕華,蘆君珂,田訓鵬
(黑龍江科技大學電氣與控制工程學院,黑龍江 哈爾濱 150022)
煤炭是我國的主要能源,約占一次能源的60%[1],近幾年我國煤炭產(chǎn)量約達全球總產(chǎn)量的二分之一。根據(jù)煤礦井下安全事故的研究統(tǒng)計,大部分煤礦存在監(jiān)管工作不到位、防護意識不足等問題,因此,當?shù)V災(zāi)真實發(fā)生時不能及時應(yīng)對,并開展緊急營救工作。在智慧礦山技術(shù)飛速發(fā)展的當下,煤礦井下引入了智能監(jiān)控系統(tǒng),使得監(jiān)管部門的繁重工作得到減輕,并且有效提升了工作質(zhì)量[2]。雖然監(jiān)控設(shè)備不能替代人工在礦井工作中的重要性,但其具有全天候?qū)ΦV井進行監(jiān)控的優(yōu)勢。視頻監(jiān)控系統(tǒng)作為礦山安全的重要組成部分,對于工礦領(lǐng)域的安全工作至關(guān)重要。高清數(shù)字化設(shè)備的普及,進一步促進了煤礦井下視頻監(jiān)控領(lǐng)域的發(fā)展。礦井視頻監(jiān)控有利于更好地了解井下人員分布和設(shè)備運行的狀況,是煤礦實現(xiàn)高效安全生產(chǎn)的重要一環(huán)[3]。煤礦井下的工作性質(zhì)和工作條件復(fù)雜,大多數(shù)區(qū)域沒有均勻的光照,只能依靠礦燈照明,導致監(jiān)控設(shè)備收集的圖像大多出現(xiàn)了過曝光的問題,并且會在煤礦井下各類生產(chǎn)設(shè)備運行過程中導致空氣中懸浮粉塵、水汽等雜質(zhì),這些因素都嚴重影響了視頻監(jiān)控設(shè)備在煤礦井下采集圖像的質(zhì)量[4]。圖像質(zhì)量的高低直接影響到后續(xù)對井下設(shè)備工作情況的分析與決策,因此,對復(fù)雜環(huán)境下收集的圖像質(zhì)量進行增強具有十分重要的實際意義。
由于傳統(tǒng)的暗通道先驗算法具有簡單有效、修復(fù)速度快的優(yōu)點,在井下圖像去霧方面應(yīng)用廣泛。由于煤礦井下光照不均,該算法會導致透射率分布估計不準確,使圖像出現(xiàn)嚴重失真的問題,因此,在暗通道先驗算法的基礎(chǔ)上,提出了改進透射率分布估計的去霧算法對暗通道先驗算法的透射率進行進一步優(yōu)化,通過融合暗通道可信度權(quán)值因子和最優(yōu)暗通道去霧圖像對透射率分布進行修正。實驗結(jié)果表明,改進透射率分布估計的去霧算法在環(huán)境較暗處去霧效果好,適應(yīng)煤礦井下特殊環(huán)境需求,較好地保留了圖像的細節(jié)信息。
綜采工作面指的是煤礦井下綜合機械化設(shè)備的回采工作面。工作面的采煤設(shè)備是滾筒式采煤機,工作面的運輸設(shè)備是可彎曲的刮板輸送機,工作面頂板的支護使用的是液壓支架,順槽采用的是帶式輸送機。煤礦綜采工作面環(huán)境復(fù)雜,主要存在以下三個方面的問題。
1)粉塵影響。滾筒式采煤機割煤是煤礦井下綜采工作面粉塵產(chǎn)生的主要源頭。由于采煤機的滾筒上安裝了多個截齒,導致了每一個截齒在碰撞到煤體時會發(fā)生破碎,大碎塊煤體掉落后,粉化核釋放崩出形成粉塵。采煤工作面粉塵產(chǎn)生的另一個源頭是采煤機割煤后煤塊掉落,碎煤塊掉落會與底板發(fā)生再次碰撞,產(chǎn)生大量粉塵,同時也會使底板本身殘留的粉塵再次飛揚在空氣中[5]。
2)水汽影響。在煤礦井下綜采工作面粉塵防治技術(shù)的應(yīng)用中,噴霧降塵可以最大程度地降低粉塵產(chǎn)生量,所以該項技術(shù)成為現(xiàn)階段煤礦綜采工作面中常用的降塵手段。同時,煤礦井下還會采用煤層注水技術(shù)進行粉塵防治。這些防治手段使綜采工作面的空氣中存在大量的水汽。
3)光照影響。綜采工作面裝備中包括照明設(shè)備,但是由于照明設(shè)備分布不均勻,導致井下綜采工作面的光照分布不均勻,因此,視頻監(jiān)控系統(tǒng)采集的圖像存在低照度或者過曝光的情況。
在破煤、裝煤、運煤等生產(chǎn)流程中,整個綜采工作面的環(huán)境變得十分復(fù)雜,嚴重影響視頻監(jiān)控系統(tǒng)的圖像采集質(zhì)量。井下綜采工作面設(shè)備如圖1 所示。
圖1 地下模擬礦井綜采工作面Fig.1 Fully mechanized mining face in underground simulation mine
為了方便檢測煤礦井下環(huán)境,保障施工安全,可利用圖像去霧的方法,目前主要有兩類方法應(yīng)用比較廣泛。第一類去霧算法是基于圖像增強技術(shù),如小波變換法、直方圖均衡化算法、Retinex 算法等。范偉強等[6]采用多尺度的小波分析方法對煤礦濃煙影像進行了分析,利用貝葉斯方法對各個尺度上的高頻子圖的小波閾值進行了調(diào)節(jié),然后利用小波重建的方法對各個尺度上的高頻子圖進行了各個尺度上的小波重建,獲得一個強化的影像,通過調(diào)節(jié)影像的光度,獲得一個沒有濃煙的影像。郭瑞等[7]采用一種改良的單尺度Retinex 算法,對礦山中有霧的圖像進行了增強去霧,實現(xiàn)了亮度增強與飽和度自適應(yīng)線性延伸。周旺[8]提出了一種基于均值濾波分頻的直方圖均衡法對圖像的高頻區(qū)域、低頻區(qū)域分別進行直方圖均衡化處理和均值濾波處理,最后將低頻和高頻兩個區(qū)域進行重構(gòu),該方法在解決均勻區(qū)域高增強問題方面效果顯著,并且減少了噪聲影響,但是會導致圖像部分細節(jié)丟失。第二類是基于物理模型的圖像去霧方法,通過對有霧環(huán)境下圖像質(zhì)量下降機制的研究,構(gòu)建有霧環(huán)境下的圖像散射建模,并充分發(fā)揮其對有霧環(huán)境的影響,實現(xiàn)有霧環(huán)境下的圖像恢復(fù)。邱根瑩[9]提出了暗通道先驗算法,該算法通過觀察統(tǒng)計大量有霧測試圖像估算出粗略透射率以及大氣光的亮度等,通過大氣散射模型進行復(fù)原得到無霧的清晰圖像。智寧等[10]將暗道的先驗性和自適應(yīng)的雙邊濾波器相結(jié)合,給出了一種新的算法,該算法在暗通道先驗理論的基礎(chǔ)上實現(xiàn)了效果更加明顯的圖像增強,但會出現(xiàn)由于井下光源分布不均勻?qū)е聢D像亮度過暗以及細節(jié)丟失等問題。
對于井下復(fù)雜環(huán)境導致圖像質(zhì)量不佳的問題,解決途徑是降低綜采工作面生產(chǎn)設(shè)備所產(chǎn)生的霧氣對數(shù)字視頻監(jiān)控收集的圖像所造成的影響。改進透射率分布估計的去霧算法改進了暗通道先驗去霧技術(shù),對透射率分布進行了優(yōu)化處理,更好地解決了井下圖像的過曝光問題,使處理后的圖像保留更多的圖像細節(jié)。
在計算機視覺領(lǐng)域,大氣散射模型廣泛應(yīng)用于圖像去霧。MCCARTNEY 等[11]在對霧的生成原理進行研究之后,提出了成像設(shè)備接收的光線一部分來自于反射光經(jīng)懸浮顆粒,光線散射衰減之后到達成像設(shè)備,而另一部分光線則直接進入成像設(shè)備。NARASIMHAN等[12-13]在此理論的基礎(chǔ)上建立了大氣散射模型(圖2)。大氣散射物理模型由兩部分組成,第一部分是直接衰減項(Direct Attenuation),也稱為直接傳播,第二部分是大氣光照(Airlight)[14]。表示公式見式(1)。
圖2 大氣散射模型示意圖Fig.2 Schematic diagram of atmospheric scattering model
式中:I(x)為霧狀影像;J(x)為清晰影像;x為像素點在影像中的位置[15];A為大氣光值;t(x)為介質(zhì)傳輸圖,在大氣均勻的情況下為式(2)。
式中:β為大氣散射系數(shù);d(x)為場景與成像設(shè)備之間的距離,即場景深度。由式(2)可知,t(x)隨場景深度的增大而減小。
大氣散射光會導致圖像對比度下降,以及顏色失真等問題,去霧的目的則是通過單個圖像來準確估計大氣光值A(chǔ)和介質(zhì)傳輸圖t(x),從而復(fù)原無霧圖像J(x)。
暗通道原理認為無霧圖像在眾多淺色區(qū)域或明亮區(qū)域,R、G、B 三個顏色通道中最少會有一個顏色通道的亮度趨向于零,即式(3)。
式中:Jdark(x)為暗通道圖像;Ω(x)為以x為中心的小圖像塊;c為圖像的顏色通道[16]。根據(jù)暗通道先驗理論得出式(4)。
式(4)的含義是:在三個通道窗口的位置上,以一個象素點x為圓心,取三個信道窗的極小值,并將這三個信道窗的極小值作為一個像素點x的黑暗信道的數(shù)值[17],如圖3 所示。
圖3 暗通道原理Fig.3 Dark channel principle
假設(shè)大氣光值A(chǔ)已知,局部區(qū)域 Ω(x)內(nèi)透射率保持不變,記作t(x),對式(1)兩邊同時除以Ac,c∈{R,G,B} 為某一顏色通道,兩邊同時做變換,根據(jù)式(3),得到式(5)。
根據(jù)式(4),利用已知的t(x)、A和I(x)計算J(x),見式(6)。
圖4 為暗通道先驗算法執(zhí)行流程。傳統(tǒng)的暗通道先驗算法在白天光照均勻時效果較好,由于煤礦井下光源分布不均勻,導致傳統(tǒng)的暗通道先驗去霧算法透射率分布估計不準,使圖像出現(xiàn)色彩失真[18]、去霧效果差和過曝光等問題,因此,在暗通道先驗算法的基礎(chǔ)上提出了一種改進透射率分布的井下去霧算法,對透射率分布估計進行進一步優(yōu)化。
圖4 暗通道先驗算法模型框架Fig.4 Model framework of dark channel apriori algorithm
為了對有霧環(huán)境下的井下圖像大氣光分布A(x,y)進行估計,使用了暗態(tài)點光源[19]模型。暗態(tài)點光源模型是先對有霧圖像I(x,y)進行最小值濾波,得到暗通道圖像Id(x,y),再利用伽馬變換對其進行灰度矯正,伽馬變換對于圖像明暗對比的增強有顯著效果,該過程處理公式見式(7)。
式中:γ為伽馬變換中的伽馬值;α為灰度縮放系數(shù),對圖像灰度進行整體拉伸,取值通常為1;Vp(x,y)為暗態(tài)點光源模型。對其進行高斯濾波后可以得到最終點光源模型。
有霧圖像的亮度分布Ib(x,y)見式(8)。
傳統(tǒng)的引導濾波會導致圖像的邊緣信息出現(xiàn)丟失,因此使用了聯(lián)合雙邊濾波[20]替代傳統(tǒng)引導濾波,既可以對目標圖像進行引導濾波,又可以獲得較好的邊緣保持效果。將Vp(x,y)作為目標圖像,Ib(x,y)作為引導圖像,利用聯(lián)合雙邊濾波對井下有霧圖像的大氣光分布A(x,y)進行估計。此時的大氣光分布主要保留點光源和光線覆蓋范圍以內(nèi)的信息,將其用于后續(xù)去霧處理可以改善圖像過暗以及失真問題。
由于煤礦井下大環(huán)境是比較黑暗的,而且光線也非常不均勻,因此,在對影像的透射系數(shù)分布進行計算時,存在著對其進行t′(x,y)的估算值比較小的問題。為了解決這個問題,增加了暗通道可信度權(quán)值因子 ω以及最優(yōu)暗通道圖像來提高圖像的透射率分布精度。
3.2.1 暗通道可信度權(quán)值因子獲取
在HSV 彩色空間中,對井下有霧圖像I(x,y)進行通道分割,得到飽和度圖像S(x,y)與亮度圖像V(x,y)影像,并對其進行最大值濾波Smax(x,y)與最小值濾波Vmin(x,y)處理,由于圖像邊緣信息損失嚴重,使用聯(lián)合雙邊濾波對其細化得到。流程如圖5 所示。
圖5 暗通道可信度權(quán)值因子獲取流程圖Fig.5 Flow chart of obtaining dark channel credibility weight factors
再對暗通道可信度權(quán)值因子 ω進行求取,計算見式(9)和式(10)。
式中:ω1為飽和度系數(shù);ω2為亮度系數(shù);k1和k2為縮放系數(shù)。
3.2.2 最優(yōu)暗通道去霧圖像獲取
構(gòu)建扇形模型,如圖6 所示,假定高斯平均衰減函數(shù)用于估計暗影區(qū)的極大值和極小值,利用幾何平均不等式對其進行連續(xù)近似,從而得到最優(yōu)暗通道去霧圖像,記為J′(x,y)。
圖6 扇形模型示意圖Fig.6 Schematic diagram of sector model
為了防止逼近過程中產(chǎn)生溢出現(xiàn)象,使用相對劇烈的衰減 ρ1處理上邊界 min(Icmax(x,y)),相對平緩的ρ2處理下邊界 min(Icmin(x,y)),得到邊界估值見式(11)。
使用不等式形式進行逼近,得到最優(yōu)暗通道去霧圖像J′(x,y),見式(12)。
3.2.3 改進透射率分布獲取
結(jié)合井下大氣光分布A(x,y),以暗通道可信度權(quán)值因子 ω和最優(yōu)暗通道去霧圖像J′(x,y)為修改參數(shù),對透射率分布公式進行了修改,得出式(13)。
式中,ψ為霧層保留參數(shù),用以保留有霧圖像中的少量霧氣,保證了圖像的真實性,在井下環(huán)境較暗的圖像處理中,一般取0.65。
在獲得井下大氣光分布A(x,y)和優(yōu)化透射率t′(x,y)后,對式(6)進行改進得到式(14)。
井下視頻監(jiān)控系統(tǒng)通過井下監(jiān)控設(shè)備采集到實時的圖像畫面,由于視頻監(jiān)控中的圖像畫面存在大量霧氣和水汽以及圖像亮度較暗的問題,導致圖像質(zhì)量較差。為了解決這些問題,在暗通道先驗理論的基礎(chǔ)上,提出了改進透射率分布估計的井下去霧算法,該算法包括三個主要的模塊,分別是井下環(huán)境光線分布估計、透射率分布估計和顏色校正。算法實現(xiàn)過程如圖7 所示,具體過程如下所述。
圖7 算法流程圖Fig.7 Flow chart of algorithm
在計算煤礦井下環(huán)境光照分布估計值時,采用最小濾波器與伽馬變換相結(jié)合的方法,建立出暗態(tài)點光源模型,以該模型作為目標圖像,使用亮度分布作為引導函數(shù),再經(jīng)聯(lián)合雙邊濾波估計井下有霧圖像的環(huán)境光分布。
將HSV 通道分出亮度通道和飽和度通道,分別進行最大值濾波和最小值濾波處理,通過聯(lián)合雙邊濾波器進行精細處理,獲得最優(yōu)暗通道去霧圖像。建立一個扇形模型,并利用高斯均函數(shù)作為邊界限制,得到最佳暗通道去霧圖像。結(jié)合井下環(huán)境光分布,利用修正參數(shù)對透射率分布進行改進,再對有霧圖像進行還原后獲取無霧圖像。
利用含霧圖像G 通道的最大灰度值求出景深圖像,與圖像R 通道和B 通道的最大灰度值相減,得到景深差分圖像,利用修正參數(shù),對R 通道和B 通道進行色偏修正,將修正后的R 通道、G 通道、B 通道進行融合,獲得顏色修正后的圖像。
為了驗證改進透射率分布估計的去霧算法的有效性,對煤礦井下大量的有霧圖像進行了測試(由于篇幅有限,僅選擇3 張井下圖像進行測試),同時與Retinex 去霧算法、暗通道先驗算法進行比較。仿真結(jié)果如圖8 所示。
圖8 仿真結(jié)果Fig.8 Results of simulation
由圖8 可知,Retinex 去霧算法在整體亮度方面有所提升,但是圖片清晰度不高,存在細節(jié)丟失問題,暗通道先驗算法雖然達到了一定的去霧效果,但是在有點光源的圖像中存在嚴重過曝光的問題。改進透射率分布估計的去霧算法在有點光源的圖像中沒有出現(xiàn)嚴重過曝光的現(xiàn)象,整體顏色沒有出現(xiàn)失真,很好地保留了圖像的細節(jié),對有霧圖像的處理優(yōu)于其他算法,圖像優(yōu)化效果整體更好。
為了驗證改進透射率分布估計去霧算法的優(yōu)越性,采用了峰值信噪比[21]、均值、標準差、平均梯度四種指標對各類算法的去霧效果進行客觀評價,結(jié)果見表1。其中,峰值信噪比表示去霧圖像的失真性,數(shù)值越大,代表圖像失真越??;信息熵表示圖像含有的信息量,信息熵越大,表示圖像細節(jié)越豐富;標準差表示圖像對比度的高低,標準差值越大,圖像的細節(jié)越豐富[22];平均梯度數(shù)值用來表示圖像的清晰度水平,平均梯度數(shù)值越大,圖像的清晰度越高。
表1 算法質(zhì)量對比Table 1 Comparison of algorithm quality
由表1 可知,基于峰值信噪比、均值、標準差、平均梯度的參數(shù)對比,雖然Retinex 算法和對數(shù)增強算法處理后的圖像亮度明顯增高,但是亮度過高導致了圖像細節(jié)大量丟失,清晰度的提升也不夠明顯,而峰值信噪比和標準差的升高說明改進透射率分布估計的去霧算法顯著提高了圖像清晰度,并有效解決了圖像的過曝光以及失真問題,更好地保留了圖像的層次和細節(jié)。
針對煤礦井下霧氣水汽較大和光源分布不均的特殊環(huán)境,提出了一種基于暗通道先驗算法的改進透射率分布估計井下圖像去霧算法,解決了傳統(tǒng)暗通道先驗算法在光源分布不均的場景下存在的圖像光源區(qū)域紋理損壞嚴重的問題,引入暗態(tài)點光源模型對井下有霧圖像的大氣光分布進行估計,在此基礎(chǔ)上,采用暗通道可信度權(quán)值因子和最優(yōu)暗通道去霧圖像來改善圖像的透射率分布。實驗結(jié)果表明:改進透射率分布估計的井下圖像去霧算法在煤礦井下塵霧嚴重,光源分布不均的特殊環(huán)境中表現(xiàn)出良好的去霧效果,有效減少了圖像細節(jié)的丟失,去霧效果明顯,同時對場景亮度做到了一定的保留,與Retinex 算法和暗通道先驗算法相比,本文算法在峰值信噪比、信息熵和平均梯度等方面有較大幅度提高,使得復(fù)原后的無霧圖像具有更加豐富的細節(jié)信息,去霧效果更好。