錢緒澤,賴惠成,2?,高古學(xué),陳 豪
(1.新疆大學(xué) 信息科學(xué)與工程學(xué)院,新疆 烏魯木齊 830017;2.新疆大學(xué) 信號(hào)檢測與處理自治區(qū)重點(diǎn)實(shí)驗(yàn)室,新疆 烏魯木齊 830017)
由于西北和北方部分地區(qū)天氣較為干燥,同時(shí)植被覆蓋少,氣流將干燥土壤中的塵土帶到空氣中形成沙塵天氣.沙塵天氣下采集視頻圖像時(shí),由于空氣中懸浮的沙塵顆粒對光的吸收和散射等原因,導(dǎo)致圖像出現(xiàn)細(xì)節(jié)損失、色彩偏移、對比度降低等現(xiàn)象,嚴(yán)重降低了視頻質(zhì)量.而智能交通、衛(wèi)星監(jiān)測、智慧城市及國防建設(shè)都需要高質(zhì)量的視頻,它是系統(tǒng)正常運(yùn)行的前提,因此研究沙塵圖像的實(shí)時(shí)視頻增強(qiáng)對擴(kuò)展計(jì)算機(jī)視覺的應(yīng)用具有重要的意義.
目前,國內(nèi)外對于沙塵視頻處理的研究成果很少,主要是基于單幅圖像的沙塵可視化算法對視頻幀進(jìn)行處理,以達(dá)到沙塵視頻去沙塵的目的.基于單幅圖像的沙塵圖像增強(qiáng)[1-3]和圖像恢復(fù)[4-7]算法已有不少研究成果.沙塵可視化算法主要分為基于圖像增強(qiáng)的算法和基于圖像恢復(fù)的算法,其中沙塵圖像處理面臨的主要問題是色彩偏移和圖像細(xì)節(jié)模糊.基于恢復(fù)的算法主要是在圖像去霧算法的基礎(chǔ)上改進(jìn)的算法.He等[8]在大氣散射模型的基礎(chǔ)上提出了暗通道先驗(yàn),達(dá)到了較好的去霧效果,但是沙塵和霧圖形成原因不同,這種方法對于沙塵圖像的恢復(fù)效果比較差.江海蓉[9]在灰度世界原理的基礎(chǔ)上結(jié)合暗通道先驗(yàn)進(jìn)行除沙塵,雖然有效提升了對比度,但色偏問題較為嚴(yán)重.李策等[10]先將圖片進(jìn)行色調(diào)增強(qiáng),然后基于暗通道先驗(yàn)算法改進(jìn)大氣光的選取來清晰圖像,消除Halo效應(yīng),然后通過CLAHE算法來消除遠(yuǎn)景霧.Shi等[11]先在Lab空間利用灰度世界原理進(jìn)行顏色校正,再通過改進(jìn)的暗通道先驗(yàn)算法恢復(fù)圖像,最后通過CLAHE和引導(dǎo)濾波增強(qiáng)細(xì)節(jié)和減少偽影,這種算法在增強(qiáng)圖像的對比度、恢復(fù)細(xì)節(jié)邊緣方面表現(xiàn)很好,但是圖像色調(diào)不自然,同時(shí)時(shí)間復(fù)雜度過高,在視頻處理方面的表現(xiàn)不好.Yang等[12]通過參考曲線讓綠通道和藍(lán)通道去擬合紅色通道,然后利用高斯自適應(yīng)傳輸通過線性約束去細(xì)化傳輸,抑制光暈偽影,雖然提升了對比度,去除了偏色,但是對于天空區(qū)域仍有光暈偽影出現(xiàn),同時(shí)遠(yuǎn)景區(qū)域的圖像對比度提升不明顯.以上這些方法是基于除霧算法改進(jìn)的圖像去沙塵算法的研究成果,主要思路是在去除偏色后利用改進(jìn)的去霧算法對沙塵圖像進(jìn)行處理,但是由于沙塵和霧霾形成的原理不同,沙塵主要是大顆粒,而霧霾是小顆粒,導(dǎo)致恢復(fù)的效果不是很好,容易出現(xiàn)色彩失真的問題,同時(shí)恢復(fù)算法在復(fù)原圖像的時(shí)候?qū)τ谫Y源的消耗比較大,不能滿足監(jiān)控視頻所需要的實(shí)時(shí)性.基于恢復(fù)的單幅圖像的沙塵處理算法,應(yīng)用到視頻上時(shí),每幅圖像的大氣光選取不同會(huì)導(dǎo)致圖像的連續(xù)性不能滿足,出現(xiàn)亮度閃爍等現(xiàn)象.基于增強(qiáng)的方法,延婷等[13]通過將圖像在模糊域上用PAL算法進(jìn)行處理,然后通過CLAHE增強(qiáng)圖像對比度,最后通過POSHE對細(xì)節(jié)部分進(jìn)行增強(qiáng),該算法會(huì)出現(xiàn)細(xì)節(jié)丟失、去偏色效果不好、塊狀效應(yīng)等現(xiàn)象,導(dǎo)致應(yīng)用到視頻處理時(shí)連續(xù)性不強(qiáng)[14],效果不佳,同時(shí)算法的耗時(shí)較長,實(shí)時(shí)性不高.智寧等[15]在空間域分析了RGB各個(gè)通道的顏色直方圖的特點(diǎn),提出一種沙塵降質(zhì)圖像清晰化算法,首先根據(jù)沙塵圖像特點(diǎn)對通道采用高斯模型建模,然后根據(jù)高斯模型特點(diǎn)進(jìn)行顏色校正,最后利用基于改進(jìn)的奇異值分解對顏色調(diào)整后的沙塵圖像進(jìn)行對比度增強(qiáng),算法在處理景深程度較大的沙塵圖像時(shí)效果不佳.高古學(xué)等[16]通過融合CLAHE和改進(jìn)的MSRCR進(jìn)行沙塵圖像增強(qiáng),算法在處理色偏和增強(qiáng)對比度上有較好的表現(xiàn),但在一些圖片上可能出現(xiàn)色彩失真的現(xiàn)象.這些算法在圖像處理效果上有各自的優(yōu)勢,但是應(yīng)用在視頻上進(jìn)行處理時(shí)會(huì)面臨實(shí)時(shí)性和連續(xù)性不高,同時(shí)也達(dá)不到所要求的普適性,導(dǎo)致沙塵視頻處理的效果不好.
本文針對沙塵視頻不清晰、色偏嚴(yán)重以及基于單幅圖像去沙算法應(yīng)用到視頻上時(shí)出現(xiàn)的由于實(shí)時(shí)性和連續(xù)性不滿足導(dǎo)致的閃爍卡頓問題,受到基于色調(diào)遷移的水下圖像去噪[17-18]啟發(fā)提出了一種基于MKLCM(Monge-Kantorovitch linear colour mapping)[19]和基于統(tǒng)計(jì)學(xué)方法的沙塵視頻增強(qiáng)算法.先針對沙塵RGB三通道直方圖分布不均衡提出一種簡單的統(tǒng)計(jì)方法對直方圖進(jìn)行線性映射,然后通過全局直方圖均衡化對圖像進(jìn)行非線性拉伸,去除色偏和增強(qiáng)細(xì)節(jié),針對產(chǎn)生的光暈等問題引入色彩遷移,因?yàn)樯蔬w移在復(fù)雜光線環(huán)境下可以很好地校正顏色,所以將增強(qiáng)后的圖像作為參考圖,利用MKLCM算法對圖像進(jìn)行處理,提出藍(lán)通道相關(guān)閾值,在節(jié)省計(jì)算資源的同時(shí)防止由于視頻幀間變化過大導(dǎo)致的閃爍問題等,以滿足視頻的實(shí)時(shí)性和連續(xù)性.該算法在處理沙塵視頻時(shí)能夠較好快速地處理色偏、增強(qiáng)細(xì)節(jié),使處理后的視頻圖像更加流暢自然.
現(xiàn)有的視頻去沙塵算法大多是基于單幅圖片的去沙塵算法,基于恢復(fù)的算法中根據(jù)去霧算法改進(jìn)的去沙塵算法,由于沙塵和霧霾圖像的成像原理不同導(dǎo)致圖像色偏的校正效果一般,同時(shí)算法時(shí)間復(fù)雜度過高.而基于增強(qiáng)的沙塵視頻清晰化算法如文獻(xiàn)[13]、文獻(xiàn)[3]的算法對于圖像的去沙塵效果不好,偏色矯正效果欠缺的同時(shí)會(huì)出現(xiàn)光暈偽影甚至色彩失真等現(xiàn)象.本文所提算法在處理視頻幀時(shí),很好地去除了色偏、圖像顏色表現(xiàn)自然,在提升了對比度的同時(shí)具有較好的實(shí)時(shí)性.
沙塵環(huán)境下對視頻圖像采集的影響首先是色彩的偏移.由于沙塵天氣下空氣中懸浮的沙塵顆粒對藍(lán)色光的吸收和對紅色光的反射,導(dǎo)致沙塵圖像RGB三通道的直方圖分布不均衡,同時(shí)存在分布較為集中、帶寬較窄的問題,這使得圖像整體看起來偏黃和偏紅.色彩偏移的問題是視頻圖像去沙塵要解決的首要問題.
沙塵圖片與真實(shí)的場景圖片在直方圖的分布上有明顯區(qū)別.沙塵圖片其三通道直方圖具有偏移性,要調(diào)整三通道的偏移性,以往的研究方法是通過對直方圖進(jìn)行建模,這樣雖然能解決這個(gè)問題,但是也有可能會(huì)導(dǎo)致色彩失真等問題,同時(shí)會(huì)使得算法的計(jì)算量過大.在文獻(xiàn)[20]的研究中提到了基于統(tǒng)計(jì)學(xué)原理的顏色校正,這種方法能以較少的時(shí)間復(fù)雜度去除偏色,沙塵圖像定義為O,本文根據(jù)沙塵圖像的特性在這種方法的基礎(chǔ)上提出了一種新的方法,選用方差來代替文獻(xiàn)[20]中使用的均方差,并通過公式(1)、公式(2)來計(jì)算顏色偏移的最大值和最小值:
圖1 顏色校正過程直方圖變化
首先統(tǒng)計(jì)輸入圖像各灰度值的像素個(gè)數(shù),求得圖像的灰度直方圖h(i),i為像素的灰度值,動(dòng)態(tài)范圍分布為[0,L-1],其中L為素有圖像像素的灰度級(jí)的數(shù)量,再將h(i)除以全部像素的數(shù)量N,得到概率分布直方圖p(i):
通過概率分布直方圖p(i)求圖像的累積分布直方圖cdf(i)即:
累積分布直方圖cdf(i)乘以總的灰度范圍四舍五入取整后得到映射表Tab(i):
通過映射Tab(i)對輸入圖像進(jìn)行映射,均衡化圖像.經(jīng)過全局直方圖均衡化得到OFinal,這時(shí)圖像的色偏已經(jīng)得到了一個(gè)較好的校正,由于經(jīng)過基于統(tǒng)計(jì)的方法進(jìn)行去偏色時(shí)會(huì)對圖像各通道直方圖進(jìn)行壓縮,但由于全局直方圖均衡化算法會(huì)合并相鄰灰度值,雖然有效去除了偏色但是導(dǎo)致圖片的細(xì)節(jié)部分丟失嚴(yán)重,并且圖片中引入了大量的噪音,天空區(qū)域出現(xiàn)光暈現(xiàn)象,這時(shí)本文引入和改進(jìn)MKLCM方法,在恢復(fù)圖像色彩的同時(shí),可以保留圖像細(xì)節(jié),同時(shí)減少了噪音的引入.
顏色遷移是圖像處理中一項(xiàng)很重要的方法,涉及到平衡顏色、混合顏色通道或者調(diào)整對比度,MKLCM算法[19]的目的是尋找一個(gè)最佳的線性變換,去實(shí)現(xiàn)圖像之間的色彩遷移.該模型基于Monge-Kantorovitch理論[23]的大數(shù)據(jù)理論,主要思想是通過第二統(tǒng)計(jì)矩陣即均值和協(xié)方差的轉(zhuǎn)移來實(shí)現(xiàn)顏色的線性變換,該算法使顏色的變化量最小,減少了噪音的引入,同時(shí)較好地保證了參考圖與原圖之間良好的色彩遷移,與上面算法相結(jié)合時(shí)可以在保證顏色均衡的同時(shí),較好地保留圖片的細(xì)節(jié),減少圖像噪音的引入以及抑制天空區(qū)域的光暈現(xiàn)象.
將原始圖片看作一組顏色樣本u,目標(biāo)圖像表示為v,其中u、v布對應(yīng)于圖像的調(diào)色板,色彩遷移的目標(biāo)是找到一個(gè)變換函數(shù),將原圖的分布映射為目標(biāo)圖像的分布,使得t(u)的顏色分布和g相匹配:
Jt(u)是u處t的雅可比,約束一般情況下非常復(fù)雜,MKLCM算法選取的是線性映射,表現(xiàn)形式為:
式中:T是一個(gè)N×N矩陣(顏色的維度N為3),umean和vmean分別代表u和v的均值.色彩遷移中的映射應(yīng)該是單調(diào)的,即較亮區(qū)域映射到較亮的區(qū)域,較暗區(qū)域映射到較暗的區(qū)域,否則圖像的統(tǒng)計(jì)規(guī)律雖然匹配,但是色彩的映射可能會(huì)出現(xiàn)錯(cuò)誤,導(dǎo)致圖像色彩出現(xiàn)失真.為了讓像素有正確的映射,通過給轉(zhuǎn)移函數(shù)增加約束,同時(shí)最小化其置換成本來實(shí)現(xiàn),尋找最小唯一映射的問題是MK(Monge-Kantorovitch)最優(yōu)傳輸要解決的問題:
MK最優(yōu)傳輸?shù)慕馐且恢贝嬖诘?,同時(shí)對連續(xù)的概率密度函數(shù)是唯一的,而且是凸函數(shù)的梯度,這保證了映射是單調(diào)的,即可以正確地映射像素,同時(shí)對于非高斯分布和高斯分布,其映射是線性的,則矩陣T需要是正定對稱的,這使得T具有唯一解:
MKLCM算法在處理圖像時(shí),可以保證色彩的正確映射,同時(shí)花費(fèi)較少的資源達(dá)到較好的色彩遷移效果,本文在MKLCM算法的基礎(chǔ)上在公式(9)中引入對比度系數(shù)和亮度系數(shù),來矯正通過統(tǒng)計(jì)方法和全局直方圖均衡化去偏色時(shí)低值像素點(diǎn)過多導(dǎo)致的圖像整體偏暗、對比度過低的問題:
式中:a是對比度矯正參數(shù),b是亮度矯正參數(shù),兩個(gè)參數(shù)選擇過高或者過低,會(huì)出現(xiàn)細(xì)節(jié)丟失和過曝光的現(xiàn)象,正常場景圖像三通道的直方圖具有相似性,不同濃度的沙塵圖像在直方圖的表現(xiàn)不同,濃度較小的沙塵圖像其直方圖有著集中性、偏離性的同時(shí)也具有著相似性,隨著沙塵濃度的增加相似性會(huì)逐漸降低,在經(jīng)過色彩較正后,不同濃度的沙塵圖像直方圖的相似性均得到恢復(fù),圖像整體色調(diào)也得到了基本恢復(fù),如圖2所示.
圖2 不同濃度沙塵圖像顏色校正直方圖變化
對比度、亮度矯正參數(shù)的調(diào)整針對的是圖像明暗不均的現(xiàn)象,沙塵濃度較大時(shí)可能會(huì)出現(xiàn)明暗不均的現(xiàn)象.所以經(jīng)過對多幅不同濃度的沙塵圖像進(jìn)行大量實(shí)驗(yàn),選擇a=0.98、b=1.1時(shí)的主觀效果最佳,在對比度提升、保留圖像細(xì)節(jié)的同時(shí)抑制了圖像的過度曝光.同時(shí)針對濃度較大的具有明暗不均現(xiàn)象的沙塵圖像,對比度矯正參數(shù)要偏小,亮度矯正參數(shù)要偏大,如此得到的圖像最佳細(xì)節(jié)更多,經(jīng)過實(shí)驗(yàn),針對這類圖像參數(shù)選擇為a=0.83、b=1.3,處理效果具有普適性,近景恢復(fù)細(xì)節(jié)更多.沙塵去除過程如圖3所示,可以看到,原本偏移分散的圖像直方圖變得更均勻,其中直方圖從上到下分別是紅、綠、藍(lán)通道直方圖,色彩偏移被矯正,對比度上升,天空區(qū)域無光暈現(xiàn)象.
圖3 沙塵圖像增強(qiáng)過程
視頻幀之間具有連續(xù)性、冗余性,通過判斷圖像統(tǒng)計(jì)信息的近似度可以避免算法重復(fù)運(yùn)行,以及圖像在算法處理后由于算法的特性導(dǎo)致的畫面明暗閃爍,沙塵圖像的反射特性決定了對藍(lán)色光的吸收隨著濃度的增加而增強(qiáng),相似濃度的沙塵圖像整體的統(tǒng)計(jì)量是近似的,因此通過對藍(lán)色通道直方圖的對比,可以在保證視頻連續(xù)性的同時(shí)最大程度地節(jié)省資源消耗.本文選用直方圖間的相關(guān)性來判斷相鄰視頻幀的相似性:
式中:Hk和Hk+1分別為第k幀和第k+1幀圖像藍(lán)通道的直方圖,N是直方圖中bin的數(shù)目,由于監(jiān)控視頻變化是緩慢的,幀間又具有冗余性,參數(shù)選擇過小可能會(huì)出現(xiàn)算法不再更新統(tǒng)計(jì)量的情況,從而導(dǎo)致畫面出現(xiàn)失真;參數(shù)選擇過大則會(huì)導(dǎo)致算法失效的同時(shí)無法減少視頻處理時(shí)間.通過觀察多個(gè)視頻中場景變化與相關(guān)性的關(guān)系,得出當(dāng)相關(guān)性閾值為0.999時(shí)可以保證算法的有效運(yùn)行.為了更直觀展示,分別選取相關(guān)性閾值為0.99和0.999時(shí)進(jìn)行對比試驗(yàn),選取場景變化緩慢的沙塵視頻,計(jì)算各個(gè)相關(guān)性閾值下算法從第一次更新和到第二次更新前一幀的無參數(shù)處理的統(tǒng)計(jì)量其中:從第1幀開始第一次更新參數(shù),當(dāng)參數(shù)等于0.99時(shí)到第103幀更新第二次參數(shù);當(dāng)參數(shù)等于0.999時(shí)到第6幀第二次更新參數(shù),分別測量第1幀和應(yīng)用各參數(shù)第二次更新的前一幀無參數(shù)處理的統(tǒng)計(jì)量,測量結(jié)果如表1所示.
由表1可知,同一個(gè)沙塵視頻下應(yīng)用不同的參數(shù),當(dāng)參數(shù)為0.99時(shí),第二次更新參數(shù)的幀數(shù)為從第一幀到第103幀,即從第一幀到第102幀應(yīng)用同一個(gè)統(tǒng)計(jì)量進(jìn)行計(jì)算,但是通過對第102幀圖像手動(dòng)進(jìn)行處理計(jì)算時(shí),發(fā)現(xiàn)第一幀和第102幀的統(tǒng)計(jì)量相差較大,同時(shí)在視頻處理時(shí)觀察到,該參數(shù)下算法對圖像沙塵濃度變化較小或者在場景內(nèi)物體變化不敏感,導(dǎo)致視頻幀容易出現(xiàn)顏色失真等現(xiàn)象;當(dāng)參數(shù)等于0.999時(shí),針對視頻中物體及沙塵條件的變化較為敏感,對于一些輕微變化不敏感,同時(shí)更新區(qū)間內(nèi)統(tǒng)計(jì)量的變化較小,這保證了視頻幀處理后無失真.真實(shí)場景中,監(jiān)控圖像是緩慢變化甚至是幾乎不變的,這時(shí)應(yīng)用兩個(gè)參數(shù)所節(jié)省的時(shí)間是差不多的,但是參數(shù)為0.999時(shí),在保證處理質(zhì)量的基礎(chǔ)上還可以有效減少處理時(shí)間.綜上所述,選擇0.999作為參數(shù)的相關(guān)性閾值,當(dāng)兩幀之間的相關(guān)性低于0.999時(shí)判定兩張圖片的統(tǒng)計(jì)量近似,不重新執(zhí)行算法運(yùn)算.
表1 統(tǒng)計(jì)量對比
本文算法流程如圖4所示,具體實(shí)現(xiàn)過程如下:
圖4 本文算法流程圖
(1)提取視頻幀K,通過基于統(tǒng)計(jì)學(xué)原理的方法對直方圖進(jìn)行壓縮,其中參數(shù)設(shè)為η=0.2,然后通過全局直方圖均衡化算法對圖像進(jìn)行非線性拉伸,將圖像各像素點(diǎn)映射在[0,255]的范圍內(nèi).
(2)將處理過的圖片作為參照圖,利用改進(jìn)的MKLCM算法進(jìn)行處理,其中對比度和亮度矯正參數(shù)分別為a=0.98、b=1.1,得到最終的結(jié)果圖.
(3)對比第K幀和第K+1幀B通道直方圖的相關(guān)性,大于0.999則直接應(yīng)用K幀的統(tǒng)計(jì)量進(jìn)行處理K+1幀圖像,反之重新計(jì)算K+1幀的統(tǒng)計(jì)量.
本文所用的沙塵圖像和視頻來自網(wǎng)絡(luò)資源,實(shí)驗(yàn)的軟件平臺(tái)為Matlab 2017b,硬件平臺(tái)為Intel(R)Core(TM)i5-6500 CPU@ 3.2 GHz、內(nèi)存4 GB、64位操作系統(tǒng)的計(jì)算機(jī).為了對比算法的有效性分別選取文獻(xiàn)[11]的算法、文獻(xiàn)[12]的算法、文獻(xiàn)[16]的算法和文獻(xiàn)[24]的算法從單幅圖片去沙塵、視頻去沙塵兩個(gè)方面給出了主觀比較和客觀比較,其中文獻(xiàn)[24]的算法是一種快速除霧算法,利用拉伸的方法估計(jì)亮度和飽和度,通過無先驗(yàn)的方法推導(dǎo)介質(zhì)傳輸函數(shù),雖然是除霧算法,但是文獻(xiàn)中還提出了一種白平衡的方法去除沙塵色偏,對沙塵圖像處理也有著較好的效果.
為了直觀對比算法去沙塵的效果,我們準(zhǔn)備了4組數(shù)據(jù),如圖5所示,從上到下分別是圖a、b、c、d,選取了近三年兼顧處理速度和處理效果的沙塵圖像處理算法,每列分別對應(yīng)文獻(xiàn)[11]的算法、文獻(xiàn)[12]的算法、文獻(xiàn)[16]的算法、文獻(xiàn)[24]的算法和本文算法.主觀上來看,針對天空區(qū)域文獻(xiàn)[12]的算法會(huì)出現(xiàn)大面積的光暈現(xiàn)象,同時(shí)對于亮度較低的圖像其結(jié)果會(huì)偏暗,遠(yuǎn)景的對比度下降,圖像模糊;對于文獻(xiàn)[11]的算法來說,雖然沒有大面積光暈現(xiàn)象,遠(yuǎn)景部分的對比度也增加了,但是對色偏的處理不是很理想,比如說4幅圖背景都有不同程度的色偏現(xiàn)象,整體的圖像呈冷色調(diào);文獻(xiàn)[16]的算法對于部分圖像效果不錯(cuò)(如圖d),但其他圖片有著較嚴(yán)重的失真問題,針對圖a,雖然背景無大面積色偏、天空區(qū)域也無光暈,但是圖像結(jié)構(gòu)被破壞,遠(yuǎn)景部分對比度降低、模糊;文獻(xiàn)[24]的算法處理后的效果整體偏冷色調(diào),部分圖片(如圖a、圖b)出現(xiàn)了大塊的色彩失真現(xiàn)象.本文算法相比其他算法,天空部分不會(huì)出現(xiàn)光暈,圖a相對于文獻(xiàn)[11]、文獻(xiàn)[12]的算法色偏程度明顯減少,相對于文獻(xiàn)[16]的算法雖然仍有偏色現(xiàn)象,但是遠(yuǎn)景更加清晰,圖b、圖c中文獻(xiàn)[11]的算法對比度較其他算法好一點(diǎn),但是有較大的色偏問題存在,本文算法較文獻(xiàn)[12]的算法對于遠(yuǎn)景的處理相對更清晰一點(diǎn).圖d中雖然發(fā)生了輕微的曝光過度現(xiàn)象,但是較其他算法來說,圖片整體對比度更高,色偏更少.經(jīng)過對其他數(shù)據(jù)的實(shí)驗(yàn),本文算法對于不同場景、不同環(huán)境下的圖像普適性更強(qiáng),同時(shí)天空區(qū)域、遠(yuǎn)景去色偏的效果較好,符合視頻場景環(huán)境變化多進(jìn)行除沙塵的要求.
本文針對視頻幀處理質(zhì)量和視頻處理實(shí)時(shí)性進(jìn)行對比.實(shí)時(shí)性分別比較對比算法和本文算法的單幅圖片處理速度以及視頻處理速度.同時(shí)沙塵圖像的真實(shí)參考圖像難以取得,因此圖片以及視頻幀質(zhì)量用NBIQA[25](a Novel Blind Image Quality Assessment Method)一種無參考圖像質(zhì)量指標(biāo)來測量,NBIQA相對于其他測量指標(biāo)可以更好地反映出真實(shí)圖像的特征,更為接近人類視覺系統(tǒng),可以有效地評(píng)價(jià)圖片質(zhì)量,其中對于真實(shí)場景圖片質(zhì)量評(píng)價(jià),分?jǐn)?shù)越高表示圖像質(zhì)量越好.本文選取了包括主觀評(píng)價(jià)中的4組圖片(如圖5所示)等10幅圖像計(jì)算其NBIQA值,以及幀數(shù)分別為936幀和406幀的包含不同濃度的沙塵天氣以及白天夜晚情況下等多個(gè)場景的2個(gè)視頻計(jì)算其平均NBIQA值,來觀察算法應(yīng)用于圖片和視頻時(shí)的處理效果和普適性,對比數(shù)據(jù)見表2、表3.為了測定其運(yùn)算速度分別選取大小不一的圖片和時(shí)長不一的視頻計(jì)算其運(yùn)行時(shí)間,對比數(shù)據(jù)見表4、表5.其中加粗字體為表格內(nèi)最優(yōu)數(shù)據(jù).
圖5 沙塵圖像各算法處理結(jié)果
表2 無參考圖像質(zhì)量指標(biāo)NBIQA
正如表1所展示的,本文算法針對圖片去沙塵的NBIQA指標(biāo)優(yōu)于其他對比算法.表4、表5展示了本文處理圖像的時(shí)間相對于其他對比算法大多數(shù)情況下耗時(shí)更短,由于文獻(xiàn)[24]算法的處理速度與數(shù)據(jù)大小相關(guān)聯(lián),在處理圖c時(shí)運(yùn)行速度相比其他算法更有優(yōu)勢,但是處理結(jié)果出現(xiàn)了嚴(yán)重的色彩失真.綜合來看,本文算法在保證處理速度的同時(shí)處理效果更佳,在性能更好的設(shè)備上可以滿足監(jiān)控視頻去沙塵的實(shí)時(shí)性.視頻的平均NBIQA相比單幅圖像的NBIQA指數(shù)更能體現(xiàn)出算法的普適性,特別是包括各種場景的沙塵視頻來說,表3展示了相比文獻(xiàn)[11]、文獻(xiàn)[12]和文獻(xiàn)[24]的算法,本文算法表現(xiàn)更好,雖然本文算法在平均NBIQA指數(shù)表現(xiàn)上略低于文獻(xiàn)[16]的算法,但在相對處理速度上表現(xiàn)更好,文獻(xiàn)[16]的算法在處理部分視頻幀時(shí),去偏色的效果并不好,導(dǎo)致雖然平均指標(biāo)更高,但是在處理后視頻的表現(xiàn)并不好.圖6中選取了輕度沙塵視頻中連續(xù)的三幀進(jìn)行對比,文獻(xiàn)[16]的算法三幀之間的亮度有較大變化,同時(shí)出現(xiàn)色彩失真,所以無論是整體表現(xiàn)還是連續(xù)性上,本文算法都更優(yōu).從主觀和客觀表現(xiàn)看,兩個(gè)評(píng)價(jià)具有一致性,體現(xiàn)了本文算法的優(yōu)越性,在去沙塵效果好的同時(shí),圖像更為自然,處理速度更快.
圖6 沙塵視頻幀對比
表3 視頻平均NBIQA質(zhì)量
表4 單幀處理時(shí)間/s
表5 視頻處理總時(shí)間/s
沙塵天氣下,受空氣中懸浮介質(zhì)的影響,采集的圖像和視頻出現(xiàn)模糊、色調(diào)偏移等現(xiàn)象,導(dǎo)致對比度下降.本文提出了一種基于色調(diào)遷移和統(tǒng)計(jì)的方法去除視頻與圖片中的沙塵,根據(jù)沙塵圖片的特性提出了一種基于統(tǒng)計(jì)的色彩校正方法進(jìn)行色彩校正,引入色調(diào)遷移方法去除沙塵,同時(shí)提出通過藍(lán)通道相關(guān)性判斷視頻幀的統(tǒng)計(jì)量的相似度來縮短算法運(yùn)行時(shí)間,并抑制視頻處理中出現(xiàn)的亮度閃爍現(xiàn)象.通過主觀和客觀評(píng)價(jià),本文算法在提升視頻處理實(shí)時(shí)性的同時(shí)有效去除了色偏,提升了對比度,視頻畫面更加自然,閃爍更少,綜合視頻質(zhì)量較高,可以應(yīng)用于視頻監(jiān)控和智慧交通領(lǐng)域.
新疆大學(xué)學(xué)報(bào)(自然科學(xué)版)(中英文)2022年2期