俞文靜，劉 航，李梓瑞，李基林

(廣州大學(xué)華軟軟件學(xué)院，廣東 廣州 510990)

0 引 言

圖像增強(qiáng)是數(shù)字圖像中的重要研究領(lǐng)域，視頻圖像增強(qiáng)是將同一場(chǎng)景下的多幅具有互補(bǔ)信息的模糊、變形以及噪聲污染的圖像按照某種需求，突出圖像中的有用信息，去除或者削弱無(wú)用信息，生成具有改善的視覺(jué)效果的圖像的過(guò)程。這一技術(shù)在醫(yī)學(xué)成像、人物攝影、遙感成像、視頻監(jiān)控等領(lǐng)域都具有較好的應(yīng)用前景。

視頻圖像增強(qiáng)技術(shù)可歸納為兩大類[1-2]：空域增強(qiáng)法和頻域增強(qiáng)法。空域增強(qiáng)法通常是針對(duì)像素操作，屬于直接增強(qiáng)視頻本身的方法，包括灰度變換、直方圖變換、濾波器處理、模糊邏輯增強(qiáng)、基于遺傳算法優(yōu)化等，這類算法復(fù)雜性低、適合實(shí)時(shí)處理，但是缺乏自適應(yīng)性。頻域增強(qiáng)法通常描述為基于數(shù)學(xué)函數(shù)的轉(zhuǎn)換及頻域的信號(hào)變換，通過(guò)視頻幀的轉(zhuǎn)換系數(shù)來(lái)增強(qiáng)視頻，常用的變換有傅里葉變換、離散小波變換、離散余弦變換等，這類算法復(fù)雜度低、易于應(yīng)用，然而不是對(duì)圖像的所有部分增強(qiáng)效果都好，也缺乏自適應(yīng)性?？紤]到現(xiàn)有的研究從圖像像素優(yōu)化的角度解決問(wèn)題的還比較少，并且現(xiàn)有算法缺乏增強(qiáng)的自適應(yīng)性，文中從像素自適應(yīng)智能優(yōu)化的角度，針對(duì)基本的群智能螢火蟲(chóng)優(yōu)化算法容易早熟、穩(wěn)定性較差的缺點(diǎn)進(jìn)行了算法改進(jìn)，并將該算法應(yīng)用到視頻圖像增強(qiáng)問(wèn)題的求解中。從仿真實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)螢火蟲(chóng)算法在視頻圖像增強(qiáng)尋優(yōu)的效果上比基本GSO有很大提高，進(jìn)而證明該算法在視頻圖像增強(qiáng)問(wèn)題上的可行性。

1 視頻圖像增強(qiáng)的模型

在一般的視頻中，由于視頻經(jīng)過(guò)長(zhǎng)時(shí)間的復(fù)制、傳輸、格式轉(zhuǎn)換、顯示等，導(dǎo)致視頻質(zhì)量的低下，同時(shí)因?yàn)楣庹諚l件影響，獲取的視頻在視頻中景物的對(duì)比度和顏色將退化等，降低了識(shí)別度。因此，文中從像素優(yōu)化的角度建立圖像增強(qiáng)模型，以原始視頻圖像序列作為輸入，將這些低質(zhì)量的圖像經(jīng)過(guò)增強(qiáng)變換生成對(duì)應(yīng)的增強(qiáng)序列圖像，最后利用像素優(yōu)化算法進(jìn)行最終視頻增強(qiáng)圖像的生成，如圖1所示[3-4]。

圖1 視頻圖像增強(qiáng)模型

根據(jù)以上的分析，文中將視頻圖像增強(qiáng)的過(guò)程，看作是對(duì)一組效果較差的視頻序列進(jìn)行優(yōu)化而獲得一個(gè)增強(qiáng)了的視頻序列的過(guò)程。文中算法將視頻圖像增強(qiáng)問(wèn)題轉(zhuǎn)換為：以多幀視頻序列圖像經(jīng)過(guò)一定的增強(qiáng)變換后的圖像像素序列作為初始化種群，從所求最終增強(qiáng)圖像最左上角[0,0]像素點(diǎn)出發(fā)，依次在不同增強(qiáng)后圖像幀間對(duì)應(yīng)位置像素中選擇一個(gè)或者多個(gè)像素進(jìn)行優(yōu)化組合，以達(dá)到優(yōu)化函數(shù)值最大化的目標(biāo)。

文中的優(yōu)化目標(biāo)綜合考慮了最終圖像的清晰度以及最終圖像與源圖像中的灰度分布比例，采用灰度直方圖頻率的統(tǒng)計(jì)策略，計(jì)算低分辨圖像的灰度直方圖頻率與放大后的高分辨直方圖256級(jí)灰度頻率之差的總和，當(dāng)這個(gè)取值達(dá)到最小并且圖像清晰度最大時(shí)，目標(biāo)最優(yōu)，圖像的優(yōu)化目標(biāo)函數(shù)[3-4]如下：

(1)

其中，ai、bi分別為低質(zhì)量圖像與高質(zhì)量圖像中灰度級(jí)別為i的像素統(tǒng)計(jì)個(gè)數(shù)，低分辨率圖像大小尺寸為a×b的圖像，I為增強(qiáng)后的大小尺寸為a×b的圖像。

2 改進(jìn)的IGSO(improved GSO)算法

2.1 基本螢火蟲(chóng)優(yōu)化(GSO)算法

螢火蟲(chóng)優(yōu)化(glowworm swarm optimization，GSO)[5-8]算法是由印度學(xué)者Krishnanand于2005年提出的一種較新的群智能優(yōu)化算法，該算法源于自然界螢火蟲(chóng)求偶及覓食原理，是一種基于迭代的優(yōu)化算法。相較于其他群智能算法有自動(dòng)劃分種群與處理多極值的能力，算法通用性和多樣性更強(qiáng)。在GSO算法中，將每個(gè)螢火蟲(chóng)模擬為解空間中的一個(gè)解，其自帶熒光素，并擁有感知半徑，越亮的螢火蟲(chóng)擁有更優(yōu)的目標(biāo)函數(shù)值，而感知半徑與所在區(qū)域內(nèi)螢火蟲(chóng)的密度成正比。一般螢火蟲(chóng)個(gè)體i的狀態(tài)向量表示為xi=(xi1,xi2,…,xin)，n代表螢火蟲(chóng)的總數(shù)，隨機(jī)分布多個(gè)螢火蟲(chóng)個(gè)體模擬移動(dòng)，經(jīng)過(guò)最大迭代次數(shù)Nmax的迭代，最終使螢火蟲(chóng)聚集到較好的螢火蟲(chóng)周圍，得到最優(yōu)解。螢火蟲(chóng)在移動(dòng)過(guò)程中，主要分為四個(gè)階段[9]：

螢火蟲(chóng)個(gè)體熒光素更新階段：

li(t)=(1-α)li(t-1)+βJ(xi(t))

(2)

其中，li(t)表示第t次迭代螢火蟲(chóng)i的熒光素值，α表示熒光素的揮發(fā)系數(shù)，一般是介于(0,1)之間的數(shù)，β表示熒光素的增強(qiáng)系數(shù)，J(xi(t))表示第t次迭代的目標(biāo)函數(shù)值。

計(jì)算螢火蟲(chóng)領(lǐng)域集、選擇移動(dòng)對(duì)象階段：

(3)

其中，Ni(t)為已經(jīng)找出的某一決策域內(nèi)熒光素比第i只更大的所有螢火蟲(chóng)而形成的領(lǐng)域集合，由式(3)可以計(jì)算出第i只螢火蟲(chóng)轉(zhuǎn)向領(lǐng)域集中其他螢火蟲(chóng)的轉(zhuǎn)向概率Pij(t)。并且選擇轉(zhuǎn)向概率最大的螢火蟲(chóng)作為轉(zhuǎn)向?qū)ο蟆?/p>

螢火蟲(chóng)位置更新階段：

(4)

其中，S為螢火蟲(chóng)位置更新步長(zhǎng)，第t+1代螢火蟲(chóng)的位置是在第t代螢火蟲(chóng)的位置的基礎(chǔ)上以步長(zhǎng)S按矢量xj(t)-xi(t)方向移動(dòng)。

動(dòng)態(tài)決策更新階段：

rid(t+1)=

min{rs,max{0,rid(t)+γ(nt-|Ni(t)|)}}

(5)

其中，rs表達(dá)了螢火蟲(chóng)的領(lǐng)域感知半徑，γ是感知半徑的變化系數(shù)，nt是領(lǐng)域螢火蟲(chóng)個(gè)數(shù)的閾值，該式表達(dá)了螢火蟲(chóng)感知范圍的動(dòng)態(tài)調(diào)整。

2.2 熒光素更新改進(jìn)策略

由式(2)可見(jiàn)，在熒光素的更新中，某一時(shí)刻螢火蟲(chóng)的熒光素取決于上一時(shí)刻熒光素的遺留部分以及迭代函數(shù)目標(biāo)值的增益部分之和。由于揮發(fā)系數(shù)α以及增益系數(shù)β都是介于(0,1)之間的隨機(jī)數(shù)，難免出現(xiàn)同大或者同小的情況，α和β同大時(shí)，忽略了螢火蟲(chóng)上一時(shí)刻熒光素的影響，α和β同小時(shí)，忽略了迭代函數(shù)目標(biāo)值的影響。在一個(gè)“智能”社會(huì)中，α和β并非是獨(dú)立的，智能個(gè)體可利用其“推理”能力確定α和β的相對(duì)大小。將智能社會(huì)中“個(gè)體”的推理能力融入到GSO中，文中采用如下的螢火蟲(chóng)個(gè)體熒光素更新策略：

li(t)=β(1-α)li(t-1)+α(1-β)J(xi(t))

(6)

在上述更新過(guò)程中，若新值大于設(shè)定的最大值，則取最大值；同理，若小于設(shè)定的最小值，則取最小值。

2.3 螢火蟲(chóng)位置更新改進(jìn)策略

在螢火蟲(chóng)位置更新公式(式(4))中，位置更新與上一時(shí)刻的位置、更新步長(zhǎng)以及移動(dòng)矢量的方向有關(guān)。其中，步長(zhǎng)設(shè)置較小，影響收斂速度；步長(zhǎng)設(shè)置較大，初期可以提高收斂速度，然而當(dāng)螢火蟲(chóng)個(gè)體與峰值之間距離小于移動(dòng)步長(zhǎng)S時(shí)，出現(xiàn)極值附近的振蕩現(xiàn)象，從而影響算法的精度和收斂性。另外，為了防止螢火蟲(chóng)的熒光素陷入局部極值現(xiàn)象，文中在步長(zhǎng)設(shè)置中引入全局最優(yōu)個(gè)體影響因子ω及局部最優(yōu)個(gè)體影響因子φ，采用自適應(yīng)變步長(zhǎng)策略，搜索步長(zhǎng)S隨螢火蟲(chóng)個(gè)體與局部峰值之間距離Sid的變化以及螢火蟲(chóng)個(gè)體與全局最優(yōu)個(gè)體之間距離Sgd的變化而自適應(yīng)變化，因此螢火蟲(chóng)位置更新策略如下：

(7)

其中ω和φ為(0,1)之間的隨機(jī)數(shù)。

2.4 改進(jìn)算法流程

進(jìn)算法流程如圖2所示。先初始化種群參數(shù)，包括最大迭代代數(shù)Nmax、初始種群數(shù)n、α、β、ω、φ、nt、γ、l0。由式(6)計(jì)算螢火蟲(chóng)個(gè)體熒光素，其中J(xi(t))采用式(1)作為目標(biāo)函數(shù)，式(3)計(jì)算螢火蟲(chóng)個(gè)體領(lǐng)域集、選擇移動(dòng)對(duì)象，依據(jù)式(7)進(jìn)行螢火蟲(chóng)位置更新，最后根據(jù)式(5)對(duì)螢火蟲(chóng)決策半徑進(jìn)行更新，判斷迭代次數(shù)t是否達(dá)到Nmax，如果未達(dá)到，就回到式(6)再次循環(huán)計(jì)算熒光素等，直到達(dá)到Nmax，就輸出最終優(yōu)化圖像。

圖2 改進(jìn)算法流程

3 基于改進(jìn)IGSO算法的視頻圖像增強(qiáng)問(wèn)題的求解

文中將視頻圖像增強(qiáng)最優(yōu)化問(wèn)題描述為：將一組低質(zhì)量視頻圖像像素序列作為輸入，優(yōu)化出一個(gè)最優(yōu)增強(qiáng)高質(zhì)量圖像，為了簡(jiǎn)化問(wèn)題，該研究采用灰度圖像，只考慮圖像像素點(diǎn)上的灰度值優(yōu)化。設(shè)圖像是按照先行后列的方式排列的灰度像素序列，低質(zhì)量圖像表示為一維向量L=[l1,l2,…,lm]，m代表圖像像素個(gè)數(shù)，對(duì)應(yīng)的增強(qiáng)后圖像表示為一維向量H=[h1,h2,…,hm]，也是IGSO算法要求解的個(gè)體[10-13]。

IGSO算法優(yōu)化圖像增強(qiáng)的具體步驟為：

(1)依據(jù)模型，選取視頻成像中連續(xù)i幀低分辨率圖像序列為向量L1=[l11,l12,…,l1m]，L2=[l21,l22,…,l2m]，…，Li=[li1,li2,…,lim]。

(2)初始化螢火蟲(chóng)群體規(guī)模和種群個(gè)體的值，取i個(gè)初始種群個(gè)體值為L(zhǎng)i經(jīng)過(guò)了小波濾波處理后的高質(zhì)量圖像序列H1=[h11,h12,…,h1m]，H2=[h21,h22,…,h2m]，…，Hi=[hi1,hi2,…,him]。

(3)初始化參數(shù)，依據(jù)式(6)計(jì)算個(gè)體熒光素，找出初始種群中i個(gè)種群個(gè)體中熒光素最大的粒子，作為全局最優(yōu)解個(gè)體，個(gè)體最優(yōu)解為第一幀高質(zhì)量圖像序列H1。

(4)依據(jù)式(3)、式(7)和式(5)，計(jì)算螢火蟲(chóng)個(gè)體領(lǐng)域集、選擇移動(dòng)對(duì)象，并進(jìn)行螢火蟲(chóng)位置以及決策半徑更新。

(5)根據(jù)適應(yīng)度評(píng)估策略以及適應(yīng)度評(píng)估函數(shù)，檢查終止條件，若終止條件滿足，則停止迭代，否則回到步驟(3)。

(6)輸出最優(yōu)化的增強(qiáng)圖像。

4 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證所提出模型和算法的有效性，仿真實(shí)驗(yàn)環(huán)境為Intel(R) Core(TM) i5 CPU 530，2.93 GHz，內(nèi)存4 GB，仿真平臺(tái)為Matlab R2014。在群智能算法中，參數(shù)的設(shè)置起著非常重要的作用，文中的參數(shù)設(shè)置如表1所示。

表1 參數(shù)設(shè)置

其中，Nmax表示最大迭代次數(shù)，n表示種群規(guī)模，α和β分別表示熒光素更新的揮發(fā)系數(shù)以及增益系數(shù)，ω和φ分別表示位置更新中的全局影響因子以及個(gè)體影響因子，nt表示領(lǐng)域螢火蟲(chóng)個(gè)數(shù)的閾值，γ表示感知半徑的變化系數(shù)，l0表示初始熒光素取值。

分別采用道路監(jiān)控視頻下的2組連續(xù)30幀的圖像以及室內(nèi)監(jiān)控下的1組30幀的圖像作為實(shí)驗(yàn)初始圖像數(shù)據(jù)，進(jìn)行了3組圖像的實(shí)驗(yàn)，三組測(cè)試結(jié)果如圖3所示。在原圖像幀的基礎(chǔ)上，分別用小波變換增強(qiáng)、基本螢火蟲(chóng)算法以及文中提出的改進(jìn)螢火蟲(chóng)算法進(jìn)行了實(shí)驗(yàn)，小波變換增強(qiáng)時(shí)間比較短，但是效果不理想；基本的GSO算法優(yōu)化增強(qiáng)圖像效果相對(duì)較好，但是容易陷入局部極值，圖像出現(xiàn)噪點(diǎn)；文中提出的IGSO算法優(yōu)化的圖像在收斂性、圖像清晰度方面都有一定提高，效果更加優(yōu)化。

圖3 三種算法對(duì)視頻序列圖像的增強(qiáng)效果

最后根據(jù)以上三組實(shí)驗(yàn)，將最后優(yōu)化得到的圖像序列展開(kāi)來(lái)，使用均方差(MSE)、峰值信噪比(PSNR)以及結(jié)構(gòu)相似度(SSIM)三項(xiàng)指標(biāo)對(duì)增強(qiáng)的圖像質(zhì)量進(jìn)行了評(píng)價(jià)(見(jiàn)表2～表4)，相應(yīng)的計(jì)算公式如下[14-15]：

MSE=∑(fi,j-f'i,j)2

(8)

(9)

(10)

其中，N1和N2分別為圖像水平和垂直方向上的像素，fi,j和f'i,j分別表示(i,j)位置上理想高分辨率圖像和處理后圖像的灰度值，u(x)、u(y)為圖像的均值，d(x)、d(y)為圖像的方差，d(x,y)為圖像的協(xié)方差，a、b、c用來(lái)控制三個(gè)項(xiàng)的重要性，C1、C2、C3為很小的數(shù)值。

表2 道路監(jiān)控1增強(qiáng)質(zhì)量評(píng)級(jí)表

表3 道路監(jiān)控2增強(qiáng)質(zhì)量評(píng)級(jí)表

表4 室內(nèi)監(jiān)控增強(qiáng)質(zhì)量評(píng)級(jí)表

從表2～表4比較的結(jié)果來(lái)看，三組實(shí)驗(yàn)中，IGSO算法增強(qiáng)圖像與原始圖像的誤差率較低，收斂速度更快，圖像的結(jié)構(gòu)相似度也最大，驗(yàn)證了文中算法的優(yōu)越性。

5 結(jié)束語(yǔ)

文中建立了一種有效的視頻圖像增強(qiáng)模型，將多幀視頻圖像增強(qiáng)問(wèn)題轉(zhuǎn)化為從低分辨率圖像到高分辨率圖像的尋優(yōu)問(wèn)題。針對(duì)基本螢火蟲(chóng)算法的極值振蕩及陷于局部最優(yōu)的缺陷，在位置更新策略中引入了全局最優(yōu)個(gè)體影響因子與局部最優(yōu)個(gè)體影響因子，并對(duì)螢火蟲(chóng)熒光素的揮發(fā)及增益系數(shù)進(jìn)行改進(jìn)，提出了改進(jìn)的IGSO算法。應(yīng)用實(shí)例證明了文中模型和算法對(duì)于解決視頻超分辨率問(wèn)題的可行性和有效性。