李永前，張二虎

(西安理工大學(xué)印刷包裝與數(shù)字媒體學(xué)院，陜西西安710048)

半調(diào)技術(shù)被廣泛應(yīng)用于印刷、出版及電子顯示等領(lǐng)域，它是將連續(xù)調(diào)圖像轉(zhuǎn)換為二值圖像的一項技術(shù)，轉(zhuǎn)換后的二值圖像在一定距離觀察下可近似為連續(xù)調(diào)圖像。由于半調(diào)圖像僅包含0或1兩個階調(diào),而現(xiàn)有的圖像處理技術(shù)大多是針對連續(xù)調(diào)圖像的，因此，如何實現(xiàn)半調(diào)圖像的連續(xù)調(diào)恢復(fù)，即逆半調(diào)技術(shù)，成為了數(shù)字印前系統(tǒng)、半調(diào)圖像轉(zhuǎn)換加網(wǎng)、數(shù)字化檔案管理、印刷圖像分類識別等具體應(yīng)用領(lǐng)域的重要研究課題。

逆半調(diào)技術(shù)的研究始于20世紀(jì)90年代[1]，按照其實現(xiàn)原理，可分為以下幾類：濾波法、反褶積法、迭代法、機(jī)器學(xué)習(xí)法、矢量法等[2]。在現(xiàn)有的方法中，基于查找表(Lookup-table,簡稱LUT)的逆半調(diào)方法屬于機(jī)器學(xué)習(xí)法[3]，它通過訓(xùn)練集建立半調(diào)圖像值與連續(xù)調(diào)圖像值之間的查找表，然后通過查表的方法重構(gòu)出連續(xù)調(diào)圖像。相對于其它逆半調(diào)方法，該方法充分利用了原有連續(xù)調(diào)圖像特征以及先驗知識，減少了逆半調(diào)圖像信息的損失和信息失真度，而且這個方法可以分區(qū)并行操作，處理速度高于其他方法，所以具有更高的研究價值[4-6]。

基于LUT的逆半調(diào)方法的關(guān)鍵在于模板的設(shè)計與表中空值項的估計，模板的大小、形狀以及模板中有效像素的相對順序直接影響了圖像的重建質(zhì)量。近幾年，國內(nèi)外學(xué)者提出了多種改進(jìn)的基于LUT的逆半調(diào)方法，如利用圖像紋理信息、神經(jīng)網(wǎng)絡(luò)等改進(jìn)的逆半調(diào)方法，但對直接影響逆半調(diào)圖像質(zhì)量的模板選擇問題卻很少研究。2001 年 Mese等[7,8]提出了一種基于貪心算法的模板選擇方法，此后該模板的選擇一直沿用該方法，但該方法并不能求得全局最優(yōu)模板，存在一定缺陷。在空值項估計方面，提出的方法有低通濾波法、漢明距離法、最佳線性估計法[3]。2007年，孔月萍等[9]采用Elman神經(jīng)網(wǎng)絡(luò)方法進(jìn)行了空值項估計的研究，取得了一定的改進(jìn)效果，但估計精度仍然有待提高。

針對以上問題，本文提出了相應(yīng)的改進(jìn)方法。

首先，針對基于LUT逆半調(diào)方法恢復(fù)出的圖像在平緩區(qū)域存在噪聲的問題，提出基于查找表和基于高斯濾波相融合的方法，其框架如圖1(a)所示。

圖1 基于改進(jìn)查找表和高斯濾波相融合的方法Fig.1 Method based on improved LUT and Gaussian filter fusion

其次，針對最優(yōu)模板的選擇問題，提出了基于粒子群的最優(yōu)模板優(yōu)化方法。

最后，采用超限學(xué)習(xí)機(jī)(Extreme Learning Machine,簡稱ELM)[10,11]作為空值項擬合模型，以提高空值項的擬合精度。

1 基于ELM的空值項擬合方法

經(jīng)典LUT逆半調(diào)方法的原理如圖2所示，它以多組半調(diào)圖像及其連續(xù)調(diào)圖像作為學(xué)習(xí)樣本，學(xué)習(xí)之后形成一張半調(diào)模式值與連續(xù)值之間的映射表，從而可根據(jù)該映射表來估計半調(diào)圖像對應(yīng)的連續(xù)值，完成半調(diào)圖像的逆半調(diào)處理。在圖2中，對訓(xùn)練集中的半調(diào)圖像，由任一像素點o′及其周圍像素點a的不同組合可以形成不同的模板T1，典型的模板如圖2(b)所示，其中模板的不同取值形成了圖2(a)中LUT映射表的索引值，其在對應(yīng)連續(xù)調(diào)圖像中的值o作為LUT映射表的連續(xù)值V。

圖2 經(jīng)典LUT逆半調(diào)方法原理Fig.2 The principle of the classical inverse halftoning method based on LUT

經(jīng)典LUT逆半調(diào)算法由建表和逆半調(diào)值生成兩個階段構(gòu)成。建表階段需要多組半調(diào)圖像及其對應(yīng)的連續(xù)調(diào)圖像作為學(xué)習(xí)樣本，利用模板滑動讀取半調(diào)圖像的模板像素值和對應(yīng)的連續(xù)調(diào)值，建立初始的查找表。建表階段有兩種情況：一是相同的索引值對應(yīng)不同的連續(xù)調(diào)值，對此采用這些不同連續(xù)調(diào)值的均值作為該索引值對應(yīng)的連續(xù)調(diào)值；二是學(xué)習(xí)樣本有限時，許多索引值沒有其對應(yīng)的連續(xù)調(diào)值，造成表中出現(xiàn)空值項的現(xiàn)象。對于空值項，提出基于ELM的空值項擬合方法，以提高擬合的精準(zhǔn)程度。

超限學(xué)習(xí)機(jī)[10-11]是一種針對單隱藏層前饋神經(jīng)網(wǎng)絡(luò)的算法，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，其中輸入層X={x1,x2, …,xl}與隱藏層的連接權(quán)值W以及偏置b是隨機(jī)產(chǎn)生，在訓(xùn)練過程中無需調(diào)整，只需要對隱藏層與輸出層Y之間的連接權(quán)重β進(jìn)行訓(xùn)練學(xué)習(xí)(可利用廣義逆完成隱藏層與輸出層的連接權(quán)重矩陣的求解),故ELM具有較快的學(xué)習(xí)速度、良好的魯棒性和泛化能力、較高的擬合精度。在所設(shè)計的ELM網(wǎng)絡(luò)結(jié)構(gòu)中，以初始建立的LUT中非空值項數(shù)據(jù)訓(xùn)練ELM模型，其中輸入X為LUT中的索引值，輸出只有一個節(jié)點，為LUT中的連續(xù)調(diào)值y0，隱藏層節(jié)點數(shù)為50 。構(gòu)建ELM空值項擬合模型：

圖3 ELM 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 ELM network structure

(1)

式中，“*”代表卷積運算符；g(x)為激活函數(shù)，常用硬限幅函數(shù)、Sigmoid函數(shù)或傅里葉函數(shù)，通過實驗比較逆半調(diào)圖像的效果，選擇Sigmoid函數(shù)作為激活函數(shù)，其計算公式為：

(2)

實驗中，提取初始LUT中非空值項的索引值和對應(yīng)的連續(xù)值作為輸入層和輸出層樣本，按照訓(xùn)練樣本和測試樣本數(shù)量比為9：1，對隱藏層與輸出層的連接權(quán)重進(jìn)行學(xué)習(xí)，完成基于ELM空值項擬合模型參數(shù)的求解。對于LUT表中的空值項，將其索引值作為輸入層，利用訓(xùn)練好的ELM空值項擬合模型，就可估計出對應(yīng)的連續(xù)值，從而得到完整的LUT映射表。

2 基于粒子群的最優(yōu)模板優(yōu)化方法

在基于LUT的逆半調(diào)方法中，形成索引值的模板設(shè)計非常重要，模板的大小和其中有效像素數(shù)目與LUT的長度成正比關(guān)系，與模板優(yōu)化運行效率成反比關(guān)系，而且直接影響著逆半調(diào)圖像的質(zhì)量[12]。如何求取全局最優(yōu)的模板是當(dāng)前該領(lǐng)域研究的一個重要問題，文中采用粒子群優(yōu)化方法，構(gòu)建了一種最優(yōu)模板。

粒子群優(yōu)化算法(Particle Swarm Optimization，簡稱PSO)的基本核心是利用群體中的個體對信息的共享，使整個群體的運動在問題求解空間中產(chǎn)生從無序到有序的演化過程，從而獲得問題的最優(yōu)解?；诹Ｗ尤旱淖顑?yōu)模板優(yōu)化方法步驟為：

1) 初始化粒子種群

由于LUT最優(yōu)模板選擇是一個非連續(xù)的問題，因此要先對粒子群算法的初始種群T進(jìn)行隨機(jī)編碼。在編碼時，針對有效像素數(shù)目為M的LUT表中的模板，可看作在N×N的窗口中選取M個位置。首先，模板中心點的目標(biāo)像素位置選定為“0”；其次，模板的其他位置隨機(jī)賦值為1～(N2-1)，而數(shù)值為0～(M-1)的位置即為LUT模板的有效像素。對于編碼的順序，從模板左上角開始，按照自左向右、自上而下的順序?qū)UT模板進(jìn)行掃描，得到種群個體。例如，N為5、M為16時，由于目標(biāo)像素 “0” 位置不變，所以只需要1～24的位置，就可形成不同的模板，編碼得到粒子個體的過程如圖4所示。

圖4 一個LUT模板編碼過程Fig.4 A LUT template encoding process

2) 計算個體的適應(yīng)度值

峰值信噪比(PSNR)是評價重建圖像質(zhì)量的最常用的指標(biāo)。由于逆半調(diào)與圖像壓縮編碼均涉及重建問題，故用峰值信噪比作為計算適應(yīng)度的函數(shù)：

(3)

3) 更新粒子個體

在計算完當(dāng)前粒子種群T的適應(yīng)度后，首先比較選出當(dāng)前種群中的最大適應(yīng)度作為個體最優(yōu)Pbest和全局最優(yōu)Gbest；然后對當(dāng)前粒子種群進(jìn)行交叉和變異操作，產(chǎn)生新的種群T，使種群進(jìn)化。交叉和變異的具體操作為：

① 交叉操作

交叉操作產(chǎn)生新種群分為兩個階段：一是與個體最優(yōu)進(jìn)行交叉；二是與全局最優(yōu)進(jìn)行交叉。首先，在Pbest/Gbest產(chǎn)生交叉位，交叉位的起始位置及長度均為隨機(jī)獲得，提取出交叉位上的數(shù)字，如圖5中Pbest/Gbest紅色標(biāo)記出的14、9、22、3、4；然后對當(dāng)前粒子個體，刪除與交叉位上相同數(shù)字的元素，如圖5中“粒子個體”中紅色標(biāo)記出的元素；最后，將剩余的元素按照相對位置不變依次排列，得到新的粒子個體，并將交叉位的元素插入到新的粒子個體最后，保證粒子個體的數(shù)目不變(如圖5中“新的粒子個體”中紅色標(biāo)記出的元素)。

圖5 交叉過程Fig.5 Cross process

②變異操作

首先，隨機(jī)產(chǎn)生變異位c1、c2，其值在1到N2-1之間，而且c1和c2不能相同；然后對變異位c1和c2的元素進(jìn)行交換，產(chǎn)生新的粒子個體。變異過程如圖6所示。

圖6 變異過程Fig.6 Variation process

對于更新后的粒子種群，計算其中各個個體的適應(yīng)度，選出當(dāng)前種群中的最大適應(yīng)度作為個體最優(yōu)Pbest，比較當(dāng)前個體最優(yōu)和上代個體最優(yōu)，取最大的適應(yīng)度作為當(dāng)前全局最優(yōu)Gbest。

4) 終止條件

通過實驗，設(shè)定最大進(jìn)化次數(shù)gMAX，當(dāng)達(dá)到最大進(jìn)化次數(shù)時，優(yōu)化結(jié)束。

實驗中設(shè)置最大進(jìn)化次數(shù)gMAX=150，種群數(shù)目為20?？紤]到LUT的大小及運行效率，選擇模板大小N=5，模板中有效像素點數(shù)目M=16。

3 逆半調(diào)圖像的融合

基于LUT的逆半調(diào)方法產(chǎn)生的連續(xù)調(diào)圖像具有較好的細(xì)節(jié)保留能力，但在圖像平緩區(qū)域容易產(chǎn)生噪聲，而高斯濾波可起到平滑的作用，為此，提出將基于查找表和基于高斯濾波的逆半調(diào)圖像進(jìn)行融合。

3.1 基于高斯濾波的逆半調(diào)方法

高斯濾波是一種適用于消除高斯噪聲的線性平滑濾波，可以消除數(shù)字半調(diào)圖像中的噪聲，獲得具有較好平滑區(qū)的高斯逆半調(diào)圖像IG(x,y) ：

IG(x,y)=(G*IH)(x,y)

(4)

式中，IH為數(shù)字半調(diào)圖像；G表示高斯核函數(shù)；(x,y)表示目標(biāo)像素。

3.2 逆半調(diào)圖像的融合

通過基于PSO算法得到的最優(yōu)模板建立初始LUT，由ELM完成空值項擬合，通過查表的方式獲得基于LUT的逆半調(diào)圖像IL(x,y)，將其與高斯濾波獲得的逆半調(diào)圖像IG(x,y)進(jìn)行融合，得到最終的逆半調(diào)圖像I(x,y)，該方法簡稱基于融合的算法，其公式為：

I(x,y)=w(x,y)IL(x,y)+[1-w(x,y)]IG(x,y)

(5)

w(x,y)=tanh(vL(x,y)/θ)

(6)

式中，w(x,y)為融合的權(quán)值系數(shù)；θ為正值參數(shù)；vL(x,y)是以目標(biāo)像素 (x,y)為中心的n×n區(qū)域的方差，取n=5。使用tanh 函數(shù)既可以保證融合的權(quán)值系數(shù)在0～1之間，而且可以區(qū)分出圖像的細(xì)節(jié)和平滑區(qū)域。

3.3 彩色半調(diào)圖像的逆半調(diào)方法

大多數(shù)的彩色圖像半調(diào)處理是對色彩空間內(nèi)圖像所具有的各個顏色通道分別進(jìn)行處理，然后再將各通道結(jié)果疊加得到彩色半調(diào)圖像。對于彩色圖像逆半調(diào)，本文也是將彩色半調(diào)圖像的R、G和B三個顏色通道分別進(jìn)行逆半調(diào)處理，實現(xiàn)彩色半調(diào)圖像的逆半調(diào)化。

4 實驗結(jié)果與分析

本節(jié)對所提出的基于ELM的空值項擬合、基于PSO的模板優(yōu)化和逆半調(diào)圖像融合進(jìn)行實驗，實驗全部在Matlab R2014a環(huán)境下完成。

4.1 基于ELM的空值項擬合實驗

本小節(jié)的實驗圖像均為灰度圖像，首先由15對大小為512×512的誤差擴(kuò)散半調(diào)圖像和對應(yīng)的連續(xù)調(diào)圖像集作為訓(xùn)練樣本，完成初始LUT表的建立及基于ELM的空值項擬合模型的建立，LUT表的模板采用16pels的形式；然后由8對大小為512×512的誤差擴(kuò)散半色調(diào)圖像和對應(yīng)的連續(xù)調(diào)圖像集作為測試樣本，采用PSNR對生成的逆半調(diào)圖像質(zhì)量進(jìn)行評價。

對ELM中采用的不同激活函數(shù)進(jìn)行實驗，實驗結(jié)果如表1所示，表1給出的是測試樣本的平均PPSNR值。從表1的PPSNR值可以看出，采用Sigmoid激活函數(shù)具有最好的效果。

表1 不同激活函數(shù)得到的PPSNR值

對于空值項的擬合精度，采用平均相對誤差(Average Relative Error，簡稱ARE)進(jìn)行評價，其計算公式為：

(7)

式中，u表示圖像中空值項數(shù)；IZ表示圖像中空值項的真實連續(xù)調(diào)值；IN表示空值項的擬合值。

表2給出了8幅測試圖像的空值項數(shù)和平均相對誤差值。從表2可以看出，每幅測試圖像都有較多的空值項，擬合后的空值項的平均相對誤差都在0.1左右，說明ELM擬合達(dá)到了較高的精度。

表2 測試圖像擬合值的平均相對誤差

4.2 求取最優(yōu)模板的算法比較

為了提高訓(xùn)練與測試的速度，實驗采用灰度圖像。訓(xùn)練樣本為15對大小為512×512的誤差擴(kuò)散半調(diào)圖像和對應(yīng)的連續(xù)調(diào)圖像集，測試樣本為8對大小為512×512的誤差擴(kuò)散半調(diào)圖像和對應(yīng)的連續(xù)調(diào)圖像集，訓(xùn)練樣本和測試樣本互不相同。

為體現(xiàn)PSO算法的優(yōu)勢，同時采用差分進(jìn)化算法[12](Differential Evolution Algorithm，DE)、精英遺傳算法[13](Elitist Genetic Algorithm，EGA)求取最優(yōu)模板，并對比其結(jié)果。實驗中各種算法的最大進(jìn)化次數(shù)均為150，種群規(guī)模均為20。

圖7是各算法的收斂速度，可以看出，本文提出的基于PSO算法的收斂速度最快，其次是DE算法和EGA算法。圖8是各算法求得的模板，其中圖8(b)和(c)是實現(xiàn)文獻(xiàn)[12]和[13]算法得到的最優(yōu)模板，圖8(a)是PSO算法求得的最優(yōu)模板，它與另外兩個最優(yōu)模板相近，但是更能體現(xiàn)有效像素相對順序的影響。表3給出的是由不同模板生成的逆半調(diào)圖像的平均PPSNR值，可以看出，本文PSO算法獲得的最優(yōu)模板是最好的。

圖7 各算法進(jìn)化次數(shù)與PPSNR關(guān)系Fig.7 Relationship between the evolution times and PPSNR of each algorithm

圖8 各算法求得最優(yōu)模板Fig.8 The best template of all algorithms

算法PPSNR/dB本文PSO算法30.054DE算法[12]29.294EGA算法[13]29.294

4.3 彩色逆半調(diào)圖像效果評價

實驗中學(xué)習(xí)樣本為60對大小為256×256的彩色誤差擴(kuò)散半調(diào)圖像和相應(yīng)的連續(xù)調(diào)圖像集，測試樣本為10對大小為256×256的彩色誤差擴(kuò)散半調(diào)圖象和相應(yīng)的連續(xù)調(diào)圖像集，學(xué)習(xí)樣本和測試樣本互不相同。 實驗首先確定相關(guān)參數(shù)，然后對最終生成的彩色逆半調(diào)圖像質(zhì)量進(jìn)行評價分析。

圖9是學(xué)習(xí)樣本數(shù)量對逆半調(diào)圖像質(zhì)量的影響。實驗中學(xué)習(xí)樣本的數(shù)量S從15變化到60，變化的步長為5，測試樣本數(shù)量為10。從圖9可以看出，當(dāng)學(xué)習(xí)樣本數(shù)量逐漸增加到50時，平均PPSNR值是逐漸增大的，超過50時，平均PPSNR值減小，故選擇學(xué)習(xí)樣本數(shù)量為50。

圖10 是高斯濾波逆半調(diào)處理中參數(shù)σ的選擇實驗。σ值從0.6變化到2.4，變化步長為0.2，計算10對測試樣本的平均PPSNR值作為評價標(biāo)準(zhǔn)。從圖10 可以看出，σ=1.2時平均PPSNR值最大。

圖9 學(xué)習(xí)樣本數(shù)量與平均PPSNR的關(guān)系Fig.9 Relationship between the number of learning samples and the average PPSNR

圖10 σ 與平均PPSNR的關(guān)系Fig.10 Relationship between σ and average PPSNR

對于式(6)中θ的取值，圖11給出了參數(shù)θ從100變化到5100，變化步長為100時，10對測試樣本平均PPSNR值隨θ變化的情況?？梢钥闯?，隨著θ值的增大，平均PPSNR值逐漸增大，當(dāng)達(dá)到5000時基本趨于穩(wěn)定。

根據(jù)以上實驗，最終選擇的參數(shù)為S=50、σ=

1.2、θ=5000。在這組參數(shù)下，實驗對4種方法生成的彩色逆半調(diào)圖像的質(zhì)量進(jìn)行評價。

表4給出了各種方法的實驗結(jié)果，其中“LUT(空值未補(bǔ))”表示基于LUT逆半調(diào)方法，空值項未作處理；“LUT(ELM補(bǔ)全空值)”表示基于LUT逆半調(diào)方法，空值項由ELM擬合。表4給出的是10幅彩色逆半調(diào)圖像的平均PPSNR值，從表中可以看出，本文基于融合的算法是最優(yōu)的，取得了最高的PPSNR值。

圖11 θ與平均PPSNR的關(guān)系Fig.11 Relationship between θ and average PPSNR

算法PPSNR/dBLUT(空值未補(bǔ))26.296LUT(ELM補(bǔ)全空值)27.492Gaussian濾波法26.046本文基于融合的算法31.115

圖12給出了一幅用于測試的彩色半調(diào)圖像由不同方法處理的結(jié)果。

圖12 各種不同算法的處理后的彩色圖像比較Fig.12 Comparison of inversed color image restored by different algorithms

從視覺效果來看，圖12(c)LUT(空值未補(bǔ)) 方法恢復(fù)出的圖像達(dá)到了一定的去噪效果，但是有較明顯的白色斑點；圖12(d)LUT(ELM補(bǔ)全空值)方法恢復(fù)出的圖像在眼睛部分的瞳孔和瞳仁處有很高的區(qū)分度，但是仍有較不明顯的白色斑點，且在圖像的平緩區(qū)域存在著均勻分布的噪聲；圖12(e) 基于Gaussian濾波方法恢復(fù)出的圖像雖然有較好的平滑效果，但該圖像的細(xì)節(jié)部分卻沒有圖12(d)好，眼睛部位較模糊，區(qū)分度不高；圖12(f) 是文中所提基于融合的方法恢復(fù)出的圖像，可以看出，其與原連續(xù)調(diào)圖像有較高的相似度，人物的頭發(fā)和眼睛部位等細(xì)節(jié)處有較高的還原度，且濾除了平緩區(qū)域的噪聲及其它的斑點，取得了最好的視覺效果。

5 結(jié) 論

本文提出了一種改進(jìn)的基于查找表的彩色逆半調(diào)方法，其改進(jìn)之處包括：

1) 采用基于粒子群的優(yōu)化方法獲得了最優(yōu)模板，并與差分進(jìn)化算法、精英遺傳算法進(jìn)行比較，結(jié)果表明,本文算法求得的最優(yōu)模板對半調(diào)圖象恢復(fù)有更好的效果，求得的最優(yōu)模板更加符合數(shù)字圖像像素之間的相關(guān)性，而且較其它兩種算法有更快的收斂速度；

2) 提出了基于ELM的空值項擬合方法，有效地消除了恢復(fù)圖像中的斑點；

3) 提出了一種融合LUT逆半調(diào)圖像和高斯濾波逆半調(diào)圖像的算法，在保留圖像細(xì)節(jié)的同時去除了平緩區(qū)域的噪聲，在客觀評價和主觀評價方面均取得了最好的效果。