黃成強(qiáng),樊愛均,康 帥

(遵義師范學(xué)院 物理與電子科學(xué)學(xué)院,遵義 563006)

近年來(lái),消費(fèi)電子產(chǎn)品的應(yīng)用越來(lái)越廣泛[1,2].尤其是智能手機(jī)為人們的日常生活帶來(lái)了很多便利之處[3,4].它已被視為一個(gè)不可代替的計(jì)算工具、移動(dòng)通信平臺(tái)和個(gè)人數(shù)字輔助系統(tǒng)[5].根據(jù)2017年度國(guó)際數(shù)據(jù)集團(tuán)(IDC)的報(bào)告,全世界范圍內(nèi)智能手機(jī)的出貨量是14.62 億.然而,手機(jī)電池電量有限[6],功耗過(guò)大引起較高的頻繁充電問(wèn)題嚴(yán)重地影響了用戶體驗(yàn).智能手機(jī)的功耗主要由中央處理單元(CPU)功耗和顯示功耗兩部分組成.文獻(xiàn)[7]對(duì)CPU功耗開展了研究.一直以來(lái),針對(duì)顯示功耗的研究是移動(dòng)設(shè)備研究中的重要課題之一[8].尤其是隨著顯示面板分辨率的提高,顯示功耗的影響越來(lái)越大.統(tǒng)計(jì)數(shù)據(jù)顯示,手機(jī)電池中40-80%的電量被消耗于顯示面板.因此,低功耗顯示技術(shù)的研究至關(guān)重要.近年來(lái)該領(lǐng)域的研究也是業(yè)界的熱點(diǎn).其中較為常用的是像素點(diǎn)功耗控制(NPC)算法[9].該算法提出,如果總功耗大于閾值,各像素點(diǎn)的灰階將乘以一個(gè)縮放因子.該算法有兩個(gè)缺陷.首先,如果條件不滿足功耗限制將不會(huì)執(zhí)行.然而,在條件不滿足的情況下也存在個(gè)別或多個(gè)像素單元極亮的情況,這類像素單元的功耗較大使得屏幕加速老化.此外,顯示面板中所有像素單元的灰階都被縮放,無(wú)論是高亮度點(diǎn)還是低亮度點(diǎn).然而,在功耗限制中不必對(duì)所有像素單元進(jìn)行縮放.因?yàn)楦吡料袼貑卧獙?duì)功耗起決定性作用,對(duì)這部分像素單元進(jìn)行縮放即可.對(duì)于低亮度單元,保留其灰階不必將有利于保持圖像的視覺效果.文獻(xiàn)[10]提出了增強(qiáng)型像素點(diǎn)功耗控制算法.其中,考慮到了局部功耗限制.然而,所有像素單元都被縮放,低灰階部分的圖像信息仍然丟失嚴(yán)重.文獻(xiàn)[11]提出了基于色彩空間轉(zhuǎn)換的低功耗顯示技術(shù)(ACSC).其中,新的亮度是原亮度與亮度偏移值之差.改算法的起缺點(diǎn)是圖像中的低亮度部分仍然被減低,導(dǎo)致視覺效果不理想.此外,業(yè)界還提出很多功耗優(yōu)化方法,諸如針對(duì)靜態(tài)圖像的動(dòng)態(tài)電壓掃描 (DVS)[12],以及顏色重組[13].然而,這些技術(shù)忽略了顯示失真對(duì)用戶視覺效果的影響,無(wú)法提升用戶體驗(yàn)[14-16].

雖然傳統(tǒng)算法降低了顯示功耗,但是視覺效果下降明顯.因此,本文提出了一種低功耗高畫質(zhì)的顯示驅(qū)動(dòng)算法.

本文余下部分的組織機(jī)構(gòu)如下:第1節(jié)闡述提出的算法;第2節(jié)展示實(shí)驗(yàn)結(jié)果;第3節(jié)是現(xiàn)場(chǎng)可編程邏輯門陣列(FPGA)驗(yàn)證;最后,在第4節(jié)給出結(jié)論.

1 提出的算法

1.1 算法概述

所提出算法的流程圖如圖1所示.首先,輸入圖像從RGB空間轉(zhuǎn)換到Y(jié)UV空間[17].其中,Y代表亮度信息,U和V代表顏色信息.隨后,計(jì)算亮度平均值Yav和最大值Ymax.該算法的關(guān)鍵在于關(guān)鍵兩段直線模型,并根據(jù)該模型產(chǎn)生新亮度分量Y′.最后,將YUV空間轉(zhuǎn)換到RGB空間,得到處理后的圖像.本文提出的方法有兩個(gè)創(chuàng)新點(diǎn):(1)由于采用了基于直線的模型實(shí)現(xiàn)功耗限制,只需要一次運(yùn)算,不需要平方等較為復(fù)雜的運(yùn)算,使得硬件復(fù)雜度得到降低.處理速度得到提升,使得該算法適用于實(shí)時(shí)處理場(chǎng)景.(2)本算法對(duì)高亮度部分圖像細(xì)節(jié)進(jìn)行針對(duì)性的功耗限制處理,保留了低亮度部分.因此,在實(shí)現(xiàn)功耗限制的同時(shí),圖像的視覺效果得到改善.

1.2 RGB 轉(zhuǎn)換為YUV

在YUV空間中,亮度分量和色度分量分離.因此,不存在亮度與色度的相互混淆和影響.在對(duì)圖像進(jìn)行低功耗處理的過(guò)程中,應(yīng)該且僅應(yīng)該改變亮度信息,不應(yīng)該改變色度信息.另外一方面,通過(guò)處理Y通道能夠?qū)崿F(xiàn)功耗的降低.因此,本文選擇YUV空間來(lái)實(shí)現(xiàn)低功耗高畫質(zhì)顯示驅(qū)動(dòng).第一步就是RGB到Y(jié)UV的轉(zhuǎn)換,如式 (1).

其中,R、G和B分別代表三基色通道的灰階.Y是亮度分量,U和V是色度分量.

1.3 計(jì)算亮度平均值和亮度最大值

Yav表示亮度平均值.在低功耗高畫質(zhì)圖像處理中,它是一個(gè)重要的參數(shù).為了改善處理所得圖像的視覺效果,不需要處理原圖像中所有的像素單元.例如,低亮度部分圖像細(xì)節(jié)不會(huì)導(dǎo)致功耗的增加,如果不處理這部分圖像細(xì)節(jié),就保持了這部分的視覺效果.因此,針對(duì)低亮度部分像素單元,本文提出的算法不作處理.然而,關(guān)鍵點(diǎn)在于尋找一個(gè)分水嶺亮度.對(duì)于亮度低于該亮度的像素單元不作處理,對(duì)于亮度高于該亮度的像素單元,做低功耗處理.如果分水嶺亮度值過(guò)高,處理所得圖像的視覺效果好而功耗降低較小.否則,視覺效果變差而功耗限制的強(qiáng)度加大.通過(guò)大量的研究,Yav被選作分水嶺亮度值,如式(2)所示:

其中,W是圖像的橫向分辨率,H是縱向分辨率.Y(i,j)是第i列第j行像素單元的亮度值.Yav是原圖像的平均亮度.

Ymax是另外一個(gè)重要的參數(shù),因?yàn)閮啥沃本€模型的終點(diǎn).其表達(dá)式如式(3)所示:

1.4 構(gòu)建兩段直線模型

低功耗直線模型如圖2所示.其中橫坐標(biāo)Y表示原圖像的亮度,縱坐標(biāo)Yoffset表示亮度偏移量.

圖2 低功耗直線模型

1)低亮度部分

新亮度是由原亮度與亮度偏移量之差決定的.前文提到,對(duì)于亮度小于Yav的像素單元,不作處理.因此,當(dāng)Y

2)中亮度部分

當(dāng)Y>Yav時(shí),隨著亮度值得增大,高亮度導(dǎo)致的功耗越來(lái)越大.為了降低功耗而不致于引起明顯的視覺效果弱化,亮度偏移量也應(yīng)該逐漸增大.鑒于直線模型可以大大降低運(yùn)算量,本文采用直線模型.在AB段直線,如果斜率偏大,則視覺效果丟失嚴(yán)重.如果斜率偏小,則功耗限制不足.由于AB段代表的圖像灰階不是導(dǎo)致功耗增加的主要因素,在確定斜率的過(guò)程中,應(yīng)當(dāng)考慮的主要因素是視覺效果優(yōu)化.因此,AB段直線斜率偏小.將斜率定為0.25,可以實(shí)現(xiàn)視覺效果視覺效果的優(yōu)化.此外,一個(gè)數(shù)乘以 0.25,相當(dāng)于將存放這個(gè)數(shù)的寄存器右移兩位,而不需要使用乘法器,這就大大簡(jiǎn)化了硬件復(fù)雜度.因此,得到第一段直線:

AB段:

3)高亮度部分

經(jīng)過(guò)實(shí)驗(yàn)發(fā)現(xiàn),如果一味地采用AB段直線,雖然低亮度部分達(dá)到了理想的效果,但是在高亮度部分卻存在功耗限制強(qiáng)度不夠的問(wèn)題.BC段直線對(duì)應(yīng)的圖像灰階較大,對(duì)應(yīng)的顯示功耗偏大,在確定BC段直線斜率的過(guò)程中,應(yīng)當(dāng)考慮的主要因素是功耗限制.將BC段直線的斜率定為0.5,可以實(shí)現(xiàn)高亮度部分功耗的限制.此外,一個(gè)數(shù)乘以0.5,相當(dāng)于將存放這個(gè)數(shù)的寄存器右移一位,而不需要使用乘法器,這就大大簡(jiǎn)化了硬件復(fù)雜度.因此,得到第二段直線,即 BC 段:

其中,Yhigh是Yav和Ymax的中間值:

直線AB與BC相交,得到交點(diǎn)B:

綜上所述,得到基于兩段直線的低功耗模型為:

1.5 更新灰階

在上述兩段直線模型的基礎(chǔ)上,得到新亮度Y′,如式(8):

YUV空間的其它兩個(gè)分量U和V保持不變,將YUV轉(zhuǎn)換到RGB,得到結(jié)果圖像.

2 實(shí)驗(yàn)結(jié)果

2.1 主觀評(píng)估

4張kodim圖像的視覺效果對(duì)比如圖3所示.明顯可以看出,經(jīng)過(guò)NPC[9]和ACSC[11]算法處理所得圖像變暗,視覺效果減弱.這是因?yàn)樵瓐D像中所有像素單元的灰階都被降低了.本算法處理所得圖像的視覺效果更好.這是因?yàn)楸舅惴▽?duì)高亮度像素單元做針對(duì)性的處理,而保留低亮度部分的圖像細(xì)節(jié).總之,通過(guò)本算法的處理,在保持視覺效果的同時(shí)實(shí)現(xiàn)了功耗限制.

2.2 客觀評(píng)估

1)評(píng)估參數(shù)

(1)功耗(PD)

PD是顯示面板的功耗,根據(jù)文獻(xiàn)[17],它可以被表示為:

其中,N圖像中像素個(gè)數(shù),W是圖像的水平分辨率,H為垂直分辨率.R(i,j)、G(i,j)和B(i,j)分別是R、G和B三通道中第i列,第j行像素單元的灰階.ωr、ωg和ωb分別是各個(gè)通道的功耗系數(shù).

(2)均方誤差 (MSE)

功耗限制不可避免地影響著圖像在顯示面上的視覺效果,需要一個(gè)參數(shù)對(duì)視覺效果進(jìn)行評(píng)估.因此,引入均方誤差MSE:

其中,R′(i,j)、G′(i,j)和B′(i,j)分別是原圖像中R、G和B三通道中第i列,第j行像素單元的灰階.R′(i,j)、G′(i,j)和B′(i,j)分別是處理后圖像中R、G和B三通道中第i列,第j行像素單元的灰階.W是圖像的水平分辨率,H為垂直分辨率.MSE越小,說(shuō)明處理后圖像與原圖像之間的差異越小,圖像的視覺效果就越好.

2)實(shí)驗(yàn)結(jié)果

表1是相同MSE下的PD對(duì)比,表中所采用的是10張kodim 圖像,分辨率為 521×768.可以看出,在保持視覺效果相同的情況下,本算法處理所得圖像的功耗最低.

表2是相同PD下的MSE對(duì)比,表中所采用的同樣是是10張kodim圖像.可以看出,在保持功耗相同的情況下,本文算法處理所得圖像的視覺效果最佳.所提出算法的MSE分別比NPC和ACSC算法降低30.9%和29.9%.

圖3 不同算法處理所得圖像視覺效果對(duì)比,從左到右依次是原圖、NPC、ACSC和提出算法處理所得圖像

3 FPGA 驗(yàn)證

3.1 顯示驅(qū)動(dòng)電路系統(tǒng)

已在型號(hào)為Cyclone II系列EP2C35F672C6的FPGA開發(fā)板上實(shí)現(xiàn)了基于兩段直線模型的低功耗高畫質(zhì)圖像處理電路系統(tǒng).圖4是應(yīng)用RGBG型有源矩陣有機(jī)發(fā)光二極體(AMOLED)顯示面板的圖像顯示系統(tǒng).

表1 相同MSE下的PD對(duì)比

表2 相同PD下的MSE對(duì)比

圖4 低功耗高畫質(zhì)圖像顯示驅(qū)動(dòng)系統(tǒng)

首先,將原圖像的數(shù)據(jù)存儲(chǔ)在同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器的一塊存儲(chǔ)區(qū).然后,使用基于兩段直線模型的低功耗高畫質(zhì)圖像處理算法處理這些原圖像數(shù)據(jù),并將新數(shù)據(jù)存儲(chǔ)與同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器(SDRAM)的另外一塊存儲(chǔ)區(qū).最后,通過(guò)圖像顯示驅(qū)動(dòng)模塊,將這些新數(shù)據(jù)輸入屏端,實(shí)現(xiàn)顯示.

3.2 FPGA驗(yàn)證

1)FPGA 驗(yàn)證實(shí)物系統(tǒng)

FPGA驗(yàn)證的實(shí)物系統(tǒng)如圖5所示,主要包括FPGA芯片、SDRAM芯片、通用輸入輸出口(GPIO)、轉(zhuǎn)接板、AMOLED顯示面板和電源.首先,將原圖像數(shù)據(jù)存放在SDRAM的一塊存儲(chǔ)區(qū).電源模塊提供正負(fù)5 V電源和正負(fù)3.3 V電源,確保AMOLED顯示面板要正常工作.隨后,通過(guò)聯(lián)合測(cè)試工作組(JTAG)接口將低功耗高畫質(zhì)圖像處理電路系統(tǒng)和顯示驅(qū)動(dòng)電路系統(tǒng)燒錄到FPGA芯片.低功耗高畫質(zhì)圖像處理電路系統(tǒng)先工作,對(duì)原圖像進(jìn)行處理,并將結(jié)果圖像數(shù)據(jù)存儲(chǔ)到SDRAM的另外一塊存儲(chǔ)區(qū).處理完畢之后,顯示驅(qū)動(dòng)電路系統(tǒng)開始工作.顯示驅(qū)動(dòng)電路通過(guò)開發(fā)板內(nèi)部數(shù)據(jù)總線將SDRAM內(nèi)待顯示的圖像數(shù)據(jù)傳輸?shù)紽PGA芯片,再根據(jù)圖像顯示驅(qū)動(dòng)時(shí)序?qū)⑦@些數(shù)據(jù)傳輸?shù)紾PIO端口.最后,GPIO上的數(shù)據(jù)通過(guò)轉(zhuǎn)接板上的pin腳傳輸?shù)紸MOLED面板的各個(gè)像素單元,實(shí)現(xiàn)圖像的顯示.

2)屏端圖像顯示對(duì)比

處理前后屏端圖像顯示對(duì)比如圖6所示,其中(a)為處理前的顯示效果,(b)為處理后的顯示效果.對(duì)比(a)和(b),幾乎看不到明顯的視覺效果下降.對(duì)比(a)和(b)的高亮部分圖像細(xì)節(jié),可以發(fā)現(xiàn)亮度的降低,使得處理所得圖像的顯示功耗降低了.因此,所提出的算法在保持視覺效果的同時(shí)實(shí)現(xiàn)的功耗限制.

圖5 FPGA 驗(yàn)證實(shí)物系統(tǒng)

圖6 處理前后屏端圖像顯示對(duì)比

4 結(jié)論

本文針對(duì)以智能手機(jī)為代表的消費(fèi)類電子產(chǎn)品中顯示面板功耗過(guò)大引起的頻繁充電問(wèn)題,提出了一種基于兩段直線模型的低功耗高畫質(zhì)顯示驅(qū)動(dòng)算法.本文提出的方法中,由于采用了基于直線的模型實(shí)現(xiàn)功耗限制,只需要一階運(yùn)算,不需要平方等較為復(fù)雜的運(yùn)算,使得硬件復(fù)雜度得到降低.此外,本算法對(duì)高亮度部分圖像細(xì)節(jié)進(jìn)行針對(duì)性的功耗限制處理,保留了低亮度部分,因此視覺效果得到改善.實(shí)驗(yàn)結(jié)果表明,相比于NPC和ACSC算法,所提出算法處理所得圖像的MSE分別降低了30.9%和29.9%.此外,本算法產(chǎn)生的顯示功耗最低.該算法研究通過(guò) FPGA 驗(yàn)證,結(jié)果表明,本算法在保持原圖像視覺效果的同時(shí),實(shí)現(xiàn)了功耗限制.