金 輝

摘要:智能手機(jī)在可視通話的過程中,由于攝像頭和液晶顯示器等硬件性能上的一些局限性,使其在某些條件或環(huán)境下采集的視頻圖像光線昏暗,或者視頻圖像表現(xiàn)的顏色不夠鮮艷、靚麗甚至發(fā)生偏色。文章提出一種在硬件具體的特性和性能參數(shù)下,對視頻圖像的明亮可視度以及顏色進(jìn)行增強(qiáng)的實(shí)時方法。在智能手機(jī)上的應(yīng)用和驗證顯示,該方法不需要額外的芯片就能夠改善移動可視電話中視頻圖像的主觀視覺效果,提高亮度、清晰度,并使顏色的表現(xiàn)更豐富、艷麗。

關(guān)鍵詞:移動可視終端;色彩增強(qiáng);明亮可視度增強(qiáng)

Abstract: In certain environments and under some conditions, the video images taken by the intelligent mobile video phones seem dark, and the colors are not bright or saturate enough. This paper presents an adaptive method to enhance the video image brightness visualization and the color performance depending on the certain hardware property and function parameters. Through verification, the preferred color reproduction enhancement algorithm makes the worse expressed and some of the particular colors more desirable and brighter. The experimental results prove that this method can enhance the colors and the contrast of the video images, based on the estimated quality feature values of each frame, without using the extra Digital Signal Processor (DSP).

Key words: mobile video phone; color enhancement; brightness enhancement

目前,對于移動智能手機(jī)來講,傳統(tǒng)的話音業(yè)務(wù)已經(jīng)無法滿足廣大消費(fèi)者個性化、差異化需求,所以各項增值業(yè)務(wù)被視為新的黃金增長點(diǎn)。移動可視電話作為3G的標(biāo)志性核心業(yè)務(wù),逐漸受到各方的廣泛關(guān)注。視頻通話過程中視頻圖像的質(zhì)量直接影響到業(yè)務(wù)的普及與擴(kuò)展,將來也會在市場上掀起一場完美的視頻應(yīng)用風(fēng)暴。

在對TD-SCDMA的3G終端性能測試中,視頻通話是測試的關(guān)鍵環(huán)節(jié)之一。大部分3G手機(jī)終端視頻通話質(zhì)量都有不盡如人意的地方,如延遲、拖影、馬賽克等現(xiàn)象。這些主要是由于網(wǎng)絡(luò)原因造成的視頻質(zhì)量問題。除此之外還有視頻圖像本身的質(zhì)量問題,如在暗的環(huán)境下,采集的圖像昏暗不清,打可視電話時色彩不夠豐富亮麗等。這些問題已受到各通信設(shè)備供應(yīng)商和技術(shù)研究者的關(guān)注。

在視頻處理領(lǐng)域中,主觀視覺質(zhì)量的改善是視頻增強(qiáng)的一個主要內(nèi)容。在消費(fèi)電子領(lǐng)域中,視頻增強(qiáng)技術(shù)令產(chǎn)品對于消費(fèi)者更具有吸引力和魅力。

如今許多廠商都需要擁有自主的色彩增強(qiáng)技術(shù),“顏色再現(xiàn)增強(qiáng)技術(shù)”已成為一個重要的話題。

設(shè)備制造商通常采用色彩增強(qiáng)芯片,使用函數(shù)曲線或用矩陣轉(zhuǎn)換方法來做圖像的增強(qiáng)。文獻(xiàn)[1-2]設(shè)備中的增強(qiáng)參數(shù)是固定的,并且是各種視頻場景序列估計的平均。這樣不能自適應(yīng)地在各種情況下都起到更好的增強(qiáng)作用。根據(jù)人眼對亮度和顏色不同的敏感特性,按照視覺心理特性選擇適當(dāng)?shù)纳瓤臻g,人們在此空間中提出基于小波變換的彩色圖像增強(qiáng)算法。文獻(xiàn)[3-6]中對圖像的顏色校正通常只是對靜止圖像,文獻(xiàn)[7]針對視頻序列并且在幀間采用參數(shù)轉(zhuǎn)換控制技術(shù)。

傳統(tǒng)的增強(qiáng)方法存在兩個問題。

(1)參數(shù)不是針對所有場景都最優(yōu)。例如,能提高一個風(fēng)景場景的圖像對比度的曲線參數(shù),對人臉圖像序列的視覺效果就有損傷。

(2)很難獲得更好的顏色再現(xiàn)。因為傳統(tǒng)的顏色再現(xiàn)對整個圖像的顏色都有影響,不只是所選擇的特殊物體的某些顏色。

對于移動終端來講,人們希望通過最小的成本、最低的功耗達(dá)到最佳的主觀質(zhì)量增強(qiáng)的目的。本文提出的方法經(jīng)過了在TD-SCDMA智能終端上的應(yīng)用和驗證。它基于移動終端本身的平臺,在無需增加額外的硬件資源和開銷的條件下,能夠?qū)崟r地解決視頻通話圖像質(zhì)量的色彩問題,自適應(yīng)地提高低照度下亮度和可視度問題,使用戶得到最佳的視頻通話感受和體驗。

1 自適應(yīng)的明暗亮度可視度增強(qiáng)方法

手機(jī)終端在視頻采集的過程中,因為其攜帶的方便和便捷性,拍攝的場景也比較自由、隨意,常常會在咖啡廳、卡拉OK等光照條件較弱或背光的地方,所以拍攝的圖像視頻光線較弱,很難分辨清楚。另外,在手機(jī)終端的液晶顯示器上顯示和觀看采集的圖像視頻序列時,因液晶特殊的光電特性,輸入與輸出成非線性關(guān)系,使得屏幕不能完全重現(xiàn)原始序列的灰度等級。因此,可視度可能會再一次衰減。針對這些問題,本文通過自適應(yīng)的明暗亮度可視度增強(qiáng)方法(ADLE)來解決。

1.1 亮度可視度增強(qiáng)方法

由于硬件的Gamma特性,可以用Gamma校正來增強(qiáng)圖像的表現(xiàn)能力。對應(yīng)偏暗的場景,采用的Gamma值小于1,可以提高場景的亮度和可視度;對應(yīng)普通場景,由于器件本身的Gamma特性具有一定的暗化特性,采用的Gamma值接近1并略小于1,可以在一定程度上恢復(fù)圖像的亮度;對應(yīng)過亮甚至發(fā)白的場景,圖像的視覺效果因缺乏對比度和層次感而降低,這時可以采用大于1的Gamma值來拉伸圖像的動態(tài)范圍,增強(qiáng)圖像的層次感和細(xì)節(jié)可視度。

Gamma校正算法本身是基于對RGB三基色分別進(jìn)行處理。實(shí)驗證明直接對Y分量進(jìn)行校正與RGB空間校正的顯示效果非常接近,計算速度則更快。在移動終端的應(yīng)用中,視頻序列在編解碼前后采用的是YUV色度空間,所以為了提高暗場景下的可視度,可以直接對Y分量進(jìn)行處理。

圖1是Gamma曲線的示意圖,其中x軸表示原始序列的亮度等級,y軸表示經(jīng)過Gamma校正后的亮度等級,圖中給出了Gamma小于1、Gamma等于1、Gamma大于1這3種情況,分別對應(yīng)亮度等級提高、不變和降低。

1.2 場景檢測策略

對于Gamma校正方法,如果僅采用固定的Gamma值來校正過暗、過亮圖像,將會導(dǎo)致兩個問題:

很難準(zhǔn)確校正明暗程度不同的場景。例如過暗的場景和稍微有點(diǎn)兒昏暗的場景,全部采用同一個Gamma參數(shù)值來校正很難做得較好。

采用固定的Gamma值校正,容易導(dǎo)致處在判決閾值附近的場景產(chǎn)生階變而出現(xiàn)閃爍現(xiàn)象。例如處在暗場景和普通場景的閾值附近時,可能因為微小的變化,在閾值的兩側(cè),從極暗場景處理到普通場景處理的相互跳變式切換過程中而產(chǎn)生變化不定。(該現(xiàn)象在由暗到普通場景過渡時尤為明顯。)

針對以上問題,本文采用適當(dāng)?shù)膱鼍皺z測策略,設(shè)計11組連續(xù)變化的Gamma值,能夠根據(jù)場景的明暗程度設(shè)定相應(yīng)大小的Gamma值,并在場景明暗程度發(fā)生變化時形成一個平緩的過渡帶,不產(chǎn)生閃爍。同時根據(jù)相應(yīng)的場景檢測策略,對Gamma設(shè)定相應(yīng)值。

(1)場景檢測判斷是否為正常亮度場景

亮度值小于100的像素數(shù)如果小于等于整幅圖像像素總數(shù)的7/8,則判斷為正常亮度場景,這時可以設(shè)定Gamma等于0.9。否則場景偏暗。

(2)判斷場景暗的程度

依據(jù)的準(zhǔn)則為小于等于某亮度等級(該亮度級從50以步長5開始遞增)的像素數(shù)比例是否大于總數(shù)的7/8,若符合,則設(shè)定相應(yīng)的Gamma值(該Gamma值從0.7開始以步長0.02遞增)。

(3)構(gòu)建11組Gamma值對應(yīng)的LUT。

對從0到255每個亮度等級,針對11個不同的Gamma值(從0.7開始以步長0.02增加到0.9),計算校正后的亮度等級。圖2是Gamma值從0.7至0.9的11條映射曲線(從上至下Gamma值遞增),橫坐標(biāo)表示輸入亮度等級,縱坐標(biāo)表示校正后的亮度等級。(過亮的場景在實(shí)際應(yīng)用中很少,所以暫不考慮。)

從圖2可以看出,隨著Gamma值的漸進(jìn)式變化,對亮度的校正也是漸進(jìn)的;對于連續(xù)變化的場景的校正也具有漸進(jìn)性,有效避免了校正后亮度的突變。

2 色彩增強(qiáng)

2.1 圖像的偏色

智能手機(jī)在可視通話過程中,視頻采集系統(tǒng)可能會造成一定的偏色,使視頻圖像質(zhì)量的主觀感受下降。圖3所示是在同一個環(huán)境下拍攝的人臉圖像,左邊為單反相機(jī)拍攝的效果,顏色比較逼真,色彩還原能力強(qiáng);右邊為中興通訊TD U980(調(diào)試版)智能手機(jī)的視頻采集系統(tǒng)拍攝的效果,整體色溫偏低,圖像偏紅。偏色的原因很復(fù)雜。

(1)與復(fù)雜的拍攝環(huán)境有關(guān),可能是感光材料本身的影響、拍攝曝光的影響、光源色溫的影響等。

(2)不同軟件間的傳輸、轉(zhuǎn)換、編輯、各色彩空間的差異等,也是造成偏色的重要原因。因為機(jī)器和人眼不同,機(jī)器記錄的顏色比較忠實(shí)于現(xiàn)場的色溫,能夠記錄到高色溫的青色,比如陰影處發(fā)青發(fā)藍(lán)的偏色等。而人眼可以適應(yīng)現(xiàn)場色溫,大腦可以調(diào)節(jié)偏色,例如熒光燈下人眼看到的白色仍然是白色而不會感到有青綠色存在;人眼對紫外線不敏感,陰天和雪景中的高色溫現(xiàn)象也察覺不到,這是視覺惰性?！靶Ｕ本褪亲寵C(jī)器記錄的色彩信息與人眼看到的狀態(tài)相一致,校正這些平時眼睛看不到而機(jī)器卻能記錄到的顏色。

(3)偏色另一個非常重要的原因是顯示器的白平衡差異,使本不應(yīng)偏色的圖像在這些非標(biāo)顯示器上偏了色。自動白平衡的原理就是基于假定場景色彩的平均值落在一個特定的范圍內(nèi),如果測量得到結(jié)果偏離該范圍,則通過調(diào)整采集系統(tǒng)的對應(yīng)參數(shù),校正采集系統(tǒng)的測量值直到其均值落入指定范圍。這個處理過程可以基于YUV空間,也可以基于RGB空間來進(jìn)行。

2.2 視頻采集動態(tài)范圍的衰變

為了分析移動終端的攝像頭在室內(nèi)、熒光燈、正常光照下視頻采集的動態(tài)范圍,采用對色卡進(jìn)行采集、分析的方法。首先選擇一個參照系,該參照系中,視頻圖像采集的主觀質(zhì)量效果優(yōu)于手機(jī)攝像頭的采集系統(tǒng)。在實(shí)驗中,K800手機(jī)的視頻采集主觀效果好,所以這里暫以K800手機(jī)作為研究U980(調(diào)試版)視頻采集動態(tài)范圍衰變規(guī)律的參考對象。

用U980和K800同時對色卡在同樣的條件下進(jìn)行采集,在YUV空間上對兩幅圖像各個色塊的顏色偏差進(jìn)行統(tǒng)計,如圖4、圖5所示。顏色的偏差用UV分量的差值來表示,其中U分量的差值是同一色塊對應(yīng)的兩幅圖像的U分量值之差,同樣V分量的差值是同一色塊對應(yīng)的兩幅圖像的V分量值之差。

圖4是UV分量色差在U分量坐標(biāo)上的統(tǒng)計情況:三角是V分量的顏色偏差,星星是U分量的顏色偏差,橫坐標(biāo)是U分量的值?？梢钥闯?在U分量的坐標(biāo)上,V分量的偏差基本上是無規(guī)律的,但是U分量的偏差卻是遞減的。同時,在U分量的值較高和較低的情況下,U分量偏差的絕對值較大;在U分量中間的區(qū)域,偏差的絕對值較小。

同樣,圖5是UV分量色差在V分量坐標(biāo)上的統(tǒng)計情況,我們可以得到類似結(jié)果。三角表示V分量的偏差,星星代表U分量的偏差。在V分量的值較高和較低的情況下,V分量偏差的絕對值較大;在V分量值的中間部分,偏差的絕對值較小。

如果增加采樣點(diǎn)可以得到更加詳細(xì)的色彩偏差圖,從而更細(xì)致地對色彩進(jìn)行校正和增強(qiáng)。當(dāng)然色彩的增強(qiáng)程度不能太大,參數(shù)的調(diào)節(jié)要具有連續(xù)性。

2.3 色彩空間的轉(zhuǎn)換

人類具有一種對特殊的某些自然物體的記憶色,通常這些記憶色會比物體本身真實(shí)的顏色更令人感到賞心悅目。“顏色再現(xiàn)方法”就是對一些自然景物如綠葉、藍(lán)天、皮膚、紅蘋果等,產(chǎn)生令消費(fèi)者和客戶滿意的顏色,而不是維持物體本身具有的顏色信息。

色彩空間轉(zhuǎn)換查找表的生成大致分為3個過程:

調(diào)整色彩分量,改善視頻采集序列的圖像偏色問題;

調(diào)節(jié)對比度,增加色彩的艷麗、飽和度;

通過對特殊景物色彩的渲染,提高主觀視覺效果。

色彩空間轉(zhuǎn)換算法的參數(shù),與特定的硬件參數(shù)和外界光照環(huán)境有關(guān)。在具體實(shí)驗中本文算法參數(shù)的實(shí)驗條件是:

硬件環(huán)境——U980的前置攝像頭和液晶顯示器;

外界環(huán)境——室內(nèi)環(huán)境、熒光燈、正常光照。

(1)色彩的調(diào)整

色彩包括色調(diào)和色飽和度,所以每一種彩色都是由YUV的3個分量來決定的。對色彩的調(diào)整包括分別對Y、U、V的3個分量的調(diào)整。

根據(jù)對U980前置攝像頭的采集圖像的數(shù)據(jù)分析,發(fā)現(xiàn)采集傳感器對紅分量的感應(yīng)偏高,同時蘭分量偏低。因此,在YUV空間中,適當(dāng)調(diào)整YUV的3個分量,從而達(dá)到相應(yīng)減小紅分量,提高蘭分量的效果。這里可以利用Gamma非線性校正,對V分量采用系數(shù)為:Gamma等于1.03,U分量采用的系數(shù)為Gamma等于0.95。Y分量通過分段的線性調(diào)整。

(2)對比度調(diào)整

調(diào)整亮度分量可以調(diào)節(jié)對比度,這里采用分段調(diào)整的方法,從全局和局部都能改善對比度,從而提高主觀質(zhì)量。

低值對比度拉伸:Gamma為1.03(在亮度值小于80的情況下);高值對比度拉伸:Gamma為0.97(在亮度值大于170的情況下);其他:Gamma為0.99(在亮度值處于80和170之間)。

U980(調(diào)試版)攝像頭室內(nèi)膚色場景亮度色度校正主要是對U980攝像頭在室內(nèi)視頻通話或拍照常見下的膚色、偏色、亮度不符合人眼的情況進(jìn)行校正。校正在YUV色域下進(jìn)行,分別對Y、U、V的3個分量進(jìn)行映射。

(3)特定色彩的渲染

由于人眼分辨顏色變化的能力是有限的,故對色度差很小的兩種顏色,人眼分辨不出他們的差異,只有當(dāng)色度差增大到一定數(shù)值時,人眼才能覺察出他們的差異,人眼剛剛能覺察出顏色差別所對應(yīng)的色度差稱為剛辨差(JND)。在CIE色度圖上,不同位置或者同一位置的不同方向,人眼的剛辨差是不相同的。1942年麥克亞當(dāng)(Macadam)對25種色光進(jìn)行實(shí)驗,在每個色光點(diǎn)大約沿5到9個方向上測量剛變差,結(jié)果得到的是一些面積大小各異、長短軸不等的橢圓,稱為麥克亞當(dāng)橢圓。如圖6所示,人眼對在每一個麥克亞當(dāng)橢圓內(nèi)的顏色視為同一種色彩。

根據(jù)色彩的剛變差和麥克亞當(dāng)橢圓的原理,本文找出著重感興趣的幾種顏色及顏色區(qū)域,然后作加強(qiáng)處理。在室內(nèi)正常熒光燈光照下,聯(lián)合考慮色度U、V分量,根據(jù)實(shí)驗測定幾種特定感興趣色彩區(qū)域,例如人臉皮膚的顏色、紅色、蘭色、綠色、黑色、黃色的麥克亞當(dāng)中心點(diǎn)的值,并且近似地估算麥克亞當(dāng)橢圓為圓,對感興趣色彩區(qū)域進(jìn)行加強(qiáng)增強(qiáng)處理。

在本文算法實(shí)驗限定的環(huán)境參數(shù)下,根據(jù)經(jīng)驗值測出的顏色中心點(diǎn)及調(diào)整方法如下:

在人臉膚色中心點(diǎn)(105,150),半徑20之內(nèi),則u =u +3,v =v -6;

在黃色中心點(diǎn)(60,155),半徑15之內(nèi),則u =u -15,v =v +10;

在紅色中心點(diǎn)(120,165),半徑15之內(nèi),則u =u,v =v +3;

在頭發(fā)中心點(diǎn)(115,120),半徑10之內(nèi),則u =u -2,v =v -2;

在綠色中心點(diǎn)(99,92),半徑15之內(nèi),則u =u -8,v =v -15;

在蘭色中心點(diǎn)(150,112),半徑15之內(nèi),則u =u -2,v =v -2;

在白色墻中心點(diǎn)(132,125),半徑10之內(nèi),則u =u +2,v =v -2。

如圖7是重點(diǎn)顏色區(qū)域的校正效果,左邊為原始U980采集的圖像序列,中間為渲染前的色彩增強(qiáng)結(jié)果,右邊為渲染后的算法在蘭色、綠色、黃色區(qū)域加強(qiáng)處理的效果。

本文的色彩空間轉(zhuǎn)換的算法由于采用了查表法,在效率上符合智能手機(jī)U980的處理能力要求,增強(qiáng)后的效果比原始圖像效果要好,也有較好的穩(wěn)定性和魯棒性。

3 試驗結(jié)果

在PC機(jī)上運(yùn)行本文提出的自適應(yīng)場景亮度明暗可視度增強(qiáng)算法,在采用3.2 GHz CPU、1G DDR內(nèi)存和VC6.0 Release模式的軟件環(huán)境下,處理尺寸為(176×144)的qcif圖像的視頻圖像序列時,一幀的平均處理時間為0.18 s。

如圖8所示,在(a)、(b)、(c)場景下,從非常暗到稍微暗的場景變化中,可視度增強(qiáng)后的效果也是漸進(jìn)式的,不會發(fā)生跳躍和閃爍。在(d)正常光照下的場景,經(jīng)過增強(qiáng)后,也不會顯得過白。這說明本算法具有場景自適應(yīng)性檢測和自適應(yīng)增強(qiáng)的功能。

在色彩增強(qiáng)實(shí)驗中,尺寸大小為(176×144)的qcif圖像,處理一幀的平均時間為0.065 s。色彩增強(qiáng)的實(shí)驗結(jié)果如圖9所示。左邊為原序列截圖,右邊為處理后的序列截圖?？梢钥闯鲈瓐D色調(diào)偏紅,層次感差,亮度分布不均,主觀視覺感受昏暗、壓抑;而右圖色彩鮮艷亮麗,層次感較強(qiáng),亮度分布均勻,其中人臉膚色和背景墻壁部分改善效果尤為明顯。處理后的序列無閃爍,無算法導(dǎo)致的色斑出現(xiàn),效果更加符合人眼視覺。

4 參考文獻(xiàn)

[1] INOUE A, TAIJIMA J. Selective Color Correction for Arbitrary Hues [J]. ICIP, Vol 3, 1997: 38-41.

[2] SMITH A.R. Color Gamut Transformation Pairs [J]. Computer Graphics, Vol.12, 1978: 12-19.

[3] HUNT: R W G. Objectives in Colour Reproduction [J]. Photographic Science, Vol.18, 1970: 205-215.

[4] YENDRIKHOVSKIJ S N. Optimizing Color Reproduction of Natural Images [R]. 6th Color Imaging Conference, 1998.

[5] INOUE A, TAJIMA J. Adaptive Quality Improvement Method for Color Images [J]. SPIE, Vol.2179, 1994: 429-439.

[6] TSUKADA M, FUNAYAMA C, TAJIMA J. Automatic Color Preference Correction for Color Reproduction [J]. SPIE, Vol.4300, 2001: 216-223.

[7] SUZUKI T, INOUE A, TSUKADA M, TAJIMA J. Adaptive Image Quality Improvement Method for Moving Pictures using Smoothing Parameter Transition and Scene Cut Detection [R]. the European Conference on CGIV, 2002.

收稿日期:2009-06-28

作者簡介

金輝,博士,哈爾濱工業(yè)大學(xué)畢業(yè),現(xiàn)工作于中興通訊股份有限公司方案營銷部,主要研究方向為人工智能、模式識別、視頻處理、數(shù)據(jù)壓縮,已發(fā)表論文10余篇。