向健勇 / 蘇奕月

(西安電子科技大學(xué)物理與光電工程學(xué)院, 陜西 西安 710071)

0 引言

任意場(chǎng)景中亮度的最大值和最小值之比為該場(chǎng)景下的動(dòng)態(tài)范圍(Dynamic Range)。動(dòng)態(tài)范圍越大，所能表示的層次越豐富，所包含的色彩空間也越廣，高動(dòng)態(tài)范圍(即從“最亮”到“最暗”)可以達(dá)到非常高的比值。

圖1 HDR技術(shù)應(yīng)用前后對(duì)比

在真實(shí)的世界中，景象亮度的動(dòng)態(tài)范圍跨度能達(dá)到十幾個(gè)數(shù)量級(jí)。針對(duì)實(shí)際環(huán)境中這種高動(dòng)態(tài)范圍的問題，為了讓計(jì)算機(jī)視覺能夠更好更真實(shí)地認(rèn)識(shí)實(shí)際環(huán)境，HDR(High Dynamic Range)技術(shù)應(yīng)運(yùn)而生。采用HDR技術(shù)，可以擴(kuò)大各種視覺傳感器的應(yīng)用范圍；增強(qiáng)人的視覺感知能力，拓寬人類活動(dòng)范圍；能夠適應(yīng)大部分現(xiàn)有的處理及計(jì)算(效果圖見圖1)。

而LED全彩顯示屏相對(duì)于傳統(tǒng)的顯示終端能夠?qū)崿F(xiàn)數(shù)十倍甚至數(shù)百倍的亮度，其RGB三基色構(gòu)成的色域范圍也足夠?qū)拸V，在HDR的顯示方面具備得天獨(dú)厚的優(yōu)勢(shì)，但并非不存在局限。本文就LED顯示屏如何實(shí)現(xiàn)HDR顯示展開探討，首先介紹HDR關(guān)鍵技術(shù)，其次對(duì)LED顯示屏的動(dòng)態(tài)范圍展開分析，最后探討如何從LDR視頻源生成滿足HDR視頻的圖像處理技術(shù)。

1 HDR關(guān)鍵技術(shù)

HDR技術(shù)的關(guān)鍵可以分為兩個(gè)部分：一是如何獲取HDR圖像；另一個(gè)是如何顯示HDR圖像。

HDR圖像的獲取一般采取兩種方式。一種是采用專業(yè)的數(shù)字相機(jī)拍攝后，存儲(chǔ)為圖像格式的數(shù)字圖像，即硬件獲取圖像。另一種是利用軟件合成圖像，這也是當(dāng)前獲取圖像最常見的方法。

HDR圖像或視頻的顯示有兩種方式，一種是將獲取的HDR視頻經(jīng)過一定的壓縮再顯示到普通顯示器上，其主要方法為色調(diào)映射(tone mapping)算法；另一種方式是在真正的高動(dòng)態(tài)范圍顯示器上顯示，要求顯示器的動(dòng)態(tài)范圍不小于HDR視頻的動(dòng)態(tài)范圍，這樣不必經(jīng)過壓縮則可直接將HDR視頻在顯示器上播放。

2 LED全彩顯示屏的HDR顯示能力探討

LED顯示屏具備足夠高的動(dòng)態(tài)范圍，以戶外高亮LED顯示屏為例，其灰度等級(jí)可以調(diào)節(jié)至14bit甚至16bit，可以呈現(xiàn)亮度范圍10-1cd/m2～104cd/m2。但事實(shí)上，絕大多數(shù)戶外LED顯示屏并不具備真正意義上的HDR顯示能力。下面從動(dòng)態(tài)范圍、灰度層次和亮度自適應(yīng)性三個(gè)方面進(jìn)行探討。

2.1 最大動(dòng)態(tài)范圍

觀察動(dòng)態(tài)范圍的計(jì)算公式見式(1)。

C=Lmax/Lmin

(1)

注意，這里的亮度Lmax和Lmin代表顯示終端在工作環(huán)境下測(cè)量的最大和最小亮度，事實(shí)上，對(duì)于顯示設(shè)備其亮度由三部分構(gòu)成，見式(2)。

L=Ldisplay+Lreflect+Lbackground

(2)

即顯示設(shè)備所測(cè)量的亮度是自身顯示亮度Ldisplay，顯示面板反射亮度Lreflect和顯示面板背光亮度Lbackground三者的總和。LED顯示屏作為自發(fā)光顯示設(shè)備，可以認(rèn)為L(zhǎng)background為0，但Lreflect卻不可忽略，它由環(huán)境亮度和顯示面板的反射率共同決定。白天戶外條件下，即使陽光不直射，環(huán)境亮度一般為500 cd/m2甚至更高，要將Lreflect控制在1 cd/m2就要求面板反射率遠(yuǎn)低于0.002，可見，真正戶外屏要滿足>104的動(dòng)態(tài)范圍是非常困難的。室內(nèi)條件下，雖然大多數(shù)室內(nèi)屏的最大亮度在戶外屏的1/3以下，但環(huán)境亮度可以得到較好的控制，使得Lmin可以大幅度降低，因此，其顯示屏最大動(dòng)態(tài)范圍反而更大。

2.2 灰度等級(jí)

LED顯示行業(yè)一直把灰階作為重要的性能指標(biāo)，而實(shí)際使用中，顯示屏的灰階需要做到兩個(gè)相鄰灰度切換時(shí)屏體亮度變化差異足夠小，和人眼恰可識(shí)別差異(JND)亮度相當(dāng)是最佳的。低于JND亮度時(shí)，視覺系統(tǒng)察覺不到屏體的灰度變化，造成資源浪費(fèi)；高于或者遠(yuǎn)高于JND亮度時(shí)，屏體的灰度層次就比較差，畫面中的低灰漸變存在失真、虛假輪廓等錯(cuò)誤。在HDR顯示時(shí)，如果灰度等級(jí)不足，即使動(dòng)態(tài)范圍夠大，也不能精確呈現(xiàn)場(chǎng)景中低亮部分的紋理細(xì)節(jié)。

以室內(nèi)小間距為例，即使屏體的原始灰階高達(dá)16bit，當(dāng)周圍環(huán)境較低時(shí)，視覺系統(tǒng)傾向更低的最大亮度，同時(shí)對(duì)亮度差異的識(shí)別能力(即JND)會(huì)顯著降低。這時(shí)，屏體相鄰兩個(gè)灰階的差異可能會(huì)較為顯著，畫面的低灰漸變依舊會(huì)存在問題。換個(gè)角度說，可以認(rèn)為這種情況是因?yàn)槠馏w的最大亮度下降，導(dǎo)致了屏體的有效灰階低于16bit。

可見，即使屏體的動(dòng)態(tài)范圍很大，如果有效灰度等級(jí)不能達(dá)到16bit甚至更高，依舊很難呈現(xiàn)出良好的HDR顯示效果。

2.3 視覺系統(tǒng)亮度自適應(yīng)性

視覺系統(tǒng)具有高度的亮度自適應(yīng)性。從白天的太陽到晚上的月亮乃至星光，其亮度差異可達(dá)到1010左右。視覺系統(tǒng)會(huì)通過一系列自適應(yīng)特征實(shí)現(xiàn)如此寬動(dòng)態(tài)范圍的調(diào)節(jié)，如調(diào)節(jié)瞳孔大小、錐細(xì)胞和柱細(xì)胞分工、亮度非線性感知等。值得注意的是，在同一場(chǎng)景同一時(shí)刻下，視覺系統(tǒng)的感知?jiǎng)討B(tài)范圍只有104～105cd/m2，它總是隨著場(chǎng)景的總體亮度水平逐漸變化，最終處于一種自適應(yīng)的狀態(tài)，因此，顯示屏的動(dòng)態(tài)范圍必須和當(dāng)前視覺系統(tǒng)的動(dòng)態(tài)范圍相吻合才能達(dá)到理想的效果。

3 LDR圖像的HDR擴(kuò)展

前文已經(jīng)分析了LED屏的亮度動(dòng)態(tài)范圍、色域及高動(dòng)態(tài)范圍顯示所需的條件，探討了LED顯示屏顯示HDR圖像及視頻的可行性及關(guān)鍵技術(shù)。但現(xiàn)階段主流的圖像視頻格式依舊是LDR格式，如sRGB圖像。因此圖片在獲取、存儲(chǔ)及顯示過程中并不是HDR。想要在LED屏上顯示HDR圖片，就需要研究從LDR圖像來獲得HDR圖像的方法。通過這些處理方法就可以從sRGB 圖像視頻生成HDR視頻，并在LED顯示屏上顯示。

近年來，通過LDR圖像產(chǎn)生HDR圖像這個(gè)問題已經(jīng)得到了廣泛的關(guān)注及研究，許多國內(nèi)外學(xué)者都提出了解決此問題的方法，這些方法統(tǒng)稱為反色調(diào)映射。圖2給出了采用反色調(diào)映射方法將LDR轉(zhuǎn)換為HDR的效果對(duì)比，可以看出LDR圖片通過反色調(diào)映射后巖石細(xì)節(jié)紋理變得可見了。本節(jié)主要描述目前已有的通過LDR內(nèi)容來獲得HDR圖像或視頻的方法。

圖2 LDR轉(zhuǎn)換為HDR(轉(zhuǎn)換后巖石的紋理變得清晰可見)

3.1 全局模型

全局模型針對(duì)LDR圖像中的每一個(gè)像素，采用相同的全局?jǐn)U展函數(shù)。文獻(xiàn)[9]提出一種基于功率函數(shù)的擴(kuò)展方法。選取特定的門限值，對(duì)像素值大于門限值的像素進(jìn)行指數(shù)擴(kuò)展。該技術(shù)可以基于圖像的光照(image-based lighting，IBL)產(chǎn)生合適的HDR光測(cè)圖，但它的缺點(diǎn)是沒有對(duì)噪聲帶來的不連續(xù)性進(jìn)行處理，會(huì)產(chǎn)生偽像，因此，無法生成能夠在HDR監(jiān)視器上顯示的質(zhì)量較好的圖像或視頻。

3.2 分類模型

分類模型首先對(duì)LDR圖像內(nèi)容進(jìn)行分區(qū)，然后對(duì)不同的區(qū)域分別進(jìn)行擴(kuò)展。文獻(xiàn)[10-11]提出一種反色調(diào)映射算法，該算法首先自動(dòng)分割LDR圖像中的高光反射區(qū)，之后利用HDR監(jiān)視器提供的附加動(dòng)態(tài)范圍來增強(qiáng)這些區(qū)域。這種反色調(diào)映射算法的重點(diǎn)是檢測(cè)LDR圖像的散射部分和高光反射部分，并用不同的函數(shù)對(duì)這兩部分進(jìn)行擴(kuò)展，此算法主要針對(duì)HDR監(jiān)視器的高光重建。文獻(xiàn)[12]提出了一種增強(qiáng)LDR視頻亮度的交互系統(tǒng)，其主要思想是將一個(gè)LDR場(chǎng)景分成三個(gè)區(qū)域，其中包括散射區(qū)、反射區(qū)和光源區(qū)。由于增強(qiáng)散射部分會(huì)產(chǎn)生視覺偽像，該算法提出只通過增強(qiáng)反射區(qū)和光源區(qū)部分來實(shí)現(xiàn)LDR向HDR視頻的轉(zhuǎn)換。該交互系統(tǒng)由預(yù)處理、分類以及截?cái)鄥^(qū)域的增強(qiáng)三部分組成，同時(shí)為了避免在拉升過程中產(chǎn)生偽輪廓，需要采用一個(gè)雙線性濾波器對(duì)亮度通道進(jìn)行濾波，分為細(xì)節(jié)層和基礎(chǔ)層，在圖像亮度擴(kuò)展后再對(duì)細(xì)節(jié)層與基礎(chǔ)層進(jìn)行合并。

3.3 擴(kuò)展映射模型

文獻(xiàn)[13-14]給出了LDR的一般擴(kuò)展映射模型框架。在該框架中，首先是對(duì)輸入圖像線性化(在線性化的過程中，若相機(jī)響應(yīng)曲線已知，就將其反函數(shù)用于輸入圖像的線性化；否則，就采用一般的線性化方法)；其次，用反色調(diào)映射擴(kuò)展圖像范圍；最后，對(duì)初始擴(kuò)展后的LDR圖像和原始圖像進(jìn)行合并，合并過程采用線性插值方法。

4 結(jié)束語

總體而言，現(xiàn)階段HDR技術(shù)從成像到顯示端的技術(shù)探討都已較為成熟，但離實(shí)際產(chǎn)品普及應(yīng)用還有一定距離。LED顯示屏在一定環(huán)境條件下，通過合適的調(diào)控可以作為HDR顯示終端。而主流的LDR視頻源需要通過特有的算法進(jìn)行HDR擴(kuò)展才能使其在LED顯示屏上獲得良好的顯示效果。

[1] Sobel R. Improving the Retinex algorithm for rendering wide dynamic range photographs [J]. Electron. Imag., 2004, vol.13(1): 65～74.

[2] Reinhard E, Stark M, Shirley P, et al. Photographic tone reproduction for digital images[J]. ACM Transactions on Graphics (TOG), 2002, 21(3): 267-276.

[3] Drago F, Myszkowski K, Annen T, et al. Adaptive logarithmic mapping for displaying high contrast scenes[C] // Computer Graphics Forum. Blackwell Publishing, Inc, 2003, 22(3):419- 426．

[4] Guarnieri G, Albani L, Ramponi G. Image-splitting techniques fora dual-layer high dynamic range LCD display [J]. Journal of ElectronicImaging, 2008, 17(4):043009-043009-9.

[5] Seetzen H, Heidrich W, Stuerzlinger W, et al. High dynamic range display systems [C]∥ ACM Transactions on Graphics (TOG). ACM, 2004, 23(3):760-768.

[6] Ruppertsberg A I, Bloj M, Banterle F, et al. Displaying colourimetrically calibrated images on a high dynamic range display [J]. Journal of Visual Communication and Image Representation，2007, 18(5):429-438.

[7] Burini N, Nadernejad E, Korhonen J, et al. Modeling power-constrained optimal backlight dimming for color displays [J]. Journal of Display Technology, 2013, 9(8):656-665.

[8] 郭碧輝，姚劍敏，郭太良，等. 基于LCD-FED 雙屏結(jié)構(gòu)的高動(dòng)態(tài)范圍顯示系統(tǒng)[J]. 光電子·激光，2013，2: 11．

[9] Landis H. Production-ready global illumination [EB / OL]. [2011—09～133]. http: //www．spherevfx. co. uk/downloads/ProductionReadyGL．pdf．

[10] Meylan L, Daly S, Süsstrunk S. The Reproduction of Specular Highlights on High Dynamic Range Displays[C]// Color and Imaging Conference. 2006:333-338(6).

[11] Meylan L, Daly S, Süsstrunk S. Tone mapping for high-dynamic range displays[J]. Proc Spie, 2007, 6492.

[12] Didyk P, Mantiuk R, Hein M, et al. Enhancement of Bright Video Features for HDR Displays[J]. Computer Graphics Forum, 2008, 27(4):1265-1274.

[13] Banterle F, Ledda P, Debattista K, et al. Inverse tone mapping[C]// International Conference on Computer Graphics and Interactive Techniques in Australasia and Southeast Asia. ACM, 2006:349—356.

[14] Banterle F, Ledda P, Debattista K, et al. A framework for inverse tone mapping[J]. Visual Computer, 2007, 23(7):467-478.