鄭彤 劉亞美 張駿

摘要：顏色恒常性計(jì)算的目的是消除圖像場(chǎng)景中光照變化帶來(lái)的影響。一些先進(jìn)的算法基于圖像塊進(jìn)行光照估計(jì)，通過(guò)池化（如均值池化和中值池化）得到全局估計(jì)結(jié)果，然而不準(zhǔn)確的局部估計(jì)很可能會(huì)影響全局估計(jì)結(jié)果。針對(duì)現(xiàn)有的圖像塊采樣方法的隨機(jī)性和局部到全局池化方式的局限性，一種基于局部置信度網(wǎng)絡(luò)的光照估計(jì)算法被提出，該算法包含三部分：（1）基于亮暗像素的圖像塊采樣方法，使得所采樣的圖像塊有較大的色度梯度，有利于光照估計(jì);（2）采樣圖像塊的局部光照估計(jì)網(wǎng)絡(luò);（3）置信度網(wǎng)絡(luò)計(jì)算局部光照估計(jì)網(wǎng)絡(luò)獲得的局部估計(jì)置信度，最后通過(guò)置信度池化得到全局估計(jì)結(jié)果。實(shí)驗(yàn)驗(yàn)證了該算法的有效性，以及在兩種標(biāo)準(zhǔn)數(shù)據(jù)集上都取得了競(jìng)爭(zhēng)性的性能。關(guān)鍵詞：顏色恒常性;光照估計(jì);卷積神經(jīng)網(wǎng)絡(luò);亮暗像素;置信度

0引言

人眼視覺(jué)系統(tǒng)擁有在不同顏色光照下感知物體真實(shí)顏色的能力，這種能力稱(chēng)為顏色恒常性（Color Constancy）。在計(jì)算機(jī)視覺(jué)領(lǐng)域，對(duì)于未知光照下獲取的場(chǎng)景圖像，顏色恒常性計(jì)算的關(guān)鍵一步就是對(duì)場(chǎng)景進(jìn)行光照估計(jì)（Ilhminant Estimation）以得到光照顏色，然后利用VonKries模型將圖像校正到標(biāo)準(zhǔn)光照下。相關(guān)研究成果已應(yīng)用在數(shù)字相機(jī)的白平衡中，同時(shí)也是許多視覺(jué)任務(wù)的預(yù)處理步驟，例如目標(biāo)跟蹤與監(jiān)控、AR應(yīng)用中的對(duì)象插入等。

圖像中像素顏色通常由場(chǎng)景中物體表面的反射特性、光照的光譜以及相機(jī)的感光特性三個(gè)條件綜合確定。因此對(duì)于給定的圖像，直接獲得場(chǎng)景中光照顏色是一個(gè)不確定性的問(wèn)題，即存在多組光照與物體表面可以得到圖像中場(chǎng)景的顏色?，F(xiàn)有的光照估計(jì)算法分為兩大類(lèi)：基于統(tǒng)計(jì)的方法和基于學(xué)習(xí)的方法，基于統(tǒng)計(jì)的方法主要是通過(guò)RGB色彩空間的一些統(tǒng)計(jì)信息或物理信息確定場(chǎng)景中的光照。早期的方法假設(shè)場(chǎng)景中某些反射統(tǒng)計(jì)信息是非彩色的，如white-Patch.假設(shè)圖像場(chǎng)景中存在著白色表面，該表面的顏色反映了光照顏色?；诮y(tǒng)計(jì)方法的優(yōu)點(diǎn)是計(jì)算效率高，且不需要訓(xùn)練數(shù)據(jù)，但受假設(shè)條件的限制，通用性不強(qiáng)。

基于學(xué)習(xí)的方法通過(guò)學(xué)習(xí)現(xiàn)有數(shù)據(jù)建立光照估計(jì)模型。如Gamma-Mapping方法，假設(shè)給定光照的場(chǎng)景中顏色數(shù)量有限，通過(guò)學(xué)習(xí)到的規(guī)范色域估計(jì)光照，貝葉斯方法將反射率與光照的可變性建模為隨機(jī)變量，根據(jù)圖像強(qiáng)度信息估計(jì)光照的后驗(yàn)分布的?；谏窠?jīng)網(wǎng)絡(luò)的方法也被引入光照估計(jì)，神經(jīng)網(wǎng)絡(luò)的輸入包括二值化色度直方圖，輸出為光照的色度值。

近些年深度卷積神經(jīng)網(wǎng)絡(luò)憑借其強(qiáng)大的特征提取與映射能力，廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域。最早利用深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)場(chǎng)景中，彩色像素與光照色度關(guān)系由NetColorChecker方法提出，該方法使用整幅圖像作為輸入，通過(guò)對(duì)現(xiàn)有的分類(lèi)模型進(jìn)行微調(diào)得到光照估計(jì)結(jié)果。Oh等人將光照估計(jì)問(wèn)題轉(zhuǎn)化為光照分類(lèi)問(wèn)題，對(duì)訓(xùn)練集圖像按光照顏色聚類(lèi)，利用卷積神經(jīng)網(wǎng)絡(luò)得到圖像光照所屬簇的概率（以簇為類(lèi)），根據(jù)概率加權(quán)求得場(chǎng)景光照。這類(lèi)對(duì)圖像整體進(jìn)行光照估計(jì)的方法受訓(xùn)練集數(shù)量的限制，網(wǎng)絡(luò)訓(xùn)練比較困難，同時(shí)也忽略了局部信息。Bianco等人首次采用局部圖像塊作為輸入，構(gòu)建5層卷積神經(jīng)網(wǎng)絡(luò)得到局部光照估計(jì)結(jié)果，利用支持向量回歸完成全局估計(jì)，該方法中局部圖像塊由圖像網(wǎng)格化分塊獲得，其中不可避免地包含一些色差較小的圖像塊。DS-Net在UV色度空間對(duì)圖像塊進(jìn)行光照估計(jì)，選擇網(wǎng)絡(luò)對(duì)估計(jì)網(wǎng)絡(luò)的2個(gè)估計(jì)結(jié)果進(jìn)行選擇，該方法由圖像塊局部到圖像全局估計(jì)的方法簡(jiǎn)單，使用均值池化、中值池化，這忽略了局部估計(jì)結(jié)果的置信度。

針對(duì)上述問(wèn)題，本文提出了一種圖像塊采樣方法和光照估計(jì)網(wǎng)絡(luò)，包括局部光照估計(jì)網(wǎng)絡(luò)和置信網(wǎng)絡(luò)，整體結(jié)構(gòu)如圖1所示。前者預(yù)測(cè)局部圖像塊的光照值，后者根據(jù)局部估計(jì)值進(jìn)行權(quán)重置信度評(píng)估，獲取全局估計(jì)值。引入一種新的圖像塊采樣方法用于光照估計(jì)，計(jì)算并排序RGB空間內(nèi)所有顏色像素到平均像素向量的投影距離，其中投影距離較大的部分為亮相素，較小的部分為暗像素，然后在圖像中提取同時(shí)包含亮像素與暗像素的圖像塊。

1 圖像塊采集方法

1.1 基于亮暗像素的圖像塊采樣

給定彩色圖像i.其中有N個(gè)像素點(diǎn)，表示為向量的集合P（x）={[P_RR（x），P_GG（x），P_RR（x）]|x∈I}，其中，x表示像素位置，P_R（x）、P_G（x）、P_B（x）分別表示位置為x像素的RGB值。首先計(jì)算所有像素向量的平均向量L_ave=[r.g.b]，計(jì)算方法如公式（1）所示：

接下來(lái)計(jì)算所有像素向量在平均向量的方向上投影d_x，如公式（2）所示：

其中，Ⅱ·Ⅱ代表對(duì)向量求L2范數(shù)，I（x）·Iave表示點(diǎn)積運(yùn)算。

由此可以得到投影集合d={d_x|x∈I}。d_x值越大其對(duì)應(yīng)的像素越亮，反之d_x值越小其對(duì)應(yīng)的像素更暗。對(duì)集合d從大到小排序，選擇前n%像素點(diǎn)為亮像素，后n%像素點(diǎn)為暗像素。圖2（b）中標(biāo)定出了亮暗像素位置，其中綠色對(duì)應(yīng)的位置是亮像素，藍(lán)色對(duì)應(yīng)的位置是暗像素。

在圖像中色彩測(cè)試標(biāo)板（Macbeth ColorChecker）之外的區(qū)域隨機(jī)截取大小為h×h的圖像塊，同時(shí)要求圖像塊包含至少一個(gè)亮像素和至少一個(gè)暗像素。對(duì)于圖像數(shù)據(jù)集，不同圖像亮暗像素分布的不同導(dǎo)致可取的圖像塊數(shù)量也不同。這里，設(shè)采樣圖像塊數(shù)量為m.對(duì)于無(wú)法取到M個(gè)圖像塊的圖像，可放寬亮暗像素的標(biāo)定百分比n%，直至取夠M個(gè)圖像塊。圖2（a）為將顏色測(cè)試標(biāo)板用黑色像素遮擋之后的原始圖像。圖2（b）中黑色方框?yàn)椴蓸拥娜舾蓤D像塊位置，在圖2（a）中的對(duì)應(yīng)位置白色框即為所采樣圖像塊。

1.2 局部光照估計(jì)網(wǎng)絡(luò)

搭建基于VGG-16的局部光照估計(jì)網(wǎng)絡(luò)用于圖像塊的光照估計(jì)。具體來(lái)說(shuō)，將VGG-16中預(yù)測(cè)ImageNet類(lèi)別的1000個(gè)節(jié)點(diǎn)的全連接層換為包含3個(gè)節(jié)點(diǎn)的全連接層（編碼RGB通道的連續(xù)光照顏色），其余層與VGG-16保持一致，如圖3所示。

1.3 置信度網(wǎng)絡(luò)

置信度網(wǎng)絡(luò)包括特征融合及決策層部分，如圖1中“置信度網(wǎng)絡(luò)”部分所示。由于空間位置不同，不同圖像塊中的光照信息是有差別的，這導(dǎo)致光照估計(jì)結(jié)果也不同。從局部到全局估計(jì)的過(guò)程中，為了緩解誤差較大的局部估計(jì)帶來(lái)的負(fù)面影響，本文通過(guò)置信度網(wǎng)絡(luò)得到圖像塊估計(jì)精度的置信度，利用置信度池化方式得到全局估計(jì)結(jié)果。首先利用局部光照估計(jì)網(wǎng)絡(luò)獲得同一圖像內(nèi)M個(gè)圖像塊的光照估計(jì)結(jié)果{e|1≤i≤M}和相應(yīng)的Fc-6層特征，以串聯(lián)的方式融合這些Fc-6層特征，然后將融合的特征輸入兩層全連接層（節(jié)點(diǎn)數(shù)分別為4096和15），通過(guò)softmax函數(shù)（歸一化指數(shù)函數(shù)）得到各個(gè)圖像塊的置信度{p_i|1≤i≤M}，最后利用公式（3）將M個(gè)圖像塊的光照估計(jì)結(jié)果{e_i|1≤i≤M}進(jìn)行置信度池化，得到最終的全局估計(jì)結(jié)果。

1.4圖像校正

在得到場(chǎng)景中的光照顏色之后，利用該光照顏色對(duì)圖像進(jìn)行校正。常用的校正矯正方法使用von-Kries對(duì)角模型實(shí)現(xiàn)，如公式（4）所示：

2實(shí)驗(yàn)結(jié)果與分析

通過(guò)實(shí)驗(yàn)分別對(duì)圖像塊采樣方法、置信度網(wǎng)絡(luò)進(jìn)行驗(yàn)證，在2個(gè)常用數(shù)據(jù)集上給出了光照估計(jì)誤差結(jié)果與圖像色彩校正結(jié)果，并與其它方法進(jìn)行了比較。

2.1 實(shí)驗(yàn)設(shè)置

2.1.1 數(shù)據(jù)集與預(yù)處理

實(shí)驗(yàn)中使用reprocessed ColorChecker和NUS 8-camera 2個(gè)常用的基準(zhǔn)數(shù)據(jù)集進(jìn)行方法驗(yàn)證和性能評(píng)估。reprocessed ColorChecker數(shù)據(jù)集包含568張圖像，圖4（a）為數(shù)據(jù)集中的部分圖像;NUS-8圖像數(shù)據(jù)集包括1736張圖像，由8款相機(jī)分別拍攝得到相應(yīng)的8個(gè)圖像子集，每個(gè)子集約210張圖像，模型的訓(xùn)練測(cè)試在各子集上獨(dú)立進(jìn)行。

每張圖像內(nèi)都放置了色彩測(cè)試標(biāo)板，由其中白色區(qū)域確定場(chǎng)景真實(shí)光照，在訓(xùn)練時(shí)需用黑色像素遮擋顏色測(cè)試標(biāo)板。此外，對(duì)輸入圖像進(jìn)行y=1/2.2的伽馬校正。每張圖像采樣的圖像塊數(shù)量M=15.采樣時(shí)亮暗像素的比例按照n%確定（其中n按照{(diào)3.5.5.10}升序設(shè)置），直到在同一圖像中可以取到15個(gè)尺寸為224x224的圖像塊。與之前基于學(xué)習(xí)的方法相同，使用三重交叉驗(yàn)證進(jìn)行性能評(píng)估。

2.1.2性能評(píng)價(jià)指標(biāo)

角度誤差作為廣泛使用的光照估計(jì)性能評(píng)價(jià)指標(biāo)。假設(shè)估計(jì)光照為e_est，場(chǎng)景中真實(shí)光照為e_GT，角度誤差g的計(jì)算方法如公式（5）所示：

其中，·代表點(diǎn)積Ⅱ·Ⅱ代表L2范數(shù)。角度誤差g越小，光照估計(jì)精度越高。實(shí)驗(yàn)中以角度誤差的Mean、Median、Trimean、Best-25%、Worst-25%來(lái)衡量算法性能。對(duì)于ColorChekcer和NUS 8-camera數(shù)據(jù)集，通常還分別以95-percentile、g.m.（geometric mean）作為性能指標(biāo)。

2.1.3實(shí)驗(yàn)環(huán)境配置

訓(xùn)練所用電腦工作站CPU為Intel Xeon（R）E5-2620v2@2.1GHz X 15.顯卡為NVIDIA Titan X（Pascal）12g.內(nèi)存為128g.系統(tǒng)為Ubuntu 14.04LTs.編譯軟件為Python2.7.深度學(xué)習(xí)框架為Caffe。使用自適應(yīng)矩估計(jì)算法（AdaptiveMoment Estimation.Adam）優(yōu)化網(wǎng)絡(luò)，訓(xùn)練的初始學(xué)習(xí)率為0.0001。對(duì)于局部光照估計(jì)網(wǎng)絡(luò)，批尺寸（Barch Size）設(shè)置為32;對(duì)于置信度網(wǎng)絡(luò)，批尺寸設(shè)置為16。訓(xùn)練的最大迭代次數(shù)為500個(gè)周期（Epoch），每100個(gè)周期學(xué)習(xí)率下降到0.1倍。訓(xùn)練使用歐式損失作為損失函數(shù)，如公式（6）所示：

2.1.4 訓(xùn)練策略

對(duì)于局部光照估計(jì)網(wǎng)絡(luò)，使用ImageNet上預(yù)訓(xùn)練的VGG-16分類(lèi)模型，初始化除最后一層全連接層外的其它層，F(xiàn)c-8層使用零均值、方差為0.005的高斯分布初始化，接著以場(chǎng)景中真實(shí)光照為標(biāo)簽對(duì)該網(wǎng)絡(luò)進(jìn)行微調(diào)訓(xùn)練。對(duì)于置信度網(wǎng)絡(luò)，使用零均值、方差為0.005的高斯分布初始化所有全連接層。利用已訓(xùn)練好的局部光照估計(jì)網(wǎng)絡(luò)對(duì)應(yīng)的Fc-6層特征作為置信網(wǎng)絡(luò)的輸入，以真實(shí)光照為標(biāo)簽訓(xùn)練置信度網(wǎng)絡(luò)。

2.2 亮暗像素圖像塊采樣的影響

本文在reprocessed ColorChecker數(shù)據(jù)集上使用局部光照估計(jì)網(wǎng)絡(luò)，比較了基于亮暗像素的采樣方法和隨機(jī)采樣方法。采樣圖像塊數(shù)量均為15.大小均為224x224。見(jiàn)表1.基于亮暗像素的采樣方法的各項(xiàng)性能均優(yōu)于隨機(jī)采樣方法。圖4為兩種采樣方法的局部估計(jì)結(jié)果。圖4（a）為原始圖像，圖4（b）為隨機(jī)采樣的圖像塊，圖4（c）為本文所提出的采樣方法。每個(gè)圖像塊的角度誤差在其上方提供。

2.3 訓(xùn)練策略的影響

本文在reprocessed ColorChecker數(shù)據(jù)集上與不同的訓(xùn)練策略以及局部到全局估計(jì)池化方式進(jìn)行了對(duì)比。見(jiàn)表2中，“ConfNet-A”將局部光照估計(jì)網(wǎng)絡(luò)與置信度網(wǎng)絡(luò)合并到一起進(jìn)行端到端的訓(xùn)練，其中的局部光照估計(jì)網(wǎng)絡(luò)使用在ImageNet上預(yù)訓(xùn)練的VGG-16模型初始化：“ConfNet-B”將局部光照估計(jì)網(wǎng)絡(luò)與置信度網(wǎng)絡(luò)合并進(jìn)行端到端的訓(xùn)練，局部光照估計(jì)網(wǎng)絡(luò)使用在光照估計(jì)數(shù)據(jù)集上微調(diào)后的模型初始化，“ConfNet-C”只訓(xùn)練置信度網(wǎng)絡(luò)的全連接層部分，局部光照估計(jì)網(wǎng)絡(luò)使用在光照估計(jì)數(shù)據(jù)集上微調(diào)后的模型初始化，同時(shí)固定其權(quán)重。

表3為不同訓(xùn)練策略的定量結(jié)果。本文提出的C0nmet—C方法取得了較優(yōu)的性能，這是由于分階段的訓(xùn)練策略更有效地利用場(chǎng)景光照作為監(jiān)督信息。同時(shí)，局部光照估計(jì)網(wǎng)絡(luò)單獨(dú)訓(xùn)練保證了圖像塊的估計(jì)精度，在此基礎(chǔ)上置信度網(wǎng)絡(luò)才可以顯著改善光照估計(jì)性能。

2.4 置信度池化的有效性

在表4中，均值池化和中值池化相比，本文的試驗(yàn)與DS-Net的結(jié)論一致，中值池化的方式更好，這是由于其可以防止異常值對(duì)全局估計(jì)的影響，但是當(dāng)局部估計(jì)普遍不準(zhǔn)確時(shí)，中值池化方式很難消除這種影響。置信度網(wǎng)絡(luò)對(duì)有利于光照估計(jì)的圖像塊分配了更多的置信度，這相比于中值池化顯著提升了光照估計(jì)的精確度。圖5為圖像塊估計(jì)實(shí)例，圖5（a）基于亮暗像素的圖像塊位置，圖5（b）中黃色字為圖像塊的光照估計(jì)誤差，藍(lán)色字為置信度網(wǎng)絡(luò)得到的置信度。估計(jì)誤差較小的圖像塊置信度明顯較高，而誤差大的圖像塊置信度較低。

2.5 與先進(jìn)方法的對(duì)比

本文在reprocessed ColorChecker和NUS 8-camera數(shù)據(jù)集上與先進(jìn)方法進(jìn)行了對(duì)比，見(jiàn)表5、表6（表5.表6中最先進(jìn)的性能分別用紅色，綠色標(biāo)出）。在reprocessed ColorChecker數(shù)據(jù)集上，本文方法在Worst-25%度量指標(biāo)上取得了最佳性能，在NUS 8-camera數(shù)據(jù)集上，幾何均值度量指標(biāo)達(dá)到最優(yōu)，并且還有2項(xiàng)度量指標(biāo)取得了第二的好性能。圖6為部分圖像矯正結(jié)果，在室內(nèi)室外等大部分情況下本文提出的光照估計(jì)方法表現(xiàn)良好：第三行中，由于亮暗像素在空間中相距較遠(yuǎn)，導(dǎo)致亮暗像素標(biāo)定條件寬松，因此難以采樣到適合光照估計(jì)的圖像塊。

3結(jié)束語(yǔ)

本文提出了基于亮暗像素的圖像塊采樣方法，這種采樣方法有利于深度卷積神經(jīng)網(wǎng)絡(luò)獲取光照信息：此外，提出的置信度網(wǎng)絡(luò)比傳統(tǒng)的局部到全局池化方法取得了更好的性能。本文的方法在兩個(gè)常用數(shù)據(jù)集上展現(xiàn)了具有競(jìng)爭(zhēng)性的性能。對(duì)于未來(lái)，可行的研究方向是利用圖像全局的語(yǔ)義信息協(xié)助評(píng)估局部圖像塊的置信度，以進(jìn)一步改善光照估計(jì)性能。