楊微，姚冰瑩，朱曉鳳

（廣州大學(xué)華軟軟件學(xué)院軟件工程系，廣州 510990）

0 引言

隨著技術(shù)的進(jìn)步，高質(zhì)量的圖像采集設(shè)備獲取的圖像分辨率能夠更高，獲取的圖像質(zhì)量能夠更好，但是實(shí)際獲取圖像的質(zhì)量除取決于圖像采集設(shè)備之外，有一個(gè)關(guān)鍵影響因素——光線?，F(xiàn)實(shí)中，良好的光線有助于獲得高質(zhì)量的圖像，相反光線不好會(huì)導(dǎo)致圖像成像出現(xiàn)亮度低、圖像模糊、對比度低、偽影、顏色失真等整體質(zhì)量偏低的情況。一般將圖像成像過程中，由于周圍環(huán)境光照強(qiáng)度不足或是照射到物體上的光線不均勻等情況采集的圖像稱為低照度圖像，例如逆光圖像成像、夜間圖像成像、光線遮擋的非一致光照圖像成像、霧天等光線不足的圖像成像等。圖像或視頻影像是計(jì)算機(jī)視覺任務(wù)的輸入，如“無人駕駛”、“醫(yī)療影像診斷”、“工業(yè)視覺”、“圖像檢索”、“圖像識別”“視頻內(nèi)容理解”等多個(gè)視覺應(yīng)用領(lǐng)域，主要任務(wù)就是通過對采集的圖片或視頻進(jìn)行處理以進(jìn)一步完成相應(yīng)的視覺任務(wù)，高質(zhì)量的圖像是計(jì)算機(jī)視覺任務(wù)處理獲得更好結(jié)果的重要保證[15]。因此，對獲取的低照度圖像執(zhí)行增強(qiáng)處理是計(jì)算機(jī)視覺研究領(lǐng)域的一個(gè)重要領(lǐng)域，低照度圖像增強(qiáng)也被廣泛應(yīng)用于各類計(jì)算機(jī)視覺任務(wù)的預(yù)處理中。

1 研究問題定義與分析

低照度圖像增強(qiáng)是針對照明不足的圖像存在的低亮度、低對比度、噪聲、偽影等問題進(jìn)行處理，將原來不清晰的圖像變得清晰或者強(qiáng)調(diào)某些感興趣的特征，改善圖像質(zhì)量、豐富圖像信息量，提高采集圖像的視覺質(zhì)量，使得增強(qiáng)后的圖像利于后續(xù)的分析處理。低照度圖像增強(qiáng)對其進(jìn)行數(shù)學(xué)建模，如公式（1）所示：

通常處理圖像一般是空間二維數(shù)字圖像，(x,y) 表示空間位置，S(x,y)表示像素值，c 指圖像不同的通道（R、G、B）。公式（1）中，S表示原始低照度圖像，S～ 表示經(jīng)過低照度增強(qiáng)處理后的圖像，T表示低照度圖像增強(qiáng)處理操作。低照度圖像增強(qiáng)技術(shù)包括直方圖均衡化（HE）及其系列算法[19，27，30]，通過累積分布函數(shù)映射變換圖像直方圖，拉伸了圖像灰度的動(dòng)態(tài)范圍，適合處理整體灰度較均勻偏低的圖像，處理后對比度得到增強(qiáng)，但對非均勻圖像中亮度區(qū)域存在過曝光現(xiàn)象；基于非線性變換的算法，通過非線性變換函數(shù)對圖像各個(gè)像素點(diǎn)執(zhí)行變換操作，增強(qiáng)圖像亮度，如伽馬變換、對數(shù)變換，常和其他算法結(jié)合使用作為圖像增強(qiáng)的后處理[9，16，30]；基于去霧模型算法[28-29]，依據(jù)反轉(zhuǎn)后圖像和帶霧圖像的相似性，使用去霧算法處理反轉(zhuǎn)后的圖像再反轉(zhuǎn)得到增強(qiáng)圖像。

1963 年E.Land 研究人類視覺系統(tǒng)發(fā)現(xiàn)人類視覺系統(tǒng)能夠在各種不同的照明條件下實(shí)際識別和匹配顏色，物體的顏色是由物體構(gòu)成反射不同光照的能力決定的，與光密度關(guān)系不大，這一特性通常被稱為顏色恒常性現(xiàn)象[1]，基于該特性提出視網(wǎng)膜皮層（Retinex）理論。Horn 等人[2]基于人眼感知到的物體的亮度和色彩是由環(huán)境的照度和物體對表面的反射光決定的思想，將Retinex 理論用照明-反射Retinex 模型來表征，即觀察圖像可以表達(dá)為反射圖和光照圖L兩部分按像素乘*作用得到，并運(yùn)用該理論到低照度圖像處理中。Retinex 模型如公式（2）所示，S為觀察圖像，R是由反射圖，L為光照圖，*為像素乘。

當(dāng)光照不理想時(shí)就會(huì)導(dǎo)致低照度成像的噪聲、整體灰度暗、對比度清晰度不足等問題，基于Retinex 模型低照度圖像增強(qiáng)建模如公式（3）所示，T 指基于Retinex 模型的低照度圖像增強(qiáng)算法，隨著Retinex 理論的不斷發(fā)展，基于Retinex 理論的低照度圖像增強(qiáng)技術(shù)分支凸顯其旺盛的生命力，吸引了眾多相關(guān)領(lǐng)域的研究者，出現(xiàn)了系列的“基于Retinex 理論的低照度圖像增強(qiáng)算法”。本文在對研究問題分析的基礎(chǔ)上，對基于Retinex 理論的低照度圖像增強(qiáng)主要技術(shù)分支進(jìn)行研究，最后給出基于Retinex 的低照度圖像增強(qiáng)未來發(fā)展方向的分析。

2 “Retinex模型+傳統(tǒng)數(shù)學(xué)運(yùn)算”低照度圖像增強(qiáng)

2.1 Retinex模型“光照圖”去除圖像增強(qiáng)

基于Retinex 模型，研究者認(rèn)為圖像的本質(zhì)是“反射圖”，提出“光照圖”去除圖像增強(qiáng)算法，即從低照度圖像S中估計(jì)“光照圖”并通過運(yùn)算去除它，得到圖像本質(zhì)“反射圖”為增強(qiáng)后的圖像S～（S～=S÷L）?；赗etinex 理論從觀察圖像S中估計(jì)L分離出R是不適定問題，光照圖估計(jì)都是不完全準(zhǔn)確的，低照度圖像增強(qiáng)就轉(zhuǎn)換成如何更準(zhǔn)確從S中估計(jì)L并分離得到R的問題。研究者通過log 運(yùn)算將除法（S～=S÷L）運(yùn)算變?yōu)闇p法運(yùn)算（logS～=logS-logL）完成S中L和R的分離。如圖1 所示，S表示輸入圖像，s為Log 變換后圖像，l為估計(jì)得到光照圖，r 和R 分別表示Log 變換后反射圖及EXP 變換后的反射圖。

圖1 “光照圖”去除圖像增強(qiáng)

圍繞光照圖估計(jì)研究者提出多種策略，包括基于路徑思想（path-based）[33]、基于偏微分方程思想（PDE-based）[32]、基于中心環(huán)繞思想（center/surround）[4-6]。其中“中心環(huán)繞”思想最經(jīng)典，將圖像與具有“徑向遞減”特性的徑向基函數(shù)（RBF）為核做卷積運(yùn)算估算光照圖[3]，不同核函數(shù)得到不同算法和性能，代表算法是單尺度Retinex 算法（SSR）及其改進(jìn)算法。1997 年 Jobson 提出單尺度Retinex 算法（SSR）[4]，認(rèn)為光照圖代表了圖像中的低頻分量，具有空間平滑的特性，以高斯環(huán)繞函數(shù)F(x,y)作為低通濾波進(jìn)行光照圖估計(jì)核函數(shù)。如公式（4-6）所示：r(x,y)表示log 變換后的反射圖，F(xiàn)(x,y)為高斯核函數(shù)，c為高斯函數(shù)的標(biāo)準(zhǔn)變差，取值大小對圖像增強(qiáng)的效果影響關(guān)鍵，K 為使得F(x,y)滿足公式6的值。

單尺度SSR 算法圖處理細(xì)節(jié)增強(qiáng)和顏色保真受c選擇影響且兩者矛盾，Jobson 等人基于SSR 提出基于線性加權(quán)平均的折中策略—多尺度Retinex 算法（MSR）[5]，通過對不同尺度核處理的結(jié)果進(jìn)行加權(quán)求和，平衡不同尺度的c對顏色保真和細(xì)節(jié)增強(qiáng)的綜合效果，如公式（7）所示。為了緩解不加區(qū)別處理彩色圖像R、G、B 三個(gè)通道導(dǎo)致增強(qiáng)圖像色彩失真，Jobson 等人進(jìn)一步提出MSRCR 算法[6]，通過引入色彩恢復(fù)因子等一系列參數(shù)確保增強(qiáng)圖像的色彩保真度更好。

單尺度Retinex 算法及其改進(jìn)系列算法基于全局光照變化平滑的假設(shè)與圖像由于自身結(jié)構(gòu)光照圖實(shí)際是分段光滑的事實(shí)不一致，導(dǎo)致處理后的增強(qiáng)圖像常出現(xiàn)光暈（holo）現(xiàn)象。文獻(xiàn)[22-23]采用雙邊濾波器作為核函數(shù)替代高斯濾波器，同時(shí)考慮領(lǐng)域的距離和像素變化情況，符合光照平滑特性同時(shí)更好地保護(hù)圖像邊緣結(jié)構(gòu)。He 等人提出一種局部線性濾波器[24]，平滑圖像和保留邊緣的同時(shí)能夠一定程度上保留圖像細(xì)節(jié)信息，后方帥等人在文獻(xiàn)[24]研究基礎(chǔ)上提出一種基于兩次圖像引導(dǎo)濾波的Retinex 算法，通過實(shí)驗(yàn)證明能有效抑制圖像偽影[25]。

基于“光照圖”去除圖像增強(qiáng)算法能夠在一定程度上增強(qiáng)圖像，但忽略了光照圖對圖像自然度及紋理細(xì)節(jié)保持的作用，導(dǎo)致圖像丟失紋理細(xì)節(jié)；沒有考慮圖像反射率為[0，1]的范圍的事實(shí)，導(dǎo)致增強(qiáng)圖像出現(xiàn)過增強(qiáng)等不自然的情況。

2.2 Retinex模型“光照圖”改善圖像增強(qiáng)

“光照圖”反映圖像低頻部分與圖像的全局特征相關(guān)，也是圖像自然保持度的重要因素，基于“光照圖去除”思想只保留反射圖會(huì)導(dǎo)致增強(qiáng)的圖像出現(xiàn)過增強(qiáng)、光暈、顏色失真、圖像場景失真等非自然現(xiàn)象[7-8]。基于此研究學(xué)者提出“光照圖”改善Retinex 模型低照度圖像增強(qiáng)，認(rèn)為好的光照圖低照度圖像增強(qiáng)的關(guān)鍵，通過直接或設(shè)計(jì)算法估計(jì)得到初始光照圖Linit，對Linit執(zhí)行增強(qiáng)處理后得到Lfinal后與反射圖R得到增強(qiáng)圖像S～[7-9]。如公式（8）所示，S～ 為增強(qiáng)后圖像，R為反射圖，f(L) 代表對圖像中的光照圖進(jìn)行“修復(fù)”增強(qiáng)處理，算法流程圖如圖2 所示。

Wang 等人[7]研究圖像的自然度和圖像的光照順序，認(rèn)為增強(qiáng)后的圖像光照順序應(yīng)該保持不變，提出NPEA 算法，設(shè)計(jì)LOE 用于評價(jià)增強(qiáng)圖像的光照順序一致性，濾波器BPF 對以R、G、B 三通道最大值作為光照值的光照圖進(jìn)行濾波得到Linit后，采用“l(fā)og+直方圖均衡化思想”處理得到“修復(fù)的光照圖”Lfinal與反射圖形作用得到增強(qiáng)圖像，NPEA[7]算法流程如下：

1）獲取初始光照圖：以圖像R、G、B 三通道每個(gè)位置最大值作為該位置像素值，獲得初始光照圖；

2）圖像光照圖估計(jì)：精心設(shè)計(jì)“亮度濾波器BPF”如公式（9），Q(L(x,y),L(i,j))表示在局部區(qū)域 Ω 中，（x，y）位置像素和（i，j）位置像素相鄰的評率，反映像素之間關(guān)系的強(qiáng)弱，U(L(x,y),L(i,j))只有（i，j）位置像素值大于（x，y）位置像素值時(shí)，L(i,j)參與影響（x，y）光照，W（x，y）為歸一化權(quán)重值，保證權(quán)重和為1，通過濾波器BPF 濾波后得到得到估計(jì)的光照圖Lr(x,y)；

3）增強(qiáng)光照圖：對估計(jì)光照圖Lr(x,y)采用“l(fā)og+直方圖均衡化思想”處理得到“修復(fù)的光照圖”，即增強(qiáng)光照圖f(Lc(x,y))；

4）基于Retinex 理論，利用通過公式（10）變換后獲得反射圖Rc(x,y)；

5）最后基于公式（8），將增強(qiáng)后光照圖和反射圖合成得到增強(qiáng)后的圖像S～ 。

圖2 “光照圖”改善圖像增強(qiáng)

基于Retinex 理論對觀察圖像分離是不適定向問題，研究學(xué)者提出不同算法用于求解該不適定向問題。其中普遍采用的方法是正則化方法，利用對解和光照圖空間光滑性、反射率小于1 等先驗(yàn)估計(jì)設(shè)計(jì)目標(biāo)函數(shù)，并基于目標(biāo)函數(shù)把求解限定在某個(gè)較小范圍內(nèi)，將原本不適定的問題就轉(zhuǎn)化為適定的最優(yōu)化問題求解。Kimmel 等人[21]提出變分模型（VM），基于結(jié)合光照的空間平滑、圖像反射率的范圍為[0，1]等先驗(yàn)建立目標(biāo)函數(shù)，將光照圖和反射圖分離問題轉(zhuǎn)化為二次規(guī)劃優(yōu)化問題進(jìn)行求解并證明其有效性。Guo 等人[9]融合變分法和Retinex 理論提出LIME 算法，在光照圖結(jié)構(gòu)光滑的先驗(yàn)的基礎(chǔ)上對目標(biāo)函數(shù)加入結(jié)構(gòu)先驗(yàn)，通過二次規(guī)劃最優(yōu)求解方法進(jìn)行求解。LIME 運(yùn)用gamma變換提升光照圖L的亮度；增強(qiáng)圖像運(yùn)用數(shù)學(xué)運(yùn)算變換而沒有進(jìn)行實(shí)際光照圖和反射圖的分離降低了算法的計(jì)算量；針對低照度導(dǎo)致反射圖中遺留的噪聲及去噪操作引起圖像顏色失真則將增強(qiáng)圖像轉(zhuǎn)換到Y(jié)UV 空間域并利用BM3D 算法[10]對獨(dú)立的Y 亮度分量進(jìn)行去噪增強(qiáng)處理再變換到RGB 空間的后操作處理。Fu 等人[20]針對傳統(tǒng)的加權(quán)變分模型中l(wèi)og 變換導(dǎo)致懲罰項(xiàng)引入誤差問題提出新的加權(quán)變分模型（WVM），運(yùn)用帶近似策略的交替極小化算法求解進(jìn)行光照圖和反射圖同時(shí)估計(jì)，證明能夠較好保留圖像細(xì)節(jié)抑制噪聲。Ren 等人[31]認(rèn)為基于正則化方法同步進(jìn)行反射圖和光照圖分解會(huì)導(dǎo)致反射圖保留較多的噪聲，雖然可以通過后處理進(jìn)行去噪但是會(huì)破壞反射圖細(xì)節(jié)，提出采用相繼優(yōu)化手段進(jìn)行光照圖和反射圖分解，按順序估計(jì)分段平滑照明和噪聲抑制反射率，能夠有效抑制噪聲提高增強(qiáng)圖像對比度。

表2 Retinex-Net[13]網(wǎng)絡(luò)結(jié)構(gòu)

基于數(shù)學(xué)運(yùn)算Retinex 低照度增強(qiáng)模型，通過設(shè)計(jì)優(yōu)化濾波器、構(gòu)建變分函數(shù)等方式獲得光照圖和反射圖，最后獲得增強(qiáng)后的圖像，算法具有完善數(shù)學(xué)體系支撐，能夠獲得較好的增強(qiáng)效果。但隨著數(shù)學(xué)模型越來越復(fù)雜，涉及的參數(shù)多，且實(shí)驗(yàn)過程需要通過反復(fù)試驗(yàn)（trial and error）進(jìn)行參數(shù)取值，算法執(zhí)行處理時(shí)間長。

3 “Retinex模型+卷積神經(jīng)網(wǎng)絡(luò)”低照度圖像增強(qiáng)

隨著數(shù)據(jù)和計(jì)算資源的廉價(jià)化，基于數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)相關(guān)技術(shù)不斷發(fā)展被運(yùn)用到低照度圖像增強(qiáng)處理任務(wù)中[11-15，27]。Liang 等人[11]基于 MSR 算法模型[5]，將多尺度加權(quán)高斯環(huán)繞處理轉(zhuǎn)化為等價(jià)的“高斯差分”結(jié)構(gòu)，設(shè)計(jì)帶殘差結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)“MSR-Net”，基于端到端數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)“差分高斯環(huán)繞函數(shù)卷積核”參數(shù)進(jìn)行低照度圖像增強(qiáng)，并在網(wǎng)絡(luò)結(jié)構(gòu)加入了顏色恢復(fù)模塊，取得了較好的增強(qiáng)效果。Kin 等人[27]設(shè)計(jì)深度自編碼器從合成的低光照及噪聲圖像中學(xué)習(xí)到稀疏編碼，能夠用于自然場景下低光照圖像的增強(qiáng)，并且視覺及定量效果分析較好。隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，尤其是 AlexNet、VGG、ResNet、U-Net[18]等優(yōu)秀網(wǎng)絡(luò)結(jié)構(gòu)的出現(xiàn)，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和Retinex 理論的低照度圖像增強(qiáng)成為端到端低照度圖像增強(qiáng)模型的熱門研究方向，稱之為基于卷積神經(jīng)網(wǎng)絡(luò)Retinex 模型?；诰矸e神經(jīng)網(wǎng)絡(luò)的Retinex 圖像增強(qiáng)算法流程是：基于“先驗(yàn)”理論設(shè)計(jì)網(wǎng)絡(luò)損失函數(shù)，通過數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練網(wǎng)絡(luò)，采用機(jī)器學(xué)習(xí)優(yōu)化方法指定網(wǎng)絡(luò)訓(xùn)練策略求解損失函數(shù)求最優(yōu)值求解為目標(biāo)，學(xué)習(xí)數(shù)據(jù)特征，最終獲得具有圖像分解、圖像增強(qiáng)等表征能力的網(wǎng)絡(luò)結(jié)構(gòu)，測試驗(yàn)證網(wǎng)絡(luò)模型能力后運(yùn)用到新的數(shù)據(jù)中。算法運(yùn)用的先驗(yàn)理論主要有：①圖像可以分解成光照圖和反射圖，從圖像中分離光照圖和反射圖是屬于典型的不適定問題；②圖像光照圖是圖像的低頻部分，具有空間光滑性、一致性，但局部如邊緣部分光照應(yīng)保留強(qiáng)灰度變化；③反射圖是圖像高頻部分，和圖像呈現(xiàn)的細(xì)節(jié)紋理相關(guān)；④不同光照環(huán)境下同一個(gè)場景中反射圖應(yīng)該趨于一致。

Shi 等人[12]結(jié)合Retinex 理論與生成對抗網(wǎng)絡(luò)設(shè)計(jì)了Retinex-GAN 網(wǎng)絡(luò)，采用U-Net[18]網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行圖像分解，采用卷積神經(jīng)網(wǎng)絡(luò)在對抗網(wǎng)絡(luò)結(jié)構(gòu)中獲得較好實(shí)驗(yàn)效果。Chen 等人[13]基于卷積神經(jīng)網(wǎng)絡(luò)技術(shù)和自建數(shù)據(jù)集LOL 設(shè)計(jì)訓(xùn)練了深度學(xué)習(xí)網(wǎng)絡(luò)Retinex-Net 進(jìn)行低照度圖像增強(qiáng)。如表1 所示，Retinex-Net 由“Decom-Net”和“Enhance-Net”兩個(gè)階段組成，基于 1、2、4先驗(yàn)構(gòu)建損失函數(shù)，輸入低照度/正常圖像對訓(xùn)練網(wǎng)絡(luò)，通過“Decom-Net”結(jié)構(gòu)中分解為光照圖和反射圖，光照圖經(jīng)過“Enhance-Net”網(wǎng)絡(luò)增強(qiáng)得到“修復(fù)”的光照圖再和經(jīng)過BM3D[10]算法去噪處理的反射圖按像素做乘運(yùn)算得到增強(qiáng)后得到增強(qiáng)圖像。

Zhang 等人[14]指出降質(zhì)的光線會(huì)導(dǎo)致反射圖每個(gè)像素非一致性地受到噪音的影響，基于卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了側(cè)重于光照圖像的靈活調(diào)整和反射圖像細(xì)節(jié)增強(qiáng)的網(wǎng)絡(luò)結(jié)構(gòu)KinD network。不同于Retinex-Net：①以光照條件好的圖像的反射圖作為低照度反射圖的參照標(biāo)簽，進(jìn)行低照度反射圖的增強(qiáng)網(wǎng)絡(luò)的訓(xùn)練，增強(qiáng)低照度反射的紋理細(xì)節(jié)；②在圖像分解階段，光照圖和反射圖分離設(shè)計(jì)兩條不同分支網(wǎng)絡(luò)結(jié)構(gòu)，為了避免光照圖中丟失紋理信息光照圖分支結(jié)構(gòu)中融入了反射圖的featuremap 以補(bǔ)償光照圖的細(xì)節(jié)部分；③對優(yōu)質(zhì)“參考圖像”要求不高，只需要輸入不同光照條件下的圖像對；④用戶可以控制目標(biāo)光照和源光照比例（Lt/Ls）值，達(dá)到自適應(yīng)調(diào)節(jié)目標(biāo)光照程度的目的；⑤在實(shí)驗(yàn)分析階段使用了多個(gè)圖像質(zhì)量評價(jià)指標(biāo)評價(jià)。如表3 所示，通過實(shí)驗(yàn)指出該算法性能優(yōu)于目前其他算法。

表3 KinD network[14]結(jié)構(gòu)

基于卷積神經(jīng)網(wǎng)絡(luò)Retinex 低照度圖像增強(qiáng)算法圖像增強(qiáng)效果和訓(xùn)練數(shù)據(jù)高度相關(guān)，對數(shù)據(jù)完備性要求高?，F(xiàn)實(shí)中數(shù)據(jù)完備性不足成為限制算法性能的一個(gè)關(guān)鍵因素。對此，有研究者依據(jù)低照度圖像成因，分析低照度圖像特點(diǎn)，利用合成低照度圖像進(jìn)行數(shù)據(jù)增強(qiáng)。但是由于圖像成像的復(fù)雜性過程，難以模擬真實(shí)的低照度圖像，這會(huì)帶來處理誤差。

4 “Retinex模型+圖像融合”低照度圖像增強(qiáng)

單獨(dú)采用一種低照度圖像增強(qiáng)算法無法獲得低對比度增強(qiáng)、噪聲抑制、顏色自然性等綜合性能更優(yōu)解，研究學(xué)者提出融合多種成熟低照度增強(qiáng)技術(shù)的基于圖像融合的Retinex 低照度增強(qiáng)模型?；趫D像融合的Retinex 理論的低照度圖像增強(qiáng)技術(shù)提升圖像處理粒度到圖像的層面，在圖像層面設(shè)計(jì)合適的加權(quán)系數(shù)是算法性能的關(guān)鍵問題。針對各種單一方法都不能獲取綜合性能效果的問題，F(xiàn)u 等人[16]基于Retinex 理論提出融合多種方法的低照度圖像增強(qiáng)算法，在算法中作者研究認(rèn)為好的光照圖是提高照度圖像的關(guān)鍵，因此先采用形態(tài)學(xué)閉合算法進(jìn)行“光照圖”的估計(jì)，再采用多種成熟的圖像增強(qiáng)方法對“光照圖進(jìn)行增強(qiáng)”得到各自對應(yīng)的光照圖Li，設(shè)計(jì)亮度權(quán)重、對比度權(quán)重得到綜合權(quán)重系數(shù)對不同“光照圖”Li進(jìn)行加權(quán)獲得“好的光照圖”L。實(shí)驗(yàn)發(fā)現(xiàn)處理后圖像的陰影問題，對此作者引入多尺度高斯金字塔和拉普拉斯金字塔對光照圖和權(quán)重系數(shù)再上采樣得到Lfinal，實(shí)現(xiàn)光照圖細(xì)節(jié)融合及平滑減少圖像陰影，最后將反射圖R 和光照圖Lfinal按像素乘后得到增強(qiáng)的圖像。馮維等人[17]為解決弱光圖像增強(qiáng)過程中對比度增強(qiáng)和自然度保持問題，針對文獻(xiàn)[16]中由于沒有考慮融合圖像結(jié)構(gòu)信息引起的局部光照突變處細(xì)節(jié)信息不清晰問題提出一種基于Retinex的多圖像自適應(yīng)加權(quán)最小二乘濾波算法，通過加權(quán)最小二乘濾波方法對多幅照明圖進(jìn)行加權(quán)估計(jì)。由于傳統(tǒng)RGB 圖像的光照和顏色融合在一起，為了圖像的顏色保真常采用變換圖像的空間域，如轉(zhuǎn)換圖像的處理域到Y(jié)CrYCb 空間或HSV 空間分離出獨(dú)立的光照通道進(jìn)行增強(qiáng)處理[10，30]。

5 結(jié)語

Retinex 理論應(yīng)用到低照度圖像增強(qiáng)，衍生出基于傳統(tǒng)數(shù)學(xué)運(yùn)算Retinex 模型算法、基于卷積神經(jīng)網(wǎng)絡(luò)Retinex 模型、基于圖像融合Retinex 模型等，彰顯出Retinex 理論的旺盛生命力?；趥鹘y(tǒng)數(shù)學(xué)運(yùn)算Retinex 模型是結(jié)合低照度圖像增強(qiáng)問題域先驗(yàn)與數(shù)學(xué)工具，將低照度圖像增強(qiáng)轉(zhuǎn)變?yōu)閿?shù)學(xué)領(lǐng)域問題進(jìn)行求解，具有完善的數(shù)學(xué)體系支撐，但模型中包含多個(gè)超參數(shù)，算法復(fù)雜度高，尤其隨著圖像分辨率越來越高，算法執(zhí)行時(shí)間長。對此，尋找更符合最優(yōu)解的先驗(yàn)，設(shè)計(jì)更科學(xué)正則化模型，獲得細(xì)節(jié)豐富、噪聲少的反射圖和圖像結(jié)構(gòu)關(guān)聯(lián)的空間光滑的光照圖，降低算法復(fù)雜度、提高算法執(zhí)行效率是基于傳統(tǒng)數(shù)學(xué)運(yùn)算Retinex 模型的研究方向?；诰矸e神經(jīng)網(wǎng)絡(luò)Retinex 模型以數(shù)據(jù)集作為驅(qū)動(dòng)取得可喜的增強(qiáng)效果，但是利用卷積網(wǎng)絡(luò)的特征表達(dá)能力對低照度圖像進(jìn)行增強(qiáng)缺少嚴(yán)謹(jǐn)?shù)慕忉屝裕敯粜圆粡?qiáng)?；诰矸e神經(jīng)網(wǎng)絡(luò)Retinex 模型需要解決的問題包括：如何構(gòu)建更完備領(lǐng)域數(shù)據(jù)集；如何優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)獲得更強(qiáng)大網(wǎng)絡(luò)表征能力；挖掘生物視覺理論指導(dǎo)設(shè)計(jì)先驗(yàn)提升模型的魯棒性；聯(lián)合終端計(jì)算機(jī)視覺處理任務(wù)驅(qū)動(dòng)引導(dǎo)針對性低照度圖像增強(qiáng)等。而在單一低照度增強(qiáng)算法不能很好取得綜合優(yōu)解的情況下，基于圖像融合的Retinex 模型獲取綜合性能也成為一個(gè)重要研究方向。此外，基于Retinex 模型低照度圖像增強(qiáng)需要針對不同場景的低照度圖設(shè)計(jì)適應(yīng)不同場景的、具有魯棒性、算法的執(zhí)行時(shí)間效率高的算法。