馬賽克 謝長江 楊曉敏 嚴斌宇 蘆璐

摘 要：單傳感器捕獲的彩色近紅外（RGB-NIR）圖像存在光譜干擾，從而導致重建出的標準彩色圖像（RGB）圖像與近紅外（NIR）圖像存在色彩失真以及細節(jié)信息模糊。針對這個問題提出一種基于深度學習的去馬賽克方法，通過引入跳遠連接與稠密連接解決了梯度消失和梯度彌散問題，使得網絡更容易訓練，并且提升了網絡的擬合能力。首先，用淺層特征提取層提取了馬賽克圖像的像素相關性以及通道相關性等低級特征;然后，將得到的淺層特征圖輸入到連續(xù)多個的殘差稠密塊以提取專門針對去馬賽克的高級語義特征;其次，為充分利用低級特征與高級特征，將多個殘差稠密塊提取到的特征進行組合;最后，通過全局跳遠連接恢復最終的RGB-NIR圖像。在深度學習框架Tensorflow上使用

公共的圖像與視覺表示組（IVRG）數(shù)據(jù)集、有植被的戶外多光譜圖像（OMSIV）數(shù)據(jù)集和森林（Forest）三個公開數(shù)據(jù)集進行實驗。

實驗結果表明，所提方法優(yōu)于基于多級自適應殘差插值、基于卷積卷積和神經神經網絡以及基于深度殘差U型網絡的主流的RGB-NIR圖像去馬賽克方法。

關鍵詞：彩色近紅外圖像;去馬賽克;殘差稠密網絡;跳遠連接;稠密連接

中圖分類號：TP391.41

文獻標志碼：A

Abstract：Spectral interference in Red Green Blue-Near InfRared （RGB-NIR） images captured by single sensor results in colour distortion and detail information ambiguity of the reconstructed standard Red Green Blue （RBG） and Near InfRared （NIR） images. To resolve this problem， a demosaicing method based on deep learning was proposed. In this method， the grandient dppearance and dispersion problems were solved by introducing long jump connection and dense connection， the network was easier to be trained， and the fitting ability of the network was improved. Firstly， the low-level features such as pixel correlation and channel correlation of the mosaic image were extracted by the shallow feature extraction layer. Secondly， the obtained shallow feature graph was input into successive and multiple residual dense blocks to extract the high-level semantic features aiming at the demosaicing. Thirdly， to make full use of the low-level features and high-level features， the features extracted by multiple residual dense blocks were combined. Finally， the RGB-NIR image was reconstructed by the global long jump connection.

Experiments were performed on the deep learning framework Tensorflow using three public data sets， the Common Image and Visual Representation Group （IVRG） dataset， the Outdoor Multi-Spectral Images with Vegetation （OMSIV） dataset， and the Forest dataset. The experimental results show that the proposed method is superior to the RGB-NIR image demosaicing methods based on multi-level adaptive residual interpolation， convolutional neural network and deep residual U-shaped network.Key words：Red Green Blue-Near InfRared （RGB-NIR） image; demosaicing;residual dense network; long jump connection; dense connection

0 引言

近些年來，在圖像處理領域對于彩色（Red Green Blue， RGB）圖像及其對應的近紅外（Near Infrared， NIR）圖像的應用變得越來越多，比如：圖像融合、行人檢測以及人臉識別。同時捕獲彩色圖像及其紅外圖像，通常需要兩個傳感器，然后對捕獲到的圖像進行配準。雖然得到了成對的彩色圖像及紅外圖像，但是額外引入了配準這一難題。

隨著傳感器技術的發(fā)展，使得用單傳感器同時捕獲彩色圖像與紅外圖像成為了可能。這不僅解決了兩個傳感器的成本問題，同時也解決了雙傳感器帶來的配準問題。單傳感器在每一個像素位置，根據(jù)相應的彩色濾波陣列（Color Filter Array， CFA）捕獲單一像素，得到的圖像為彩色近紅外（Red Green Blue-Near InfRared， RGB-NIR）圖像。

目前大部分的相機通常采用拜爾（Bayer）模式的CFA[1]，如圖1所示。對紅色（Red， R）、綠色（Green， G）、藍色（Blue， B）三個顏色通道中的一個進行捕獲，然后根據(jù)插值算法推斷出未捕獲到的顏色通道的值，這個過程被稱為去馬賽克[2]。類似于拜爾模式的CFA，專門針對RGB-NIR圖像的CFA[3]，也相應出現(xiàn)，具體結構如圖2所示。

與拜爾模式的CFA相比，RGB-NIR的CFA當中的G分量保持不變，而NIR分量代替了R、B分量總和的一半，R、G分量各自改變?yōu)閷腃FA中R、G分量的一半，在本文中，將這種RGB-NIR采樣的方式稱為稠密RGB-NIR模式[4]。用單傳感器捕獲RGB以及NIR分量時，傳感器輸出的為馬賽克數(shù)據(jù)，其中每一像素位置只有R、G、B、NIR當中的一個分量被保存。因此，完整的RGB圖像以及NIR圖像，需要對馬賽克圖像進行相應的插值，這與傳統(tǒng)的拜爾CFA去馬賽克的思路相同。

由于NIR分量在R、G、B分量的波長范圍內是完全折射的，因此在傳統(tǒng)相機的CFA前面通常都有一個近紅外濾光片，以消除NIR分量對R、G、B分量的影響。而對于需要同時捕獲RGB圖像以及NIR圖像來說，需要去除近紅外濾波片，這將引入一個光譜干擾的問題。由于NIR分量對其余三個顏色分量的干擾，從而導致得到的圖像存在顏色失真問題。

針對同時捕獲RGB-NIR，然后重建當中存在的光譜干擾問題，本文將它轉換為去馬賽克問題，并且提出一種有效的基于卷積神經網絡的去馬賽克算法。在傳統(tǒng)算法中，在對馬賽克圖像進行插值之后，需要色彩校正等一系列工作，而本文算法可實現(xiàn)馬賽克圖像到標準彩色圖像以及紅外圖像的端到端映射，不需要再進行額外的操作。

1 相關工作

由于成本與體積的限制，目前大多數(shù)用于成像的產品都是采用單傳感器獲得CFA圖像，然后利用一定的手段重建出需要的圖像。目前用于RGB-NIR圖像去馬賽克的算法可以分為兩類：一類為基于傳統(tǒng)插值算法，另一類為基于學習的去馬賽克算法。

1.1 傳統(tǒng)插值算法

傳統(tǒng)的插值算法通常是根據(jù)像素之間的相關性進行相應的重建。最簡單的插值算法為雙線性插值（Bilinear）[5]，它通過相鄰像素對未捕獲到的像素進行估計，這種方法重建出的圖像存在很多偽影以及色彩存在較大的失真。首次針對RGB-NIR的CFA模式，Miao等[6]提出了相應的去馬賽克算法。在Miao工作的基礎上，Aggarwal等[7]同時考慮空間以及頻譜相關來插值，這個插值方式被稱為多頻譜去馬賽克。文獻[8]中首先對NIR分量進行雙三次插值，接下來通過捕獲到的G分量與NIR分量的色差對未捕獲的G分量進行估計。文獻[9]中提出殘差插值算法，首先對G分量進行插值，然后將G分量作為引導圖，分別對其余分量與G分量的色差進行插值，

最后將所有分量插值過后的值與原本捕獲到的各個分量進行相加，得到標準的彩色圖像與紅外圖像。

1.2 基于學習的去馬賽克算法

基于學習的思想主要是根據(jù)大量的訓練樣本學習到馬賽克圖像到標準圖像之間的映射關系。深度學習目前在圖像處理的各個領域取得了巨大的成功，比如：目標檢測[10]、人臉識別[11]、行為檢測[12]以及超分辨率[13]。在去馬賽克領域當中，2016年，Gharbi等[14]首次將深度學習應用于對CFA圖像聯(lián)合去馬賽克去噪。他們將捕獲到的各個通道的像素重新組合;然后，輸入到卷積神經網絡當中，提取特征;最后，通過重新整理得到標準彩色圖像。2017年Tan等[15]通過引入殘差模塊，使得深度學習用于CFA圖像去馬賽克取得重大突破。2018年Hu等[16]將卷積稀疏表示應用于RGB-NIR去馬賽克，使用字典學習的理論從馬賽克圖像當中恢復標準的彩色圖像以及紅外圖像。同年，Shopovska等[17]提出深度殘差U型網絡，將馬賽克圖像輸入網絡，然后，通過一連串的下采樣與殘差模塊，最后通過與下采樣相反的反卷積操作輸出標準的彩色圖像以及紅外圖像。

超分辨率問題與去馬賽克問題相似，只是下采樣的方式不同。文獻[18]中提出了一個對單幅圖像進行超分辨率的殘差稠密網絡結構，本文提出相似的網絡結構用于RGB-NIR圖像的去馬賽克。相對于傳統(tǒng)超分辨率卷積神經網絡（Super-Resolution Conventional Neural Network， SRCNN）算法的3層結構，本文設計了一個很深的殘差稠密網絡（Very Deep Residual Dense Network，VDRDN），層數(shù)達到了36。

2 本文算法

2.1 算法理論RGB-NIR圖像去馬賽克的模型[19]定義如式（1）所示：

其中： y為傳感器捕獲到的馬賽克圖像的向量;x=[xR，xG，xB，xN]表示需要重建出的理想的彩色圖像以及紅外圖像;n表示噪聲;操作符F建模了單傳感器捕獲圖像的操作。

本文主要是對RGB-NIR圖像單純去馬賽克，可以將式（1）改寫為：

其中S表示為下采樣操作。由于S是奇異的，不存在唯一解，因此需要重建的理想圖像可以近似為：

其中：D是一個去馬賽克的操作。本文對D建模為一個很深的殘差稠密卷積神經網絡如式（4）所示：

其中：M表示訓練集樣本的個數(shù);為真實的RGB-NIR圖像。網絡參數(shù)通過不斷地優(yōu)化重建出的RGB-NIR圖像與真實RGB-NIR圖像之間的最小均方誤差進行更新。

2.2 網絡結構

本文提出一種用于RGB-NIR圖像去馬賽克的網絡模型，它由淺層特征提取層、殘差稠密塊（Residual Dense Block， RDB）以及全局跳遠連接構成，具體網絡結構如圖3所示。網絡的輸入大小為64×64的4通道馬賽克圖像，即R、G、B以及NIR通道，每一個通道保留對應RGB-NIR模式的CFA捕獲到的像素值，其余未捕獲到的像素為0。然后將輸入依次經過卷積操作→卷積操作→第一個殘差稠密塊→第二個殘差稠密塊→…→第d個殘差稠密塊→拼接層→1×1卷積→輸入的跳遠連接→輸出。

為保證輸入與輸出具有同樣大小的維度，所有的卷積核大小設置為3×3，步長為1，填充為1，使得網絡從輸入到輸出的維度保持一致。淺層特征提取層包含兩次卷積的操作，用于提取一些低級特征，如邊緣、顏色、紋理等。提取淺層特征可以表示為：

其中：Iinput表示輸入的四通道的馬賽克圖像;ω1表示第一層卷積層（Conv1）的參數(shù);ω2表示第二層卷積層（Conv2）的參數(shù);“*”表示卷積操作;F0表示得到的特征圖。

通過淺層特征提取之后，將輸出的低級特征送入殘差稠密塊（RDB）。如圖4所示，殘差稠密塊中主要操作為跳遠連接與稠密連接。通過引入這樣的連接很好地解決了梯度消失以及梯度彌散的問題，使得網絡更容易訓練。同時，由于稠密連接的作用，使得信息在前向傳播中不會丟失，充分地利用了低級特征與高級特征，使得網絡的學習能力更強。

其中：HRDB，d表示第d個殘差稠密塊的相應卷積、修正線性單元以及拼接操作，更多的細節(jié)參見文獻[18];Fd表示通過殘差稠密塊提取得到的特征圖;F0表示輸入的馬賽克圖像經過淺層卷積之后得到的特征圖。

通過一系列的殘差稠密塊提取特征之后，接下來對所有殘差稠密塊提取到的特征進行拼接，然后將通過1×1卷積改變特征圖的通道數(shù)為4，最后經過3×3卷積得到最終的特征圖。具體過程可以表示為：

其中：Ff表示最終提取到的特征圖;ω3表示倒數(shù)第二層卷積層（Conv3）的參數(shù);ω4表示最后一層卷積層（Conv4）的參數(shù);Fi表示第i（1，2，…，d）個殘差稠密塊輸出的特征圖;[F1，F(xiàn)2，…，F(xiàn)d]表示所有殘差稠密塊輸出特征的拼接操作。

由于RGB-NIR去馬賽克算法只是需要估計出傳感器未捕獲到的其余三通道的值，因此本文采用一個輸入到最終特征圖的跳遠連接，使得對應像素相加，讓網絡模型的學習未捕獲到的其余通道的像素值。具體過程可以表示為：

3 實驗與分析

3.1 訓練數(shù)據(jù)預處理

本文選用文獻[20]中的數(shù)據(jù)集作為訓練網絡模型的訓練集，其中包含477張已經配準的同一場景同一時刻的彩色圖像與紅外圖像。將數(shù)據(jù)集隨機裁剪為64×64大小的圖像塊，一共得到7萬張訓練圖像，其中每個訓練圖像為4通道。為模擬RGB-NIR傳感器捕獲各個通道的像素值，本文對訓練集進行相應的下采樣得到輸入網絡的馬賽克圖像，標簽為真實的未采樣的圖像。相應的圖像下采樣過程如圖5所示。

圖5為制作樣本集的過程。首先，對完整配對的RGB圖像與NIR圖像進行拼接，組成四通道的RGB-NIR圖像。然后，通過前面提到的稠密RGB-NIR圖像CFA對每一個像素點位置的四個分量（R、G、B、NIR）中的一個分量進行保留，其余三個分量值設置為0。最后，得到輸入到網絡當中的馬賽克圖像。

圖5的左上角為完整的RGB圖像，左下角為對應的NIR圖像，右上角為得到的RGB-NIR圖像的R、G、B三個分量的圖像，由于CFA對于G分量采樣密度最大，可見整體圖像偏綠。

右下角為采樣得到的NIR圖像，可見當中缺失了很多的信息。其中右邊的圖像的右下角都是選取圖像的局部區(qū)域放大，為方便可視化，在展示中未拼接，如果拼接則是完全對應于本文的RGB-NIR圖像的CFA模式。

3.2 評價指標

本文采用的測試集為公共的圖像與視覺表示組（Images and Visual Representation Group， IVRG）數(shù)據(jù)集[21]、有植被的戶外多光譜圖像（Outdoor Multi-Spectral Images with Vegetation， OMSIV）數(shù)據(jù)集[22]和森林（Forest）數(shù)據(jù)集[23]，其中OMSIV包含533張彩色圖像及其對應的紅外圖像，IVRG包含25張高質量的彩色圖像及其對應的紅外圖像，F(xiàn)orest數(shù)據(jù)集包含136張彩色圖像及其對應的紅外圖像。客觀指標選用復合峰值信噪比（Composition Peak Signal-to-Noise Ratio， CPSNR）[24]以及結構相似性（Structural SIMilarity， SSIM）。

復合峰值信噪比是基于像素點之間的誤差，是基于誤差敏感的圖像質量評價。

其中：的表示重建得出的RGB-NIR圖像;x表示真實的RGB-NIR圖像。結構相似性由文獻[25]提出，為測量圖像質量的一種重要指標，值的范圍為0～1，越大表示結構越相似。

3.3 參數(shù)設定及訓練分析

關于網絡訓練過程當中的一些超參數(shù)設定為：學習率為0.0001，Batch_size設為64，梯度下降算法選擇Adam。輸入圖像的大小為64×64，通道數(shù)為4，除去倒數(shù)第二層的卷積核大小為1×1，其余所有卷積核大小為3×3， padding為1，stride為1。RDB個數(shù)為8，每一RDB塊當中的卷積+修正線性單元個數(shù)為4，因此網絡的深度為36層，網絡參數(shù)總量為3190104。本文采用的實驗平臺是使用NVIDIA顯卡GeForce GTX 1080-TI、3.20GHz Intel i5 CPU、32GB RAM，編譯軟件采用PyCharm 2019，并使用Tensorflow深度學習框架進行訓練。訓練200輪（epoch為200），一共訓練2d。主觀結果采用Matlab R2014a進行繪制。

3.4 實驗結果及分析

在與現(xiàn)有方法進行對比時，選擇已經公開的實現(xiàn)方法。分別選擇Bilinear、基于二叉樹的邊緣檢測（Binary Tree-based Edge-Sensing，BTES）的去馬賽克算法[6]、基于最小二乘的多光譜去馬賽克（Least-square based Multi-Spectral Demosaicing， LMSD）算法[7]、基于多級自適應殘差插值（MultiStage-Adaptive Residual Interpolation，MS-ARI）的去馬賽克算法[3]、SRCNN[26]以及基于深度殘差U型網絡去馬賽克（RGB-NIR Demosaicing Using Deep Residual U-Net， DRU-Net）算法[17]。

其中一些算法需要進行相應的改進以符合RGB-NIR去馬賽克的需求。超分辨率問題與去馬賽克問題類似，SRCNN作為解決超分辨率問題的經典深度學習方法，更改輸入與輸出的形式得到去馬賽克的功能。對OMSIV、IVRG以及Forest三個公開的數(shù)據(jù)進行測試，得到相應的客觀指標與現(xiàn)存主流方法進行對比，結果如表1所示。

在測試集當中選取清晰度高、色彩明亮、飽和度較大的兩張圖像用于主觀顯示不同算法之間的結果對比。圖7為扇子和蝴蝶圖像不同算法的主觀結果比較。其中：大圖為真實的RGB和對應的NIR圖像，圖中方框為選取的區(qū)域，其他為應用不同算法處理后獲得的方框區(qū)域放大圖。

1）扇子圖像。

Bilinear算法重建出RGB圖像存在較大的偽影，圖像質量很差。

BTES算法未能重建出真實圖像當中的紋路細節(jié)，也存在偽影。

LMSD算法重建出的RGB圖像偏亮，顏色存在較大失真。

MS-ARI算法重建出RGB圖像也存在較大的顏色失真問題。

SRCNN是利用深度學習來解決RGB-NIR圖像去馬賽克的方法，重建的RGB圖像相對于上述傳統(tǒng)算法取得了巨大的成功;但是，重建的RGB圖像的顏色也存在失真，在圖像的條紋處的顏色尤其明顯。

基于DRU-Net算法，相對于SRCNN由于采取更優(yōu)的網絡設計，因此重建出的圖像取得了更佳的主觀效果，顏色失真問題基本消失，只是圖像的一些細節(jié)未能完美修復。

本文提出的VDRDN算法重建出的RGB圖像消除了顏色失真問題，同時恢復出了最準確的細節(jié)，在所有對比算法中取得了最佳的視覺質量。

對于重建出的NIR圖像，Bilinear、BTES、LMSD、MS-ARI這些傳統(tǒng)的插值算法重建出的圖像存在細節(jié)丟失、額外引入噪聲點以及模糊的問題;基于SRCNN算法重建出的NIR圖像存在模糊的問題;基于DRU-Net算法以及本文算法均重建出較準確的細節(jié)，恢復出了較好的細節(jié)。

2）蝴蝶圖像。

對于重建出的RGB圖像，Bilinear、BTES、LMSD、MS-ARI這些傳統(tǒng)的插值算法重建出來的圖像存在較大的顏色失真問題，在圖像當中的字母的邊緣處存在較大的鋸齒效應;基于SRCNN算法較好地消除了鋸齒效應，而且恢復的細節(jié)較好，但是存在一定的顏色失真問題;基于DRU-Net以及本文算法均取得了較好的主觀效果。對于重建出NIR圖像，基于Bilinear以及基于BTES算法重建出的圖像未能重建出細節(jié)，圖像過于平滑?；贚MSD算法重建出的圖像當中存在嚴重的陰影，恢復出的細節(jié)不正確?；贛S-ARI算法恢復出的細節(jié)與真實圖像不對應?；赟RCNN重建的圖像較好地恢復出了細節(jié)，但存在模糊問題?；贒RU-Net以及本文算法較好地恢復出了細節(jié)，取得了很好的視覺效果。

4 結語

針對目前使用單傳感器捕獲彩色圖像以及近紅外圖像當中存在的去馬賽克問題，本文提出一種基于深度殘差稠密網絡的算法。

該算法由淺層特征提取、殘差稠密塊以及全局跳遠連接組成。其中：淺層特征提取為兩層卷積，用于提取圖像的低級特征;其次，殘差稠密塊一共有8個，每個殘差稠密塊當中包含4個相應的卷積與非線性映射操作。最終的全局跳遠連接模塊將輸入與最后一個殘差稠密塊的輸出進行相加進行輸出。對于OMSIV、IVRG以及Forest數(shù)據(jù)集，本文算法優(yōu)于Bilinear、BTES、LMSD、MS-ARI、SRCNN以及DRU-Net，充分說明本文算法的適用性。下一步的工作主要是尋找更優(yōu)的網絡結構，使得RGB-NIR圖像去馬賽克問題能得到很好的解決。

參考文獻（References）

[1] BAYER B E. Color imaging array： US3971065[P]. 197-07-20.

[2] RAMANATH R， SNYDER W E， BILBRO G L， et al. Demosaicking methods for Bayer color arrays[J]. Journal of Electronic Imaging， 2002， 11（3）： 306-315.

[3] TERANAKA H， MONNO Y， TANAKA M， et al. Single-sensor RGB and NIR image acquisition： toward optimal performance by taking account of CFA pattern， demosaicking， and color correction [EB/OL]. [2019-01-10]. http：//www.ok.sc.e.titech.ac.jp/res/MSI/RGB-NIR/ei2016.pdf.

[4] MONNO Y， TANAKA M， OKUTOMI M. N-to-SRGB mapping for single-sensor multispectral imaging [C]// Proceedings of the 2015 IEEE International Conference on Computer Vision Workshops. Piscataway： IEEE， 2015： 66-73.

[5] GRIBBON K T， BAILEY D G. A novel approach to real-time bilinear interpolation[C]// Proceedings of the 2nd IEEE International Workshop on Electronic Design， Test and Applications. Piscataway： IEEE， 2004： 126-131.

[6] MIAO L， QI H， RAMANATH R， et al. Binary tree-based generic demosaicking algorithm for multispectral filter arrays[J]. IEEE Transactions on Image Processing， 2006， 15（11）： 3550-3558.

[7] AGGARWAL H K， MAJUMDAR A. Single-sensor multi-spectral image demosaicing algorithm using learned interpolation weights[C]// Proceedings of the 2014 IEEE Geoscience and Remote Sensing Symposium. Piscataway： IEEE， 2014： 2011-2014.

[8] MARTINELLO M， WAJS A， QUAN S， et al. Dual aperture photography： Image and depth from a mobile camera[C]// Proceedings of the 2015 IEEE International Conference on Computational Photography. Piscataway： IEEE， 2015： 1-10.

[9] MONNO Y， KIKU D， TANAKA M， et al. Adaptive residual interpolation for color and multispectral image demosaicking[J]. Sensors， 2017， 17（12）： 2787-2807.

[10] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single Shot multibox Detector[C]// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016： 21-37.

[11] MASI I， RAWLS S， MEDIONI G， et al. Pose-aware face recognition in the wild[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 4838-4846.

[12] WANG L， XIONG Y， WANG Z， et al. Temporal segment networks： towards good practices for deep action recognition[C]// Proceedings of the European Conference on Computer Vision， LNCS 9912. Cham： Springer， 2016： 20-36.

[13] YANG J， WRIGHT J， HUANG T S， et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing， 2010， 19（11）： 2861-2873.

[14] GHARBI M， CHAURASIA G， PARIS S， et al. Deep joint demosaicking and denoising[J]. ACM Transactions on Graphics， 2016， 35（6）： 191-202.

[15] TAN R， ZHANG K， ZUO W， et al. Color image demosaicking via deep residual learning[C]// Proceedings of the 2017 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2017： 793-798.

[16] HU X， HEIDE F， DAI Q， et al. Convolutional sparse coding for RGB+NIR imaging[J]. IEEE Transactions on Image Processing， 2018， 27（4）： 1611-1625.

[17] SHOPOVSKA I， JOVANOV L， PHILIPS W. RGB-NIR demosaicing using deep residual U-net[C]// Proceedings of the 26th Telecommunications Forum. Piscataway： IEEE， 2018： 1-4.

[18] ZHANG Y， TIAN Y， KONG Y， et al. Residual dense network for image super-resolution[C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 2472-2481.

[19] TANG H， ZHANG X， ZHUO S， et al. High resolution photography with an RGB-infrared camera[C]// Proceedings of the 2015 IEEE International Conference on Computational Photography. Piscataway： IEEE， 2015： 1-10.

[20] BROWN M， SSSTRUNK S. Multi-spectral SIFT for scene category recognition[C]// Proceedings of the 2011 Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2011： 177-184.

[21] SORIA X， SAPPA A D， AKBARINIA A. Multispectral single-sensor RGB-NIR imaging： new challenges and opportunities[C]// Proceedings of the 7th International Conference on Image Processing Theory， Tools and Applications. Piscataway： IEEE， 2017： 1-6.

[22] FREDEMBACH C， SSSTRUNK S. Colouring the near-infrared[EB/OL]. [2019-01-10]. https：//infoscience.epfl.ch/record/129419/files/IR_colour.pdf？version=2.

[23] VALADA A， OLIVEIRA G L， BROX T， et al. Deep multispectral semantic scene understanding of forested environments using multimodal fusion[C]// Proceedings of the 2016 International Symposium on Experimental Robotics. Cham： Springer， 2016： 465-477.

[24] MONNO Y， TERANAKA H， YOSHIZAKI K， et al. Single-sensor RGB-NIR imaging： high-quality system design and prototype implementation[J]. IEEE Sensors Journal， 2019， 19（2）： 497-507.

[25] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity[J]. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.

[26] DONG C， LOY C C， HE K， et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（2）： 295-307.