徐順標 劉洋 陳建宇 趙微 徐鵬

摘要：文章以移動終端設備為媒介獲取彩色圖像，利用基于機器學習的光譜重構算法將彩色圖像重構為光譜圖像。利用色卡的RGB值和光譜反射比作為訓練樣本并建立光譜重構模型，進而將彩色圖像逐像素轉換為光譜圖像。測試了基于機器學習的PI算法和Kernel算法對彩色圖像的光譜重構精度，并檢驗了跨設備的光譜重構精度。同時，建立了兩臺移動終端設備的相機響應值轉換關系，在一臺設備下建立光譜重構模型，將另一設備下的相機響應值轉換到第一臺設備下，從而利用第一臺設備下建立的光譜重構模型重構光譜。實驗結果表明，不同移動終端的光譜重構性能不同，且Kernel算法的精度優(yōu)于PI算法，同時，利用跨設備相機響應值轉換，可提高跨移動終端的光譜重構精度。

關鍵詞： 光譜重構；光譜反射比；樣本訓練；光譜估計；移動終端

中圖分類號：O432.3? ? ? ?文獻標識碼：A

文章編號：1009-3044（2023）35-0121-03

開放科學（資源服務）標識碼（OSID）

0 引言

光譜作為物體的指紋，可以實現對物體更精確的表征和分析，雖然光譜在各行各業(yè)中起著重要的作用，而光譜測量設備卻存在各種不可避免的缺點，例如體積大，價格昂貴，測量時間長等，使其應用范圍僅局限在某些特殊的領域，難以推廣到更多的行業(yè)領域。光譜重構技術可以通過利用有限的圖像數據預測每個波長處的光譜值[1-2]，這項技術已被廣泛應用于圖像處理、色彩管理、高光譜成像、計算機視覺、熒光成像，文化遺產保護、藝術品鑒定、環(huán)境監(jiān)測等方面，光譜重構技術的發(fā)展前景非常廣闊，有望為各行各業(yè)帶來更多的機遇和挑戰(zhàn)，因此，尋找到一種合適的設備來實現常規(guī)光譜測量設備的功能顯得尤為重要。如今，移動終端設備的普及以及其愈發(fā)出色的圖像采集性能，為此提供了一個可能的方向，例如，智能手機和平板電腦等移動設備已經成為人們日常生活中和工作中不可或缺的一部分，并且這些設備內置的高分辨率攝像頭可以拍攝出高空間分辨率及高畫質的圖像。因此，將光譜重構技術用于移動終端，從移動終端彩色圖像重構光譜圖像，將有利于快速和方便地獲取高空間分辨率的光譜數據，推動光譜數據在更多行業(yè)中的實時應用。

本文使用第三代iPad Air與第十代小米手機進行光譜重構研究，兩種不同品牌的移動終端設備采集同一顏色樣品的彩色圖像，隨后將圖像中的色度值轉換為其相對應的光譜值，從而實現光譜重構。本文選擇兩種典型的基于機器學習的光譜重構算法，即PI算法和Kernel算法，并將其應用到移動終端設備中，建立基于移動終端的光譜重構系統(tǒng)。此外將兩種終端設備采集的RGB信息進行擬合，將一種設備的RGB值擬合到另一種設備下，然后進行光譜重構，從而提高跨移動終端設備的光譜重構精度。

1 光譜重構算法

光譜重構即從物體的相機響應值重構物體的光譜反射比，目前已涌現出各種各樣的光譜重構方法，如多項式回歸法、R矩陣法、R矩陣法與多項式回歸相結合法、PI（Pseudo Inverse） 算法[3]、基函數法、匹配法、自適應光譜重構法[4]、Kernel算法[5]、主元分析法[6]、同色異譜法[7]等。本研究選擇了兩種基于機器學習的算法，即PI算法和Kernel算法。其中，PI算法實現簡單，運算速度快。而對于Kernel算法，通過恰當地調整核函數中的參數，可以獲取高精度的光譜重構性能。因此，本文選擇這兩種光譜重構算法進行移動終端光譜重構的研究，不同的算法將建立對應的光譜重構模型。

1） PI算法

假設原始顏色樣品的相機響應值為P，進行重構訓練的樣本光譜反射比為R，相機響應值到光譜反射比的轉換矩陣為T，PI算法的原理即利用最小二乘法滿足下式，

min（‖R-TP‖2） （1）

其中轉換矩陣T可通過矩陣形式求解，即

[T=（PTP）-1PTR] （2）

上式中，上標T和-1分別表示矩陣的轉置和逆。PI算法計算簡單而迅速，且訓練樣本非最優(yōu)的情況下，仍能取得較好的光譜重構效果，但該方法無法避免來自系統(tǒng)噪聲的影響。

2） Kernel算法

Kernel算法[5]利用核函數將相機響應值轉換到一個特征空間，在特征空間中利用嶺回歸技術獲取光譜反射比。從另一角度，Kernel算法將目標對象的多通道響應值映射到光譜空間，計算與訓練樣本的相關性并得到一組權重系數，按這組權重系數對訓練樣本的光譜反射比加權組合就得到目標對象的光譜反射比，其計算公式如下，

[r=R（K+γI）k] （3）

式中，γ是正則化參數，I是單位矩陣，K是利用矩陣P得到的m×m維的格拉姆矩陣，m是訓練樣本的數量，Kij=K（pi，pj）。K（·）是核函數，以經典的高斯核為例，即

[K（pi，pj）=exp（-||pi-pj||22δ2）] （4）

其中，pi、pj分別是第i個和第j個訓練樣本的多通道響應值。k是m維的向量，表示m個訓練樣本與目標對象的核估計值，第i個樣本與目標對象的核估計值可表為ki=K（pi，p）。該算法中常見的核函數還有多項式核、對數核、Duchon spline核等。

2 實驗

2.1 實驗樣本和設備

所采用的顏色樣本來自愛色麗公司的色卡ColorChecker Digital SG Chart（簡稱SG，140色），如圖1所示。SG色卡是數碼攝影與印藝等行業(yè)常用的標準參考色卡，其包括了ColorChecker Classic的所有24個顏色。SG色卡邊緣一圈的白色和黑色色塊各14個，灰色色塊16個，剩余部分為96個包含彩色和中性色的顏色樣本。

用于圖像采集的移動終端設備為Apple公司的第三代iPad Air（簡稱，iPad Air3） 與小米公司的第十代小米手機（簡稱，小米10） ，如圖2和圖3所示。設備iPad Air3的分辨率為2224×1668，屏幕像素密度為264像素每英寸，設備位深度為8位；設備小米10的分辨率為2340×1080，屏幕像素密度為386像素每英寸，設備位深度為8位。

2.2 實驗步驟

將iPad Air3與小米10手機的攝像功能保持在最佳的狀態(tài)，然后將SG色卡放置在室內光源強度合適且較為均勻的地方。為了保證采集到的圖像質量最佳，兩種設備都采用分辨率最高的后置攝像頭對SG色卡進行拍攝。

1） 使用分光光度計測量SG色卡400nm到700nm，間隔10nm的光譜反射比，測量得所有色塊的光譜反射比，為了減少中性色塊對光譜重構的影響，需要排除最外圍一圈的黑色、白色、灰色的色塊，最終所需采集數據的色塊為96個，如圖4中白色方框內容所示。

2） 找到圖像采集設備攝像最佳的位置，依次用iPad Air3與小米10后置攝像頭對SG色卡重復拍攝數次，得到需要進行光譜重構所需的彩色圖像。

3） 對采集到的圖像進行篩選，丟棄帶有反光、亮斑，色彩不均勻，成像模糊的拍攝圖片，從中選取一定數量的圖像作為最終的數據。

4） iPad Air3與小米10手機拍攝所得圖像輸入Matlab自編程序進行處理，提取顏色樣本圖像中的RGB值，將SG色卡中一半色塊作為訓練樣本，另一半作為測試樣本。利用光譜重構算法從RGB值重構光譜反射比，進一步計算重構的光譜反射比與真實光譜反射比之間的誤差，從而衡量光譜重構的精度。

5） 用iPad Air3拍攝SG色卡，所得圖像的RGB值作為訓練樣本，再用小米10拍攝SG色卡，所得圖像的RGB值多為測試樣本，進行光譜重構。然后且將兩設備的RGB值進行擬合，通過建立兩者之間的轉換關系，將小米10的相機響應值轉換到iPad Air3下，再進行光譜重構。

3 實驗結果

3.1 光譜重構精度

本文采用色差和光譜差衡量重構的光譜反射比的精度，色差采用CIEDE2000色差 [8]，用來評價重構的光譜反射比的色度精度。光譜差采用RMSE [9]，用來衡量重構的光譜反射比的光譜精度。對于兩個指標，其值越小，光譜重構誤差越小，因此光譜重構精度越高。小米10和iPad Air3的光譜重構精度如表1所示。

從表1可見，Kernel算法的色度誤差和光譜誤差都低于PI算法，因此Kernel算法能夠更準確地從移動終端的RGB值重構光譜反射比。同時，iPad Air3的色度和光譜精度都優(yōu)于小米10，表明iPad Air3所生成的RGB值線性度較好。但兩臺設備的色差和光譜差仍然較大，一方面是因為所采用的RGB值并非raw圖像數據，RGB值存在非線性，另一方面，移動終端攝像頭的拍攝性能與專業(yè)相機（如單反相機）存在差距。為了能夠在視覺上更直觀地體現兩種算法光譜重構效果，給出小米10兩種算法的復現圖像，即將重構的光譜圖像轉換為sRGB圖像，如圖5和6所示。

對比兩幅復現圖像，可以看出PI算法復現的圖像有些模糊和泛白，而Kernel算法復現的圖像則較清晰，因此也印證了Kernel算法的光譜重構精度更高。

3.2 跨設備光譜重構

本文測試了跨移動終端設備的光譜重構效果，即利用一臺設備拍攝的SG圖像建立光譜重構模型，將該模型用于另一臺設備拍攝的圖像，進行光譜重構。同時，建立不同設備之間相機響應值之間的映射關系，將一臺設備的相機響應值映射到另一臺設備，然后測試映射后的光譜重構精度。本實驗將小米10手機拍攝的圖像的RGB值映射為iPad Air3拍攝的圖像的RGB值。對于RGB每個通道，利用SG色卡的所有色塊建立了兩個設備的相機響應值轉換關系，具體利用二次多項式建立了每個通道的響應值轉換關系，如式（5） 所示，其中x表示小米10的R值或G值或B值，F（x）表示iPad Air3的R值或G值或B值，a， b和c表示公式中要進行擬合的參數。

[F（x）=ax2+bx+c] （5）

基于上述轉換模型，給出了兩臺設備每個通道的響應值轉換曲線，見圖7。其中R-X， G-X， B-X分別為小米10的RGB三通道相機響應值，而R-I， G-I， B-I分別為iPad Air3的三通道相機響應值。

利用iPad Air3拍攝的SG圖像及其光譜反射比建立光譜重構模型，利用該模型將小米10拍攝的SG色卡的RGB值重構為光譜反射比，并計算重構誤差。然后，利用上述建立的兩臺設備之間的相機響應值轉換關系，將小米10的RGB值轉換到iPad Air3下，然后利用基于iPad Air3建立的光譜重構模型，重構SG色卡的光譜反射比，并計算光譜重構誤差。相機響應值轉換前后的光譜重構誤差如表2所示。

從表2可見，小米10響應值轉換前的光譜重構精度較表1有所下降，表明不同設備之間的RGB值存在差異。對于兩種光譜重構算法，響應值轉換后，色差和光譜差都有所下降，表明建立的轉換模型可以實現兩臺設備響應值的映射。

4 結束語

移動終端的迅猛發(fā)展使其成為越來越普遍的圖像采集設備，本文研究了利用移動終端的相機響應值重構光譜反射比，從而可以方便地從移動終端的彩色圖像獲取光譜圖像，并研究了跨設備的光譜重構效果。采用兩種移動終端設備作為圖像采集工具，并采用了兩種基于機器學習的光譜重構算法建立光譜重構模型，測試移動終端的光譜重構效果。實驗結果表明，Kernel算法的光譜重構精度顯著優(yōu)于PI算法，表明Kernel算法能精確地擬合RGB值與光譜反射比之間的非線性關系。對于跨設備光譜重構，利用二次多項式建立了兩臺設備之間的相機響應值模型，對于兩種光譜重構算法，相機響應值轉換后，光譜精度和色度精度都有所提升，表明所建立的響應值轉換模型的有效性。

參考文獻：

[1] 梁金星，萬曉霞.彩色數碼相機單幅RGB圖像光譜重建研究[J].光學學報，2017，37（9）：370-377.

[2] 趙子琦.多光譜圖像的獲取及重構算法的研究[D].曲阜：曲阜師范大學，2014.

[3] 李博.基于三色相機的多光譜圖像獲取方法研究[D].曲阜：曲阜師范大學，2012.

[4] 梁金星.基于數碼相機的光譜測量方法研究[D].武漢：武漢大學，2019.

[5] 徐鵬.基于多光譜成像技術的光譜圖像重構與顯示研究[D].杭州：浙江大學，2017.

[6] 陳奕藝，徐海松，張顯斗，等.基于數碼相機的光譜重構研究[J].光學學報，2009，29（5）：1416-1419.

[7] 陳奕藝.基于數碼相機的物體表面色光譜重構[D].杭州：浙江大學，2008.

[8] LUO M R，CUI G，RIGG B.The development of the CIE 2000 colour-difference formula：CIEDE2000[J].Color Research & Application，2001，26（5）：340-350.

[9] VILASECA M，PUJOL J，ARJONA M，et al.Multispectral system for reflectance reconstruction in the near-infrared region[J].Applied Optics，2006，45（18）：4241-4253.

【通聯編輯：光文玲】