安華亮, 何遠清, 劉院省, 陶東興, 曹正彬,陳 琲, 鄭 悅, 李明飛

（1. 北京航天控制儀器研究所, 北京 100039;2. 中國航天科技集團有限公司量子工程研究中心, 北京 100094;3. 北京衛(wèi)星環(huán)境工程研究所, 北京 100029）

0 引言

單像素相機的概念最早由美國萊斯大學于2006 年提出［1］, DUARTE 等［2］于2008 年實驗驗證了壓縮采樣單像素成像的可行性, 相比傳統(tǒng)多像素的陣列相機成像方式, 單像素相機具有的獨特優(yōu)勢在于: 其可以實現(xiàn)散射光成像［3］, 例如在投影光照射到目標后, 從其它任何方向收集到的散射光均可重建目標圖像; 可以在壓縮采樣條件下成像, 且具有靈敏度高和數(shù)據(jù)傳輸量低的特點, 因此在極弱光成像和遙感成像領域有巨大的應用潛力［4］, 單光子級的成像能力還可以應用于量子態(tài)感知等領域［5-6］; 其還具有多光譜成像, 即多個光譜通道同時成像的能力［7］, 例如在調(diào)制矩陣之后從物理上分開不同譜段的光分別進行重建, 或按需要分別重建不同譜段圖像。

盡管單像素成像具有諸多獨特的優(yōu)勢, 但目前單像素成像技術仍然處于實驗室階段, 技術成熟度有待進一步提升。 已報道的成果幾乎均采用實驗平臺搭建的離散光路, 一方面需要屏蔽環(huán)境光線的影響, 另一方面無法在室外應用場景下實現(xiàn)抗環(huán)境擾動的成像和工程應用。 此外, 大多數(shù)單像素成像采用離線處理數(shù)據(jù)的方式呈現(xiàn)實驗結果。 已報道的成果中, 有的為突出算法的效率而不考慮采集時間, 也有的為突出壓縮效率或成像效果而不考慮從采集到處理到成像的全鏈路算法效率問題。 特別是在算法軟件的實現(xiàn)方面, 未見有關于代碼運算效率問題的研究報道。

針對上述工程應用中單像素成像技術面對的問題, 本文不僅考慮了在室內(nèi)外不同環(huán)境條件下單像素成像的適應性、 成像效率和成像質(zhì)量問題,還從研制成本出發(fā), 考慮了單像素相機在實際應用中將面臨的問題, 并開展了進一步的研究工作。本文需要解決的問題定位在800 nm ～1700 nm 近紅外波段凝視成像應用場景, 或慢速運動具有近紅外特征的物體進行成像探測。 相比于近紅外相機,本文研制的樣機具有硬件成本低的優(yōu)勢。

河北大學的張素恒團隊［8］使用樹莓派和商用投影儀等設備以非常低的成本搭建了單像素成像教學演示系統(tǒng), 這表明單像素成像領域已經(jīng)有學者開始考慮實際應用中的成本問題。

針對單像素成像的算法運行效率問題, 本文進行了算法效率的優(yōu)化研究。 基于已有的Walsh-Hadamard 變換方法, 采用二值Hadamard 矩陣作為調(diào)制矩陣, 具有工程實現(xiàn)方面的優(yōu)勢［9］, 例如:Hadamard 矩陣易于在數(shù)字微鏡器件（Digital Micromirror Device, DMD） 上實現(xiàn); 調(diào)制矩陣生成速度快且無需存儲; Hadamard 矩陣均值不變且具有正交特性, 故抗噪能力強［10］等。

Walsh-Hadamard 變換不足之處在于其要求測量次數(shù)與被測圖像的像素數(shù)相等, 即要得到128 ×128 像素的圖像, 需加載的測量基和測量次數(shù)為16384 次。 因此, 隨著圖像像素的增大, 測量次數(shù)也會成比例增加。 針對上述問題, 本文采用Hadamard 矩陣優(yōu)化排序方案［11］, 結合C ++高效編程語言, 實現(xiàn)了在6.25%壓縮采樣條件下快速變換在線成像與實時圖像顯示。 對單像素成像光機的實現(xiàn)進行了工程化設計與仿真, 在近紅外波段進行了實時成像和顯示的驗證。

1 實驗裝置原理及組成

單像素成像的工作原理是: 采用單像素探測器探測空間光強度漲落, 即利用一系列光場產(chǎn)生的正交基實現(xiàn)圖像的編碼, 利用光電探測器獲得的一維信號對圖像進行復原, 重建物體的空間信息［12］。

樣機中的物體經(jīng)過成像鏡頭, 所用成像鏡頭放大倍率為1 ～1.16, 工作距離為0.4 m ～10 m,將像面投射到DMD 上, DMD 采用ViALUX 公司的V-7001 VIS,陣列規(guī)模為1024 ×768 微鏡單元, 控制電路板內(nèi)存容量為8 GB, DMD 通過矩陣Hi調(diào)制, 光束按設定反射到光電探測器, 系統(tǒng)中的光電探測器采用THORLABS 銦鎵砷探測器, 波長范圍為800 nm ～1700 nm, 并由數(shù)據(jù)采集卡進行模數(shù)轉(zhuǎn)換, 數(shù)據(jù)采集卡轉(zhuǎn)換精度為24 bit, 采樣率設置為128 kHz, 供電接口為USB 2.0。 計算機將得到一系列強度信號Ii, 其中i為探測次數(shù),i=1, 2,3, …,M,M即為成一幅圖像所需的測量次數(shù)。

光學部分的設計主要采用ViALUX 公司的貨架產(chǎn)品STAR CORE Standard lens 光學引擎來實現(xiàn),DMD 與光學引擎無縫銜接, 達到遮光作用。 將STAR CORE Standard lens 光學引擎原本用于光源照射的一端放置銦鎵砷探測器, 并采用結構固定與遮光處理。

設計的模型和實物如圖1 所示。 樣機采用了模塊化設計, 各模塊均采用貨架產(chǎn)品進行組裝。 此種設計方式適用于小批量研制, 相比定制開發(fā)可節(jié)約電路設計、 開發(fā)、 測試等的研發(fā)費用。 樣機整體大小為24 cm × 24 cm × 14 cm, 總重約3.42 kg。 圖像重建算法采用快速Walsh 變換算法,軟件由C++開發(fā), 集成了算法和圖像顯示功能,軟件包大小為2 MB, 在Windows 10 系統(tǒng)下運行。樣機目前使用交流電220 V 變壓為直流的方式供電,DMD 功耗（5 V, 6 A） ≤30 W, 探測器功耗（12 V,0.5 A）≤6 W, 采集卡功耗（5 V, 2 A）≤10 W, 由于工作狀態(tài)是變化的, 總的功耗不超過46 W, 后續(xù)將改用直流電源供電, 并設計供電電路。 目前,測量基編碼加載方式采用LabVIEW 軟件以圖片的方式進行上傳, 4096 幅圖片的加載時間為40 s 左右, 加載后需長期通電保證數(shù)據(jù)存于內(nèi)存。

圖1 單像素相機樣機示意圖Fig.1 Schematic diagram of single-pixel camera prototype

2 多尺度Hadamard 編碼及重建算法

根據(jù)文獻［11］采用的編碼方式, 采用多尺度排序后的Hadamard 測量矩陣作為測量基進行單像素成像。 探測強度信號Ii由于是排序后的測量值,需轉(zhuǎn)換到Walsh 排序后快速變換重建。

式（1） 中,I= ［I1I2I3…IM］,Walsh表示W(wǎng)alsh 序的快速Hadamard 變換, 變換后進行歸一化并重新將T1×M排列成二維圖像。

測試場景如圖2（a）所示, 樣機與成像目標相距1.1 m。 樣機的控制軟件界面如圖2（b）所示, 借助C++語言較高的運行效率可實現(xiàn)實時的圖像重建與圖像顯示。 交互界面可設置“加載張數(shù)” 即測量次數(shù)M, 實現(xiàn)任意壓縮采樣后的圖像重建。 軟件以可執(zhí)行文件. exe 方式發(fā)布, 無需安裝, 大小為2 MB, 在Windows 10 系統(tǒng)下運行。 對計算機硬件要求較低, 經(jīng)測試CPU 1.1 GHz 主頻、 內(nèi)存2 GB 即可滿足要求。

圖2 單像素相機成像測試Fig.2 Imaging test of single-pixel camera

樣機通電后點擊“開始” 按鈕, 即可得到實時成像結果和積分成像效果, 圖2（b）為對應像素大小為256 ×256、 成像速率為2.5 幀/s 的實時成像結果（左圖）和10 s 累加25 幀后積分成像的結果（右圖）, 點擊“保存” 按鈕, 可選指定文件夾保存光電探測器原始數(shù)據(jù), 用于后續(xù)分析處理, 數(shù)據(jù)保存過程不影響樣機實時成像。

3 不同場景的樣機測試

測試場景一是對樣機白天和夜晚近紅外波段成像能力的測試。 可見光相機拍攝的實驗現(xiàn)場如圖3（a）和圖3（b） 所示, 圖3（a） 為白天實驗場景,圖3（b）為夜晚實驗場景。 采用850 nm 紅外燈作為光源透射黑色打印字體“13” 進行成像測試。

圖3 紅外成像實驗Fig.3 Diagram of infrared imaging experiments

由圖3 可知: 白天實驗場景和夜晚實驗場景中的2.5 幀/s 的實時成像, 分別對應圖3（a） 和圖3（b）中計算機顯示軟件界面中的左側圖像, 結果對比無明顯變化; 白天實驗場景和夜晚實驗場景中的積分成像結果, 分別對應圖3（a）和圖3（b）中計算機顯示軟件界面中的右側圖像, 結果對比也沒有明顯變化; 而記錄實驗場景的傳統(tǒng)相機在參數(shù)不變的條件下夜晚無法看到物體。 處理得到的單像素成像結果如圖4 所示, 同樣證明了樣機在白天和夜晚均具有成像能力。

為了能對單像素成像的結果進行量化分析,參考圖像峰值信噪比評價方法峰值信噪比（Peak Signal-to-noise Ratio, PSNR） 公式［13］, 首先選取圖像中一部分相對光滑區(qū)域的灰度平均值作為信號Sa, 前面選取的部分圖像區(qū)域灰度的標準差σ作為噪聲, 得到

使用PSNR 值對成像結果進行量化評價, 選取區(qū)域如圖5 中紅色框出部分所示, 得到的白天成像結果PSNR 值為18.72 dB, 晚上成像結果PSNR 值為19.20 dB, 兩者非常接近, 說明樣機在白天和夜晚成像能力相當。

圖5 圖像選擇區(qū)域Fig.5 Diagram of image selection area

測試場景二是樣機對太陽光照射下不同目標的成像測試, 主要表征樣機成像的信噪比和分辨率。 目標采用打印的字母、 數(shù)字和符號, 實驗環(huán)境為室內(nèi), 日光燈和太陽光同時存在, 樣機與成像目標相距110 cm 左右。 設置測量次數(shù)M=4096,有效采樣率為4096/65536 =6.25%, 調(diào)制方式為差分調(diào)制, DMD 調(diào)制速度為20 kHz, 成像速度為2.5 幀/s, 得到的結果如圖6 所示。

圖6 單像素成像結果對比Fig.6 Comparison of single-pixel imaging results

圖6 中圖像, 第1 行第1 列“中國航天” 字體筆畫寬度約為12 mm, 第1 行第2 列為單幀成像結果, 經(jīng)過深度學習神經(jīng)網(wǎng)絡降噪處理后得到第1 行第3 列圖像結果, 經(jīng)過25 次單幀圖像累加后得到第1 行第4 列圖像結果。

圖6 中圖像, 第2 行第1 列為待測目標, 三線寬度從大到小依次為10 mm、 8 mm、 6 mm、 5 mm,單幀圖像能識別寬度8 mm 的橫豎三線圖案, 經(jīng)過深度學習神經(jīng)網(wǎng)絡降噪處理后得到第2 行第3 列圖像結果, 經(jīng)過25 次單幀圖像累加后得到第2 行第4 列圖像結果, 分辨率優(yōu)于8 mm, 接近6 mm。

圖6 中圖像, 第3 行第1 列為待測目標, 第3行第2 列為單幀成像結果, 經(jīng)過深度學習神經(jīng)網(wǎng)絡降噪處理后得到第3 行第3 列圖像結果, 經(jīng)過25次單幀圖像累加后得到第3 行第4 列圖像結果。

使用PSNR 值對測試場景二的單像素成像結果進行量化評價, 選取的區(qū)域如圖7 中紅色框出部分所示, 每行圖像的選擇區(qū)域一致, 可計算得到各自圖像的PSNR 值。 從各圖PSNR 值結果基本可以看出: 25 次單幀圖像累加后的PSNR 值明顯優(yōu)于單幀圖像結果的PSNR 值, 說明圖像累加后信噪比明顯增強; 單幀圖像經(jīng)深度學習神經(jīng)網(wǎng)絡降噪后的PSNR 值明顯優(yōu)于單幀圖像結果的PSNR 值, 甚至能略高于25 次單幀圖像累加后的PSNR 值（PSNR評價與人眼視覺有區(qū)別, PSNR 指標僅涉及信噪比, 不涉及圖像的其他信息, 因此可能會出現(xiàn)與主觀感覺不一致的情況）。 深度學習神經(jīng)網(wǎng)絡降噪在信噪比方面可以利用較少的數(shù)據(jù)達到較好的效果, 成像速度會優(yōu)于圖像累加方法, 能夠作為一種提高單像素成像速度的技術方案。

圖7 單像素成像PSNR 值結果對比Fig.7 Comparison of single-pixel imaging PSNR results

上述測試表明, 單像素相機在110 cm 距離上,分辨率能夠達到8 mm, 對應角分辨率為7.3 mrad。單幀圖像噪聲較大, 需多幀累積成像并結合一定的降噪算法, 采集端仍需進一步降噪以提升單幀圖像的信噪比。 仍需開展的工作包括環(huán)境噪聲的光學濾波, 例如系統(tǒng)中加入干涉濾波片或偏振片、僅針對特定波段和特定偏振進行成像以提升信噪比、 對采集卡和探測器進行線性標定、 優(yōu)化采樣帶寬和探測器靈敏度、 增加照明亮度等。

4 結構仿真結果及分析

單像素成像樣機現(xiàn)階段不涉及復雜情況下的使用, 初步涉及的工況主要是在不同實驗地點間的運輸, 而運輸中的振動和沖擊會對樣機的狀態(tài)造成影響。

樣機的共振頻率是判斷運輸中共振和隨機振動的首要切入點, 對樣機結構進行模態(tài)和隨機振動仿真分析。 樣機的結構材料主要為鋁合金6061-T6（AL6061-T6）, 其他還包括: 不銹鋼, 線纜接頭部分; 聚甲醛（POM）, 樣機的四個腳墊; 硅, 電路板上的芯片; 玻璃, 鏡頭中的鏡片; 鈦合金, 集成光路結構; 環(huán)氧樹脂（FR-4）, 設備中的電路板。網(wǎng)格劃分完成后節(jié)點數(shù)為183331, 單元數(shù)為85428, 模型內(nèi)部網(wǎng)格劃分如圖8 所示。

圖8 仿真模型網(wǎng)格劃分結果Fig.8 Results of simulation model mesh generation

四個腳墊的底面設為固定約束后進行模態(tài)分析, 得到的樣機前六階模態(tài)頻率如表1 所示。

表1 單像素相機樣機模型的模態(tài)分析結果Table 1 Modal analysis results of single-pixel camera prototype model

在公路運輸中, 包裝件共振頻率一般不超過25 Hz; 在鐵路運輸中, 包裝件共振頻率為4 Hz ～8.5 Hz［14］。 由表1 可知, 單像素成像樣機的前六階共振頻率為30 Hz ～94 Hz, 避開了公路運輸和鐵路運輸?shù)闹饕舱駞^(qū)間, 因此在運輸過程中受共振影響較小。

在模態(tài)仿真分析結果基礎上進行樣機運輸工況下的隨機振動仿真分析。 根據(jù)GB/T 4857.23-2012 《包裝運輸包裝件基本試驗第23 部分: 隨機振動試驗方法》 附錄A, “鋼簧減振卡車中國部分公路運輸隨機振動功率譜密度曲線及試驗時間計算”中提供的公路運輸不同嚴酷水平隨機振動PSD 曲線數(shù)據(jù), 根據(jù)推薦采用嚴酷水平Ⅱ等級, 如表2 所示［15］, 方向為樣機的垂直方向, 分析范圍為3σ。

表2 嚴酷水平Ⅱ公路運輸水平隨機振動PSD 曲線數(shù)據(jù)Table 2 PSD curve data of random vibration in harsh level Ⅱhighway transportation level

隨機振動中應力的歷程是一個隨機過程, 基于高斯分布和Miner 線性累計損傷定律的三區(qū)間法, 應力發(fā)生在- 1σ～ + 1σ區(qū)間為68.30%,-2σ～- 1σ和+ 1σ～ + 2σ區(qū)間為27.10%,-3σ～-2σ和+2σ～+3σ區(qū)間為4.33%, 總計99.73%［16］。 隨機振動仿真分析結果如圖9 和圖10所示, 各結構件的受力均在許可范圍內(nèi)。 其中,受力最大的部分為集成光路支架, 受到的最大應力為108.46 MPa, 而支架材質(zhì)為AL6061-T6, 屈服強度為240 MPa, 大于支架受到的應力。

圖9 單像素相機隨機振動仿真結果（外殼部分）Fig.9 Random vibration simulation results of single-pixel camera（shell part）

圖10 單像素相機隨機振動仿真結果（內(nèi)部器件）Fig.10 Random vibration simulation results of single-pixel camera（internal devices）

綜合來看, 模態(tài)仿真結果表明, 單像素成像樣機在運輸過程中受共振影響較小; 隨機振動仿真結果表明, 樣機在運輸過程中最大應力小于屈服強度, 整體結構可靠。

5 結論

單像素成像技術具有靈活的樣機設計形態(tài),在從原理樣機到工程樣機的研制過程中, 仍有較大的未知空間有待探索。 本文針對單像素成像技術原理研制的樣機, 在不同場景下開展了功能、性能和振動仿真等一系列測試, 主要目標是評估樣機的工程適用性。

本文不同于大部分研究之處在于, 對近紅外波段的單像素成像樣機進行了一系列的工程應用場景探索研究, 脫離了理想的實驗室環(huán)境, 從軟件、 光機和樣機集成等方面不同的維度闡述了樣機的設計方案和測試思路, 包括軟件的運行效率、可移植性、 交互界面等方面的考慮和測試; 光機體積、 質(zhì)量的設計與考慮, 以及運輸環(huán)境對樣機光機的影響; 樣機功能指標的測試, 包括白天、夜晚的環(huán)境測試和不同分辨率靶標的成像測試等。希望通過一系列的研究, 給該領域的研發(fā)人員帶來設計思想和實際應用方面的啟發(fā), 達到研究的終極目的。

目前, 實現(xiàn)的樣機硬件為: 體積24 cm×24 cm×14 cm, 總重約3.42 kg。 樣機在10 s 左右（25 幀）積分條件下, 近紅外成像效果穩(wěn)定, 在110 cm 距離上分辨率為8 mm, 對應的角分辨率為7.3 mrad,6.25%采樣下可達到2.5 幀/s@256 ×256 像素成像。 軟件包大小為2 MB, 可在Windows 10 系統(tǒng)架構的多數(shù)計算機上運行。 樣機的軟件與算法技術有望用于鬼成像雷達等領域［17］。

樣機模態(tài)仿真結果表明, 樣機在運輸過程中受共振影響較小; 隨機振動仿真結果表明, 樣機結構件在運輸過程中受力在安全范圍內(nèi)。 綜合來看, 樣機結構滿足現(xiàn)階段要求。

在研制成本方面, 主要受限于DMD 芯片及高速電路的成本, 其價格略低于近紅外相機的價格。由于單像素相機實現(xiàn)近紅外成像僅需一個像素的探測器, 而紅外陣列相機需要復雜的芯片工藝,一旦空間光調(diào)制器替代品研制成功: 例如旋轉(zhuǎn)的毛玻璃、 編碼板或光源陣列等, 其未來成本有較大的下降空間。 本研究對單像素相機技術成熟度的提升具有推動作用, 為低成本紅外成像提供了一種解決方案。