李立金 李浩洋 徐彭梅 王宇
?
晨昏軌道微光相機成像策略研究及仿真驗證
李立金 李浩洋 徐彭梅 王宇
(北京空間機電研究所,北京100094)
為滿足晨昏軌道微光相機大動態(tài)范圍成像要求,針對EMCCD器件,提出一種微光相機成像策略。該策略通過對積分時間及電子倍增數(shù)的設計及選取,制定若干成像檔位,相機成像過程中,利用文章中提出的圖像灰度最大值法實時計算結果決定檔位動作,實現(xiàn)微光相機成像參數(shù)實時調整。通過地面仿真及在軌驗證,該策略能夠保證微光相機在大動態(tài)范圍內獲取高信噪比、高品質圖像,具有良好的實時性、魯棒性和有效性。
晨昏軌道 微光相機 成像策略 航天遙感
晨昏軌道微光相機是指工作于太陽同步近極地軌道中,軌道降交點地方時間在6:00左右,在夜間和晨昏等低照度條件下獲得可見光圖像的相機,以其重訪周期短、覆蓋范圍寬、長時段工作等諸多優(yōu)點成為航天領域一個重要的研究方向[1]。由于微光相機的成像特點,能夠實現(xiàn)多種光照條件下低云、大霧的監(jiān)測,同時在微光技術基礎上形成的微光立體相機還可以構造出云的三維模型,對天氣系統(tǒng)的分析和準確預報具有重要意義[2]。目前可以在軌開展微光云圖探測的載荷包括“美國國防氣象衛(wèi)星”(DMSP)Block上的業(yè)務線掃描系統(tǒng)(OLS)[3-4]及“國家極軌業(yè)務環(huán)境衛(wèi)星系統(tǒng)準備項目”(NPP)上搭載的可見光紅外成像儀/輻射計組(VIIRS)[5],可以獲得夜間1/4月光條件下微光可見光云圖,彌補了傳統(tǒng)夜間可見光通道無法探測的缺點,獲取晝夜不間斷的氣象信息。
晨昏軌道微光相機的特點是觀測時間總是在凌晨和傍晚,由于光照條件較差,成像能力受到限制。隨著EMCCD等微光探測器件的發(fā)展,微光成像技術日趨成熟,除了能夠在白天成像外,在夜間和黃昏也能夠利用微弱的太陽光或者月光獲得可見光圖像,從而大大地延長了可見光成像時間[6]。但要想在無月晴朗夜晚、1/4月晴朗、黎明、黃昏等多種不同入瞳輻亮度條件下均能保證信噪比,獲得高品質圖像,就需要制定相應的成像策略,使相機能夠根據(jù)在軌運行過程中入瞳輻亮度的變化自動調整成像參數(shù)[7-11],從而實現(xiàn)大動態(tài)范圍成像的目的[12]。本文針對工作于晨昏軌道的微光相機成像策略進行研究,利用MATLAB軟件進行仿真驗證,為在研型號提供理論依據(jù),并通過對在軌圖像的分析驗證算法的有效性。
月光、星光和大氣輝光等微弱的夜間可見光,統(tǒng)稱微光。晨昏軌道微光相機工作于太陽同步近極地軌道,采用線陣推掃方式成像,如圖1所示,成像原理與可見光成像基本相同,只是在獲取無月晴朗夜晚、1/4月晴朗、黎明、黃昏等多個時段典型光照條件下的圖像時,光源復雜,入瞳輻亮度變化非常大。根據(jù)以上成像特點,本文結合微光探測器EMCCD的特點[13-14],對電子倍增倍數(shù)及積分時間進行合理的選取,制定成像策略,實現(xiàn)成像參數(shù)自動調整。
圖1 工作原理
微光相機實現(xiàn)自動參數(shù)調整需解決三個問題:①劃分檔位,設置每檔成像參數(shù);②制定成像檔位切換策略,確定檔位閾值;③確定根據(jù)在軌圖像實時進行檔位調整的方法。
由于微光探測器件成像參數(shù)中的積分時間及電子倍增數(shù)可調整,因此可以為微光相機劃分成像檔位,不同檔位設置不同的成像參數(shù),從而實現(xiàn)長時段、大動態(tài)范圍成像。成像參數(shù)的確定過程如下:
1)根據(jù)衛(wèi)星速高比計算最大積分時間max,參數(shù)設置不得超過該值;
2)根據(jù)微光器件工作溫度確定最大電子倍增數(shù)max,參數(shù)設置不得超過該值;
3)根據(jù)已知軌道仿真相機入瞳輻亮度s范圍[15],約為4×10–9~1.6×10–4W/(cm2·sr);
4)將選定的積分時間in初始值、電子倍增數(shù)初始值及入瞳輻亮度s代入下式,計算探測器的光生電荷數(shù),得到相應的能量[16]
式中s為信號電子數(shù);DN為像元灰度值;為像元大?。粸楣馊數(shù);0為相機光學系統(tǒng)透過率;為中心波長;為普朗克常量;為光速;為探測器量子效率;為遮攔比;為半視場角;為電子倍增數(shù);為探測器電荷電壓轉換系數(shù);為量化系數(shù);為電路AD增益;為運放倍數(shù);為量化位數(shù);為信號輸出最大幅度。
5)計算相機信噪比(SNR)[17-18],調整積分時間in及電子倍增數(shù),使SNR滿足指標要求,且在微光探測器件能量不發(fā)生飽和的前提下,SNR盡可能大。
6)在器件能力允許的情況下設置盡可能多的成像檔位來適應大動態(tài)范圍成像需求。
根據(jù)以上原則,將微光相機成像檔位劃分為4檔,每一檔入瞳輻亮度覆蓋范圍(紅色部分)及各檔位輻亮度重合情況如圖2所示,動態(tài)范圍覆蓋4×10–9~1.6×10–4W/(cm2·sr)。
圖2 檔位劃分
微光相機采用“就高”的原則進行相應檔位的調整。“就高”是指成像時保證地面高輻亮度景物正常成像,不能保證或不完全保證低輻亮度景物。這種原則的優(yōu)點在于可避免CCD出現(xiàn)過飽和區(qū)域,延長器件使用壽命。
根據(jù)上述原則,可以得到對應的成像參數(shù)檔位調整表,如表1所示。
表1 “就高”檔位調整表
Tab.1 “High level” switch threshold adjustment
注:1)灰度閾值1~灰度閾值6為1.1節(jié)劃分4個檔位后利用式(1)~式(3)計算的DN值大小,DNavg計算方法詳見1.3。
成像參數(shù)自動調整過程中,需要計算實時圖像灰度最大值來確定成像參數(shù)檔位動作[19-20],因此灰度最大值的計算結果關系到是否能夠及時、合理的調整成像參數(shù)。為了保證成像策略的實時性和魯棒性,灰度最大值計算方法需要考慮以下幾點:
1)計算取樣個數(shù)。計算取樣個數(shù)關系到計算結果是否具有代表性。若只取一行進行計算,算法對輻亮度突變的景物過于敏感,檔位調整頻率過快,顯然不能滿足要求。若取多行處理,可避免亮度突變情況的影響,但是算法的實時性會受到影響。
2)均值計算權重分配。根據(jù)上述分析,灰度最大值計算時要取多行進行計算得到均值。在計算時,每行的權重分配也關系到成像策略的有效性。若權重分配不合理會導致計算出的均值沒有代表性,影響算法的實現(xiàn)。
灰度最大值計算方法采用如下流程:
式中為權值,根據(jù)微光相機空間分辨率及云圖成像特點,經(jīng)仿真可認為迭代8行以上可進行檔位調整,因此選為0.8。
③下一行采取同樣處理方法。
④當發(fā)生檔位變化后,算法初始化,以當前行為第一行重新進行計算。
對相機成像策略進行仿真驗證,步驟如下:
1)首先進行初始化,設置初始檔位、成像參數(shù)調整原則等相關參數(shù);
3)將DNavg與檔位調整表中的閾值進行比較,判斷當前檔位,并執(zhí)行相應動作;
4)若不需要檔位變化,則繼續(xù)執(zhí)行迭代計算,若檔位發(fā)生變化,則以檔位變化后的第一行影像數(shù)據(jù)作為迭代計算的初始值,繼續(xù)迭代計算;
根據(jù)入瞳輻亮度變化規(guī)律,利用MATLAB軟件生成大小為1 024×2 000的jpg格式的無云的原始圖像,按照上述步驟對成像策略進行仿真驗證。圖3(a)為假設地球為朗伯體且在無云情況下獲得的遙感影像,其理論成像檔位變化情況已知。圖3(b)為經(jīng)過成像參數(shù)調整后的遙感影像;理論檔位變化及實際檔位變化情況如圖4所示,可以看出:檔位變化最大延遲時間為微光成像儀推掃3行所需的時間。本文提出的成像策略具有良好的實時性,能夠滿足系統(tǒng)需求。
(a)原始影像 (b)經(jīng)成像參數(shù)調整后影像
圖4 檔位變化延遲情況(假設地球為朗伯體,無云)
根據(jù)入瞳輻亮度變化規(guī)律,利用MATLAB軟件生成大小為1 024×2 000的jpg格式的有云的原始圖像,按照上述步驟對成像策略進行仿真驗證。圖5(a)為未經(jīng)成像參數(shù)調整的原始影像,可以看出該影像亮度很低,尤其在低輻亮度范圍視場內景物幾乎不可見;圖5(b)為經(jīng)成像參數(shù)調整后獲得的影像,盡管曝光后存在亮度不均勻的問題,但是能夠獲取整個視場內的景物信息;圖6為實際場景中檔位變化情況,可以看出并未發(fā)生頻繁的跳變現(xiàn)象,說明該策略具有很強的魯棒性。
(a)原始影像 (b)經(jīng)成像參數(shù)調整后影像
圖6 檔位變化情況
相機經(jīng)過在軌測試與評價,設計的成像策略能夠實現(xiàn)在軌實時調整合適檔位,保證在不同入瞳輻亮度情況下信噪比滿足要求,獲得大動態(tài)范圍的清晰影像。圖7為在軌獲取的云層圖像,成像過程中檔位由第一檔調整為第三檔,可以看出圖像視覺質量有顯著提高,通過計算圖像灰度均值,可以獲得檔位調整前后圖像亮度整體提升水平。一幅×的灰度圖像DN(,)的灰度均值計算公式如下
為保證入瞳輻亮度及成像目標接近一致,選擇檔位調整前后各1列像素進行灰度均值計算,計算結果表明:檔位調整后圖像灰度均值約為檔位調整前的6倍,圖像亮度整體提升效果明顯,并且景物未出現(xiàn)飽和現(xiàn)象。由此可以得出成像策略能夠有效解決微光相機大動態(tài)范圍成像的問題。同時在軌測試過程中并未出現(xiàn)檔位頻繁跳變問題,證明了成像策略具有較好的魯棒性。
文中主要進行了檔位成像參數(shù)設置、檔位調整策略制定、在軌圖像實時調整方案設計三個方面的研究,提出了工作于晨昏軌道的微光相機大動態(tài)范圍成像策略。經(jīng)地面仿真研究及在軌驗證,該成像策略具有較好的實時性、魯棒性和有效性,可以應用于微光相機在軌實時成像參數(shù)調整,保證高品質、大動態(tài)范圍成像。
[1] 張鵬, 楊磊, 谷松巖, 等. 晨昏軌道衛(wèi)星的氣象應用需求分析[J]. 氣象科技進展, 2015, 5(2): 6-7.ZHANG Peng, YANG Lei, GU Songyan, et al. Meteorological Requirements for the Early-morning-orbit Satellite[J]. Advances in Meteorological Science and Technology, 2015, 5 (2): 6-7. (in Chinese)
[2] 申閆春, 肖鵬, 孫興義. 基于衛(wèi)星云圖的三維立體云仿真[J]. 計算機仿真, 2010, 27(12): 289-292. SHEN Yanmei, XIAO Peng, SUN Xingyi. Simulation of 3D Clouds Based on Satellite Cloud Imagery[J]. Computer Simulation, 2010, 27(12): 289-292.(in Chinese)
[3] 周小珂, 嚴衛(wèi), 白衡. 基于DMSPZ/OLS數(shù)據(jù)的夜間低云大霧監(jiān)測技術研究[J]. 遙感信息, 2012, 27(6): 86-90.ZHOU Xiaoke, YAN Wei, BAI Heng. Detection of Heavy Fogs and Low Clouds During Nighttime Using DMSP-OLS Data[J]. Remote Sensing Information, 2012, 27(6): 86-90.(in Chinese)
[4] 陳晉, 卓莉, 史培軍. 基于DMSP/OLS數(shù)據(jù)的中國城市化過程研究—反映區(qū)域城市化水平的燈光指數(shù)的構建[J]. 遙感學報, 2003, 7(3): 168-175.CHEN Jin, ZHUO Li, SHI Peijun. The Study on Urbanization Process in China Based on DMSP/OLS Data: Development of Light Index for Urbanization Level Estimation[J]. Journal of Remote Sensing, 2003, 7(3): 168-175.(in Chinese)
[5] 周潤松, 葛榜軍. 美國新一代氣象衛(wèi)星系統(tǒng)發(fā)展綜述[J]. 航天器工程, 2008, 17(4): 91-98.ZHOU Runsong, GE Bangjun. Overview of the U.S. Next-Generation Meteorological Satellites Development[J]. Spacecraft Engineering, 2008, 17(4): 91-98.(in Chinese)
[6] 武星星, 劉金國, 周懷得, 等. 基于EMCCD和CMOS的天基微光成像[J]. 紅外與激光工程, 2016, 45(5): 0514002-1~0514002-6.WU Xingxing, LIU Jinguo, ZHOU Huaide, et al. Spaceborne Low Light Imaging Based on EMCCD and CMOS[J].Infrared and Laser Engineering, 2016, 45(5): 0514002-1~0514002-6.(in Chinese)
[7] LIOU Y C, CHIANG W T, CHEN Y Q, et al. Automatic Exposure System by Fuzzy Control for Digital Still Camera[J]. Proc. SPIE, Image Acquisition and Scientific Imaging Systems, 1994, 2173: 195-206.
[8] CHO M, LEE S, NAM B D. The Fast Auto Exposure Algorithm Based on the Numerical Analysis[J]. Proc. SPIE, Sensors, Cameras, and Applications for Digital Photography, 1999, 3650: 93-97.
[9] KUNO T, SUGIURA H. A New Automatic Exposure System for Digital Still Cameras[J]. IEEE Transactions on Consumer Electronics, 1998, 44(1): 192-199.
[10] ZHANG C, YOU Z, YU S J. An Automatic Exposure Algorithm Based on Information Entropy[J]. Proc. SPIE, Sixth International Symposium on Instrumentation and Control Technology: Signal Analysis, Measurement Theory, Photo-Electronic Technology, and Artificial Intelligence, 2006, 6357: 63570Q1-3570Q5.
[11] KAO W C, HSU C C, KAO C C, et al. Adaptive Exposure Control and Real-Time Image Fusion for Surveillance System[C]. International Symposium on Circuits and Systems (ISCAS 2006). Island of Kos, Greece, IEEE Trans. on Consumer Electronics, 2006: 935-938.
[12] 何紅艷, 王小勇, 付興科. 遙感衛(wèi)星CCD相機的動態(tài)范圍設計考慮[J]. 航天返回與遙感, 2008, 29(1): 39-49.HE Hongyan, WANG Xiaoyong, FU Xingke. Study on the Designing of the Dynamic Range of Remote Satellite's CCD Camera[J].2008, 29(1): 39-49.(in Chinese)
[13] 何家維, 何昕, 魏仲慧, 等. 電子倍增CCD星相機的設計[J]. 光學精密工程, 2010, 18(6): 1396-1403. HE Jiawei, HE Xin, WEI Zhonghui, et al.Design of EMCCD Cameras for Star Detection[J]. Optics and Precision Engineering, 2010, 18(6): 396-1403.(in Chinese)
[14] 張燦林. 電子倍增CCD的倍增機理研究[D]. 南京: 南京理工大學, 2014.ZHANG Canlin. Research on the MultiplicationMechanism ofEMCCD[D]. Nanjing: Nanjing University of Science and Technology.2014.(in Chinese)
[15] LI Haoyang, XU Pengmei, WANG Yu.Analysis and Simulation of Remote Sensor Radiance under Dawn-Dusk Illumination Conditions[C]. Proc. SPIE Vol.8912, International Symposium on Photoelectronic Detection and Imaging 2013: Low-light-level Technology and Applications, Beijing, 2013.
[16] 陳世平. 空間相機設計與試驗[M]. 北京: 宇航出版社, 2003.CHEN Shiping. Design and Test for Space Camera[M]. Beijing: The Astronautics Press, 2003. (in Chinese)
[17] 傅鵬, 孫權森, 紀則軒, 等. 一種遙感圖像信噪比評估和度量準則[J]. 測繪學報, 2013, 42(4): 560-567.FU Peng, SUN Quansen, JI Zexuan, et al. A Method of SNR Estimation and Comparison for Remote Sensing Images[J].Acta Geodaetica et Cartographica Sinica, 2013, 42(4): 560-567.(in Chinese)
[18] FIETE R D, TANTALO T. Comparison of SNR Image Quality Metrics for Remote Sensing Systems[J]. Optical Engineering, 2001, 40(4): 574-585.
[19] 楊海濤, 常義林, 王靜, 等. 一種基于亮度直方圖的自動曝光控制方法[J]. 光學學報, 2007, 27(5): 841-847.YANG Haitao, CHANG Yilin, WANG Jin, et al. A New Automatic Exposure Algorithm for Video Cameras Using Luminance Histogram[J].Acta Optica Sinica, 2007, 27(5): 841-847.(in Chinese)
[20] 徐培風, 李正明, 孫俊. 基于圖像的自動曝光算法研究[J]. 光學儀器, 2005, 27(2): 59-6l.XU Peifeng, LI Zhengming, SUN Jun. Study on Auto-ExposureAlgorithm Based on Image Analysis[J]. Optical Instruments, 2005, 27(2): 59-61. (in Chinese)
(編輯:王麗霞)
Simulation and Verification of Imaging Strategy for Low-light-level Camera on Dawn-dusk Orbit
LI Lijin LI Haoyang XU Pengmei WANG Yu
(Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China)
In order to meet the requirement of large dynamic range imaging for low-light-level camera on dawn-dusk orbit, this paper proposes an imaging strategy for low-light-level camera based on EMCCD. The strategy formulates several imaging gears by designing and selecting the integration time and electron multiplier. During the imaging, gear switch was realized by the results of max image grey calculated in real time. According to the ground simulation and on-orbit validation, this strategy has better real-time, robustness and validity, which can produce high SNR and good images in large dynamic range.
dawn-dusk orbit; low-light-level camera; imaging strategy; space remote sensing
V443+.5
A
1009-8518(2017)05-0029-07
10.3969/j.issn.1009-8518.2017.05.004
李立金,女,1985年生,2012年獲哈爾濱工程大學信息與通信工程專業(yè)碩士學位,工程師。研究方向為遙感相機電子學總體設計。Email:lilijin129@126.com。
2017-06-20
國家重大科技專項工程