徐書文

（中國電子科技集團公司第三研究所，北京 100015）

0 引 言

對導彈、飛機、艦船等重點目標進行快速、精確的探測、攔截和打擊，是武器系統(tǒng)的主要任務(wù)。武器系統(tǒng)的主要探測手段是雷達。雷達利用電磁波的發(fā)射和接收來實現(xiàn)對目標的探測，是一種主動式探測方式，具有作用距離遠、可以全天候工作的特點，但隱蔽性較差。光電系統(tǒng)可以將目標發(fā)出的光和熱轉(zhuǎn)化為電信號，并從電信號中提取感興趣的目標信息，從而實現(xiàn)對感興趣目標的探測。光電系統(tǒng)是被動式探測手段。與雷達相比，光電探測的優(yōu)點是隱蔽性好、探測精度高、直觀、體積小、重量輕，不受電磁干擾影響，缺點是易受雨霧影響。此外，針對低空和超低空目標的探測，雷達有多路徑效應(yīng)（雷達盲區(qū)），而光電系統(tǒng)沒有多路徑效應(yīng)。另外，光電系統(tǒng)可以提供實時的圖像信息，使人們的視覺得以延伸，可以更好地獲取決策信息。因此，在現(xiàn)役武器系統(tǒng)中，光電系統(tǒng)也是重要的組成設(shè)備之一，是雷達探測的重要補充手段，被廣泛應(yīng)用于偵察、監(jiān)視、火控、預(yù)警、靶場測量等軍事和軍民融合領(lǐng)域。光電系統(tǒng)適裝的平臺有艦載、車載、陸基（岸基）、機載、彈載、星載等，其中彈載和星載為特殊應(yīng)用環(huán)境適裝平臺，與其他平臺的適裝布局差異較大，要求更苛刻。本文主要針對艦載、車載、陸基、機載平臺應(yīng)用的光電系統(tǒng)信息融合問題進行探討，主要因為這4種應(yīng)用平臺上光電跟蹤系統(tǒng)的組成布局基本相同，且應(yīng)用最廣泛。

1 光電系統(tǒng)的基本組成及工作原理

1.1 光電系統(tǒng)的基本組成

光電跟蹤系統(tǒng)主要由光電指向器、信息控制及配電單元3部分組成，如圖1所示。光電指向器一般由紅外熱象儀、可見光攝像機、激光測距機及伺服轉(zhuǎn)臺組成，信息控制部分由伺服控制、圖像處理及綜合處理單元組成，配電單元提供系統(tǒng)所需的各種類型的直流、交流電源。在實際應(yīng)用中，指向器獨立安裝在艙外（艦載、車載、陸基）或凸出（機載）平臺載體的位置，以避免被遮擋；信息控制和配電單元一起安裝在艙內(nèi)，主要采用標準機柜或分離電子箱結(jié)構(gòu)，根據(jù)艙內(nèi)空間進行布設(shè)[1]。

圖1 光電系統(tǒng)基本組成

艙外指向器的結(jié)構(gòu)形式主要有U型（包括倒U型）和T型結(jié)構(gòu)，如圖2所示。U型和T型指向器主要適裝于艦載、車載及陸基平臺，吊艙型指向器（倒U型）適裝于機載平臺。U型指向器一般適用于有效載荷較小的光電系統(tǒng)，其紅外熱象儀、可見光攝像機、激光測距機安裝在同一個球艙里，球艙的回轉(zhuǎn)半徑一般不超過500 mm，紅外熱象儀、可見光攝像機及激光測距機安裝在靠近球艙中心的位置，各光軸距離很近且相互平行，可以保證對目標信息獲取的空間配準，而且空間配準精度高[2]。T型指向器一般應(yīng)用于有效載荷較大的光電系統(tǒng)，其紅外熱象儀和可見光攝像機分別安裝在T型結(jié)構(gòu)的兩邊，光軸間距大，空間配準精度相對于U型指向器低。因此，圖像融合更適合應(yīng)用于U型指向器光電系統(tǒng)。

圖2 常用指向器結(jié)構(gòu)形式

1.2 系統(tǒng)工作原理

可見光攝像機利用目標的光輻射成像，紅外熱象儀利用目標的熱輻射成像，激光測距機可以對瞄準的目標進行測距?？梢姽鈹z像機、紅外熱象儀及激光測距機安裝在伺服轉(zhuǎn)臺上，經(jīng)過光軸標校，各光軸指向保持一致。當伺服轉(zhuǎn)臺轉(zhuǎn)動時，3個傳感器可以隨著伺服轉(zhuǎn)臺在俯仰和方位方向轉(zhuǎn)動。圖像處理單元主要完成從紅外熱象儀、可見光攝像機獲取的視頻圖像（視場）中實時提取出感興趣的目標，并計算出感興趣目標相對于視場中心的角偏差。伺服控制單元利用角偏差控制伺服平臺向減小或消除角偏差的方向轉(zhuǎn)動，使光學瞄準線始終瞄準目標，實現(xiàn)對空間目標的閉環(huán)跟蹤。在閉環(huán)跟蹤過程中，激光測距機可以持續(xù)對被跟蹤的目標進行測距，獲得目標相對于光電系統(tǒng)（觀測點）的距離。綜合處理單元根據(jù)角偏差、伺服轉(zhuǎn)臺駕位信息、目標距離信息和適裝平臺地理信息（如捷聯(lián)信息等）可以計算出目標在大地坐標系中的三維地理信息，并將該信息送往武器控制系統(tǒng)用于對目標的攔截和打擊；綜合處理單元產(chǎn)生系統(tǒng)工作所需的各種控制指令，如捕獲/釋放、方位搜索、俯仰搜索等控制指令，同時還實時顯示紅外熱象儀、可見光攝像機攝取的視頻圖像；綜合處理單元還根據(jù)解算出來的目標運動地理信息，建立目標運動軌跡和態(tài)勢顯示圖形，操作手或指揮員根據(jù)視頻圖像、態(tài)勢顯示判斷目標運動的威脅性。配電單元將外部輸入的220 V 50 Hz（或220 V 400 Hz）交流電源通過AC-DC、DC-DC模塊的電源轉(zhuǎn)換，提供光電系統(tǒng)內(nèi)部設(shè)備所需各種類型電源[3]。

2 光電系統(tǒng)信息融合技術(shù)應(yīng)用分析

信息融合一般分為像素級圖像融合、特征級融合及決策級融合3個層次。像素級圖像融合主要利用異構(gòu)來源圖像信息的互補特性，通過像素的時空配準，再利用算法對像素灰度進行有機結(jié)合，形成信息更豐富的融合圖像，更易于人類觀察和識別感興趣圖像區(qū)域。像素級圖像融合主要應(yīng)用于遙感圖像和圖片的復(fù)合、圖像分析及理解方面。特征級信息融合是將異構(gòu)來源圖像中提取的目標特征進行互補處理，既可以增加目標強度，也可以增加目標特征維度，彌補單一來源圖像中特征遺漏（未檢測到）的不足，豐富目標的特征信息，有利于對目標的識別和抗干擾。決策級融合是指對異構(gòu)來源的決策信息（如光電、雷達等）進行有機結(jié)合，增強決策信息的魯棒性，提高決策信息的可靠性[4]。

一般來說，融合方法越復(fù)雜，有效性越高，但計算量也越大，實時性越差。融合方法越簡單，有效性越低，但計算量也越小，實時性越好。因此實際應(yīng)用時不僅要考慮融合方法的有效性，還要考慮融合方法的實時性。像素級融合對異構(gòu)來源的圖像按照圖像的像素數(shù)逐一進行融合算法的處理，是計算量最大的融合方法，特別是當圖像尺寸和分辨率增加時，計算量也會成倍增加。特征融合方法是對異構(gòu)來源的目標特征（如目標的寬、高、位置、速度、距離等）進行融合處理，計算量只與感興趣的目標數(shù)量有關(guān)，目標越多，計算量越大，目標越少，計算量就越小，一般不隨圖像尺寸增大而增大。由于在一幅圖像中，目標的數(shù)量遠遠小于像素的數(shù)量，因此，特征融合的計算量遠遠小于像素級圖像融合的計算量。決策級融合是對異構(gòu)來源的決策信息進行融合處理，決策信息是通過對大量的目標特征進行提取、識別、分析后獲得的最終結(jié)果，每一個系統(tǒng)來源的最終（決定動作）決策只有一個，因此，決策融合的計算量比特征融合的計算量更小。因此，在實際應(yīng)用中，應(yīng)根據(jù)系統(tǒng)實時性的要求，選擇滿足實時性要求的融合方法，才能充分發(fā)揮信息融合的有 效性[5]。

早期的光電系統(tǒng)只有可見光攝像機，隨著紅外技術(shù)的發(fā)展，紅外熱象儀得到了廣泛應(yīng)用。目前常規(guī)的光電系統(tǒng)一般都配有可見光攝像機、紅外熱象儀以及激光傳測距機，主要用于對目標的搜索、跟蹤及監(jiān)視。激光測距機提供目標的距離特征信息，可見光攝像機、紅外熱象儀同時提供光輻射和熱輻射的成像信息，但系統(tǒng)對成像信息進行處理時，只對一個被選擇的圖像通道進行目標的特征提取、識別和決策，即對紅外和可見光2選1之后的圖像通道進行處理，也稱作單通道信號處理方案，如圖3所示。雖然單通道信號處理方案可以降低對圖像處理電路的要求，降低設(shè)備成本，然而始終有一個通道的圖像信息處于閑置狀態(tài)，圖像信息被浪費掉了。此外，當有一個通道沒有檢測到目標，而另一個通道可以檢測到目標時，仍會有“沒有目標”的“決策”輸出，需要由人工切換通道，選擇可以檢測到目標的通道進行工作。因此，在單通道信號處理方案中，上述3種融合方法都沒有應(yīng)用。有的系統(tǒng)在決策過程采用了算法融合方法，如質(zhì)心跟蹤和相關(guān)跟蹤算法的融合，但是收效甚微。傳統(tǒng)的光電系統(tǒng)主要采用單通道信號處理方案，圖像信息沒有被充分利用，人工干預(yù)環(huán)節(jié)多，智能化程度很低。

圖3 單通道信號處理方案

隨著信息融合技術(shù)的發(fā)展和廣泛應(yīng)用，新型光電系統(tǒng)也在逐步采用信息融合技術(shù)以提高裝備的性能。目前新型光電系統(tǒng)基本都采用至少由可見光攝像機和紅外熱象儀兩個成像通道組成的傳感器方案，而且，可見光攝像機和紅外熱象儀在系統(tǒng)安裝時進行了光軸標校，保證紅外熱象儀和可見光攝像機的光軸一致性，即在空間上是配準的。此外，可見光攝像機和紅外熱象儀都接受系統(tǒng)同步信號，因此在時間上也是對準的。對于這種可見光攝像機和紅外熱象儀并存，并且圖像在時空都是配準的光電系統(tǒng)，從理論上來說，3種融合方式都可以實現(xiàn)。

可見光攝像機利用物體的光輻射成像，紅外熱象儀利用物體的熱輻射成像，經(jīng)常出現(xiàn)可見光攝像機看得見目標而紅外熱象儀看不見目標，或者紅外熱象儀看得見目標而可見光攝像機看不見目標的情況。一般在能見度良好（≥15 km）的情況下，可見光攝像機作用距離比紅外熱象儀遠，但在夜晚、黃昏及霧天情況下，可見光攝像機看不見或看不清時，紅外熱象儀卻能看得見、看得清，因此，紅外和可見光成像信息具有互補特性，具備像素級圖像融合條件，光電系統(tǒng)圖像融合方案如圖4所示。

圖4 光電系統(tǒng)像素級融合方案

在圖4中，可見光和紅外圖像先進行像素級融合，形成成像信息互補的融合圖像，在融合圖像中進行目標的特征提取、識別和決策，可以大大提高光電系統(tǒng)的作用距離、目標識別能力和自主決策能力。然而在工程實現(xiàn)過程中，由于可見光分辨率高于紅外分辨率，而且兩者探測器像元尺寸也不一樣，采用的光學鏡頭的視場角也不一樣，因此，要保證像素配準，需要進行比例調(diào)整。例如，對于PAL制模擬視頻，一般可見光分辨率采用512×512分辨率，紅外為320×256分辨率。對于目前常用的數(shù)字視頻，可見光分辨率可以從1k×1k到5k×4k，而紅外只能到640×512。這種比例變換不僅會帶來像素級誤差，而且信號處理的復(fù)雜度也大大增加。此外，通過光學設(shè)計可以保證紅外和可見光視場大小一致，加工和裝配帶來的配準誤差也有幾個像素，通過像素級移動可以基本消除，能滿足像素級融合條件。但是對于批量生產(chǎn)而言，光學結(jié)構(gòu)精密加工以及精密裝配保證每一套產(chǎn)品都滿足像素級融合的條件，時間成本和材料成本都很高。由于實時性和時空配準精度要求高，目前光電系統(tǒng)一般很少采用像素級融合方法，只有在特殊情況下采用像素級融合提供用于觀察的圖像。

光電系統(tǒng)特征級融合方案分別在可見光和紅外圖像中進行目標的特征提取，再進行特征融合，之后進行目標的識別和決策，如圖5所示。采用特征融合的方法，可以利用目標特征的互補性提高對目標的識別和抗干擾能力，同時不需要人工切換通道，也提高了光電系統(tǒng)的智能化程度。光電系統(tǒng)的特征融合相對于像素級的圖像融合而言，運算量大幅減少，實時性提高，并且對光學系統(tǒng)加工、結(jié)構(gòu)加工和裝配的精度要求也大大降低，工程實現(xiàn)更容易，但是特征融合需要兩套特征提取電路，即硬件電路復(fù)雜一些。

光電系統(tǒng)決策級融合方案是系統(tǒng)分別對紅外、可見光圖像進行特征提取、識別和決策，之后再對兩個通道的決策信息進行融合處理，輸出最終決策，如圖6所示。從圖6可以看出，光電系統(tǒng)決策級融合采用的是雙通道并行信號處理方案，當兩個通道都檢測到“有目標”決策時，利用視場中目標的位置信息進行加權(quán)輸出位置決策，或者取離視場中心最近的位置為輸出決策；當一個通道檢測到目標“有目標”而另一個通道檢測“無目標”時，也會有“有目標”決策輸出；當兩個通道都輸出“沒有目標”的決策時，系統(tǒng)才輸出“沒有目標”的決策。光電系統(tǒng)采用雙通道信號處理方案時，兩個通道的信息都得到了利用，沒有浪費圖像通道信息資源。盡管圖像信號處理的電路成本比特征融合方案（圖5方案）硬件成本高，但工作通道的選擇不需要人工干預(yù)，而是自主決策，提高了系統(tǒng)的智能化 程度。

圖6 光電系統(tǒng)決策級融合方案

近年來集成電路技術(shù)發(fā)展迅猛，硬件大容量、小型化、通用化、低成本，使得硬件電路的體積和費用已經(jīng)不再是關(guān)注的主要問題。與此同時，隨著硬件運算速度的提升，深度學習、大數(shù)據(jù)、邊緣計算等技術(shù)的發(fā)展，為信息融合技術(shù)在光電系統(tǒng)中的應(yīng)用和光電系統(tǒng)智能化水平的提升提供了更好的手段。

3 光電系統(tǒng)信息融合技術(shù)發(fā)展與思考

導彈、飛機等目標速度的提高，對光電系統(tǒng)的實時性提出了更高的要求，同時低小慢目標威脅性的增加，對目標的分辨能力和識別能力的要求也在不斷提高。硬件的小型化、通用化、功能的不斷強大以及算法的不斷優(yōu)化，為實時性、分辨能力和識別能力的提高提供了堅實的基礎(chǔ)。此外，高分辨率、多波段光學傳感器也在快速地發(fā)展，光電系統(tǒng)仍然是光電探測系統(tǒng)的重要組成設(shè)備之一，會被更廣泛地應(yīng)用于偵察、火控、制導、預(yù)警、靶場測量、重點區(qū)域防護等領(lǐng)域。信息融合技術(shù)在光電系統(tǒng)中的深度應(yīng)用可以大大提高對目標的識別和探測能力，提高系統(tǒng)的智能化程度，這對提升武器系統(tǒng)的防御和打擊能力非常重要。因此，信息融合技術(shù)在光電系統(tǒng)中的深度應(yīng)用研究仍是當今及未來五年研究的熱點，主要應(yīng)用趨勢分析如下。

3.1 像素級融合

像素級融合是精度最高的融合方案，它可以優(yōu)化圖像原始信息，從圖像信息源上解決一個通道“看得見目標”而另一個通道“看不見目標”的問題，有利于提高對目標的發(fā)現(xiàn)、特征提取、識別和自主決策能力，而且信號處理只采用一路硬件電路，可以大大降低成本，減小體積。然而，實現(xiàn)像素級融合，必須在保證高精度像素級時空配準技術(shù)獲得突破才有可能在工程上獲得真正的應(yīng)用，目前短時間內(nèi)實時性好的高精度像素級時空配準技術(shù)難以有大的突破，因此研究仍然會停留在理論研究階段。

3.2 特征級融合

特征級融合只須對可見光和紅外通道分別提取特征，進行特征級的時空配準和特征融合，不要求像素級的時空配準，降低了對光學、機械結(jié)構(gòu)精密加工和裝配精度的要求，工程實現(xiàn)更容易，而且特征融合精度比決策級融合精度高。光電系統(tǒng)特征級融合不僅可以有效解決一個通道“看得見目標”而另一個通道“看不見目標”的問題，融合后的目標特征（如目標形狀、灰度等特征）還可以大大提高對目標的識別能力和抗干擾能力，便于深度學習技術(shù)在光電系統(tǒng)中的應(yīng)用。隨著硬件電路的小型化、低成本化以及計算功能的強大，可以支持更復(fù)雜、更大計算量的算法實時實現(xiàn)，使得特征融合技術(shù)將在光電系統(tǒng)中得到廣泛的應(yīng)用。

3.3 決策級融合

決策級融合在光電系統(tǒng)中應(yīng)用方法簡單，易實現(xiàn)，因為決策的信息量不需要空間配準，一般只需要在時間上配準就可以了。盡管決策級融合也能有效解決一個通道“看得見目標”而另一個通道“看不見目標”的自主決策問題，但是在目標識別方面只取決于單通道的能力，因此，決策的置信度比特征級融合方法要低。此外，由于沒有目標的形狀、灰度等重要特征信息，不能對目標進行深度學習，識別能力難有大的提高。

4 結(jié) 語

未來光電系統(tǒng)在高實時性、高精度像素級時空配準技術(shù)沒有大的突破之前，高實時性的特征級融合方法會成為光電系統(tǒng)信息融合的主要方法，結(jié)合深度學習技術(shù)，可以使光電系統(tǒng)在目標識別和決策能力的智能程度方面取得大的突破，使光電系統(tǒng)更“智慧”，滿足實戰(zhàn)的需要。