鄭啟亮,姜金嶺,呂思宇

(1.中車青島四方機車車輛股份有限公司，山東 青島 266000; 2.北京航天測控技術(shù)有限公司，北京 100041)

0 引言

工業(yè)車輛的配電柜和電氣箱，是涉及到整車安全運行的核心部件，隨著智能控制技術(shù)的發(fā)展，配電柜和電氣箱也變得越來越復雜，在生產(chǎn)和調(diào)試過程中，操作人員需要根據(jù)繁雜且巨量的工藝文件進行相應操作，但即使如此，由于操作人員的主觀性和工藝文件的復雜性，出錯的概率仍然比較高[1]。雖然有質(zhì)檢人員及各種視覺檢測系統(tǒng)對該操作進行復檢和檢測，但是由于目視檢測和基于可見光視覺的檢測方式固有的能力缺陷，對其中的虛接、短接等缺陷仍然無能為力，隨著設備的運行，這些缺陷造成的系統(tǒng)隱患如不能及時解決，造成嚴重的后果。

可見光圖像和紅外圖像融合是多傳感器圖像融合研究的重要方向，可見光圖像能夠記錄被檢測物體的光譜信息的反射特性，而紅外圖像能夠記錄被檢測物體的熱輻射信息，將可見光圖像和紅外圖像融合，能夠有效的結(jié)合兩種檢測方式的信息，實現(xiàn)異常發(fā)熱部位的可視化特征檢測和溫度特征檢測[2-3]。

本文對基于手機端的紅外發(fā)熱檢測技術(shù)進行研究，以檢測設備試運行或運行的初期發(fā)生的異常發(fā)熱情況，來進一步確保設備正常運行。本文的研究為克服工業(yè)車輛配電柜和電氣箱所在的狹小空間，采用基于手機端的異常發(fā)熱檢測方式，由操作人員手持檢測設備對各檢測部位進行便攜式檢測，同時解決由于便攜式檢測設備造成的拍攝距離和拍攝角度不確定造成的對檢測算法的各種干擾問題。

本文采用基于手機攝像頭和紅外攝像頭的集成設備進行圖像檢測，為解決便攜式設備的上述檢測困難，采用知識庫創(chuàng)建，圖像獲取，圖像距離獲取，圖像融合參數(shù)校準，圖像融合和發(fā)熱檢測的檢測方法。本文的涉及流程如圖1所示。

圖1 電氣設備異常發(fā)熱檢測設計流程圖

1 圖像獲取

本研究以基于手機端的手機攝像頭和紅外相機的便攜式檢測設備為基礎，通過手機端的可見光攝像頭和紅外相機采集被檢測對象的可見光圖像和紅外熱圖像，由于檢測環(huán)境為開放的工業(yè)環(huán)境，可能具有外界光照或者照明不足的情況，由于配電柜和電氣箱的部署空間往往復雜且狹小，因此拍攝過程由操作人員自行決定拍攝位置，使檢測設備能夠盡可能清晰的獲取被檢測對象的全貌。

基于手機攝像頭和紅外相機的檢測設備，手機攝像頭選用4 000萬像素的高清工業(yè)相機，用于獲取被檢測對象的可見光圖像的細節(jié)，用于質(zhì)檢追溯和后續(xù)其他研究，檢測過程采用手機攝像頭補充照明，用以盡量減少環(huán)境光照造成的影響。紅外相機采用640*480的高分辨率紅外熱像儀，對被檢測圖像實現(xiàn)精度±2 ℃的發(fā)熱檢測。由于圖像的采集為操作人員完成，因此，經(jīng)過統(tǒng)計，采集圖像的位置存在15 cm的偏差，采集角度存在10°的偏差。

2 圖像距離獲取方法

設備的異常發(fā)熱情況多種多樣，因此，對配電柜和電氣箱進行高效的檢測依賴創(chuàng)建完善的判斷規(guī)則，本文的知識庫包括檢測對象的位置信息、溫度信息以及用于檢測判別用的各種歷史數(shù)據(jù)。檢測對象的位置判斷，尤其是圖像距離的獲取，是檢測過程中重要環(huán)節(jié)[4]。

配電柜中的各種元器件和接口端子等待檢測對象具有多種形狀、顏色、特征，并且排布密集，沒有規(guī)律可循，因此，想準確定位配電柜中各關鍵檢測對象的位置，需要將待檢測圖像進行圖像配準，將事先建立的模板圖像中標定的位置和連接狀態(tài)知識庫轉(zhuǎn)換到待檢測圖像中。配電柜圖像呈現(xiàn)的檢測對象復雜且采集圖像角度不確定，因此，本文采用局部特征來進行圖像的配準，本文選取的局部特征包括點、線、邊緣、形狀、感興趣區(qū)域等[5]。

FAST角點基本原檢測候選特征點周圍一圈的像素值[6]，首先設定候選點，對候選點的周圍鄰域進行遍歷，如果周圍鄰域內(nèi)有超過閾值數(shù)量的像素點的灰度值與該候選點的灰度值差別夠大，則將該候選點歸入確認的特征點序列。

其中:I(x)為圓周上任意一點的灰度，I(p)為圓心的灰度，εd為灰度值差值閾值，如果N大于給定閾值t，則認為該中心像素點為一個角點。本文選取半徑為3的Bresenham圓，如圖2所示，使用圓周長為16個像素點來判定其圓心像素P是否為角點。在像素點的相鄰區(qū)域判斷連續(xù)的12個像素點，若這些像素點均大于或者小于中心像素點并且相差大于特定閾值，則認為該中心像素點為一個角點。

圖2 用于檢測特征點的Bresenham圓

使用FAST算法提取特征后，需要對其進行描述才能用于后續(xù)的匹配，SIFT特征采用128維的特征描述子，將會占用512bytes的空間，SURF特征采取64維的描述子，也將占用256bytes的空間，對于復雜背景的配電柜圖像，特征點成千上萬，則SIFT或SURF特征描述子將占有大量的內(nèi)存空間和運行時間，BRIEF算法[7]基于漢明距離的計算可以用異或操作然后計算二進制位數(shù)來實現(xiàn)的思路。

圖像中的小塊區(qū)域可以通過對數(shù)量很少的點對進行灰度比較進行有效的區(qū)分[8-9]。因此，對一個S*S的圖像區(qū)域p定義一個測試如下：

將τ測試按照如下的公式排列，即可得到BRIEF特征：

ORB特征是將FAST特征點的檢測方法與BRIEF特征描述子結(jié)合起來，并在它們原來的基礎上做了改進與優(yōu)化。通過提出一種灰度質(zhì)心的方法來解決FAST特征不具有方向的問題：

依據(jù)該主方向提取BRIEF描述子，并對特征點進行匹配，采用互相關的描述算法，依據(jù)特征點鄰域內(nèi)各像素灰度值的互相關系數(shù)作為匹配的判別標準。具體實現(xiàn)步驟為，首先在模板圖像上的各特征點的特定的鄰域范圍內(nèi)取像素點，以此為參考點和參考標準在待檢測圖像上尋找對應的匹配點，進行特征點相關區(qū)域的相關系數(shù)計算：

對其進行歸一化：

NCC=

特征點匹配時選取相關系數(shù)中最大的相關系數(shù)對應的特征點作為該參考點的匹配點，特征點匹配情況如圖3所示。

圖3 基于ORB的特征點匹配方法

特征匹配之后，根據(jù)準確匹配的特征得到模版圖像和檢測圖像的仿射變換矩陣，如圖4所示。

圖4 仿射變換

ORB在速度方面有著極強的效果，通過對配電柜圖像算法運行速度對比，運算時間是SURF算法的十分之一左右。

根據(jù)仿射變換的空間信息，即可得到當前拍攝圖像同原圖像的空間關系，該空間關系用于后續(xù)圖像融合參數(shù)的校準。

3 圖像融合參數(shù)校準

由于設備的部署工作均由操作工人完成，因此不可避免的存在拍攝角度和相對位置的差異，因此本方法在感興趣區(qū)域獲取后采用透視變換，對零部件的形位尺寸進行糾正，為后續(xù)的形位尺寸測量做準備。

本文采用平行光軸的紅外可見光雙目配置進行圖像匹配和融合，由于紅外圖像和可見光圖像在圖像細節(jié)和被檢測對象的特性上的差別，因此傳統(tǒng)的基于模板和特征點匹配的算法很難達到準確的圖像融合，因此還需要考慮被檢測對象的目標距離?？梢姽鈭D象和紅外圖像的融合誤差為：

其中:f為焦距，lpix為像素大小，dx為基線長度，Df為已經(jīng)經(jīng)過校準的光學距離，本文的研究中，將知識庫中設置好的模板圖像作為標準圖像，將拍攝模板圖像時的手機距離和角度作為經(jīng)過校準的光學距離。Dobj為當前被檢測對象的距離，如果被檢測對象的距離在經(jīng)過校準的光學距離上，則圖像融合誤差為0，否則需要對其進行誤差補償[10]。

紅外圖像和可見光圖像除了通過距離偏差進行補償，由于紅外相機和可見光相機的焦距不同，導致空間被檢測對象在兩種圖像上的成像尺度不一樣，因此需要將紅外相機和可見光相機圖像進行縮放并使得同一物體在紅外圖像和可見光圖像上的像素尺寸一致。

可見光和紅外相機的標定如圖5所示。

圖5 可見光與紅外相機標定算法框架

根據(jù)光學誤差原理，圖像融合算法的框架如圖6所示。

圖6 圖像融合算法框架

根據(jù)圖像匹配獲取的待檢測圖像和知識庫中的模板圖像，即可獲取待檢測圖像采集時當前被檢測對象的距離。得到融合誤差，進而進行圖像的融合。

4 圖像融合

可見光圖像與紅外圖像的融合可分為三個方面：像素級融合、特征級融合和決策級融合，其中像素級的融合可通過圖像距離獲取和圖像融合參數(shù)校準完成，為提高被檢測對象的特征提取效率和檢測精度，還需對其進行特征級融合。由于紅外相機的分辨率為640*480，因此和可見光相機圖像相比具有分辨率差、對比度低、信噪比低和視覺效果模糊的特點，紅外圖像的像素亮度分布和待檢測目標的發(fā)射特性無線性關系[11]。

本文采用基于小波理論的金字塔變換的方法進行模糊特征區(qū)域的特征匹配。1989年，S.Mallat提出了多分辨率分析，小波分析窗口大小固定、形狀可變，其時間窗口和頻率窗口都可改變，低頻部分的頻率分辨率較高而時間分辨率較低，高頻部分反之。小波分析將待處理信號分解為一系列小波的疊加，而組成該系列的所有小波函數(shù)均由同一母小波函數(shù)經(jīng)過平移處理和尺度放縮轉(zhuǎn)化而來。母小波ψ(t)經(jīng)過位移τ后，再在不同尺度a伸縮的小波系列為：

小波變換如下：

其中:ψ*為ψ的共軛，基本的小波ψ必須滿足以下條件：

目前，對尺度離散的方法是冪數(shù)級離散化，即令a取a=a0m,a0> 0,m∈Z，此時對應的小波函數(shù)為：

通常對τ進行均勻離散化取值，以覆蓋整個時間軸。為了防止信息丟失，根據(jù)Nyquist采樣定理，采樣率大于等于該尺度下頻率通帶的二倍，即當m增加1時，尺度a增加一倍，對應的頻率減少一半，則尺度函數(shù)和小波函數(shù)為：

圖7 圖像可分離二維多分辨率的三級分解

根據(jù)Mallat多分辨率理論，小波分解過程可以無限進行下去，但是，隨著分解級數(shù)的增加，除了計算量變大，重構(gòu)后的圖像會出現(xiàn)失真，失去識別能力。對各個級別的小波分解圖像進行模板匹配，模板匹配公式如下：

R(x,y)越接近于0，說明圖像在該像素處匹配度越高，從而實現(xiàn)特征級的配準[12]。

圖8 可見光與紅外三級小波分解圖

本文利用可見光圖像和紅外圖像的三級小波分解進行圖像融合，采用低頻區(qū)域能量最大的融合規(guī)則，以保持盡可能多的場景信息。

5 異常發(fā)熱檢測

根據(jù)創(chuàng)建的知識庫，不同元器件在運行期間的溫度值有一個正常的范圍，在檢測過程中記錄該元器件的多個時間點的實時溫度，同知識庫中的規(guī)則進行對比，判斷是否存在異常發(fā)熱情況，紅外相機在戶外的檢測精度小于±2℃，能夠滿足電氣設備的異常發(fā)熱檢測。

6 實驗及分析

實驗通過選取5列車輛的配電柜的各4組圖像，共計360個元器件接頭的發(fā)熱檢測區(qū)域，通過本文檢測設備檢測位置和溫度，同經(jīng)過計量校準的fluke測溫儀的溫度進行對比。檢測結(jié)果如表1所示。

表1 實驗結(jié)果統(tǒng)計

7 結(jié)束語

為解決車上配電柜和電氣柜短接、虛接等造成的異常發(fā)熱的情況，解決人工檢測效率低、主觀性強的問題，本文提出了基于手機的便攜式可見光和紅外融合的異常發(fā)熱檢測方法，首先采用FAST算法提取特征點，并由BRIEF描述子對特征點進行描述實現(xiàn)了測試圖像和模版圖像的匹配，完成了先驗知識的獲取，通過仿射變換獲取校準的拍攝距離和當前檢測對象距離的關系，進行可見光圖像和紅外圖像的精準匹配，之后在HSV空間中進行圖像融合顯示，并且最終進行異常發(fā)熱的檢測。通過實驗，本文的方法實現(xiàn)了高效的檢測，并且位置精度在±4像素內(nèi)，溫度精度在±2℃以內(nèi)，能夠滿足車上設備的異常發(fā)熱檢測。但是，本文的方法對部分復雜背景下，空間分布差異較大的被檢測對象檢測結(jié)果仍然不穩(wěn)定，這主要是由于手機攝像頭和紅外相機本身檢測特性的缺陷，后續(xù)應該集成測距儀、環(huán)境溫度傳感器等模塊，提高檢測精度和檢測穩(wěn)定性。