王涵，左洪福，劉珍珍，費航，蘇岳

(南京航空航天大學民航學院，江蘇南京 211106)

旋轉(zhuǎn)機械設備在運行過程中，時時刻刻都在發(fā)生著磨損行為，而當磨損量達到一定程度時，機械設備就會發(fā)生故障。為了監(jiān)測設備的磨損情況，鐵譜分析技術(shù)也就應運而生。鐵譜分析是一種利用磁鐵將油液中的磨粒沉積到譜片上再利用顯微鏡對譜片上的磨粒進行觀察分析的一種技術(shù)[1]。其中鐵譜磨粒圖像分析技術(shù)是對設備磨損顆粒進行檢測的關鍵技術(shù)[2-3]。由顯微鏡觀測到的顆粒圖像受限于圖像采集過程中的景深限制等原因，在高倍率下觀測到的大顆粒往往會出現(xiàn)局部模糊的現(xiàn)象[4]。因此，對于大顆粒的觀測往往會采用采集同一顆粒的多焦點圖像再進行焦點融合的手段。目前普遍采用的基于小波的鐵譜圖像融合方法[5]，對于圖像的邊緣融合效果欠佳。本文作者設計并改造出了一臺四軸自動掃描顯微鏡，通過對多焦點圖像的自動掃描，應用一種基于相位一致性的鐵譜磨粒圖像多焦點融合算法，對自動掃描的多焦點圖像進行融合，最終得到清晰的磨粒圖像。

1 自動聚焦掃描鐵譜儀

文中的顯微鏡鐵譜觀測系統(tǒng)采用的相機為大恒Mer2-502-79型，相機分辨率為2 448×2 048，顯微鏡采用5倍、10倍、20倍、50倍可轉(zhuǎn)換物鏡。

1.1 景深計算

當采用工業(yè)相機對顯微鏡的圖像進行采集時，只有一定高度范圍內(nèi)的物體能在物鏡的放大作用下獲得清晰的成像，這個高度范圍就是常說的景深。而景深又分為幾何景深和物理景深。

當觀測物體剛好位于對準面時，成像會剛好位于相機CMOS接受面，而當觀測物體位于對準面之前或之后時，相應的成像則也會位于相機CMOS接受面之前或之后，而此時在相機CMOS接收器上則形成一個彌散圓。當彌散圓直徑等于相機COMS極限分辨率時，此時的物平面距離對準面之間的距離就被定義為幾何景深。圖1為幾何景深原理圖。平面1為對準平面，1″為相機CMOS接受面，平面2為物平面，2″為像平面。

圖1 幾何景深原理

幾何景深的計算公式如式(1)所示[6]。

(1)

式中：n為物方折射率；e為相機COMS極限分辨率；M為系統(tǒng)總的放大倍率；Neff為物鏡的有效數(shù)值孔徑。

由于光的衍射效應，點光源經(jīng)過透鏡后在CMOS接受面上的成像會形成艾里斑，即一個三維的不同強度的光能分布。物理景深是指當物像移動距離引起的接收器上的光強變化不超過20%時的距離。圖2為物理景深原理圖。

圖2 物理景深原理

物理景深的計算公式如式(2)所示[7]。

(2)

式中：λ為光波波長。

研究發(fā)現(xiàn)，由相機CMOS成像的顯微鏡系統(tǒng)的實際景深由式(3)計算得出。

(3)

式中：a為CMOS平面最小分辨距離，計算公式如式(4)所示。

(4)

b為CMOS的基本像元尺寸，相機COMS極限分辨率e與基本像元尺寸b之間的關系式如式(5)所示。

e=2×b

(5)

研究表明，電子目鏡顯微鏡的景深為物理景深與幾何景深兩者中的最大值[8]。

文中鐵譜監(jiān)測系統(tǒng)所采用的50倍物鏡的數(shù)值孔徑為0.75，相機COMS極限分辨率為7.9 μm，計算得到整個系統(tǒng)的物理景深為1.3 μm，幾何景深為0.3 μm，則該監(jiān)測系統(tǒng)的實際景深為1.3 μm。

1.2 自動掃描鐵譜系統(tǒng)

文中設計并構(gòu)建出的四軸電控鐵譜顯微觀測平臺如圖3所示，該觀測系統(tǒng)由計算機、高清工業(yè)相機、四軸電控光學顯微鏡及其控制部件等組成。

圖3 四軸電控鐵譜顯微觀測系統(tǒng)

圖4所示為顯微鏡四軸移動平臺及其控制部件實物圖，四軸移動平臺包括物鏡自動轉(zhuǎn)換器和X、Y、Z三軸移動載物臺，控制部件包括控制器和手動搖桿。

圖4 顯微鏡四軸移動平臺

圖5所示為顯微鏡控制部分機械部件及連接線圖。水平方向移動馬達和垂直方向移動馬達通過馬達控制信號線與控制器相連，物鏡轉(zhuǎn)換器通過物鏡轉(zhuǎn)換控制線與控制器相連?？刂破鞣謩e和手動搖桿以及計算機相連，因此既可以通過手動搖桿又可以通過計算機里的控制軟件，實現(xiàn)對四軸電控顯微鏡的載物平臺移動和物鏡切換的控制。

除了通過手動搖桿手動控制顯微鏡的載物平臺移動和物鏡切換以外，系統(tǒng)還支持通過圖6所示計算機軟件設置相關參數(shù)的形式對其進行控制。圖6為其控制軟件截圖，圖6(a)所示為掃描速度、平臺移動及物鏡切換控制面板，可以實現(xiàn)對載物平臺的前后左右上下移動控制、移動速度設置、物鏡切換控制。圖6(b)所示為鐵譜片掃描的各方向個數(shù)及步長軟件設置面板，可以實現(xiàn)鐵譜片單次掃描過程中的各個方向上的移動步長及次數(shù)的設置。

圖6 控制軟件

2 多焦點鐵譜圖像融合算法

文中提出一種基于相位一致性[9-10]的多焦點鐵譜圖像融合方法。對于多焦點圖像融合算法，要求在圖像中選取聚焦最好的區(qū)域，再將這些區(qū)域進行融合。焦點評價(focus measure，F(xiàn)M)和融合規(guī)則(fusion rule，F(xiàn)R)是大多數(shù)圖像融合方法中的2個主要組成部分。通常，融合方法分為空間域方法和變換域方法[11]。2個域中的共同假設是，依據(jù)檢測強度的局部和急劇變化找到聚焦區(qū)域，F(xiàn)M提供聚焦檢測度量。

2.1 鐵譜磨粒圖像融合

基于相位一致性的鐵譜圖像融合方案如圖7所示。假設只有一幅輸入圖像的聚焦位置提供最有用的信息。通過使用公式(6)計算相位一致性矩陣，并將其用作輸入圖像的評價函數(shù)。評價函數(shù)矩陣的大小與輸入圖像的大小相同。將圖像劃分為不同的塊，創(chuàng)建二進制決策圖以從輸入圖像中選擇像素，并通過使用多數(shù)濾波器來應用一致性驗證。通過該融合規(guī)則，大多數(shù)聚焦點主要像素被合并到輸出圖像中。

(6)

圖7 圖像融合方案

式中：o表示方向上的索引；??表示當值為正時封閉量等于自身，否則為0；Wo(x)是濾波器響應擴展值的權(quán)重函數(shù)；To是估計的噪聲影響；ε是一個小的常數(shù)，以避免被零除；Ano(x)是位置x處第n個傅里葉分量的局部振幅；ΔΦno(x)是其余弦項。

由于聚焦對象由一系列相鄰像素而不是單個像素表示，因此文中將FM矩陣劃分為小塊。相應地，決策圖用Kronecker乘積展開。例如，如果Db是2×2矩陣，W2是一個全1的2×2的矩陣，那么Kronecker乘積Dp是4×4矩陣。計算過程如式(7)所示。

(7)

圖像融合方案可以概括為以下七步過程：

步驟1：歸一化由IA(x，y)和IB(x，y)表示的2個輸入鐵譜圖像到[0，1]的范圍。

步驟2：計算輸入鐵譜圖像的焦點評價函數(shù)FM。

步驟3：將FM矩陣劃分為不重疊的8×8塊，并將每個塊中的平方值相加以生成特征矩陣。

步驟5：使用多數(shù)濾波器平滑處理矩陣D(p，q)。

步驟6：通過使用Kronecker乘積展開決策圖Db(p，q)至Dp(p，q)。

步驟7：使用決策圖Dp(x，y)從原始輸入鐵譜圖像中選擇像素以獲得融合鐵譜圖像。

2.2 圖像融合質(zhì)量評價方法

對于經(jīng)過焦點融合算法處理之后得到的圖像，需要對其焦點融合效果進行客觀評估。圖像融合質(zhì)量評價方法可以分為基于圖像梯度的清晰度評價函數(shù)、基于頻域評價函數(shù)、基于信息熵評價函數(shù)以及基于統(tǒng)計學評價函數(shù)，其計算公式如表1所示。

表1 圖像清晰度評價指標[12-14]

表中，f(x，y)表示在索引(x，y)處對應像素點的灰度值；G(x，y)是像素點(x，y)處的梯度；C(μ，v)代表余弦變換的變換系數(shù)矩陣；P(μ，v)表示f(x，y)的傅里葉變換；Pk(g)表示在第k幅圖像中灰度值g出現(xiàn)的概率；Hk表示灰度級為k的直方圖值。

上述評價方法包含了圖像像素間關系的指標以及圖像整體評價的指標。圖像梯度是通過計算相鄰像素間的梯度值，可以看成是圖像像素間關聯(lián)性的一種評價指標，清晰銳利的圖像相較于離焦模糊的圖像在圖像邊緣像素會有更強的變化，因此具有更大的梯度值。圖像頻域評價是考察圖像的頻率分量，對焦清晰的圖像高頻分量較多，對焦模糊的圖像低頻分量較多。信息熵評價主要反映的是圖像信息的整體豐富程度，清晰圖像相較于離焦圖像，圖像整體具有分布更廣的灰度值區(qū)間，由于灰度值之間差異較大，因此清晰圖像的熵值更大，而離焦圖像的熵值相對更小。在基于統(tǒng)計學的圖像評價函數(shù)中，Range函數(shù)是對灰度直方圖的統(tǒng)計量比較，Vollaths函數(shù)則是反映的空間兩點的相似性，清晰圖像由于圖像邊緣更加銳利，因此相較于離焦圖像像素點間的相關程度更低。

3 實驗及結(jié)果分析

取某發(fā)動機潤滑油油樣，使用鐵譜儀進行制譜，并使用上述自動聚焦掃描顯微鏡進行圖像采集。由計算可知該系統(tǒng)使用50倍物鏡時的景深約為1.3 μm，設置顯微鏡垂直方向掃描步長為2 μm，進行4次垂直方向聚焦掃描，最終得到如圖8所示的4張不同焦點鐵譜磨粒圖。

從圖8中可以看出，磨粒圖像邊緣具有較高的梯度值，因此使用基于Canny算子的磨粒邊緣檢測算法，分割磨粒和背景，對磨粒進行提取，去除鐵譜磨粒圖中的背景。提取后的多焦點鐵譜磨粒圖如圖9所示。

圖9 多焦點鐵譜磨粒提取圖

首先采用圖像融合領域常用的小波融合算法[15]對圖9中的4幅多焦點磨粒圖依次進行融合處理，所得到的小波融合最終結(jié)果圖如圖10所示。可以看出，小波融合圖像相較于單張原始磨粒圖像具有更加清晰的中心銳度，但磨粒邊緣位置還是存在較為模糊的情況。

圖10 小波融合圖像

然后使用文中所提出的基于相位一致性的多焦點鐵譜圖像融合方法對多焦點磨粒圖像進行圖像融合，最終得到PC融合結(jié)果如圖11所示。單純通過主觀感知比較圖10與圖11可以看出，PC融合圖像相較于小波融合圖像具有肉眼可見的更高的清晰度，無論是磨粒中心的銳度還是磨粒邊緣的聚焦度，PC融合圖像均具有更佳的視覺效果。

圖11 PC融合圖像

為了對磨粒融合圖像的融合質(zhì)量進行客觀評價，計算了表1中所提出的10種評價指標值，對這些值進行歸一化處理，最終圖像質(zhì)量評價結(jié)果如圖12所示。圖中橫坐標1—4分別代表圖9中的4張不同焦點磨粒圖像，5表示小波融合圖像，6表示PC融合圖像。圖中結(jié)果是對原始圖像及融合圖像質(zhì)量的客觀評價，可以看出，小波融合圖像和PC融合圖像較原始圖像質(zhì)量均有顯著提升。其中PC融合圖像的這10種圖像質(zhì)量評價指標均為最高值，即經(jīng)過PC融合算法處理之后，圖像具有最高的圖像清晰度，從而驗證了文中所提出的圖像融合算法的有效性。進一步計算可得出PC融合相較于小波融合精度提升了約14.6%。

圖12 圖像質(zhì)量評價結(jié)果

4 結(jié)論

設計并改造出了一臺四軸自動掃描顯微鏡，可進行多焦點圖像的自動掃描。提出了一種基于相位一致性的鐵譜磨粒圖像多焦點融合算法，對自動掃描的多焦點圖像進行融合，最終得到清晰的磨粒圖像。該算法相較于傳統(tǒng)的小波圖像融合算法，具有更高的圖像融合質(zhì)量，且邊緣更加清晰。在未來的工作中，將嘗試將此套多焦點采集系統(tǒng)及圖像融合算法應用于通用的目標物多聚焦場景中，采用標準高度的對象進行標定和質(zhì)量評估，并與共聚焦顯微鏡等成熟技術(shù)進行對比，擴展文中所提出系統(tǒng)以及技術(shù)的通用性。