葉 琴，宋 東，曹玉舉，韓仁杰

(西北工業(yè)大學(xué)民航學(xué)院，陜西 西安710072)

1 引言

飛機(jī)綜合顯示系統(tǒng)作為飛行員和飛機(jī)航電系統(tǒng)之間重要的人機(jī)交互接口，其主要功能是對(duì)采集到的數(shù)據(jù)進(jìn)行處理和邏輯運(yùn)算，并與大氣數(shù)據(jù)航向姿態(tài)基準(zhǔn)系統(tǒng)、導(dǎo)航系統(tǒng)、識(shí)別系統(tǒng)、飛行參數(shù)記錄儀多個(gè)系統(tǒng)交聯(lián)，同時(shí)向飛行員提供當(dāng)前飛行環(huán)境、飛機(jī)狀態(tài)所涉及到各種圖像信息、告警信息等。因此在其生產(chǎn)制造及維護(hù)過程中，保證其顯示畫面中各種符號(hào)信息正確、完整至關(guān)重要。但往往在其下屬很多儀表信息顯示過程中，常常出現(xiàn)某些刻度或者示數(shù)沒有顯示，畫面模糊，關(guān)鍵區(qū)域圖像信息未顯示[1]等缺陷，從而影響到飛行安全。

在傳統(tǒng)的飛機(jī)總裝測試過程中，對(duì)這些圖像未顯示缺陷的識(shí)別主要依靠人工判讀和傳統(tǒng)的機(jī)器學(xué)習(xí)，一旦在背景為復(fù)雜缺陷，微弱缺陷的場景下，這些傳統(tǒng)方法便存在一定局限性，測試效率低下。隨著機(jī)器視覺及計(jì)算機(jī)圖像識(shí)別技術(shù)的發(fā)展，近些年吸引了很多學(xué)者進(jìn)行了缺陷檢測研究。Ruoxu Ren提出了利用深度學(xué)習(xí)進(jìn)行表面缺陷特征檢測[2]，并將其用于工業(yè)上。Faghihi-Roohi提出的基于卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練從數(shù)小時(shí)視頻中提取缺陷圖像獲取特征，并用于鐵軌缺陷檢測[3]。此外，非線性神經(jīng)網(wǎng)絡(luò)由于能夠自動(dòng)學(xué)習(xí)高維度的目標(biāo)特征，也大大提高了復(fù)雜場景下的識(shí)別性能[4]。但上述研究在圖像獲取和校正處理過程中均不可避免的存在像素偏移等缺陷，引起實(shí)際獲取的圖像與理論顯示圖像存在像素級(jí)的差異。為減小這種微弱缺陷帶來的像素級(jí)誤差，本文在傳統(tǒng)差影法的基礎(chǔ)上，通過分析飛機(jī)綜合顯示系統(tǒng)的關(guān)鍵儀表姿態(tài)儀的圖像前景顯示特點(diǎn)，研究了模糊差影算法，該算法通過改變差影的規(guī)則，從而增強(qiáng)了對(duì)顯示圖像缺陷判讀的容錯(cuò)性，最后通過GL studio仿真的虛擬姿態(tài)儀與攝像機(jī)聯(lián)合進(jìn)行實(shí)驗(yàn)驗(yàn)證，結(jié)果表明該方法能有效識(shí)別圖像顯示缺陷，為飛機(jī)總裝測試實(shí)現(xiàn)自動(dòng)化奠定了基礎(chǔ)。

2 模糊差影算法研究

2.1 差影法分析

傳統(tǒng)的差影法是基于同一場景下兩幅圖像對(duì)應(yīng)位置的像素值相減實(shí)現(xiàn)的，當(dāng)兩幅圖進(jìn)行相減時(shí)，相同時(shí)位置的背景點(diǎn)因?yàn)榛叶戎迪嗤?，結(jié)果變成全黑，位置不同時(shí)，相減后值不為0，處理后的圖像就只在兩張圖像的位置有像素點(diǎn)，背景變?yōu)槿?，因此在可控環(huán)境下，或者在很短的時(shí)間內(nèi)，可以直接使用差分運(yùn)算檢測變化或者運(yùn)動(dòng)的物體。其計(jì)算公式如下所示

C(x，y)=A(x，y)-B(x，y)

由上述差影法的計(jì)算公式可知，A(x，y)與B(x，y)兩張圖像要進(jìn)行差影計(jì)算，就需要兩張圖像高度一致，對(duì)應(yīng)位置像素級(jí)的相減。而在深度學(xué)習(xí)，包括機(jī)器視覺進(jìn)行圖像缺陷檢測時(shí)，獲取的圖像往往存在不同大小的圖像變化，這種變換無論如何校正，都無法有效的完全消除目標(biāo)圖像和原始設(shè)計(jì)圖之間的細(xì)微差異。為了更清晰的展示上述問題，在這里利用傳統(tǒng)差影法對(duì)姿態(tài)儀進(jìn)行圖像處理，如圖1所示，從差影結(jié)果可以看到，發(fā)現(xiàn)其差影結(jié)果均存在像素點(diǎn)殘留痕跡，結(jié)果無法有效判別是否包含顯示缺陷，尤其是當(dāng)顯示缺陷為形狀較小的符號(hào)時(shí)，其受到的影響更大。

了解到傳統(tǒng)差影法的不足，下邊將重點(diǎn)研究改進(jìn)差影法中點(diǎn)對(duì)點(diǎn)的相減算法，即將差影法中判斷一致性的規(guī)則由點(diǎn)和對(duì)應(yīng)點(diǎn)相減是否為零，轉(zhuǎn)化為點(diǎn)在其對(duì)應(yīng)點(diǎn)周圍領(lǐng)域內(nèi)是否能搜索到相同點(diǎn)。如果可以讓相減的位置有一定的容錯(cuò)性，讓拍攝圖像中的某個(gè)點(diǎn)A(x，y)處的像素在對(duì)應(yīng)的正常圖中的點(diǎn)B(x，y)周圍一定領(lǐng)域內(nèi)尋找相同點(diǎn)。如果找到，就認(rèn)為該點(diǎn)顯示完整，找不到就認(rèn)為該點(diǎn)顯示缺失。從而可以通過像素點(diǎn)的模糊差影實(shí)現(xiàn)像素一致性檢測，進(jìn)而判斷是否存在顯示畫面缺失。只要合理控制對(duì)應(yīng)點(diǎn)領(lǐng)域大小，就可以有效的實(shí)現(xiàn)容錯(cuò)性的像素一致性判斷，為了方便說明，本文將攝像頭獲取的圖像稱為目標(biāo)圖像。

圖1 傳統(tǒng)差影效果圖

2.2 模糊差影算法分析

為了說明其原理，現(xiàn)以前景圖中一條線段符號(hào)的判定為例進(jìn)行說明，其判定原理如圖2所示。

如上圖所示，左側(cè)模擬了一張攝像頭獲取的線段符號(hào)(灰色像素塊表示)，但是A1點(diǎn)和B1點(diǎn)由于成像過程和圖像矯正環(huán)節(jié)等可能的原因?qū)е缕湎?。中間是對(duì)應(yīng)的線段正常圖，右側(cè)是用傳統(tǒng)差影法求出的結(jié)果。這里以差影圖中的中心點(diǎn)A為例，說明模糊差影算法是如何消除由成像過程帶來的細(xì)微差異對(duì)結(jié)果判別產(chǎn)生的影響。具體的判定規(guī)則如下：

圖2 模糊差影法原理示意圖

1)如果在目標(biāo)圖像中點(diǎn)A1的8鄰域內(nèi)即點(diǎn)1到點(diǎn)8及其本身中存在某個(gè)前景像素點(diǎn)，則判定該點(diǎn)處正常圖和目標(biāo)圖近似相同，此時(shí)得到模糊差影算法在A0點(diǎn)的判定結(jié)果為目標(biāo)圖中點(diǎn)A1沒有缺失，這樣就消除了A點(diǎn)在拍攝過程中可能存在的偏移和缺失等細(xì)微差異性。

2)如果在目標(biāo)圖像中點(diǎn)A1的8鄰域內(nèi)即點(diǎn)1到點(diǎn)8及其本身完全沒找到前景像素點(diǎn)，則判定目標(biāo)圖和正常圖之間在A0點(diǎn)處基本不可能相同，此時(shí)得到模糊差影算法在A0點(diǎn)的判定結(jié)果是目標(biāo)圖中A1點(diǎn)缺失。

采用上述判定規(guī)則對(duì)差影圖中所有非零點(diǎn)進(jìn)行逐一判定并修正，最終得到修正的模糊差影圖。然后再對(duì)經(jīng)過模糊差影算法處理的差影圖進(jìn)行判斷，如果基本上像素全部為零，則可以說明目標(biāo)圖像和模板圖像一致，即顯示系統(tǒng)畫面顯示完整正確，不存在顯示符號(hào)的缺失。具體的算法流程如圖3所示，并對(duì)具體步驟做如下說明：

1)首先為增強(qiáng)圖像處理速度，對(duì)目標(biāo)圖像和正常圖像進(jìn)行灰度處理，并利用自適應(yīng)閾值前景分割算法對(duì)灰度圖進(jìn)行處理，獲取得到目標(biāo)圖像前景提取圖和正常圖像前景提取圖。

2)復(fù)制拷貝一份正常前景提取圖，作為差影結(jié)果的待修改圖，即模糊差影正?；A(chǔ)圖。

3)選擇正常圖像中的一點(diǎn)，判斷其在目標(biāo)圖像中對(duì)應(yīng)點(diǎn)及其鄰域是否存在相同點(diǎn)。如果存在則認(rèn)為該點(diǎn)顯示正確，修正模糊差影正?；A(chǔ)圖對(duì)應(yīng)點(diǎn)像素值為0。如果不存在，則認(rèn)為該點(diǎn)顯示不正確，即沒有顯示，保留模糊差影正?；A(chǔ)圖對(duì)應(yīng)點(diǎn)像素值不變。

4)重復(fù)步驟③的操作，逐個(gè)遍歷正常圖像中所有像素點(diǎn)，對(duì)其中的前景點(diǎn)進(jìn)行逐個(gè)檢測和修正，最后即得到模糊差影結(jié)果圖。

分析流程圖可發(fā)現(xiàn)，模糊差影法的關(guān)鍵過程在于其前景的提取，而對(duì)前景的提取需通過設(shè)置合適的閾值對(duì)圖像進(jìn)行前景和背景的分割，得到前景為255，背景為0的二值圖。常用的自適應(yīng)閾值分割算法有全局自適應(yīng)閾值和和局部自適應(yīng)閾值兩類方法[6]?？紤]到本文研究對(duì)象姿態(tài)儀，其包含各種各樣的顯示符號(hào)，特點(diǎn)各異，很難采用統(tǒng)一的閾值提取前景圖像，因此本文采用局部自適應(yīng)閾值法[7]進(jìn)行儀表畫面的前景提取，通過求其周圍鄰域內(nèi)的灰度值來求解閾值。而在此過程中涉及兩個(gè)可變參數(shù)的選擇，即模糊差影的鄰域大小和局部自適應(yīng)閾值分割的滑動(dòng)窗口大小的選擇。

圖3 模糊差影法流程圖

2.3 可變參數(shù)的選擇

1)模糊差影的鄰域大小選擇

鄰域尺寸大小從根本上決定了正常圖像中某個(gè)前景點(diǎn)在目標(biāo)圖中對(duì)應(yīng)點(diǎn)周圍搜索范圍的大小，其搜索范圍越大，找到存在點(diǎn)的可能性就越高，同時(shí)誤判的可能性也隨之增大。而鄰域范圍越小，其搜素范圍越小，也就是算法對(duì)像素點(diǎn)偏移的包容能力下降，在這里通過實(shí)驗(yàn)展示鄰域大小的選擇對(duì)處理結(jié)果的影響。首先設(shè)定其他條件一樣，只對(duì)模糊差影的鄰域大小做不同的設(shè)計(jì)。分別設(shè)置鄰域大小為5×5，7×7，9×9，11×11.以姿態(tài)儀俯仰角缺失為例，得到其實(shí)驗(yàn)結(jié)果如圖4所示。

從圖中可以看出，隨著鄰域大小從5×5增加到11×11，模糊差影的結(jié)果越來越好，其能夠清晰的檢測出來缺失的俯仰角刻度線，同時(shí)干擾點(diǎn)也逐漸被全部消除，這對(duì)缺陷結(jié)果的判斷非常有利。而隨后繼續(xù)增大鄰域大小會(huì)發(fā)現(xiàn)差影的結(jié)果變化不大。這是因?yàn)楫?dāng)已經(jīng)檢測出來目標(biāo)圖和正常圖之間所有的差異像素點(diǎn)之后，搜索區(qū)域的繼續(xù)增大，無法改變兩者之間固有的差異，即缺少的符號(hào)本身。

圖4 不同鄰域大小的模糊差影效果圖

2)局部自適應(yīng)閾值分割的滑動(dòng)窗口選擇

考慮到正常圖在保證必要信息的前提下提取的前景像素點(diǎn)越少越好，這樣可以減少判斷的點(diǎn)，同時(shí)減少失誤的可能。而目標(biāo)圖像中的前景像素點(diǎn)應(yīng)該是越多越好，使得所有已經(jīng)顯示的畫面符號(hào)都被捕捉到，有效避免因?yàn)榍熬疤崛〔怀浞侄斐傻臋z測不到的問題。因此在對(duì)正常圖和前景圖進(jìn)行局部自適應(yīng)閾值分割時(shí)，采用不同大小的滑動(dòng)窗口，觀測其處理效果。結(jié)合對(duì)鄰域大小的選擇方法，發(fā)現(xiàn)當(dāng)目標(biāo)圖像的滑動(dòng)窗口大小稍微大于正常圖像時(shí)，其差影效果最好。這是因?yàn)殡S著滑動(dòng)窗口的增大，圖像前景提取的能力在增強(qiáng)，從而提取了更多目標(biāo)圖像中的細(xì)節(jié)，使得目標(biāo)圖中所有已經(jīng)顯示的前景符號(hào)都被提取出來了。但是當(dāng)繼續(xù)增大窗口時(shí)，發(fā)現(xiàn)無論前景信息提取的再充分，都無法改變其存在符號(hào)缺失的事實(shí)，所以模糊差影的結(jié)果幾乎不再改變，只剩下缺失的符號(hào)。

綜合上述分析可以發(fā)現(xiàn)，前景提取時(shí)，應(yīng)保證正常圖前景提取的局部自適應(yīng)閾值法滑動(dòng)窗口小于目標(biāo)圖所用的滑動(dòng)窗口大小，一般滑動(dòng)窗口的大小選擇為奇數(shù)×奇數(shù)，保持正常圖所用的滑動(dòng)窗口尺寸小于目標(biāo)圖一到兩個(gè)差異即可。對(duì)于鄰域的大小，一般大于5×5就可以得到很好的效果，在面對(duì)具體的對(duì)象檢測時(shí)可以通過簡單的測試即可確定。

3 仿真驗(yàn)證與分析

為了進(jìn)一步驗(yàn)證模糊差影法在圖像信息缺失自動(dòng)識(shí)別中的效果，本節(jié)首先采用GL studio仿真軟件對(duì)姿態(tài)儀傾斜角刻度缺失、俯仰角刻度缺失、指示符號(hào)缺失、飛機(jī)模型缺失四種顯示缺陷進(jìn)行了仿真。并選擇了一款型號(hào)為Lens Computar M2514-MP2 F1.4 f25mm 2/3的鏡頭，通過手動(dòng)調(diào)整光圈和焦距，對(duì)姿態(tài)儀關(guān)鍵區(qū)域圖像進(jìn)行連續(xù)拍攝，且拍攝圖像清晰。四種缺陷設(shè)計(jì)圖如圖5所示。

接著利用自適應(yīng)閾值分割算法進(jìn)行圖像的前景提取，正常圖采用的滑動(dòng)窗口大小為7×7，其它目標(biāo)圖采用的滑動(dòng)窗口比正常圖較大，均為9×9大小的滑動(dòng)窗口，最后對(duì)上述獲取的各目標(biāo)圖像前景圖分別和正常前景圖做模糊差影計(jì)算，模糊鄰域大小選擇為5×5，各個(gè)差影結(jié)果如圖6所示。

圖5 四種顯示缺陷設(shè)計(jì)圖

分析上述檢測結(jié)果，可以看出姿態(tài)儀的四種顯示缺陷已經(jīng)被清晰的檢測出來了。同時(shí)可以看到，傾斜角檢測的結(jié)果在其頂部出現(xiàn)了一點(diǎn)點(diǎn)畫面消融的誤差，這是由于頂部處圖像的前景符號(hào)呈現(xiàn)出極其密集的分布，導(dǎo)致一些缺失像素點(diǎn)被誤判定為已在目標(biāo)圖像畫面中顯示，所以差影結(jié)果呈現(xiàn)出個(gè)別像素點(diǎn)消融的現(xiàn)象。但上述消融的現(xiàn)像只會(huì)在缺失符號(hào)的所有線條完全被非常近距離的線條或點(diǎn)集包圍的情況下發(fā)生，而在實(shí)際飛機(jī)綜合顯示系統(tǒng)中，不存在這種完全被近距離線條包圍的現(xiàn)像，所以模糊差影法能夠滿足實(shí)際檢測需求。

圖6 不同缺陷圖畫面檢測結(jié)果

4 結(jié)束語

文中通過對(duì)飛機(jī)綜合顯示系統(tǒng)的常見圖像顯示缺陷進(jìn)行分析，研究了模糊差影算法，解決了傳統(tǒng)差影法在圖像獲取跟矯正環(huán)節(jié)由像素偏移帶來的差異性問題。最后通過對(duì)姿態(tài)儀常見的四種顯示缺陷進(jìn)行了仿真驗(yàn)證，證明了該算法的有效性和合理性，為飛機(jī)總裝測試過程中顯示系統(tǒng)圖像的自動(dòng)判讀奠定了基礎(chǔ)。目前在飛機(jī)綜合顯示系統(tǒng)圖像自動(dòng)識(shí)別方面，仍有許多問題有待解決，希望相關(guān)工作能為飛機(jī)顯示系統(tǒng)的自動(dòng)化測試提供參考。