叢家慧 顏云輝

東北大學(xué)，沈陽，110004

視覺注意機(jī)制在帶鋼表面缺陷檢測中的應(yīng)用

叢家慧 顏云輝

東北大學(xué)，沈陽，110004

針對圖像中存在的低對比度及微小缺陷，提出一種基于人類視覺注意機(jī)制的帶鋼表面缺陷檢測方法。該方法以人類視覺系統(tǒng)的生理結(jié)構(gòu)和功能為基礎(chǔ)，結(jié)合Gabor濾波器多尺度、多分辨率的特點和人類視覺系統(tǒng)所具有的多通道和多分辨率特征，建立了帶鋼表面缺陷檢測模型。實驗結(jié)果表明，該方法不但可準(zhǔn)確檢測出缺陷區(qū)域，得到區(qū)域焦點位置坐標(biāo)，而且檢測速度快，可以滿足在線實時檢測要求。

人類視覺系統(tǒng)；注意機(jī)制；表面缺陷檢測；Gabor濾波器

0 引言

帶鋼表面缺陷檢測技術(shù)作為先進(jìn)的帶鋼生產(chǎn)質(zhì)量監(jiān)測手段，受到鋼鐵企業(yè)和科研院所越來越多的重視。傳統(tǒng)的人工目視抽檢早已不能滿足現(xiàn)代帶鋼生產(chǎn)的需求，研制和應(yīng)用基于機(jī)器視覺的帶鋼表面質(zhì)量檢測系統(tǒng)以實現(xiàn)帶鋼表面缺陷的連續(xù)、實時自動檢測，已越來越重要。為了滿足在線檢測要求，檢測速度要求能夠達(dá)到30m／s，這需要采集和傳輸大量的圖像數(shù)據(jù)，但值得注意的是，一方面，圖像數(shù)據(jù)的增加速度遠(yuǎn)比計算機(jī)處理能力的提高速度要快，另一方面，人們所關(guān)心的內(nèi)容通常只是整個數(shù)據(jù)集合中很小的一部分，如何盡快地從眾多數(shù)據(jù)中找到并提取與任務(wù)相關(guān)的那部分“重要的”、“有用的”和“值得關(guān)注的”信息，成為研究中需要解決的重要問題。

帶鋼表面缺陷具有類別多樣、缺陷形態(tài)復(fù)雜等特點，同一條生產(chǎn)線產(chǎn)生的缺陷數(shù)量和類別差別可能很大，因此對于缺陷的總結(jié)比較困難。圖像中存在著低對比度缺陷、微小缺陷，如果只根據(jù)缺陷灰度圖像是很難判別出缺陷的存在的。隨著人工智能的提出和發(fā)展，機(jī)器視覺已廣泛應(yīng)用到產(chǎn)品檢驗和質(zhì)量控制等環(huán)節(jié)中，采用機(jī)器視覺檢測方法可以大大提高生產(chǎn)效率和生產(chǎn)的自動化程度?；跈C(jī)器視覺的帶鋼表面缺陷檢測系統(tǒng)集成了微電子、計算機(jī)、工程光學(xué)、數(shù)字圖像處理和識別等先進(jìn)技術(shù)，是機(jī)器視覺檢測技術(shù)在鋼鐵生產(chǎn)制造領(lǐng)域的一個研究方向。

1 人類視覺系統(tǒng)生物學(xué)基礎(chǔ)

人類具有異常突出的數(shù)據(jù)篩選能力。面對每時每刻都在變化的各種信息，人們總能迅速察覺到那些與其息息相關(guān)的重要信息，并及時作出反應(yīng)，這種具有選擇性和主動性的心理活動被稱為注意機(jī)制。近年來，人類視覺注意機(jī)制逐漸引起了圖像信息領(lǐng)域研究者的廣泛關(guān)注，并有了一些應(yīng)用，如基于注意機(jī)制的圖像壓縮與編碼、基于注意機(jī)制的場景渲染、基于注意機(jī)制的目標(biāo)檢測、基于注意機(jī)制的目標(biāo)識別和基于注意機(jī)制的主動視覺等［1－5］。如果在機(jī)器視覺中引入并研究這種選擇性注意機(jī)制，對于更好地解決數(shù)據(jù)篩選問題，提高機(jī)器視覺系統(tǒng)的目標(biāo)檢測與信息處理效率將具有重大意義。

視覺心理學(xué)研究表明，人類視覺系統(tǒng)選擇性注意機(jī)制主要包括兩個子過程：①采用bottomup控制策略的預(yù)注意機(jī)制，該機(jī)制是基于輸入圖像的顯著性計算的，屬于低級的認(rèn)知過程；②采用Top－down控制策略的注意機(jī)制，它通過調(diào)整選擇準(zhǔn)則以適應(yīng)外界命令的要求，從而達(dá)到將注意力集中于特定目標(biāo)的目的，屬于高級的認(rèn)知過程。本文的研究是基于bottom－up控制策略的應(yīng)用。該模型是Itti等［6］于1998年提出的，利用生物的中央周邊濾波器結(jié)構(gòu)，在若干個空間尺度上提取低級特征，通過組合得到的特征圖生成3個特征顯著性描述，分別對應(yīng)于顏色、灰度和方位，而顯著性圖為這3個特征顯著性描述的線性組合。Broadbent［7］在1958年提出濾波器模型，如圖1所示，圖中視覺信息輸入通道的數(shù)量較多，而經(jīng)過濾波器進(jìn)入高級分析階段的通道只有一條，這種濾波器模型體現(xiàn)出了視覺注意的選擇作用。

圖1 視覺注意機(jī)制濾波器模型

人類視覺系統(tǒng)處理視覺信息采用多通道機(jī)制，視覺信息按其特征在不同的通道范圍中進(jìn)行處理，這些通道調(diào)諧于特定頻率和方向。用于人類視覺系統(tǒng)多通道結(jié)構(gòu)建模的是Gabor變換，本原視覺皮層中簡單細(xì)胞的感受野調(diào)諧于特定的頻率和方向，僅對特定的空間頻率進(jìn)行響應(yīng)，并且這一響應(yīng)的帶寬限制在倍頻程內(nèi)，其輪廓類似于二維Gabor函數(shù)，因此使得Gabor變換成為自然的選擇。

利用Gabor變換良好的仿生特性，即其逼近神經(jīng)元感受野的分布功能，保證了對視覺信息的感知能達(dá)到信息論標(biāo)準(zhǔn)的最佳效果，恰當(dāng)?shù)剡x擇參數(shù)，Gabor變換可以出色地提供理解信息的有效途徑，這對研究圖像目標(biāo)檢測非常有用。利用Gabor變換進(jìn)行圖像處理，有利于獲得具有空間頻率、空間位置和方向取向選擇性的圖像局部特征。Gabor函數(shù)可以很方便地進(jìn)行尺度伸縮和方向旋轉(zhuǎn)，建立多通道模型，實現(xiàn)帶鋼缺陷圖像具有尺度選擇性和方向選擇性的多分辨特征提取。2D Gabor濾波器是一加2D高斯窗的傅里葉變換［8］：

其中，λ和θk分別是正弦波的波長和方向。λ、σx、σy反映了Gabor濾波器的多尺度特性。θk的定義如下：

k決定了濾波器方向的個數(shù)，可以看出Gabor濾波器具有很好的方向選擇性。σx和σy分別為高斯包絡(luò)在x和y方向上的標(biāo)準(zhǔn)差，它們決定了高斯包絡(luò)的空間擴(kuò)展。除了具有時間－頻率域的最佳局部化以及與哺乳動物的視覺接收場模型吻合的性質(zhì)外，該種濾波器對圖像的亮度和對比度變化具有一定的魯棒性。

2 基于人類視覺注意機(jī)制的缺陷檢測

視覺注意機(jī)制模型的基本思想是，在單一分辨率圖像上通過構(gòu)建Gabor濾波器建立多尺度、多方位的多通道圖像，通過全波整流和各通道間的對比度增益控制，得到多尺度、多方位的方位特征圖，這些特征圖的線性組合則為顯著性圖。待檢測目標(biāo)在顯著性圖中得到明顯增強(qiáng)，有利于檢測的實現(xiàn)。

2.1 Gabor濾波器

Gabor濾波器G（x，y）為復(fù)函數(shù)：

式中，φ為主軸相對于x軸的旋轉(zhuǎn)角度；θ為濾波器取不同方向時對應(yīng)的角度。

圖像f（x，y）的Gabor濾波器輸出為f（x，y）與Gabor濾波器G（x，y）的卷積：

當(dāng)圖像在某一頻率和方向上有最明顯的特征時，與之對應(yīng)的Gabor濾波器會有最大響應(yīng)，這樣就得到關(guān)于目標(biāo)圖像復(fù)雜程度（這里用頻率代表，頻率反映了圖像灰度分布和紋理變換的快慢）、朝向、位置的局部特征。2D Gabor濾波器在紋理分析中有著非常廣泛的應(yīng)用，一方面是因為它的良好時域局部特性；另一方面是因為Gabor濾波器非常適用于模擬人眼的視覺通道。

2.2 缺陷區(qū)域檢測

對原始圖像進(jìn)行Gabor濾波，通過濾波后的結(jié)果圖像提取圖像特征，如亮度、顏色和方向等，將一副圖像分解成若干特征圖。為了從數(shù)量上表征圖像中各像素點對注意的吸引程度，需要把特征圖疊加形成顯著性圖。采用Itti注意力模型［9］計算注意焦點度量區(qū)域的興趣度，特征顯著性通過計算圖像區(qū)域中心和周邊的高斯差分（different of gaussian，DoG）采樣得到，中心定義為圖像分解后高分辨率的樣本，邊緣定義為內(nèi)插值到高分辨率的低分辨率樣本。公式為

由于各特征圖表示的是不同特征通道的視覺特征，它們之間存在很大的獨立性，所以首先要將每幅特征圖歸一化，然后再進(jìn)行合并。顯著性圖S是亮度特征圖I、顏色特征圖C和方向特征圖O的組合，公式為

式中，N（·）為歸一化因子；wi、wc、wo為特征權(quán)值。

將通過視覺注意機(jī)制計算得來的顯著性圖定位到一副圖像中最顯著的區(qū)域，即為我們要獲得的缺陷區(qū)域。

得到顯著性圖S后，下一步需要找到顯著性圖中的注意焦點，即視覺顯著性最強(qiáng)的點。注意焦點通過勝者為王［10］（winner－take－all，WTA）神經(jīng)網(wǎng)絡(luò)方法得到，公式為

式中，C′為電容；R為電阻；V為模電壓。

式（11）表示已知t時刻的輸出電壓V（t）和輸入電流I（t）在時間Δt后產(chǎn)生的模電壓V（t＋Δt），經(jīng)過一段時間產(chǎn)生的電壓積分發(fā)放。將顯著性圖看成一個二維的積分發(fā)放神經(jīng)元陣列，神經(jīng)元的輸入電流I（t）對應(yīng)顯著性圖中像素點的值S（x，y），然后將顯著性圖中每個神經(jīng)元的電壓通過電導(dǎo)轉(zhuǎn)換成WTA網(wǎng)絡(luò)中神經(jīng)元的輸入電流。最先發(fā)生發(fā)放的神經(jīng)元就對應(yīng)于顯著性圖中顯著值最大的神經(jīng)元，即注意焦點。

以焊縫類缺陷為例，通過Gabor濾波得到多特征通道（亮度、顏色和方向）的特征圖，歸一化后組合成顯著性圖，應(yīng)用WTA神經(jīng)網(wǎng)絡(luò)方法得到顯著性圖中最亮點的位置，即注意焦點的坐標(biāo)，如圖2所示。其中，圖2a為原始焊縫缺陷圖像，由于帶鋼表面缺陷圖片為灰度圖像，所以Gabor濾波后得到兩個特征圖，亮度特征（圖2b）和方向特征（圖2c）。提取的封閉區(qū)域為注意區(qū)域，即檢測到的帶鋼表面缺陷區(qū)域（圖2f），注意焦點坐標(biāo)為（349，194）pixel，檢測時間為95.9ms。

圖2 焊縫類缺陷區(qū)域的檢測結(jié)果

3 實驗結(jié)果與分析

應(yīng)用視覺注意機(jī)制進(jìn)行帶鋼表面缺陷檢測，可以分為5個步驟：①對輸入的圖像進(jìn)行均勻采樣；②將圖像與Gabor濾波器組進(jìn)行卷積，得到多通道、多分辨率特征，對特征進(jìn)行選擇，提取幅值作為特征向量；③通過計算圖像區(qū)域中心和周邊的高斯差分，將各特征圖歸一化計算后組合成顯著性圖；④通過WTA神經(jīng)網(wǎng)絡(luò)方法計算顯著性圖中的注意焦點坐標(biāo)；⑤確定顯著性區(qū)域，完成目標(biāo)的檢測。檢測系統(tǒng)流程如圖3所示。

圖3 圖像的視覺顯著性檢測流程

實驗在4個尺度上計算方位特征，采用MATLAB編程環(huán)境實現(xiàn)算法。對多種不同類型的缺陷圖像進(jìn)行實驗，取得了很好的檢測結(jié)果。圖4是現(xiàn)場采集到的幾種典型缺陷，其中包括對比度低的缺陷類型，如抬頭紋、銹斑等，還有小尺寸的孔洞缺陷。從圖5可見，選取的6種典型缺陷都被準(zhǔn)確地檢測到了，封閉區(qū)域代表選擇注意性區(qū)域即缺陷區(qū)域，區(qū)域間的連接折線代表注意焦點的轉(zhuǎn)移，對于一副圖像存在多個缺陷區(qū)域的情況也能無遺漏地快速定位。同時，該方法運(yùn)算時間也不到100ms，保證了檢測系統(tǒng)的實時性。

圖4 帶鋼表面缺陷圖片

圖5 缺陷區(qū)域檢測結(jié)果

表1給出了引入視覺注意機(jī)制的缺陷檢測區(qū)域焦點坐標(biāo)及檢測時間（包括一副圖像存在多個缺陷區(qū)域的情況，給出不同缺陷焦點坐標(biāo)及檢測時間），可以對整個冷軋帶鋼表面缺陷進(jìn)行準(zhǔn)確檢測及完整記錄，有助于后續(xù)的缺陷區(qū)域特征提取及分類，同時缺陷檢測時間很短，滿足帶鋼實時檢測的要求。

表1 缺陷焦點坐標(biāo)及檢測時間

傳統(tǒng)的灰度差影法是圖像的相減運(yùn)算，利用缺陷通常表現(xiàn)為圖像中灰度的異常作為檢測的基礎(chǔ)。但是差影運(yùn)算為了獲得準(zhǔn)確的差異圖像必須保證兩相減圖像的對應(yīng)像素點位于空間同一目標(biāo)點上，且算法需要選取一副無缺陷的圖像作為基準(zhǔn)圖像，它的質(zhì)量將直接影響整個檢測系統(tǒng)的性能。由于有光源和噪聲的存在，故帶鋼表面圖像灰度分布有一定的隨機(jī)性，不可能完全均勻，這些都會導(dǎo)致缺陷的漏檢。圖6是應(yīng)用圖像差影法和本文方法對夾雜類缺陷進(jìn)行檢測的結(jié)果圖像，并應(yīng)用閾值法進(jìn)行了缺陷分割。從圖6可以看到，缺陷圖像經(jīng)過差影運(yùn)算后，缺陷淹沒在復(fù)雜的背景當(dāng)中，導(dǎo)致了檢測的誤判，因此灰度差影法僅適用于缺陷與背景灰度差明顯的圖像檢測。而本文方法能夠準(zhǔn)確找到缺陷位置，獲得顯著區(qū)域的信息，該方法不受缺陷種類、大小和位置等因素的影響。

圖6 灰度差影法與本文方法的檢測結(jié)果比較

4 結(jié)束語

根據(jù)人類視覺特性注意理論，提出基于視覺注意機(jī)制模型的帶鋼表面缺陷檢測方法，通過構(gòu)建Gabor濾波器建立多尺度、多方位的多通道圖像，線性組合這些特征圖像得到顯著性圖。待檢測缺陷目標(biāo)在顯著性圖中得到明顯增強(qiáng)，有利于缺陷區(qū)域的確定。該方法融合多尺度圖像信息，相較于傳統(tǒng)的基于單一灰度信息的缺陷檢測方法能更好地描述缺陷目標(biāo)。實驗結(jié)果也表明，該方法不僅能有效地檢測出常見缺陷，而且對于低對比度和微小缺陷也能獲得滿意的結(jié)果。

［1］Horvitz E，Lengyel J.Perception，Attention，and Resources：A Decision－Theoretic Approach to Graphics Rendering［C］／／In Proceedings of the Thirteenth Conference on Uncertainty in Artificial Intelligence.Providence，1997：238－249.

［2］Chtistopoulos C，Skodras A N，Ebrahimi T.JPEG2000 Still Image Coding System：an Overview［J］.IEEE Tram.Consumer Electron.，2000，46：1103－1127.

［3］Itti L.Models of Bottom－up and Top－down Visual Attention［D］.California：California Institute of Technology，2000.

［4］Salah A A，Alpaydin E，Akarun L.A Selective Attention－based Method of Visual Pattern Recognition with Application to Handwritten Digit Recognition and Face Recognition［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2002，24（3）：420－425.

［5］Breazeal C，Edsinger A，F(xiàn)itzpatrick R，et al.Social Constraints on Animate Vision［J］.IEEE Intelligent Systems，Special Issue on Humanoid Robotics，2000，15（4）：32－37.

［6］Itti L，Koch C，Niebur E.A Model of Saliencybased Visual－attention for Rapid Scene Analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：1254－1259.

［7］Broadbent D E.Perception and Communication［M］.New York：Pergamon，1958.

［8］Qian S，Chen D.Discrete Gabor Transform［J］.IEEE Trans.on Signal Processing，1993，41（7）：2429－2438.

［9］Itti L，Koch C.Computational Modeling of Visual Attention［J］.Nature Reviews Neuroscience，2001，2（3）：194－203.

［10］Robert C，Richard G.A Cortical Model of Winnertake－all Competition via Lateral Inhibition［J］.Neural Networks，1992，5（1）：47－54.

Application of Human Visual Attention Mechanism in Surface Defect Inspection of Steel Strip

Cong Jiahui Yan Yunhui
Northeastern University，Shenyang，110004

It is difficult to judge the defects if only based on gray information.In response to the low contrast and small defects，a novel algorithm based on human visual attention mechanism was proposed.According to biological structure and function of human visual system，a detection model was built combining multiple scales and frequencies of Gabor filter with multichannel and multifreqency of human visual system.The experimental results show that this method is effective to detect the surface defects and establish the coordinate position of defect region.The inspection speed is fast，which can satisfy the real－time detection system’s demands.

human visual system；attention mechanism；surface defect inspection；Gabor filter

TP391.41

1004—132X（2011）10—1189—04

2010—07—19

國家高技術(shù)研究發(fā)展計劃（863計劃）資助項目（2008AA04Z135）；國家自然科學(xué)基金資助項目（50574019）

（編輯 袁興玲）

叢家慧，女，1980年生。東北大學(xué)機(jī)械工程與自動化學(xué)院博士研究生。研究方向為機(jī)械產(chǎn)品質(zhì)量監(jiān)控技術(shù)及智能化模式識別技術(shù)。發(fā)表論文10余篇。顏云輝，男，1960年生。東北大學(xué)機(jī)械工程與自動化學(xué)院教授、博士研究生導(dǎo)師。