陳乾輝 吳德剛
(商丘工學(xué)院,河南 商丘 476000)
目前,常見的蘋果缺陷檢測以可見光和紅外成像無損檢測為主[1],然而,由于可見光對水果的內(nèi)部和次表面的缺陷檢測較差,尤其是對顏色較深的蘋果,更是難以獲??;而紅外成像由于其獲取圖像的清晰度不夠,使得在蘋果圖像檢測中將果梗/花萼誤判為缺陷的幾率很高[2]。紅外圖像具有較明顯的目標(biāo)信息,但邊緣細(xì)節(jié)缺乏;而可見光圖像有豐富的紋理和顏色信息,但容易受到外部的干擾。將紅外光和可見光進(jìn)行信息融合,充分利用2種信息的互補(bǔ)優(yōu)勢可以獲取更為明顯的物體特征。目前,紅外光和可見光融合技術(shù)在目標(biāo)識別、目標(biāo)跟蹤以及醫(yī)學(xué)圖像處理領(lǐng)域都有著廣泛的應(yīng)用價值和拓展空間[3]。因此,本研究擬將采集到的可見光和紅外光圖像的特征信息進(jìn)行圖像融合,以獲得具有各種缺陷特征信息的高質(zhì)量蘋果圖像,從而實(shí)現(xiàn)蘋果的在線實(shí)時檢測和分級。
紅外熱成像是通過光電技術(shù)檢測物體表面的熱輻射[4],并將物體不同部位紅外輻射的差異轉(zhuǎn)換為肉眼可視的圖像,進(jìn)而對物體表面的溫度進(jìn)行測量和分析的無損檢測技術(shù),其獲取物體表面溫度圖像原理見圖1。
采用加拿大加創(chuàng)公司生產(chǎn)的IR970系列紅外熱像儀(見圖2),其技術(shù)參數(shù)見表1。
圖像采集時,將紅外熱像儀IR970設(shè)為自動采集模式,采樣時間為10 s,頻率為60 Hz,鏡頭距蘋果樣品表面為0.5 m,調(diào)整合適的熱成像儀位置及焦距,使顯示屏上的蘋果熱圖像最適中、最清晰,經(jīng)過系統(tǒng)自帶溫度補(bǔ)償校正處理,獲得標(biāo)準(zhǔn)的蘋果紅外熱圖像,并通過熱像儀自帶圖像處理軟件CMView SE Reporter獲取特征信息。
圖1 紅外熱成像原理圖Figure 1 The schematic diagram of infrared
圖2 紅外熱像儀IR970Figure 2 The IR970 infrared camera表1 IR970的技術(shù)參數(shù)Table 1 Technical parameters of IR970
探測器鏡頭存儲環(huán)境溫度類型:非制冷平面;分辨率:320×240;光譜范圍:8~14 μm;熱響應(yīng)時間:4 ms;熱靈敏度:0.08 ℃@30 ℃;空間分辨率:1.1 mard視常角:20.4o 水平×15.4o 垂直;聚焦范圍:0.5 m~∞存儲類型:內(nèi)置FLASH;外置CF卡;存儲容量:512 M工作環(huán)境:-10~50 ℃;存放:-20~60 ℃
按照Baranowski等[5]和Vairth等[6]的理論,缺陷蘋果的熱物性和完好果不同,在外加激勵源作用下,其表面的溫度將呈現(xiàn)不均勻分布(見圖3),則導(dǎo)溫系數(shù)α為:
(1)
式中:
ρ——密度,kg/m3;
κ——熱傳導(dǎo)率,W/(m·℃);
Cp——熱比熱容,J/(kg·K)。
由于導(dǎo)溫系數(shù)是衡量溫度變化能力的指標(biāo),則隨著α的增大,蘋果表面能量向內(nèi)傳遞的速度越快,而蘋果在受到劃碰傷時,劃碰傷部位因水分流失使得蘋果的密度ρ變小,熱傳導(dǎo)率κ增加,熱比熱容Cp幾乎不變,由式(1)可知,其缺陷部位的導(dǎo)溫系數(shù)比完好部分大,即劃碰傷部位的表面能量將傳遞的快,從而使得蘋果缺陷部位的溫度比完好部分低。因此,可通過紅外熱像儀記錄的數(shù)據(jù),獲取蘋果近表或內(nèi)部的信息,以達(dá)到缺陷檢測的目的。
圖像融合是將不同信號道采集的同一物體的圖像進(jìn)行預(yù)處理、特征提取及信息融合,從而獲得包含更多特征信息的新圖像。為避免圖像融合過程中出現(xiàn)對高、低頻圖像的偏重不均,獲取更多源圖像特征信息,文中運(yùn)用不同方法對高、低頻小波系數(shù)進(jìn)行融合,以獲取更加突出的特征圖像。
圖3 蘋果的空間溫度分布Figure 3 The distribution of tmeperature field of apple
2.1.1 區(qū)域能量 在2-j的分辨率下,二維圖像f(x,y)以像素點(diǎn)(x,y)為中心的區(qū)域能量可表示為;
(2)
式中:
ε——ε=1,2,3,分別表示圖像的水平、垂直、對角3個方向;
w(m,n)——小波系數(shù)的濾波窗口。
(3)
2.2.1 區(qū)域強(qiáng)度 二維圖像f(x,y)對比度的強(qiáng)弱和其小波系數(shù)的大小息息相關(guān),且小波系數(shù)的絕對值愈大,其對應(yīng)圖像的對比度越明顯,則圖像融合中獲得源圖像的高頻信息越突出。設(shè)二維圖像f(x,y),以像素點(diǎn)(x,y)為中心的區(qū)域強(qiáng)度可表示為:
(4)
式中:
(5)
(6)
式中:
T——權(quán)值選擇閾值,取值一般為(0.5,1.0);
通過二維圖像A、B的相似度選擇閾值,取T=0.75。
選擇合適的高頻小波系數(shù)的權(quán)值,進(jìn)而對二維圖像A、B進(jìn)行圖像融合,即
(7)
通過對2幅二維圖像A、B進(jìn)行高、低頻小波系數(shù)加權(quán)融合,可獲得新的高、低頻小波系數(shù),并采用新的小波系數(shù)進(jìn)行逆變換,從而獲得新的融合圖像。
可見光圖像采集選用Sony DSC-W530型可見光相機(jī),該相機(jī)可4倍變焦,焦距可調(diào)范圍26~105 mm,成像有效像素數(shù)為1 410萬,圖像存儲類型為SD/SDHC/SDXC卡。由于采用的紅外熱像儀和可見光相機(jī)攝像參數(shù)不同,不能直接對拍攝的紅外和可見光圖像進(jìn)行相關(guān)運(yùn)算,因此,需對拍攝的可見光圖像和基準(zhǔn)紅外圖像在Matlab平臺進(jìn)行數(shù)據(jù)轉(zhuǎn)換,以便實(shí)現(xiàn)紅外和可見光圖像的直接融合。
蘋果常見劃碰傷缺陷以及果梗/花萼的可見光和紅外圖像的融合見圖4。由圖4可知:
(1) 融合圖像不僅可消除可見光圖像表面色彩對劃碰傷蘋果檢測的影響,還保留了紅外圖像中的蘋果缺陷特征,因此,圖像融合對蘋果劃、碰傷缺陷的識別能力較強(qiáng)。
(2) 紅外成像蘋果缺陷檢測方法對蘋果的果梗/花萼的誤判率較高,不利于蘋果的在線檢測和分級。而通過紅外和可見光融合的蘋果圖像,其果梗/花萼區(qū)域和缺陷明顯不同,因此,誤判率較低。
(3) 基于紅外和可見光融合的圖像在果梗/花萼識別上,誤判率遠(yuǎn)低于可見光圖像,且直觀性比紅外圖像強(qiáng),因此,在蘋果果梗/花萼識別時,圖像融合的方法不僅能節(jié)約勞動力、提高工作效率,更能滿足蘋果實(shí)時在線檢測、分級和自動化加工的需要。
(4) 經(jīng)過紅外和可見光融合的蘋果圖像,在蘋果表面、次表面的特征檢測上具有很好的效果,且融合圖像的色彩分布也符合人們視覺的感受。
基于紅外和可見光融合的蘋果圖像比原紅外圖像包含了更多的蘋果缺陷信息,且能消除可見光圖像表面色彩對劃、碰傷蘋果檢測的影響,為衡量圖像中平均信息的大小,可采用“信息熵E(Entropy)”作為評價指標(biāo),信息熵E越大,其包含的圖像平均信息量就愈大。
圖像中各像素的灰度值可認(rèn)為是獨(dú)立的,若灰度值為i的像素與總像素之比為pi,則可用數(shù)組p={p0,p1,……,pi,……,pL-1}(L為總灰度級)表示圖像的灰度分布,圖像信息熵E為:
(8)
圖4 蘋果圖像的融合結(jié)果Figure 4 The fusion results of the apple images
由式(8)分別計算圖4中可見光、紅外及融合蘋果圖像的信息熵E,其結(jié)果見表2。
表2 蘋果圖像的信息熵Table 2 Information entropy of apple images
由于信息熵表述的是圖像中的灰度級數(shù)量,而非灰度值大小,若圖像中灰度級具有相同概率,則當(dāng)L=256時,其最大信息熵為8,由表2可知:
(1) 紅外圖像具有的信息熵較少,則蘋果表面含有的信息量較小。
(2) 可見光圖像具有的信息熵較大,但因表面色彩過多,其信息熵亦遠(yuǎn)小于8。
(3) 融合圖像的信息熵在紅外和可見光圖像之間,即融合的蘋果圖像不僅能避免可見光檢測中的色彩干擾,又含有比紅外圖像更多的特征信息。
選用100個蘋果,含劃碰傷果、果梗/花萼特征果及完好果各25個,根據(jù)上述紅外熱成像和基于可見光和紅外的高、低頻小波系數(shù)圖像融合的蘋果缺陷檢測方法,對劃碰傷果、果梗/花萼特征果及完好果進(jìn)行檢測,以判斷蘋果果實(shí)是否完好,檢測結(jié)果見表3、4。
由表3、4可知:
(1) 在劃碰傷果方面,基于紅外熱圖像的蘋果缺陷檢測具有較高準(zhǔn)確率,碰傷損傷果識別率為92%,劃傷損傷果識別率可達(dá)96%。然而,由于果梗/花萼的顏色不同于完好果,
表3 基于紅外熱成像的缺陷檢測結(jié)果Table 3 The defect detection results based on infrared thermography
表4 基于融合圖像的缺陷檢測結(jié)果Table 4 The defect detection results based on fusion image
灰度圖呈現(xiàn)缺陷特征,因此,對于果梗/花萼特征果和完好果識別率較差,分別為64%和84%。
(2) 在劃碰傷果方面,基于圖像融合的蘋果缺陷檢測準(zhǔn)確率和紅外熱成像缺陷檢測方法近似,識別率都可達(dá)92%。然而,由于融合中兼具了可見光和紅外圖像的優(yōu)點(diǎn),使蘋果圖像的特征更加突出,因此,對果梗/花萼特征果和完好果的檢測識別率可達(dá)100%。
(3) 基于紅外圖像和基于圖像融合2種檢測方法的缺陷平均識別率分別為84%和96%,見圖5。
圖5 2種方法下蘋果缺陷檢測準(zhǔn)確率對比圖Figure 5 The accuracy rate comparison of apple defect detection under two methods
針對常用蘋果缺陷檢測方法存在的識別率不高的缺點(diǎn),提出了基于圖像融合的蘋果缺陷檢測算法,該算法利用可見光和紅外圖像的高、低頻小波系數(shù)采用不同的融合方法,并通過信息熵的評價,更加直觀有效地獲得了蘋果表面、次表面的特征圖像。試驗(yàn)發(fā)現(xiàn),該圖像融合方法比傳統(tǒng)缺陷檢測算法的效果更好,能夠滿足果實(shí)的實(shí)時在線檢測要求。然而,由于紅外和可見光相機(jī)的參數(shù)配置差異,使得獲得的紅外和可見光圖像不能直接進(jìn)行融合,因此,今后可對圖像采集工具進(jìn)行參數(shù)匹配,以便獲得可以直接融合的圖像,進(jìn)而提高融合效果。