陸俊羽, 郭康樂, 嚴(yán) 飛, 馬驍昱, 程玉柱
(南京林業(yè)大學(xué)機械電子工程學(xué)院,江蘇 南京 210037)
室內(nèi)家庭裝修中,地板是重要的主材之一。地板表面質(zhì)量的好壞直接影響家裝的質(zhì)量和美觀。地板主要分為實木地板和復(fù)合地板,而實木地板中節(jié)子是存在的重要缺陷之一。提高實木地板檢測效率可通過對實木地板中死節(jié)缺陷的大小及位置自動檢測來實現(xiàn),而且有助于降低人工勞動強度。采用機器視覺和圖像處理的算法實現(xiàn)實木地板缺陷檢測是目前的簡易手段之一。實木表面缺陷圖像分割是該技術(shù)中的難點,實木地板表面的花紋會使圖像的分割質(zhì)量下降[1-4]。目前,在實木地板上主要利用圖像灰度化、二值化等[5-6]對表面缺陷圖像進(jìn)行分割。主動輪廓圖像分割算法之一的CV模型[7],已在農(nóng)林圖像等圖像分割中被廣泛應(yīng)用,而且此算法還在不斷完善中[8]。Otsu是一種閾值算法,根據(jù)類間方差最大化準(zhǔn)則,尋找圖像最優(yōu)閾值,實現(xiàn)圖像分割。本文針對實木地板表面中有復(fù)雜花紋情況提出一種基于Otsu與加權(quán)CV模型的檢測算法進(jìn)行木材死節(jié)缺陷圖像分割,完成實木地板缺陷提取。
本文將大津法(Otsu)與加權(quán)無邊區(qū)域主動輪廓模型(ACM)相結(jié)合,提出一種Otsu初次分割與加權(quán)ACM最終分割的組合檢測方法,能解決家庭裝飾物中木質(zhì)地板表面的節(jié)子缺陷自動檢測問題,提高了檢測效率,算法流程圖如圖1所示。首先,在室內(nèi)木地板表面上采集節(jié)子缺陷RGB彩色圖像,然后進(jìn)行灰度圖提取RGB彩圖,對三通道灰度圖分別進(jìn)行Otsu分割,得到加權(quán)分割結(jié)果,并確定水平集同時獲得初始分割,然后通過加權(quán)的ACV模型進(jìn)行演化并最終確定木地板死節(jié)缺陷。
圖1 算法流程圖
最大類間方差法為著名的Otsu算法,其是由日本學(xué)者大津(Nobuyuki)于1979年提出的,是一種自動化的閾值確定方法。這個算法通過設(shè)定閾值與圖像像素點進(jìn)行比較從而將圖像分成前景和背景多個區(qū)域,然后通過定義這多個區(qū)域區(qū)分度最大的閾值即為所求的最佳閾值。定義組內(nèi)方差,使得組內(nèi)方差最大:
uc2(t)=E0(t)(α0-αt)2
+E1(t)(α1-αt)2
(1)
取輸出值β=1/uc2(t),通過選擇輸出值β最小化的閾值t即為優(yōu)化解,其中:
E0(t)=i=0t-1δ(i),E1(t)=i=tL-1δ(i)
(2)
其中E0(t)為分類后像素值小于等于t的所有像素點數(shù)占圖像的百分比,E1(t)為像素值大于t的所有像素點數(shù)占圖像的百分比,用δi來表示直方圖的各個分量。圖像中所有像素平均值αt=i=1 256iδi,α0為分開后圖像中像素值小于等于t的所有像素點的平均灰度,α1為分開后圖像中像素值大于t的所有像素平均灰度。
主動輪廓模型(ACM)已經(jīng)用于圖像和視頻的分割和檢測中,主要分為邊緣型和區(qū)域型兩大類。邊緣型側(cè)重為灰度邊緣檢測,檢測像素值的跳變。區(qū)域型側(cè)重于區(qū)域的均值和方差參數(shù)的計算。因此,兩種類型都有自己的優(yōu)缺點,邊緣型敏感于噪聲,區(qū)域型弱于非均勻性分割。有很多改進(jìn)將邊緣和區(qū)域相結(jié)合使用,將全局和局域進(jìn)行組合,提高算法性能。CV模型是無輪廓區(qū)域的模型,定義曲線運動能量:
ECV(C,c1,c2)=α·length(C)+β·area(inside(C))
(3)
最小化能量泛函:
?φ?t=δ(φ)αdiv(▽φ▽φ)-β-γ1(u-c1)2+γ2(u-c2)2c1(φ)
=ΩuH(φ)dΩΩH(φ)dΩc2(φ)=Ωu(1-H(φ))dΩΩ(1-H(φ))dΩ
(4)
通常α≥0,β≥0,γ1=1,γ2=1,可人工預(yù)先設(shè)定,也可以最優(yōu)化求解得到,c1與c2為目標(biāo)和背景的均值,u為灰度圖像,φ為水平集。CV模型與Otsu是不同的算法,有各自的特點,Otsu是求不同類的組內(nèi)均值與總均值的方差之和最大所對應(yīng)的閾值;CV模型是構(gòu)建方差泛函,使得泛函最小時,求解對應(yīng)最大方差的隱含分割閾值。假定目標(biāo)水平集為正值,背景水平集值為負(fù),當(dāng)像素值接近目標(biāo)均值時,水平集演化是朝著正值移動,當(dāng)像數(shù)值屬于背景值時,演化朝著負(fù)值移動。曲線演化主要由數(shù)據(jù)項控制,正則化保持曲面局部光滑,提高演化精度。兩種方法有相似之處,手段不同,本質(zhì)等價。
CV模型通常是對灰度圖進(jìn)行處理,將RGB三通道的數(shù)據(jù)項進(jìn)行加權(quán),再與正則化項求和,得到總的能量值。首先令α=1,β=0,γ1=1,γ2=1,簡化式(4)得到:
?φ?t=δ(φ)div(▽φ▽φ)-(u-c1)2
+(u-c2)2
(5)
進(jìn)一步拓展至三通道,得到水平集進(jìn)化:
?φ?t=δ(φ)div(▽φ▽φ)-λR(k*u-c1R)2+λR(k*u-c2R)2
-λG(k*u-c1G)2+λG(k*u-c2G)2-λB(k*u-c1B)2+λB(k*u-c2B)2c1I(φ)
=ΩIH(φ)dΩΩH(φ)dΩc2I(φ)=ΩI(1-H(φ))dΩΩ(1-H(φ))dΩ
(6)
式中:λR、λG、λB為三通道數(shù)據(jù)項的權(quán)重值;c1I為各通道目標(biāo)均值;c1R、c1G、c1B,c1I為各通道背景均值;c2R、c2G、c2B,k為卷積核。其中,如何選擇最優(yōu)的權(quán)重值是算法的關(guān)鍵。
地板是室內(nèi)裝修時需要選用的主材之一,通常有實木地板和復(fù)合地板,其中實木地板利用實木加工而成,價格貴且板材本身就存在一定的缺陷,最常見的節(jié)子缺陷包括活節(jié)、死節(jié)等。針對室內(nèi)木地板死節(jié)缺陷,選取兩張死節(jié)缺陷圖像進(jìn)行檢測。Otsu初始分割、RGB彩圖經(jīng)三通道分解、加權(quán)CV圖像分割等取得缺陷最終檢測結(jié)果。圖2是木地板死節(jié)缺陷的彩圖,可以看出,實木地板圖片中死節(jié)目標(biāo)非常明顯,圖2(a)有一個大的死節(jié)目標(biāo),但目標(biāo)和背景差異不大,且節(jié)子周圍和背景地板存在過渡帶;圖2(b)有1個死節(jié)目標(biāo),目標(biāo)和背景差異明顯,但是地板具有一些花紋,使得對圖像分割的難度加大,闕值法不能一次性完成對權(quán)限目標(biāo)的提取。
圖2 木地板死節(jié)缺陷
將彩圖2進(jìn)行三通道分解,分別得到R通道、G通道、B通道,然后對三通道進(jìn)行Otsu分割,用函數(shù)graythresh實現(xiàn)分割閾值,用imbinarize函數(shù)獲取二值圖。圖3為圖像Otsu三通道分割圖,第一列為R通道分割圖,第二列為G通道分割圖,第三列為B通道分割圖。第一行為圖2中第一幅圖對應(yīng)的三通道分割圖,第二行為圖2中第二幅圖對應(yīng)的三通道分割圖。從圖中可以看出,地板的深色花紋與節(jié)子的像素值接近時會產(chǎn)生誤分割。
圖3 Otsu初始分割圖
為了與CV模型進(jìn)行比較,將彩圖2進(jìn)行三通道分解,分別得到R通道、G通道、B通道,然后對三通道進(jìn)行CV模型分割,用函數(shù)activecontour實現(xiàn)分割,獲取二值圖。圖4為圖像三通道CV模型分割圖,第一列為R通道分割圖,第二列為G通道分割圖,第三列為B通道分割圖。第一行為圖2中第一幅圖對應(yīng)的三通道分割圖,第二行為圖2中第二幅圖對應(yīng)的三通道分割圖。從圖中可以看出,地板的深色花紋與節(jié)子的像素值接近時會產(chǎn)生誤分割,但CV模型的分割效果優(yōu)于Otsu。
圖4 分割結(jié)果
式(1)和式(2)處理結(jié)果如圖3所示,將RGB三通道的二值圖求或,得到初始水平集,作為Mask,利用代入到式(8)進(jìn)行計算,最終得到測試結(jié)果,如圖5所示。左上圖為對應(yīng)圖2第一幅圖分割圖,左下圖對應(yīng)圖2第一幅圖分割圖,右上圖和右下圖分別為兩幅圖的參考標(biāo)準(zhǔn)圖,由人工分割。
圖5 分割結(jié)果及人工參考標(biāo)準(zhǔn)
為了對圖像分割質(zhì)量進(jìn)行精確評估,已有監(jiān)督客觀評價方法,對理想目標(biāo)施行人工分割[9-11],以人工為對照組,如圖5(b)。利用Matlab2019軟件的三個評價函數(shù)來實現(xiàn)計算,三函數(shù)為Jaccard、Dice、Bfscore,定義為:
JAC相似度定義為:
JAC=TPTP+FP+FN×100%
(7)
Dice定義為:
Dice=2×TP2*TP+FP+FN×100%
(8)
BFScore定義為:
BFScore=2*precision*recallrecall
+precision×100%
(9)
式中:TP為判斷正確的正像素,TN為判斷正確的負(fù)像素,F(xiàn)P為判斷錯誤的負(fù)像素,F(xiàn)N判斷錯誤的正像素,precision為精確率,recall為召回率。
利用式(7)~式(9)對圖3~5進(jìn)行計算,分別得到Otsu方法、CV方法、加權(quán)CV方法的性能指標(biāo)值,見表1、表2和表3。
表1 Otsu分割
表2 CV分割
表3 加權(quán)CV分割
Otsu的平均值JAC為93.535%、Dice為96.645%、BFScore為94.045%;CV的平均值JAC為94.47%、Dice為97.145%、BFScore為96.14%;加權(quán)CV的平均值JAC為95.36%、Dice為97.27%、BFScore為98.47%。CV方法優(yōu)于Otsu方法,更能檢測出地板死節(jié),利用加權(quán)的思想,可以進(jìn)一步改進(jìn)CV模型[12-14],加權(quán)CV方法優(yōu)于Otsu和CV方法[15-17]。如何選取最優(yōu)權(quán)重λR、λG、λB是加權(quán)算法的關(guān)鍵,當(dāng)λR=1、λG=0、λB=0,模型退化為R通道CV分割;當(dāng)λR=0、λG=1、λB=0,模型退化為G通道CV分割;當(dāng)λR=0、λG=0、λB=1,模型退化為B通道CV分割。試驗表明R通道的分割性能優(yōu)于G通道和B通道,因此如何確定最優(yōu)的比重是此研究的難點和重點。
(1)多通道分解與Otsu能有效地粗定位待分割的室內(nèi)裝修中木地板節(jié)子,為家裝木地板缺陷圖像檢測提供一個有效的預(yù)定位方法。
(2)將加權(quán)的思想用于RGB彩色圖像三通道是可行的,能進(jìn)一步提升CV模型的分割能力,通過選擇不同的權(quán)重實現(xiàn)木地板的死節(jié)圖像分割功能。
(3)提出的算法檢測功能性強,可達(dá)成自動化分割,圖像分割性能較高。利用自然啟發(fā)優(yōu)化算法全自動確定權(quán)重是今后的研究方向。