張 森 鄭洲洲

（青島科技大學(xué)機(jī)電工程學(xué)院 青島 266061）

1 引言

皮革是人們生活中許多日常用品的必需材料，其質(zhì)量的好壞決定了日常生活用品的使用壽命，因此皮革質(zhì)量檢測成為了皮革生產(chǎn)過程中極為重要的一步。現(xiàn)階段很多皮革廠仍使用人工檢測的方法來檢測皮革缺陷，人工檢測存在主觀性強(qiáng)、效率低、誤檢漏檢率高，且人工費(fèi)用的支付增加了皮革廠的生產(chǎn)成本，不利于皮革的批量生產(chǎn)，嚴(yán)重阻礙了皮革行業(yè)的發(fā)展。因此改進(jìn)檢測技術(shù)，提高檢測效率成為了皮革行業(yè)亟需解決的難題。

近年來，相關(guān)學(xué)者結(jié)合機(jī)器視覺提出很多檢測方法，應(yīng)用于皮革缺陷檢測領(lǐng)域。丁彩紅等提出將神經(jīng)網(wǎng)絡(luò)與顯著性檢測相結(jié)合的方法用于檢測皮革［1］。該算法相比簡單神經(jīng)網(wǎng)絡(luò)檢測的準(zhǔn)確度得到了提升，且縮短了處理時(shí)間，但使用神經(jīng)網(wǎng)絡(luò)檢測需要大量樣本訓(xùn)練網(wǎng)絡(luò)，效率低，樣本需求量大。于彩香等提出采用一種基于灰度—游程累加模型的皮革檢測算法，通過計(jì)算每個(gè)像素的灰度—游程累加值，從而確定前景與背景的分割閾值［2］。該算法需要計(jì)算每個(gè)像素的灰度—游程累加值計(jì)算量大，且對(duì)紋理復(fù)雜的皮革分割效果差。朱凌云等提出基于視覺顯著模型的皮革瑕疵檢測方法，通過提取皮革圖像的顏色和亮度特征生成顯著圖，最后利用區(qū)域生長方法對(duì)瑕疵區(qū)域進(jìn)行分割，以實(shí)現(xiàn)瑕疵的準(zhǔn)確定位［3］。該算法對(duì)均勻變化的圖像檢測效果好，當(dāng)圖像復(fù)雜事分割效果差。Malathy Jawahar 等提出使用小波分解將圖像分解為高頻和低頻，再采用小波統(tǒng)計(jì)特征，最后通過小波共生矩陣提取特征識(shí)別缺陷，并使用支持向量機(jī)（SVM）算法對(duì)缺陷進(jìn)行分類［4］。該算法可以自動(dòng)識(shí)別缺陷，但當(dāng)缺陷與背景對(duì)比度較小時(shí)，小波分解難以將缺陷從背景中分離出來。D.Du-Ming Tsai 等提出一種將紋理圖像與特定的Gabor 濾波器進(jìn)行卷積輸出能量響應(yīng)的方法，通過選擇Gabor 濾波器的最佳參數(shù)，使均勻紋理處的能量為零并缺陷處產(chǎn)生很大的能量值，以此來區(qū)分均勻區(qū)域和缺陷區(qū)域［5］。該算法對(duì)紋理簡單的皮革檢測效果好，當(dāng)存在復(fù)雜紋理時(shí)，無缺陷區(qū)域與缺陷區(qū)域難以準(zhǔn)確區(qū)分。上述算法在指定的條件下檢測效果好，當(dāng)皮革顏色、紋理等特征以及檢測環(huán)境發(fā)生改變時(shí)檢測效果差，且上述算法都是用于檢測皮革單面的缺陷，當(dāng)皮革雙面同時(shí)存在缺陷或存在未穿透孔洞等內(nèi)部缺陷時(shí)無法實(shí)現(xiàn)一次性輸出檢測結(jié)果。

紅外熱成像檢測作為無損檢測技術(shù)之一，憑借適用范圍廣、響應(yīng)迅速、安全、高效等優(yōu)勢在疾病診斷、建筑質(zhì)量檢測、新型材料缺陷檢測、夜間監(jiān)視等許多領(lǐng)域［6～9］得到廣泛應(yīng)用，且檢測效果較好。

圖像融合作為信息融合的分支，是當(dāng)前信息融合的熱點(diǎn)。通過采用融合算法將在不同傳感器采集到的圖像進(jìn)行融合，得到包含多源圖像突出信息的融合圖像，更有利于圖像信息的分析和處理。圖像融合技術(shù)通過將多源圖像信息相融合，使得圖像信息更加豐富、準(zhǔn)確因此被應(yīng)用于各行各業(yè)［10～13］。相關(guān)學(xué)者采用圖像融合技術(shù)將多源遙感圖像進(jìn)行融合，提高了識(shí)別目標(biāo)的能力。醫(yī)者通過將MRI圖像和CT 圖像融合，使醫(yī)生診斷和治療疾病的能力得到了提升。

基于上述分析，本文提出一種將圖像融合和紅外熱成像技術(shù)相結(jié)合的皮革缺陷檢測方法。通過采用PCA圖像融合算法，在融合之前對(duì)圖像進(jìn)行分塊處理，將圖像分為四塊，再將皮革熱成像圖和自然光圖像進(jìn)行對(duì)應(yīng)融合，得到包含多重細(xì)節(jié)信息的融合圖像，然后采用邊緣檢測算法識(shí)別皮革缺陷。

2 實(shí)驗(yàn)設(shè)置

2.1 實(shí)驗(yàn)設(shè)備

本文實(shí)驗(yàn)設(shè)備由鹵素?zé)簟⒓t外熱成像儀、電腦實(shí)驗(yàn)臺(tái)等組成，其中，鹵素?zé)艄β蕿?0kW，紅外熱成像儀為FLIR 公司的FLIR A320，并采用軟件Therma CAM Reseracher Pro 2.9 記錄和處理熱成像圖，電腦采用與軟件Therma CAM Reseracher Pro 2.9適配的XP系統(tǒng)，表1為熱成像儀的相關(guān)參數(shù)。

表1 熱成像儀相關(guān)參數(shù)

2.2 實(shí)驗(yàn)樣本

實(shí)驗(yàn)樣本為某皮革廠提供的牛皮革，尺寸為180mm×150mm，厚度為5mm。皮革缺陷類型如圖1 所示，包含：穿透孔洞缺陷、未穿透孔洞缺陷、劃痕缺陷。實(shí)驗(yàn)室數(shù)據(jù)集共有200張：無缺陷樣本50張、穿透孔洞缺陷50 張、未穿透孔洞缺陷50 張、劃痕缺陷50張。

圖1 缺陷類型

2.3 圖像采集

圖像采集過程如圖2 所示，使用夾具將皮革固定在實(shí)驗(yàn)臺(tái)上，同時(shí)將加熱裝置（鹵素?zé)簦┓胖迷谄じ锖竺?，通過調(diào)整角度使皮革整體可以同時(shí)受熱，然后將熱成像儀放置在皮革前側(cè)，使熱成像儀可以采集到完整的皮革信息。將鹵素?zé)艏訜釙r(shí)間設(shè)置為20s，同時(shí)使用采集幀頻為2Hz 的熱成像儀采集熱成像圖，全程共采集到40 張熱成像圖，部分熱成像圖如圖3所示。

圖2 圖像采集過程

圖3 不同時(shí)間的熱成像圖

從熱成像圖中可以看出，在加熱開始到第5幀，缺陷（穿透孔洞）信息開始出現(xiàn)，隨著加熱時(shí)間增加，熱成像中孔洞信息越來越到，到第15 幀穿透孔洞信息全部被采集到，但未穿透孔洞缺陷信息未出現(xiàn)，到第20幀未穿透孔洞信息開始出現(xiàn)，到第25幀可以被清晰采集到，隨著加熱時(shí)長的增加，在第30 幀開始熱擴(kuò)散在皮革內(nèi)部達(dá)到均衡，使得熱量開始聚集，背景與缺陷的溫差越來越小，導(dǎo)致背景與缺陷開始無法區(qū)分，影響缺陷檢測。因此本文將加熱時(shí)間設(shè)置為13s，選取第25 幀熱成像圖作為算法輸入圖像。同時(shí)從同一位置采集自然光圖像。

3 基于主成分分析（PCA）的圖像融合方法

圖4 為本文算法的技術(shù)路線圖。首先對(duì)圖像進(jìn)行分塊處理，將圖像均勻分為4 塊，然后采用PCA融合算法對(duì)分塊圖像分別進(jìn)行融合，得到分塊融合圖像，再對(duì)圖像進(jìn)行圖像恢復(fù)操作得到同時(shí)包含熱成像圖和自然光圖像信息的融合圖像。然后對(duì)其進(jìn)行缺陷檢測得到最終檢測結(jié)果。

圖4 技術(shù)路線圖

通過實(shí)驗(yàn)采集到的圖像，尤其是自然光圖像包含缺陷信息，但同時(shí)由于獲取圖像時(shí)的光照等問題以及皮革本身存在色差使得獲取到的圖像存在噪聲，使得缺陷的細(xì)節(jié)信息不清晰，干擾缺陷的識(shí)別，嚴(yán)重影響檢測結(jié)果，因此需要對(duì)原圖像進(jìn)行處理使得缺陷細(xì)節(jié)信息更加突出，更有利于檢測。

主成分分析（PCA）是一種基于信息量的正交變換，該變換主要是采用線性投影的方法將數(shù)據(jù)投影到新的坐標(biāo)空間中，從而使得新的成分按信息量分布，第一主成分包含的信息量最大，變換后各主成分分量彼此不相關(guān)，且隨著主成分編號(hào)的增加該分量包含的信息量減小。PCA 變換后圖像的信息主要集中在前幾個(gè)主成分分量中，在變換域中丟棄信息量小的主成分分量，將原始的海量高光譜數(shù)據(jù)變換為少量的幾個(gè)成分，在降低數(shù)據(jù)維數(shù)的同時(shí)，最大限度地保持了原始數(shù)據(jù)的信息。

主成分分析就是將p個(gè)觀測變量綜合成p個(gè)新的變量，即

簡寫為

上式滿足：

1）Fi，F(xiàn)j互不相關(guān)（i≠j，i，…，p）。

2）F1的方差大于F2的方差，F(xiàn)2的方差大于F3的方差，以此類推，滿足：

于是，稱F1為第一主成分，F(xiàn)2為第二主成分，以此類推，有p 個(gè)主成分。主成分又稱主分量。這里aij稱為主成分系數(shù)。上述可表示為

其中，X為待變換圖像的數(shù)據(jù)矩陣，F(xiàn)為變換后圖像的數(shù)據(jù)矩陣，A為主成分系數(shù)矩陣。

對(duì)自然光圖像與熱成像圖像融合時(shí)，具體過程如下。首先，計(jì)算自然光圖像主成分變換矩陣的特征值與對(duì)應(yīng)的特征向量；將特征值按從大到小的順序排序，相應(yīng)的特征向量也要跟著變動(dòng)，將最終的結(jié)果記為λ1,λ2,…,λn,φ1,φ2,…,φn；各主分量按如下方式計(jì)算：

將熱成像圖像與第一主分量圖像進(jìn)行直方圖匹配，然后將第一主分量用熱成像圖像替換；對(duì)其進(jìn)行PCA逆變換，得到融合圖像。經(jīng)過替換法得到融合圖像，其前幾個(gè)主分量中包含了自然光圖像和熱成像圖的主要缺陷信息，噪聲相對(duì)較小。

在實(shí)際過程中經(jīng)過融合后的圖像雖然達(dá)到了去噪的效果，但仍然難以準(zhǔn)確識(shí)別缺陷的細(xì)節(jié)信息。這主要是因?yàn)樵谔崛≈鞒煞謺r(shí)是從整幅圖像中提取，計(jì)算出的主成分包含了缺陷信息的同時(shí)也包含了大量的背景信息，因此影響了缺陷識(shí)別的準(zhǔn)確度和精準(zhǔn)度。為改善融合效果，提高缺陷顯著度，在融合前嘗試對(duì)圖像進(jìn)行分塊，將自然光圖像和熱成像圖像均勻地分為四張圖像塊，然后分別對(duì)其采用PCA融合算法進(jìn)行融合，然后對(duì)融合后的圖像塊進(jìn)行分塊恢復(fù)得到整張融合。經(jīng)過分塊提取到的主成分突出了主要信息，使缺陷細(xì)節(jié)信息更加顯著，達(dá)到了圖像增強(qiáng)的目的。

圖5 融合結(jié)果對(duì)比

為客觀描述圖像融合差異，引入相關(guān)熵MI、標(biāo)準(zhǔn)差SD、客觀圖像融合性能指標(biāo)QAB/F和基于視覺保真度圖像融合指標(biāo)VIF 來評(píng)估不同融合方法所對(duì)應(yīng)融合圖像的指標(biāo)。

從表2 可以看出，采用分塊PCA 融合方法得到的融合圖像在上述評(píng)價(jià)指標(biāo)中綜合水平最高，融合性能達(dá)到最佳。

表2 圖像融合效果評(píng)估

4 缺陷檢測

在經(jīng)過分塊PCA 圖像融合后得到了同時(shí)包含自然光圖像和熱成像圖中缺陷信息的融合圖像，為提高缺陷識(shí)別的精度，確保獲取缺陷最佳分割閾值，使檢測效果達(dá)到最佳，本文采用迭代閾值分割算法分割皮革中的缺陷。

根據(jù)圖像的灰度特性將圖像分為背景和缺陷兩部分，通過閾值將缺陷從背景中分割出來，且隨著迭代的不斷進(jìn)行閾值逐漸達(dá)到最佳分割值，使缺陷和背景的差別越來越大。因此使用迭代閾值分割的方法可以使分割效果達(dá)到最佳。

算法步驟：

1）計(jì)算圖像的平均灰度，將其作為初始閾值T0；

2）用T0 將圖像分割為A、B 兩部分，A 中所有像素點(diǎn)的灰度值均大于T0，B中所有像素點(diǎn)的灰度值均小于T0。

3）分別計(jì)算A和B的平均灰度值mA，mB。

計(jì)算出新的閾值：T1=（mA+mB）/2；

4）重復(fù)步驟2）到步驟4），直到閾值不再變化，迭代停止。

用最終迭代結(jié)束時(shí)獲取的閾值分割圖像，得到最終檢測結(jié)果圖。

5 實(shí)驗(yàn)結(jié)果和分析

為驗(yàn)證算法的有效性，本文使用同一數(shù)據(jù)集進(jìn)行多次實(shí)驗(yàn)，部分實(shí)驗(yàn)結(jié)果如圖6 所示。圖6（a）中無缺陷，圖6（b）和圖6（c）中包含孔洞（穿透和未穿透）缺陷和表面劃痕缺陷，圖6（d）中包含未穿透孔洞缺陷和表面劃痕缺陷。從圖中可以看出，邊緣檢測算法（Canny［14］、Prewitt［15］）可以有效地檢測穿透孔洞缺陷，但對(duì)未穿透孔洞缺陷和劃痕缺陷檢測的精確度比較低，且存在誤檢，而本文提出的算法可以有效地檢測皮革中的孔洞缺陷和表面劃痕缺陷，且分割效果較好。

圖6 實(shí)驗(yàn)結(jié)果

為客觀描述檢測效果，本文引入準(zhǔn)確率（Accuracy）對(duì)上述實(shí)驗(yàn)進(jìn)行評(píng)估：

其中NTP表示正類樣本被正確分類的數(shù)目，NTN表示負(fù)類樣本被正確分類的數(shù)目，NFP表示負(fù)類樣本被分為正類的數(shù)目，NFN表示正類樣本被分為負(fù)類的數(shù)目。

本文使用180張圖像進(jìn)行實(shí)驗(yàn)，其中30張無缺陷圖像，30 張穿透孔洞缺陷圖像，30 張未穿透孔洞缺陷圖像，30 張表面劃痕缺陷圖像，30 張同時(shí)包含表面劃痕和未穿透孔洞缺陷圖像，30 張同時(shí)包含表面劃痕和穿透缺陷圖像，檢測準(zhǔn)確率如表3 所示，從表中可以看出本文算法檢測效果較好，準(zhǔn)確率更高。

表3 檢測準(zhǔn)確率

6 結(jié)語

本文提出一種將基于分塊的PCA 圖像融合算法法和迭代閾值分割算法相融合的皮革缺陷檢測方法。經(jīng)過實(shí)驗(yàn)確定第25 幀熱成像作為檢測圖像，同時(shí)經(jīng)過指標(biāo)評(píng)估確定分塊PCA融合算法相比直接使用PCA 算法可以獲取到更多的細(xì)節(jié)信息。最后，設(shè)置了對(duì)比實(shí)驗(yàn)，通過與Canny算法［14］和Prewitt算法［15］對(duì)比，本文算法檢測效果更好，尤其是對(duì)未穿透孔洞缺陷和表面劃痕缺陷的分割效果更好，檢測準(zhǔn)確率達(dá)到83.9%。