嚴 飛， 章繼鴻， 姚宇晨， 劉 軍

(南京林業(yè)大學機械電子工程學院，江蘇 南京 210037)

木材缺陷包括表面缺陷和內部缺陷，兩種缺陷對木材質量有不同的影響其檢測方法也不相同。表面缺陷影響木材的美觀及硬度，需要對表面缺陷進行檢測與處理[1-3]。要實現(xiàn)智能化木材缺陷檢測，圖像分割是前提步驟。分割主要有傳統(tǒng)分割、深度學習分割等。傳統(tǒng)分割包括邊緣型、區(qū)域型分割等[4-6]，無統(tǒng)一標準且效果不穩(wěn)定，是圖像分割的研究傳統(tǒng)難點之一。深度學習分割是最新的研究熱點，包括語義分割、實例分割、全景分割等，最終實現(xiàn)不同類別不同個體的屬性識別、定位、輪廓確定[7-9]。分割實質上包含了目標檢測、圖像分類、邊緣定位等多方面技術融合，更深刻的實現(xiàn)了圖像理解[10-12]。

深度學習是機器學習的一種，具有多層網絡結構，讓機器具有人類的識別和自學習能力，是當前人工智能研究的熱點之一，主要有：卷積神經網絡(Convolutional Neural Network，CNN)、深度置信網絡、堆棧自編碼網絡等[13-17]。CNN本質上是一個多層感知機，其成功的原因關鍵在于它所采用的局部連接和共享權值的方式，一方面減少了的權值的數(shù)量使得網絡易于優(yōu)化，另一方面降低了過擬合的風險。一般的CNN結構適用于圖像級別的分類和回歸任務，因為它們最后都期望得到輸入圖像的分類的概率。FCN(Fully Convolutional Networks)可以接受任意尺寸的輸入圖像，采用反卷積層對最后一個卷基層的特征圖(feature map)進行上采樣，使它恢復到輸入圖像相同的尺寸。Unet在FCN的基礎上，實現(xiàn)高層與底層的高低分辨率信息的融合，實現(xiàn)下采樣和上采樣信息拼接，用于圖像分割。

針對圖像分割問題，利用改進的Unet網絡結構，對網絡進行訓練和測試，獲取最佳的網絡性能，實現(xiàn)木材缺陷圖像分割。

1 圖像分割

1.1Unet

圖像分割就是分出一個物體的準確輪廓。一張圖像I，這個問題就是求一個函數(shù)，從I映射到Mask。

全卷積網絡(FCN)，利用深度學習求此函數(shù)。CNN最后提取的特征的尺度是變小的。為了讓CNN提取出來的尺度能到原圖大小，F(xiàn)CN網絡利用上采樣和反卷積到原圖像大小，后做像素級的分類，將分割問題變成分類問題。Unet包括兩部分，特征提取、上采樣部分。由于網絡結構像U型，所以叫Unet網絡。特征提取部分，每經過一個池化層就一個尺度，包括原圖尺度一共有5個尺度，Unet結構圖如圖1所示。上采樣部分，每上采樣一次，就和特征提取部分對應的通道數(shù)相同尺度融合，但是融合之前要將其crop。Unet具有多尺度、超大圖像分割的優(yōu)點。反卷積就是轉置卷積，也是一種卷積，由小尺寸到大尺寸的過程。反卷積也可以表示為兩個矩陣乘積，轉置卷積的反向傳播就是也是可進行的。

圖1 Unet結構圖

1.2 Unet改進型

Unet共有5層結構，其最大的特點是融合技術，就是將特征和采樣值拼接在一起，以提高圖像像素分類精度。本質上，特征提取和上采樣都可以看成像素級的特征提取。因而，可以對Unet結構進行改進，改進方向包括：(1)層數(shù)選擇，將5層變成4層；(2)輸入圖像尺寸的改變，輸入圖像為128×128。最后，通過卷積層與激活函數(shù)，輸出灰度圖像。二值圖像是圖像像素分類的結果，也可以看成灰度圖的特殊種類。不管卷積神經網絡的結構有何不同，都是對信號進行特征提取，特征既包含特征，也包括屬性，進行多層變換和映射，轉變成便于處理的信號。改進的Unet結構圖如圖2所示。

圖2 改進的Unet結構圖

1.3 圖像分割流程

利用Unet和閾值分割結合，可以實現(xiàn)圖像分割。具體步驟如圖3所示，首先輸入彩色圖像，然后利用Unet進行訓練與測試，得到灰度圖(包括特征灰度圖和待分割灰度圖)，然后選取合適的閾值算法計算獲得最佳閾值，最后進行分割得到二值圖。對二值圖進行評價，可以調整閾值和網絡結構，使得圖像分割結果最優(yōu)。訓練過程中，采用預先設定好的分割圖，進行網絡參數(shù)確定。然后用訓練好的網絡進行測試，獲得分割二值圖，并對特征圖和灰度圖進行分割，比較最佳灰度圖的分割結果。

圖3 圖像分割流程圖

2 木材缺陷圖像分割

卷積神經網絡最大特征在于利用卷積提取特征，利用不同的網絡結構，提取不同特征，訓練就是計算卷積核參數(shù)，測試就是卷積后獲得特征。本文選擇Unet網絡結構，首先進行多層次的像素級訓練，得到每層次的參數(shù)，最后測試獲得多層次的特征，然后進行特征像素級分類。可以對網絡層數(shù)和通道數(shù)進行設定，獲得最佳的圖像分割效果。

2.1 開發(fā)環(huán)境及數(shù)據(jù)庫

試驗軟硬件開發(fā)環(huán)境為：操作系統(tǒng)，Windows 10；內存，8.00GB；CPU，Intel?CoreTMi7-7700HQ 2.8GHz；Python，3.6；TensorFlow-gpu-1.8.0；OpenCV，4.3.0.36；Torch，1.1.0；Torchvision，0.3.0。選取活節(jié)、蟲、死節(jié)為木材缺陷為研究對象，設定木材缺陷為分割目標，測試樣本示例如圖4所示，圖4(a)為活節(jié)，圖4(b)為蟲洞，圖4(c)為死節(jié)。有訓練數(shù)據(jù)集及測試數(shù)據(jù)集。訓練集有100幅彩圖及標簽圖，測試集有50張彩圖及標簽圖，尺寸大小為128×128。

圖4 測試樣本示例

2.2 圖像灰度化

將像素分成兩類：目標和背景。利用Unet卷積神經網絡對訓練集進行訓練，獲得網絡參數(shù)，訓練設置為：塊大小為1，采用Adam優(yōu)化器，測度準則采用BCEloss，在輸出和目標值之間進行計算，reduction為None如式(1)所示。

(1)

式中：N為塊大小，reduction不是None如式(2)所示。

(2)

訓練后得到網絡參數(shù)，利用這些參數(shù)進行測試，得到樣本的特征圖，即灰度圖，Unet特征灰度圖如圖5所示，圖5(a)為活節(jié)，圖5(b)為蟲洞，圖5(c)為死節(jié)。第一行為最后一卷積層64通道的的第一通道，第二行為最后一卷積層64通道的第二通道，第三行為輸出層通道，歸一化后在0～1之間，可映射到灰度空間去，得到灰度圖。

圖5 Unet特征灰度圖

2.3 閾值分割

為了評價分割質量，首先人工標注分割參考圖，參考分割圖如圖6所示，圖6(a)為活節(jié)，圖6(b)為蟲洞，圖6(c)為死節(jié)。采用JA、DI、BF指標計算圖像分割質量。閾值分割采用cv2.threshold函數(shù)實現(xiàn)，參數(shù)采用cv2.THRESH_OTSU與cv2.THRESH_BINARY實現(xiàn)OTSU閾值提取，得到二值圖，結果如圖7所示。第一行到第三行分別為圖5對應的特征灰度圖的分割圖。特征3比1～2分割飽滿，效果較好。

圖6 參考分割圖

圖7 分割圖

3 結果分析

對分割圖進行指標值計算，得到評價數(shù)值，如表1所示，有3個通道，包括：特征1、特征2、特征3。特征1與2為卷積特征層，特征3為激活函數(shù)層。死節(jié)和蟲洞的效果優(yōu)于活節(jié)；激活函數(shù)層優(yōu)于卷積特征層。

表1 JA，DI，BF評價指標值

4 小結

(1)以深度學習的語義分割為基礎，對Unet網絡進行改進，提出了一種基于改進的卷積神經網絡的木材表面缺陷圖像分割方法，實現(xiàn)活節(jié)、死結、蟲洞的分割。

(2)對Unet網絡結構層數(shù)和通道數(shù)編輯，并提取卷積特征層和激活函數(shù)層的灰度圖，利用閾值算法計算最佳閾值，實現(xiàn)灰度圖分割。構建木材表面缺陷數(shù)據(jù)庫進行訓練和測試，試驗效果有效。

(3)激活函數(shù)層的灰度圖分割效果最優(yōu)，設定神經網絡結構、通道灰度特征圖，獲得最佳的圖像實例分割質量，需改進網絡并增加訓練和測試樣本數(shù)，提高模型的穩(wěn)定性。