龔珺函，皮 瑜，陳 黎，陳義明，朱幸輝，王冬武

（1.湖南農(nóng)業(yè)大學(xué)信息與智能科學(xué)技術(shù)學(xué)院，湖南 長(zhǎng)沙 410128；2.湖南元想科技有限公司，湖南 長(zhǎng)沙 410000；3.湖南省水產(chǎn)科學(xué)研究所，湖南 長(zhǎng)沙 410153）

克氏原螯蝦，俗稱(chēng)小龍蝦，其肉質(zhì)鮮美，營(yíng)養(yǎng)豐富，是我國(guó)重要的養(yǎng)殖經(jīng)濟(jì)蝦類(lèi)[1]。克氏原螯蝦產(chǎn)業(yè)的發(fā)展對(duì)提高養(yǎng)殖戶(hù)收入、促進(jìn)養(yǎng)殖技術(shù)升級(jí)、農(nóng)民脫貧致富等均具有重要的現(xiàn)實(shí)意義。由于受養(yǎng)殖技術(shù)、養(yǎng)殖理念和養(yǎng)殖規(guī)模等因素的影響，目前克氏原螯蝦產(chǎn)業(yè)存在種質(zhì)資源混亂、種苗供應(yīng)能力不足、種苗質(zhì)量不一等問(wèn)題[2]，嚴(yán)重影響該產(chǎn)業(yè)的可持續(xù)健康發(fā)展，也不利于養(yǎng)殖戶(hù)增產(chǎn)增收。為了更好地服務(wù)克氏原螯蝦產(chǎn)業(yè)發(fā)展，學(xué)者們將圖像技術(shù)引入克氏原螯蝦的生產(chǎn)和監(jiān)測(cè)過(guò)程中。例如：Sistler 等[3]用彩色圖像處理方法通過(guò)克氏原螯蝦脫殼前顏色的變化來(lái)預(yù)測(cè)脫殼時(shí)間；Tan 等[4]遠(yuǎn)程操控水下潛水器獲取視頻序列，通過(guò)目標(biāo)檢測(cè)與跟蹤進(jìn)行水下克氏原螯蝦數(shù)量的統(tǒng)計(jì)；田燦等[5]采用地標(biāo)點(diǎn)法和傳統(tǒng)形態(tài)測(cè)量法對(duì)我國(guó)5 個(gè)不同產(chǎn)地克氏原螯蝦群體間形態(tài)特征進(jìn)行分析，結(jié)果顯示2 種方法均可將各群體進(jìn)行了有效地區(qū)分，但基于圖像識(shí)別的地標(biāo)點(diǎn)法更高效，有利于克氏原螯蝦生產(chǎn)和選育過(guò)程中群體的鑒別及外形特征的快速獲取。

隨著深度學(xué)習(xí)方法在計(jì)算機(jī)視覺(jué)領(lǐng)域的成功應(yīng)用，學(xué)者們將其優(yōu)異的性能逐步應(yīng)用到水產(chǎn)分析領(lǐng)域以實(shí)現(xiàn)智能化生產(chǎn)，而對(duì)鰲蝦進(jìn)行圖像語(yǔ)義分割處理和智能分析為克氏原螯蝦優(yōu)質(zhì)種質(zhì)篩選提供了新途徑。圖像語(yǔ)義分割在遵循人類(lèi)視覺(jué)特點(diǎn)的基礎(chǔ)上，可以提供簡(jiǎn)單且可靠的圖像特征信息[6-8]。在圖像分割領(lǐng)域中，將邊界與其他區(qū)域區(qū)分開(kāi)是關(guān)鍵，目前的主流方法有面向?qū)ο蟮膱D像分割算法和基于深度學(xué)習(xí)的語(yǔ)義分割算法2 大類(lèi)[9-10]。面向?qū)ο蟮膱D像分割算法是基于邊界區(qū)域與其他區(qū)域的顏色差異進(jìn)行分割，多應(yīng)用在田間道路和地塊邊界檢測(cè)等方面?；谏疃葘W(xué)習(xí)的圖像語(yǔ)義分割算法則是通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)提取特征，對(duì)特征圖進(jìn)行上采樣，輸出每個(gè)像素的類(lèi)別來(lái)進(jìn)行分割，多應(yīng)用于無(wú)人駕駛、自動(dòng)摳圖和遙感圖像分割等方面。近年來(lái)，基于全卷積神經(jīng)網(wǎng)絡(luò)框架的U-Net 語(yǔ)義分割模型在生物醫(yī)學(xué)圖像分割上取得了較好的效果，在多個(gè)相關(guān)數(shù)據(jù)集上也具有實(shí)際的應(yīng)用價(jià)值。U-Net 模型由Ronneberger 等[11]提出，只需較少的訓(xùn)練數(shù)據(jù)就可以得到較為精確的端到端的圖像分割結(jié)果，當(dāng)前廣泛地應(yīng)用于各種圖像分割任務(wù)之中。通常，典型的卷積神經(jīng)網(wǎng)絡(luò)輸出的是一個(gè)單一的類(lèi)標(biāo)簽，但在圖像分割中，需要輸出像素的定位，為每個(gè)像素分配類(lèi)標(biāo)簽。U-Net 模型使用簡(jiǎn)潔的全卷積網(wǎng)絡(luò)，使用上采樣替代池化操作，提高了輸出特征的分辨率；運(yùn)用基于彈性變形的方法連續(xù)地對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)，實(shí)現(xiàn)像素的精準(zhǔn)定位，并減少了對(duì)于訓(xùn)練數(shù)據(jù)的需求。

該研究在小樣本訓(xùn)練數(shù)據(jù)下，基于傳統(tǒng)深度學(xué)習(xí)語(yǔ)義分割方法，以U-Net 語(yǔ)義分割模型為基礎(chǔ)，訓(xùn)練克氏原螯蝦樣本數(shù)據(jù)，來(lái)獲取克氏原螯蝦精準(zhǔn)分割圖。

1 材料與方法

1.1 圖像采集與數(shù)據(jù)集構(gòu)建

數(shù)據(jù)采集地點(diǎn)位于湖南省長(zhǎng)沙市開(kāi)福區(qū)的水產(chǎn)科學(xué)研究所，采集日期為2022 年7—8 月。通過(guò)克氏原螯蝦活體檢測(cè)平臺(tái)操控拍攝硬件設(shè)備進(jìn)行活體克氏原螯蝦圖片拍攝，硬件機(jī)箱內(nèi)安裝6 個(gè)?？低晹z像頭，同一時(shí)間段拍攝6 個(gè)方位的克氏原螯蝦圖，攝像頭采集的圖像分辨率為2 560 像素×1 920像素，每只克氏原螯蝦采集速度大約為60 s。從采集數(shù)據(jù)中隨機(jī)選取約1 600 幅圖像進(jìn)行克氏原螯蝦數(shù)據(jù)集制作，其中訓(xùn)練集圖片與驗(yàn)證集圖片比例為8 ∶2，采用Labelme 工具進(jìn)行數(shù)據(jù)標(biāo)注處理。根據(jù)研究目標(biāo)，該研究只對(duì)克氏原螯蝦軀干像素進(jìn)行標(biāo)注，然后讀取標(biāo)簽文件中克氏原螯蝦軀干邊緣的坐標(biāo)信息，得到每幅圖像對(duì)應(yīng)的掩碼區(qū)域灰度圖。由于克氏原螯蝦拍攝過(guò)程中，光照的反射以及克氏原螯蝦（活體）本身活動(dòng)對(duì)底部的劃痕等均將影響拍攝圖片的清晰度，后期（8 月）對(duì)設(shè)備進(jìn)行了調(diào)整，在底部添加燈光罩，加裝燈光線(xiàn)路，中和光照，并且為了防止訓(xùn)練過(guò)程中數(shù)據(jù)過(guò)擬合，訓(xùn)練數(shù)據(jù)集中包含2 種環(huán)境下共同采集的數(shù)據(jù)，擴(kuò)大樣本的數(shù)量。圖1 為數(shù)據(jù)集中2 種不同光照環(huán)境下的圖像標(biāo)注圖與灰度圖生成效果。

圖1 設(shè)備整改前后采集的圖像數(shù)據(jù)比對(duì)

1.2 基于U-Net 的克 氏原螯蝦分割網(wǎng)絡(luò)

U-Net 是較早使用全卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)呈完全對(duì)稱(chēng)分布，其中較淺的高分辨率特征圖解決像素的定位問(wèn)題，較深的低分辨率特征圖解決像素的分類(lèi)問(wèn)題。網(wǎng)絡(luò)通過(guò)跳躍連接的方式將特征圖進(jìn)行維度拼接，能夠保留更多的位置和特征信息，更適合處理像素級(jí)語(yǔ)義分割任務(wù)。U-Net能從更少的訓(xùn)練圖像中進(jìn)行學(xué)習(xí)，當(dāng)它在少于40張圖的生物醫(yī)學(xué)數(shù)據(jù)集上訓(xùn)練時(shí)，IOU 值仍能達(dá)到92%，并且網(wǎng)絡(luò)權(quán)重參數(shù)總量較少，對(duì)較小的數(shù)據(jù)集具有良好的適應(yīng)性。

1.2.1 傳統(tǒng)的U-Net 分割網(wǎng)絡(luò) 傳統(tǒng)的U-Net 分割

網(wǎng)絡(luò)整體采用U 型編碼-解碼結(jié)構(gòu)。編碼部分由4 個(gè)下采樣模塊組成，每個(gè)模塊包含2 次卷積操作（kernel_size=3×3，stride=1，padding=0）和一次最大池化操作（kernel_size=2×2，stride=2），通過(guò)編碼階段來(lái)降低圖像尺寸，提取一些淺顯的特征，其中卷積采用valid（padding=0）的填充方式來(lái)保證結(jié)果都是基于沒(méi)有缺失上下文特征得到的，因此每次經(jīng)過(guò)卷積后，圖像的大小會(huì)減小。解碼部分由4 個(gè)上采樣模塊組成，每個(gè)上采樣模塊包含2 次卷積操作（kernel_size=3×3，stride=1，padding=0）和一個(gè)上采樣操作（反卷積過(guò)程）。編碼-解碼中間通過(guò)concat拼接的方式，將編碼階段獲得的feature map（特征圖）同解碼階段獲得的feature map 結(jié)合在一起，結(jié)合深層次和淺層次的特征，細(xì)化圖像，再根據(jù)得到的feature map 進(jìn)行預(yù)測(cè)分割。由于編碼-解碼階段的feature map 大小是不同的，因此拼接時(shí)需要對(duì)編碼階段的feature map 進(jìn)行切割。最后，通過(guò)1×1 的卷積做分類(lèi)，分割出前景與背景。傳統(tǒng)U-Net 網(wǎng)絡(luò)整體框架[12]如圖2 所示。

圖2 傳統(tǒng)U-Net 網(wǎng)絡(luò)結(jié)構(gòu)

1.2.2 改進(jìn)的U-Net 分割網(wǎng)絡(luò) 基于傳統(tǒng)的U-Net網(wǎng)絡(luò)模型，在其基礎(chǔ)上做出改進(jìn)，采用padding 為1 的方式進(jìn)行上下采樣中卷積操作以及利用雙線(xiàn)性插值方法代替上采樣中的反卷積操作，如圖3 所示。傳統(tǒng)的U-Net 網(wǎng)絡(luò)模型通常采用padding=0 的卷積核進(jìn)行卷積操作，由輸入大小為572 像素×572 像素的圖片，得到輸出大小為388 像素×388 像素的圖片（如圖2 所示）。但由于試驗(yàn)中缺少的像素點(diǎn)是通過(guò)邊緣鏡像方式得到，因此部分像素點(diǎn)是猜想的，必然會(huì)引起誤差。而在該文中采用padding=1的卷積層，根據(jù)特征矩陣大小計(jì)算公式W=（W－3 ＋2）/1 ＋1 可知，所輸出特征矩陣和輸入特征矩陣大小是相同的，且不用邊緣鏡像的方式就能得到缺少的像素點(diǎn)，最終輸入2 560 像素×1 920 像素的圖片，得到2 560 像素×1 920 像素的圖片（圖3）。

圖3 改進(jìn)的U-Net 網(wǎng)絡(luò)結(jié)構(gòu)

在早期的語(yǔ)義分割任務(wù)中，網(wǎng)絡(luò)模型涉及到上采樣操作，最常見(jiàn)的方法是通過(guò)填充0 或者最近鄰插值的方式來(lái)完成上采樣，這種方法雖然簡(jiǎn)單直接，卻無(wú)法實(shí)現(xiàn)圖像的還原，且整個(gè)過(guò)程不可學(xué)習(xí)。隨后在2015 年，Noh 等[12]提出了可學(xué)習(xí)的深度反卷積網(wǎng)絡(luò)，不再通過(guò)填充0 或者最近鄰插值方法來(lái)完成上采樣，使得整個(gè)過(guò)程變成可學(xué)習(xí)，在圖像語(yǔ)義分割網(wǎng)絡(luò)中實(shí)現(xiàn)了對(duì)上采樣過(guò)程的訓(xùn)練。但隨著語(yǔ)義分割任務(wù)的多樣性以及復(fù)雜性，在傳統(tǒng)的U-Net網(wǎng)絡(luò)模型上采樣過(guò)程中，使用反卷積方法進(jìn)行反卷積的結(jié)果與編碼部分中對(duì)應(yīng)步驟的feature map（特征圖）concat 拼接（即將深層特征與淺層特征進(jìn)行融合，使得信息變得更豐富）時(shí)，由于編碼部分中的feature map 尺寸偏大，需要將其修剪過(guò)后才能進(jìn)行拼接（這里是將2 個(gè)特征圖的尺寸調(diào)整一致后按通道數(shù)進(jìn)行拼接），導(dǎo)致上采樣過(guò)程變得復(fù)雜且繁瑣，此時(shí)，將雙線(xiàn)性插值算法引入上采樣就是一個(gè)不錯(cuò)的選擇。

雙線(xiàn)性插值算法是一種比較好的圖像縮放算法，它充分的利用了源圖中虛擬點(diǎn)四周的4 個(gè)真實(shí)存在的像素值來(lái)共同決定目標(biāo)圖中的一個(gè)像素值。如果采用雙線(xiàn)性插值進(jìn)行上采樣的話(huà)（經(jīng)過(guò)雙線(xiàn)性插值自身不會(huì)改變通道數(shù)），上采樣后面跟著的2 個(gè)卷積的通道數(shù)（該研究中為RGB 圖，所以通道數(shù)為3）是不一樣的，比如通過(guò)第1 個(gè)卷積后通道數(shù)會(huì)減半，通過(guò)第2 個(gè)卷積后，通道數(shù)又會(huì)減半。這樣，經(jīng)過(guò)雙線(xiàn)性插值后得到的通道數(shù)和要進(jìn)行concat 拼接的特征層的通道數(shù)就會(huì)保持一致。如圖4 所示，圖4a為傳統(tǒng)的U-Net 所采用的反卷積方法，圖4b 為該文采用的雙線(xiàn)性插值方法（x1 指的是需要上采樣的特征層，x2 指的是要concat 拼接的特征層）。

圖4 反卷積與雙線(xiàn)性插值上采樣

1.2.3 改進(jìn)后U-Net 圖像分割可視化 對(duì)改進(jìn)后的U-Net 模型進(jìn)行訓(xùn)練，訓(xùn)練完成后，將測(cè)試集圖像輸入便可得到每個(gè)像素的回歸概率，分割結(jié)果如圖5 所示，從左至右依次為原圖、預(yù)測(cè)前景（class 1）可視化圖、預(yù)測(cè)背景（class 2）可視化圖。

圖5 圖像分割可視化結(jié)果

2 結(jié)果與分析

2.1 克氏原螯蝦圖像分割重要評(píng)價(jià)指標(biāo)

克氏原螯蝦分割主要通過(guò) 4 個(gè)考核指標(biāo)進(jìn)行評(píng)價(jià)：Dice、精確度（Precision）、訓(xùn)練參數(shù)（Parameter）和訓(xùn)練時(shí)長(zhǎng)（Training Time）。

2.1.1 Dice 與Dice loss Dice 系 數(shù)（Dice coefficient）是一種集合相似度度量函數(shù)，通常用于計(jì)算2 個(gè)樣本的相似度，取值的范圍為[0，1]，常用于分割問(wèn)題，分割效果最好時(shí)為1，最差時(shí)為0。

Dice 系數(shù)計(jì)算公式如下：

式中：|X∩Y|是X和Y之間的交集，|X|和|Y|分別表示X和Y的元素個(gè)數(shù)，其中，分子的系數(shù)為2，是因?yàn)榉帜复嬖谥貜?fù)計(jì)算X和Y之間共同元素的原因。對(duì)于語(yǔ)義分割問(wèn)題而言，X為GT 分割圖像（Ground Truth），Y為Pred 預(yù)測(cè)分割圖像，因此也可以理解為（2×預(yù)測(cè)正確的結(jié)果）/（真實(shí)結(jié)果+預(yù)測(cè)結(jié)果），具體如圖6 所示。

圖6 Dice 系數(shù)示意圖

Dice Loss 是在Dice 系數(shù)的基礎(chǔ)上進(jìn)行計(jì)算的，用1 去減Dice 系數(shù)，即Dice Loss = 1-Dice，因此從結(jié)果而言，Dice 系數(shù)越大，Dice Loss 越小，表明樣本集合越相似；相反Dice 系數(shù)越小，Dice Loss 越大，表明樣本集合越不相似[13-15]。

在計(jì)算Dice Loss 前，首先需要得到預(yù)測(cè)前景概率矩陣（X）和前景GT 標(biāo)簽矩陣（Y），使用onehot 方法編碼對(duì)模型輸出預(yù)測(cè)結(jié)果圖進(jìn)行處理，分別生成前景和背景的標(biāo)簽，此時(shí)預(yù)測(cè)圖的維度由（N，H，W）變?yōu)椋∟，H，W，C），然后再使用permute 方法來(lái)調(diào)整維度，最終維度變?yōu)椋∟，C，H，W），其中N 代表分類(lèi)類(lèi)別數(shù)（該研究中圖片分割只包含前景與背景，是2 分類(lèi)問(wèn)題，因此N 為2），C 代表channel 通道數(shù)（例如黑白圖像的通道樹(shù)C 為1，RGB 彩色圖像的通道數(shù)C 為3，該研究為RGB 圖，C 為3），H 代表圖片的高度，W 代表圖片的寬度。該研究中，Dice loss 采用softmax 方法與one-hot 方法相結(jié)合計(jì)算得出。

2.1.2 精確度（Precision） 對(duì)于一個(gè)二分類(lèi)任務(wù)，混淆矩陣confusion matrix 由TP、FP、FN、TN 組成。TP 判定為正樣本的正樣本像素?cái)?shù)量，F(xiàn)N 判定為負(fù)樣本的正樣本像素?cái)?shù)量，F(xiàn)P 判定為正樣本的負(fù)樣本像素?cái)?shù)量，TN 判定為負(fù)樣本的負(fù)樣本像素?cái)?shù)量；如表1 所示。

表1 混淆矩陣

而精確度在混淆矩陣基礎(chǔ)上表示模型預(yù)測(cè)為正例的所有樣本中，預(yù)測(cè)正確（真實(shí)標(biāo)簽為正）樣本的占比，精確度的計(jì)算見(jiàn)公式（2）。

2.2 不同模型的對(duì)比分析

在正式模型訓(xùn)練前，該研究采用不同模型結(jié)構(gòu)進(jìn)行預(yù)試驗(yàn)，對(duì)比分析其結(jié)果。首先從克原氏螯蝦數(shù)據(jù)集中選取280 張圖片（設(shè)備調(diào)整后的圖片），按照9 ∶1 的比例分為訓(xùn)練集與驗(yàn)證集，利用CPU 設(shè)備，分別在改進(jìn)的U-Net，UNet++，UNet+++以及AttU_Net 這4 種不同模型上進(jìn)行訓(xùn)練，然后設(shè)置5個(gè)模型訓(xùn)練次數(shù)為10 個(gè)epoch，取其中Dice 值最高的epoch 來(lái)進(jìn)行比較分析，訓(xùn)練結(jié)果如表2 所示。

表2 不同模型的測(cè)試性能指標(biāo)

由表2 可知，改進(jìn)后的U-Net 有80.5%的Dice值，預(yù)測(cè)精確度達(dá)到了99.9%，高于其他3 個(gè)模型的精確度。雖然AttU_Net 模型的Dice 值比改進(jìn)的U-Net 模型高1.3 個(gè)百分點(diǎn)，但是其所需的訓(xùn)練參數(shù)和訓(xùn)練時(shí)間均遠(yuǎn)遠(yuǎn)超出改進(jìn)的U-Net 模型，因此利用改進(jìn)的U-Net 模型來(lái)實(shí)現(xiàn)克氏原螯蝦分割是4 種模型中的最優(yōu)選擇。

為更好地體現(xiàn)改進(jìn)的U-Net 模型的分割效果，提取改進(jìn)的U-Net 模型與AttU_Net 模型訓(xùn)練中Dice值最高的epoch 來(lái)進(jìn)行克氏原螯蝦分割測(cè)試，結(jié)果如圖7 所示，顯而易見(jiàn)，改進(jìn)的U-Net 模型分割結(jié)果較AttU_Net 模型更佳，進(jìn)一步驗(yàn)證了改進(jìn)的U-Net模型效果最佳。

圖7 改進(jìn)的U-Net 模型與AttU_Net 模型的分割測(cè)試結(jié)果

2.3 模型訓(xùn)練

根據(jù)預(yù)試驗(yàn)結(jié)果，進(jìn)一步證明改進(jìn)的U-Net 模型效果最佳，因此選擇改進(jìn)的U-Net 模型進(jìn)行正式訓(xùn)練。訓(xùn)練的硬件配置為AMD Ryzen 7 5800H CPU，Tesla K80 GPU。訓(xùn)練前，隨機(jī)選取1 276 幅圖像作為訓(xùn)練集，318 幅圖像作為驗(yàn)證集，其余作為訓(xùn)練集。為了加快訓(xùn)練和預(yù)測(cè)速度，對(duì)原圖進(jìn)行預(yù)處理時(shí)，圖像的縮放比例為0.5，圖像分辨率統(tǒng)一轉(zhuǎn)換為2 560 像素×1 920 像素。該試驗(yàn)采取RMSprop 自適應(yīng)學(xué)習(xí)率優(yōu)化器來(lái)加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度，設(shè)置epoch總輪次為5，初始學(xué)習(xí)率為1e-5，weight_decay 為1e-8，momentum 為0.9，batch_size 為1?？偣灿?xùn)練時(shí)長(zhǎng)約為15 h，圖8 為模型訓(xùn)練到第5 個(gè)epoch 后得到的可視化validation Dice 曲線(xiàn)圖，其中最終的validation Dice 為0.944 5，validation loss（即：1－validation Dice）為0.055 5，train loss 為0.029 8。

圖8 改進(jìn)的U-Net 模型訓(xùn)練的validation Dice 曲線(xiàn)變化

模型訓(xùn)練完后，為了更好的得到克氏原螯蝦的直觀分割圖，對(duì)原圖和預(yù)測(cè)的分割圖進(jìn)行合成，最后得合成摳圖，如圖9 所示。這表明該研究提出的方法能夠有效識(shí)別與分割克氏原螯蝦，可為水產(chǎn)養(yǎng)殖智能化提供視覺(jué)支持。

圖9 模型分割圖與摳圖效果

3 結(jié) 論

以克氏原螯蝦為研究對(duì)象，采用圖像語(yǔ)義分割方法，根據(jù)采集設(shè)備內(nèi)部場(chǎng)景的實(shí)際情況，對(duì)鰲蝦圖像進(jìn)行了語(yǔ)義分割及分析，基于深度學(xué)習(xí)語(yǔ)義分割網(wǎng)絡(luò)模型，在傳統(tǒng)的U-Net 基礎(chǔ)上進(jìn)行改進(jìn)，來(lái)訓(xùn)練克氏原螯蝦數(shù)據(jù)集，最終訓(xùn)練完成后得到了較好的結(jié)果。試驗(yàn)最終驗(yàn)證集的Dice 系數(shù)validation Dice 為0.944 5，validation loss 為0.055 5，train loss為0.029 8，在小樣本數(shù)據(jù)下獲得較好的分割效果，為實(shí)現(xiàn)克氏原螯蝦機(jī)器化優(yōu)質(zhì)選種打下了的基礎(chǔ)，也為水產(chǎn)養(yǎng)殖智能化提供了視覺(jué)支持。