陳 佳 丁奇安 劉龍申 侯 璐 劉亞楠 沈明霞

(1.南京農(nóng)業(yè)大學(xué)工學(xué)院， 南京 210031; 2.南京農(nóng)業(yè)大學(xué)人工智能學(xué)院， 南京 210031)

0 引言

籠養(yǎng)是現(xiàn)代規(guī)?；B(yǎng)雞業(yè)最為集約高效的飼養(yǎng)方式之一[1]，肉雞采用籠養(yǎng)方式能夠節(jié)約土地和增加單位面積的養(yǎng)殖量，還可以節(jié)省人力和物力，縮短出欄時間[2]。在疊層籠養(yǎng)環(huán)境下對異常雞只的識別主要靠人工篩選，耗費大量人力且需要巡檢人員具有較為豐富的經(jīng)驗，培訓(xùn)時間長，難以普及。

雞只異常識別研究包括基于聲音的異常識別[3-6]、體溫反演[7-10]、基于糞便等排泄物的檢測[11]與基于表型特征的異常識別，其中針對表型特征的異常檢測最為直觀而通用，具有較高的經(jīng)驗遷移價值。學(xué)者們在自動化、智能化層面上對雞只異常判斷進(jìn)行相關(guān)研究，從機(jī)器視覺等方向進(jìn)行嘗試，ZHUANG等[12]提取健康雞只與病雞的姿勢特征，建立特征向量，通過機(jī)器學(xué)習(xí)算法對肉雞的姿勢進(jìn)行分析，并對患病的肉雞進(jìn)行預(yù)測，能夠快速準(zhǔn)確地識別肉雞的健康狀況。ZHUANG等[13]結(jié)合深度學(xué)習(xí)提出一種基于圖像信息的深層卷積神經(jīng)網(wǎng)絡(luò)模型，將病雞相較正常雞的趴臥在地、羽毛蓬松等特點作為識別特征進(jìn)行分類。李亞碩等[14]對雞冠的顏色進(jìn)行了機(jī)器視覺識別,從而判斷是否為病雞。畢敏娜等[15]針對復(fù)雜背景的黃羽雞側(cè)拍圖像，在黃羽雞色差信息分割的基礎(chǔ)上，利用雞冠和雞垂輪廓上兩點距離的合并算法，提取雞頭雞冠紋理特征和雞眼瞳孔的形狀幾何特征，構(gòu)成病雞識別的特征向量，采用支持向量機(jī)分類器進(jìn)行病雞識別實驗，病雞識別正確率為92.5%。陳章寶等[16]采用Faster R-CNN定位雞、雞頭與雞身部分，融合語義區(qū)域特征進(jìn)行病雞分類，準(zhǔn)確率達(dá)到82.66%。LI等[17]利用Faster R-CNN對雞只舒展行為進(jìn)行檢測并在此基礎(chǔ)上對雞只在不同飼養(yǎng)密度下的舒適度進(jìn)行研究。

當(dāng)前大部分基于視覺信息的研究都是利用靜態(tài)的圖像信息進(jìn)行雞只生理信息的反演與異常檢測，而動態(tài)信息可以將靜態(tài)圖像信息與時間相關(guān)聯(lián)，提高識別的準(zhǔn)確率。FANG 等[18]通過深層神經(jīng)網(wǎng)絡(luò)識別肉雞不同部位的特征點并形成其姿態(tài)骨架，再利用樸素貝葉斯模型進(jìn)行雞只姿態(tài)的分類，在檢測視頻里可較為準(zhǔn)確地對雞只的站立、走動、跑動、吃食、休息與修飾等姿態(tài)進(jìn)行識別，形成姿態(tài)序列以供下一步研究。李娜等[19]將時間序列應(yīng)用到雞只的啄羽行為檢測中，設(shè)計5 s內(nèi)發(fā)生兩次以上啄羽行為是一個時間段，并認(rèn)為持續(xù)時間在30 s以上的時段為啄羽行為，從而改善了啄羽行為漏檢率高的問題，提高了算法的檢測精確度。OKINDA等[20]采集雞只的俯拍深度圖像，得到偏心率、雞只行走速度等特征參數(shù)，通過人工神經(jīng)網(wǎng)絡(luò)等6種模型進(jìn)行病雞與健康雞的分類，準(zhǔn)確率為97.8%。

呼吸道疾病具有傳染率高、致死率高等特點，許多呼吸道疾病前兆相似，比如呼吸困難[21-23]，通過對該癥狀的識別可以對雞只的呼吸道疾病進(jìn)行早期預(yù)警，但現(xiàn)在少有研究從這方面入手。針對呼吸困難這一連續(xù)行為特征，本文提出一種基于YOLO v5與短時跟蹤的雞只呼吸道疾病早期檢測方法，通過錨框自適應(yīng)設(shè)置，CIoU Loss[24]引入等優(yōu)化，實現(xiàn)雞頭目標(biāo)的識別與張口與否的分類檢測，在此基礎(chǔ)上根據(jù)連續(xù)幀間目標(biāo)位移變化設(shè)計一種基于交并比的雞頭目標(biāo)短時間跟蹤方法，形成持續(xù)時間內(nèi)的雞頭張口狀態(tài)序列，并根據(jù)此變化對群雞中是否存在呼吸困難雞只進(jìn)行檢測。

1 實驗材料

1.1 實驗對象與數(shù)據(jù)采集方法

本實驗于2021年7—8月在廣東溫氏非雷攻毒實驗室進(jìn)行，實驗對象為雞傳染性支氣管病毒攻毒后的27日齡白羽肉雞，全天候采集肉雞攻毒后10 d的視頻數(shù)據(jù)。在攻毒后3 d左右出現(xiàn)雞傳染性支氣管炎臨床癥狀，其主要癥狀為支氣管堵塞，體現(xiàn)為呼吸困難、精神不佳、怪叫(類似人有痰咳嗽的聲音)。其中，呼吸困難為本實驗所要檢測的關(guān)鍵動態(tài)特征，其表現(xiàn)為雞活動量少，在短時間內(nèi)出現(xiàn)有規(guī)律的張口、閉口循環(huán)動作，伴隨仰頭、閉眼等現(xiàn)象，具體表現(xiàn)如圖1動作序列所示。

圖1 呼吸困難動態(tài)動作序列Fig.1 Movement sequence of Dyspnea

實驗中選用分辨率為1 920像素×1 080像素的螢石云(CS-C6C-3B2WFR型)攝像頭進(jìn)行拍攝，攝像頭固定在可調(diào)節(jié)高度的支架上，通過內(nèi)置存儲卡進(jìn)行數(shù)據(jù)存取。調(diào)整鏡頭角度令其與地面平行，控制鏡頭與雞籠距離為45 cm。對每籠雞進(jìn)行無人干涉的全天候拍攝，拍攝裝置如圖2所示。

圖2 實驗裝置Fig.2 Experimental arrangement with camera

1.2 數(shù)據(jù)標(biāo)注

對定點拍攝的攻毒倉內(nèi)群雞視頻進(jìn)行篩選，得到含有呼吸困難癥狀的雞只視頻片段并對這些視頻進(jìn)行分幀處理，每秒截取2幀，共獲取2 500幅圖像，在數(shù)據(jù)清理后得到可用圖像2 207幅，利用LabelImg軟件進(jìn)行數(shù)據(jù)標(biāo)注，包括人眼可見的閉口雞頭(head)和張口雞頭(om)兩種標(biāo)簽。

1.3 數(shù)據(jù)增強(qiáng)

為擴(kuò)大數(shù)據(jù)量，采用Mosaic操作進(jìn)行數(shù)據(jù)增強(qiáng)。如圖3所示，在一次操作中隨機(jī)選擇圖像數(shù)量，對這些圖像進(jìn)行隨機(jī)縮放、隨機(jī)裁減等操作，再進(jìn)行拼接獲取新的數(shù)據(jù)樣本。該操作可以增加背景與小目標(biāo)數(shù)量，從而豐富數(shù)據(jù)集，使網(wǎng)絡(luò)的魯棒性更好。

圖3 Mosaic數(shù)據(jù)增強(qiáng)效果Fig.3 Data augmentation effect by Mosaic

2 基于改進(jìn)YOLO v5的雞頭目標(biāo)檢測算法

YOLO v5算法是一種實時性較強(qiáng)的one-stage目標(biāo)檢測算法，在原有YOLO目標(biāo)檢測架構(gòu)的基礎(chǔ)上，采用增加多種數(shù)據(jù)增強(qiáng)方法、改進(jìn)跨階段局域網(wǎng)絡(luò)等優(yōu)化策略從數(shù)據(jù)處理、主干網(wǎng)絡(luò)、網(wǎng)絡(luò)訓(xùn)練、激活函數(shù)、損失函數(shù)等方面進(jìn)行優(yōu)化，相較YOLO v3[25]、YOLO v4[26]等模型有了一定的性能提升。模型的結(jié)構(gòu)主要分為Input、Backbone、Neck和Prediction 4部分。Input為雞只圖像輸入環(huán)節(jié)，Backbone主要實現(xiàn)圖像的特征提取，Neck環(huán)節(jié)對提取到的特征進(jìn)行融合，Prediction為進(jìn)行回歸操作后的檢測部分。

根據(jù)群養(yǎng)環(huán)境下雞頭檢測目標(biāo)小、環(huán)境干擾多等特點對YOLO v5算法進(jìn)行特定優(yōu)化，通過自適應(yīng)錨框設(shè)置令檢測框尺寸更適合本文中需要檢測的雞頭小目標(biāo)；將GIoU Loss (Generakized IoU Loss)替換為更加適合遮擋目標(biāo)檢測與小目標(biāo)檢測的CIoU Loss作為bounding box損失函數(shù)進(jìn)行整體參數(shù)調(diào)整的參考。

2.1 檢測算法整體網(wǎng)絡(luò)結(jié)構(gòu)

YOLO v5在Backbone中主要應(yīng)用了Focus結(jié)構(gòu)與CSP結(jié)構(gòu)，其中Focus是一種切片操作，通過將高分辨率的輸入圖像分成若干個小通道進(jìn)行輸入來提高模型速度。Neck中同樣使用了FPN與PAN結(jié)構(gòu)來提高模型性能，與YOLO其他系列不同的是，YOLO v5在Neck中也使用了CSP結(jié)構(gòu)，加強(qiáng)了網(wǎng)絡(luò)特征的融合能力。

圖4為YOLO v5算法整體網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖4 YOLO v5框架圖Fig.4 YOLO v5 framework

2.2 自適應(yīng)錨框設(shè)置

模型中的錨框(anchor)一般根據(jù)經(jīng)驗進(jìn)行預(yù)設(shè)，具有一定的主觀性且缺乏通用性。針對本文雞頭目標(biāo)尺寸較小的特點，需要舍棄YOLO v5默認(rèn)的9個錨框尺寸，自適應(yīng)形成適用于本數(shù)據(jù)的新錨框。

K-means聚類方法[27]作為一種可靠、有效的錨框設(shè)置方法被廣泛應(yīng)用于anchor base目標(biāo)檢測算法的優(yōu)化中[28-29]，其流程圖如圖5所示。作為事先優(yōu)化，先獲取數(shù)據(jù)集中所有數(shù)據(jù)的目標(biāo)框，即雞頭目標(biāo)框，并對這些目標(biāo)框尺寸進(jìn)行歸一化操作，獲取絕對坐標(biāo)，進(jìn)行篩選后對得到的目標(biāo)框利用K-means聚類方法獲取9組中心點，即為9個錨框的尺寸。最后再使用遺傳算法[30]隨機(jī)對錨框的尺寸數(shù)據(jù)變異進(jìn)行優(yōu)化。

圖5 K-means流程圖Fig.5 K-means flowchart

2.3 CIoU Loss

CIoU Loss由ZHENG等[24]提出，其計算中包括重疊面積、中心點距離和長寬比，是對GIoU Loss和DIoU Loss (Distance IoU Loss)的優(yōu)化，在小目標(biāo)檢測中效果良好，其計算公式為

LCIoU=1-IoU(A,B)+r2(Actr,Bctr)/c2+av

(1)

(2)

(3)

式中A——預(yù)測框B——真實框

Actr——預(yù)測框中心點坐標(biāo)

Bctr——真實框中心點坐標(biāo)

r——歐氏距離

c——A、B最小包圍框的對角線長度

IoU——交并比

a——權(quán)重函數(shù)

v——寬高比度量函數(shù)

LCIoU——CIoU Loss函數(shù)

w——預(yù)測框?qū)挾?/p>

h——預(yù)測框高度

wgt——真實框?qū)挾?/p>

hgt——真實框高度

CIoU Loss可以直接最小化兩個目標(biāo)框的距離，因此比GIoU Loss收斂快，使得非極大值抑制得到的結(jié)果更加合理和有效。所增加的懲罰項與尺寸相關(guān)，如果真實框與預(yù)測框的尺寸相似，那么v為0，該懲罰項不起作用，故可以控制預(yù)測框的尺寸盡可能快速與真實框的尺寸靠近，以中心點與長寬比為引導(dǎo)方向可令雞頭小目標(biāo)的檢測框更貼合雞頭本身，為之后的短時跟蹤方法提供參考。

3 基于時間序列的呼吸困難行為檢測方法

本文研究對象為患有呼吸道疾病的肉雞，有活動量少和呼吸困難等重要臨床特征，其中呼吸困難體現(xiàn)在持續(xù)一段時間的張合嘴動態(tài)行為上。針對這兩項特征，本文提出一種基于時間序列的雞只呼吸行為檢測方法，該方法分為基于交并比的雞頭目標(biāo)跟蹤方法與雞頭特征序列構(gòu)造兩部分，先通過連續(xù)幀的檢測框坐標(biāo)比對確認(rèn)活動量少的病雞雞頭并實現(xiàn)短時間跟蹤，再利用對此跟蹤對象的狀態(tài)排列判斷其是否存在連續(xù)的張口、閉口狀態(tài)轉(zhuǎn)換，從而實現(xiàn)對呼吸困難動態(tài)特征的檢測。

3.1 基于交并比的雞頭目標(biāo)跟蹤方法

通過上述檢測方法對連續(xù)幀圖像進(jìn)行檢測，并輸出檢測到的目標(biāo)類別與坐標(biāo)信息。以第1幀為參考幀開始跟蹤流程，檢測框編號根據(jù)參考幀的檢測順序依次生成，通過對比當(dāng)前幀與參考幀中的檢測框交并比來對當(dāng)前幀中的各檢測框進(jìn)行編號賦予，其中交并比計算公式為

(4)

IoUij——兩個檢測框的交并比

以此為基礎(chǔ)，編號設(shè)置方法為

(5)

該方法具體流程如圖6所示，以兩次循環(huán)分別對比參考幀與當(dāng)前幀內(nèi)的檢測框的交并比，選擇合適閾值情況下的交并比最大的組合進(jìn)行編號對應(yīng)。通過觀察雞只呼吸可知，一次張口一次閉口用時約為0.5 s，故本文中對于視頻的處理為1 s處理5幀，以減少中間幀的漏檢。由于作為主要跟蹤對象的病雞活動量較低，在實驗后設(shè)置參考幀轉(zhuǎn)換頻率為30 s一次，即60幀后重新選擇參考幀以適應(yīng)雞只位移情況，進(jìn)行雞頭編號的再設(shè)定與跟蹤，從而實現(xiàn)短時間內(nèi)雞頭目標(biāo)的跟蹤，為下一步雞只個體呼吸序列構(gòu)建提供基礎(chǔ)。

圖6 跟蹤方法流程圖Fig.6 Flowchart for tracking method

3.2 呼吸困難動態(tài)特征檢測

通過基于交并比的雞頭目標(biāo)跟蹤方法對連續(xù)幀的雞頭目標(biāo)進(jìn)行短時間跟蹤，并根據(jù)雞頭檢測方法的分類輸出結(jié)果得出該雞頭的狀態(tài)特征序列，形成0(閉口)、1(張口)序列，根據(jù)該序列與序列持續(xù)時間可得出0、1狀態(tài)的發(fā)生頻率， 其計算方法為

(6)

式中T——連續(xù)幀持續(xù)時間，s

N01——T時間內(nèi)0、1狀態(tài)發(fā)生的次數(shù)

f——0、1狀態(tài)發(fā)生的頻率

當(dāng)f大于給定閾值時認(rèn)為是呼吸困難狀態(tài)。

4 實驗結(jié)果與分析

4.1 實驗設(shè)計

4.1.1實驗樣本設(shè)置

實驗對象為傳染性支氣管病毒攻毒后的肉雞，選取呼吸困難片段并進(jìn)行數(shù)據(jù)集制作，得到有效數(shù)據(jù)2 207幅，包含雞只不同時間、不同狀態(tài)的活動情況，人工進(jìn)行雞頭定位與標(biāo)簽設(shè)定，部分標(biāo)簽設(shè)定包括head(閉口雞頭)和om(張口雞頭)兩種情況，兩種標(biāo)簽分別有1 696、1 710個。

4.1.2實驗評價指標(biāo)

評價指標(biāo)主要分為兩部分，對于目標(biāo)檢測算法的評價指標(biāo)主要為平均精度(AP)與平均精度均值(mAP)，對于存在呼吸困難的視頻識別情況采用準(zhǔn)確率、精準(zhǔn)率和召回率進(jìn)行評價。

4.1.3實驗參數(shù)設(shè)置

本文針對雞頭小目標(biāo)的識別與是否張嘴的判定使用改進(jìn)YOLO v5算法，為驗證算法的有效性，在所有超參數(shù)、模型訓(xùn)練環(huán)境相關(guān)參數(shù)均保持一致的情況下對YOLO v5算法與改進(jìn)YOLO v5算法進(jìn)行對比。使用GeForce RTX 3090 GPU，CUDA版本11.0，Pytorch版本1.7.0，OpenCV版本4.5.2。實驗中的參數(shù)設(shè)置如表1所示。訓(xùn)練集、驗證集、測試集分配比例為7∶2∶1。

表1 實驗參數(shù)設(shè)置Tab.1 Experimental parameters setting

4.2 基于改進(jìn)YOLO v5的雞頭目標(biāo)檢測結(jié)果與分析

表2 不同算法檢測效果比較Tab.2 Comparison of different algorithms

圖7為改進(jìn)YOLO v5在不同網(wǎng)絡(luò)結(jié)構(gòu)下的損失值變化曲線，圖8為改進(jìn)YOLO v5在不同網(wǎng)絡(luò)結(jié)構(gòu)下的精確率-召回率曲線。

圖7 改進(jìn)YOLO v5算法的損失值變化曲線Fig.7 Loss curves of IM-YOLO v5

圖8 改進(jìn)YOLO v5算法精確率-召回率曲線Fig.8 PR curves of IM-YOLO v5

由圖7可見，算法的整體損失值隨訓(xùn)練迭代輪次的增加而減少，其中檢測框回歸損失值是CIoU Loss，可令預(yù)測框的邊界尺寸快速向真實框逼近，置信度損失值與分類損失值則在訓(xùn)練中引導(dǎo)多分類任務(wù)對物體的識別與精準(zhǔn)分類，同樣隨著迭代輪次的增加而縮小。整體損失值為上述幾種損失函數(shù)的總和，在200 輪次后均收斂。

由圖8可見，本文所提出的改進(jìn)YOLO v5算法在不同網(wǎng)絡(luò)結(jié)構(gòu)下對head的識別效果均較好，而較深的網(wǎng)絡(luò)結(jié)構(gòu)能夠提升om的識別準(zhǔn)確率， 從而促使整體效果提升。

4.3 基于時間序列的呼吸困難行為檢測實驗效果與分析

4.3.1短時跟蹤效果與分析

對雞只呼吸困難動態(tài)行為檢測的基礎(chǔ)是確定所識別到的動作序列均屬于一只雞，故需要先進(jìn)行短時間的雞頭跟蹤，減少由于群雞運動過程中的重疊、遮擋等情況造成的雞只動作序列混亂問題。實驗中，根據(jù)觀察可知，病雞進(jìn)行張口呼吸，即一次張口一次閉口的用時約為0.5 s，故本文算法以1 s處理5幀的速度對視頻進(jìn)行處理以減少中間幀漏檢，并通過30 s替換一次參考幀以適應(yīng)雞只位移情況，提高跟蹤的準(zhǔn)確率。

圖9為編號為3-2-3的視頻片段測試效果，展示序列中每幅圖的時間間隔約為3 s，可反映持續(xù)時間內(nèi)的跟蹤效果。由圖可見，以呼吸困難雞只為觀測主體，短時跟蹤方法實現(xiàn)了連續(xù)幀的雞頭目標(biāo)編號對應(yīng)，并獲取雞只個體頭部的短時動作序列。其中由于參考幀變換、雞頭遮擋等導(dǎo)致雞頭編號出現(xiàn)變化，但在短時間跟蹤內(nèi)獲取的動作序列作為呼吸困難動態(tài)行為的一部分具有一定的參考價值。

圖9 短時跟蹤效果Fig.9 Short time tracking effect

由于在該階段出現(xiàn)張口呼吸的雞為病情比較嚴(yán)重的雞，會伴隨閉眼、活動量減少等情況，本文方法需要排除其他活動雞只的干擾，且本文研究對象為籠養(yǎng)群雞，需要檢測的是該籠中是否存在呼吸困難的雞只，所以不需要長時間的身份識別，故本文所提出的基于交并比的短時間跟蹤方法可用于群養(yǎng)雞中的個體短時間跟蹤與動作序列獲取，效果較好。

4.3.2呼吸困難動態(tài)檢測效果與分析

根據(jù)4.3.1節(jié)得到的結(jié)果可形成雞只個體的動作序列，以0代表閉口，1代表張口，形成不同雞只個體的01字符串，并通過01片段的出現(xiàn)頻率判斷是否存在雞只呼吸困難情況。現(xiàn)利用353組視頻片段進(jìn)行測試，每個視頻時長約1 min。其中含有呼吸困難雞只的視頻48個，正常雞只視頻305個。表3為不同視頻片段呼吸情況識別效果，識別內(nèi)容包括雞只跟蹤編號、雞只動作序列與通過動作序列判斷的雞只呼吸次數(shù)。

表3 呼吸困難情況識別結(jié)果Tab.3 Identification results of Dyspnea

表3為部分檢測結(jié)果，在同一視頻片段中對不同編號的雞只進(jìn)行跟蹤并獲取動作序列，通過01片段判斷是否存在呼吸困難情況，當(dāng)視頻片段中出現(xiàn)3次及以上呼吸時被認(rèn)為是存在呼吸困難癥狀。

以呼吸困難視頻為觀測主體，則呼吸困難識別正確的為36，呼吸正常識別正確的為288，呼吸正常識別錯誤的為17，呼吸困難識別錯誤的為12，與人工檢測結(jié)果相比較，其準(zhǔn)確率為91.8%，召回率為75%，精準(zhǔn)率為67.9%，可以較為準(zhǔn)確地檢測群雞中是否存在呼吸困難癥狀的雞只。

5 結(jié)論

(1)提出一種基于改進(jìn)YOLO v5的雞只呼吸道疾病早期檢測方法。通過改進(jìn)YOLO v5算法對雞頭目標(biāo)進(jìn)行檢測并識別是否為張口情況；再利用基于交并比的雞頭短時間跟蹤方法對識別到的雞頭目標(biāo)進(jìn)行時空融合分析，進(jìn)行幀間編號對應(yīng)，實現(xiàn)雞只的短時跟蹤與動作序列提??；根據(jù)動作序列進(jìn)行呼吸行為判定，通過呼吸的頻率檢測群雞中是否存在雞只呼吸困難現(xiàn)象。

(3)以呼吸困難動態(tài)特征為研究點進(jìn)行雞只呼吸道疾病早期檢測的研究，可精確識別雞只頭部特征并以此為基礎(chǔ)檢測群雞中是否存在呼吸困難雞只，為傳染性支氣管炎等呼吸道疾病的早期預(yù)警提供了參考。