摘要：為了實現(xiàn)適合大規(guī)模奶牛養(yǎng)殖環(huán)境下的無接觸、高精度奶牛個體識別和自動化管理，提出了一種基于YO?LOv5m網(wǎng)絡(luò)模型的奶牛個體識別方法，將攝像頭采集到的視頻數(shù)據(jù)經(jīng)過分幀處理后，采用結(jié)構(gòu)相似性算法（SSIM）及均方誤差算法（MSE）去除冗余圖像，通過標注、Mosaic數(shù)據(jù)增強處理后得到10545幅標簽數(shù)據(jù)，對YOLOv5m模型進行訓練和優(yōu)化實現(xiàn)奶牛個體的準確識別。同時，還設(shè)計了基于YOLOv5m的奶牛個體識別檢測系統(tǒng)，驗證了該算法和系統(tǒng)的正確性。結(jié)果表明：在訓練次數(shù)為300次時，YOLOv5m模型對奶牛個體識別的平均精度達到98.75%，相比較YOLOv4提高5.88個百分點，為現(xiàn)代畜牧業(yè)的發(fā)展提供了重要的技術(shù)支持和應用基礎(chǔ)。

關(guān)鍵詞：深度學習；奶牛個體識別；YOLO模型；目標檢測；

中圖分類號：TP391.9文獻標志碼：A文章編號：2095－414X（2024）06－0063－07

0引言

隨著計算機視覺技術(shù)的發(fā)展和深度學習算法的應用，圖像識別技術(shù)已成為國際人工智能領(lǐng)域研究最熱點的方向之一[1]。在農(nóng)業(yè)領(lǐng)域中，奶牛的自動化識別對于牧場管理和奶牛飼養(yǎng)的監(jiān)測與控制具有重要的意義[2]。傳統(tǒng)的奶牛識別方法耗費大量人力和物力，且容易出現(xiàn)誤差。而利用圖像識別技術(shù)，可以實現(xiàn)奶牛的自動化檢測和分類[3-4]，極大地提高了識別的準確性和效率。

利用圖像識別算法模型實現(xiàn)奶牛個體識別已引起國內(nèi)外相關(guān)學者的關(guān)注[5-8]。張滿囤等[9]通過設(shè)置不同網(wǎng)絡(luò)層、不同卷積核尺寸、不同全連接層節(jié)點個數(shù)等進行多組對比試驗，結(jié)果深度卷積網(wǎng)絡(luò)對養(yǎng)殖場環(huán)境下的奶牛個體識別率優(yōu)于SIFT[10]與圖像特征提?。˙OF）[11]兩種傳統(tǒng)模型。趙凱旋等[12]提出了一種基于CNN網(wǎng)絡(luò)的奶牛個體特征識別的方法，該方法采用幀間差值法、二值圖像跨度分析和Meanshift算法，對奶牛個體特征進行了有效的定位與追蹤，采用LeNet-5網(wǎng)絡(luò)對其進行了訓練與預測，其識別率達到了90.55%。P.Tassinari等[13]使用YOLOv3算法對拍攝的牛圈中奶牛的活動視頻，以奶牛臀部為主要檢測區(qū)域進行目標檢測，結(jié)果獲得的平均檢測精度為0.64-0.66。Shen W等[14]利用YOLO模型檢測所采集的奶牛側(cè)視圖中的奶牛目標，通過微調(diào)卷積神經(jīng)網(wǎng)絡(luò)模型對奶牛進行分類，對奶牛個體識別的準確率為96.65%。

本文基于深度學習的奶牛個體識別技術(shù)，通過采集、標注和數(shù)據(jù)增強處理后得到10545幅奶牛圖像，利用YOLOv5m算法模型進行訓練和優(yōu)化，實現(xiàn)對奶牛個體的自動識別和跟蹤。同時，還設(shè)計了基于深度學習的奶牛個體識別檢測系統(tǒng)，實現(xiàn)了奶牛個體識別檢測的人機交互，界面簡潔，簡單易懂，進一步提高了奶牛飼養(yǎng)管理的效率和準確性。

1實驗數(shù)據(jù)

1.1數(shù)據(jù)采集

本文試驗數(shù)據(jù)采集自內(nèi)蒙古自治區(qū)烏蘭浩特市某牧業(yè)有限公司的規(guī)?；膛ｐB(yǎng)殖場，采集于2022年11月至12月，分早中晚三個時段拍攝采集視頻，拍攝對象為健康的美國荷斯坦奶牛。奶牛在牛舍內(nèi)走動、進食、躺臥等，在與飼料道平行的牛舍內(nèi)飼料道上方上安裝3臺DS-IPC-B12V2-I（POE）網(wǎng)絡(luò)攝像機（海康威視，杭州），距離地面高度3.1 m，向下傾斜25.5°，兩攝像機間隔15 m，攝像機安裝示意圖如圖1所示。

在自然天氣情況下，奶牛個體出現(xiàn)在攝像頭視野時開始采集，采集分辨率為（1280×720）像素，視頻幀率為20 f/s，每段視頻時長約為12min，并剔除包含奶牛姿態(tài)無較大變化和設(shè)備入場的視頻，累計獲取400段視頻數(shù)據(jù)，數(shù)據(jù)包含多種復雜場景、角度和光照等情況，呈現(xiàn)出大規(guī)模養(yǎng)殖環(huán)境特點。在進行數(shù)據(jù)集制作前，需先完成視頻取幀、無效樣本剔除等工作。本文通過KMPlayer軟件，為防止相鄰幀之間產(chǎn)生大量的冗余圖像，按每300幀取1幀的方式獲取奶牛個體圖像并保存到相應的文件夾中。

為去除冗余圖像，采用了兩種不同的算法來衡量相鄰幀之間的相似性：結(jié)構(gòu)相似性算法（Structural Sim?ilarity，SSIM）和均方誤差算法（Mean Squared Error，MSE）。從圖像結(jié)構(gòu)和像素值兩個角度對相鄰幀之間的相似性進行衡量。

在SSIM算法中，我們使用了以下公式來計算相鄰幀x和y之間的結(jié)構(gòu)相似性指數(shù)：

式中μx和μy分別表示圖像x和y中像素的平均值，σx（2）y表示圖像x和y中所有像素的協(xié)方差，σx（2）和σy（2）為圖像x和y中所有像素的方差，c1和c2為非0常量，表示為攝像頭的動態(tài)范圍。

而在MSE算法中，我們采用以下公式計算相鄰幀x和y之間的均方誤差：

其中M和N表示圖像的長和寬，f（i，j） 和f′（i，j） 表示相鄰幀。

通過這兩種算法，在剔除冗余圖像后，將訓練集和測試集按8：2進行劃分，最終得到8335張訓練集和2210張測試集的奶牛個體圖像。

表1定義了奶牛的2種行為姿態(tài)及標簽判定標準。奶牛在牛舍行走過程中，奶牛頭部未伸出護欄標注為cow，奶牛頭部伸出護欄標注為cow eating。根據(jù)表1中定義，標注數(shù)據(jù)集，得到94665個標簽，標簽尺度可視化如圖2所示。

圖2（a）展示了所有標簽框的尺度信息，并進行了可視化。從圖中可以看出，標簽框的尺度涵蓋了多尺度的目標，其中中、小目標的分布較多，而大目標分布數(shù)量較少。圖2（b）比較了兩種標簽的數(shù)量，其中cow eating行為出現(xiàn)的頻率較低，而cow行為的數(shù)量占比最大，這與實際養(yǎng)殖牧場中奶牛行為分布情況基本一致，符合大規(guī)模養(yǎng)殖環(huán)境下的奶牛行為分布的需求。

1.2數(shù)據(jù)增強

針對大規(guī)模養(yǎng)殖環(huán)境下，采集奶牛行為姿態(tài)數(shù)據(jù)多尺度目標及場景差異大，導致模型泛化能力低，因此需要引入數(shù)據(jù)增強方法，豐富奶牛多尺度行為姿態(tài)數(shù)據(jù)及場景信息。Mosaic數(shù)據(jù)增強方法提供了一種新的增強方式，它是一種混合四幅圖像生成新的圖像的方法。具體實現(xiàn)過程如下，生成新圖像的中心點→擺放第一張圖像→填充剩余三張圖像→標簽格式轉(zhuǎn)換→縮放到輸入圖像尺寸。不同數(shù)據(jù)增強效果如圖3所示。

Mosaic增強后的圖像具有更多的背景和多尺度信息，利用融合后的圖像來訓練模型，間接地提高樣本數(shù)量，并加速模型收斂，因此使用Mosaic方法增強奶牛行為數(shù)據(jù)集。

經(jīng)過上述一系列處理后得到10545幅奶牛圖片，分辨率為1280×720像素。奶牛個體識別數(shù)據(jù)集參照VOC格式，使用LabelImg對圖像數(shù)據(jù)集進行人工標注。在標注時框選奶牛個體，標注完成后會自動生成對應的xml文件。奶牛數(shù)據(jù)集實際標注情況示例如圖4所示。

2方法

YOLOv5是YOLO系列中推理速度和識別效果最優(yōu)的模型，其中，YOLOv5m模型檢測的準確性高，推理速度快，適用于實時應用和大規(guī)模目標檢測任務，滿足奶牛個體識別實時、準確的要求，因此選擇YOLOv5m作為基礎(chǔ)模型，如圖5所示。

YOLOv5m的網(wǎng)絡(luò)結(jié)構(gòu)由三個主要部分組成：主干網(wǎng)絡(luò)、特征金字塔網(wǎng)絡(luò)和檢測頭。主干網(wǎng)絡(luò)[15-17]采用了CSPDarknet53，整合了多種特征提取模塊，能夠生成豐富的語義信息。利用Focus和Conv（s=2）模塊將輸入圖像切片實現(xiàn)無損下采樣，得到特征圖F2。F2經(jīng)過兩次下采樣后的特征圖，大小為原圖像的1/4。在主干網(wǎng)絡(luò)頂層，采用了空間金字塔池化（Spatial Pyramid Pooling，SPP）技術(shù)[18]，通過使用不同大小的池化核（如5×5、9×9、13×13），對特征圖進行多尺度池化，從而實現(xiàn)融合多重感受野，增強語義信息的表達能力。特征金字塔網(wǎng)絡(luò)通過Neck模塊[19-20]進行特征處理，進一步增強特征的表達能力。YOLOv5使用了PAN Neck（Path Aggrega?tion Neck）傳遞三條支路的特征信息，各個支路的特征圖大小分別為80×80、40×40和20×20，并通過Concat模塊將它們?nèi)诤显谝黄?。然后，這些特征將被輸入到P3、P4、P5三個檢測器中，分別用于識別不同尺度的目標，實現(xiàn)對目標的語義預測和識別。

3結(jié)果與分析

3.1實驗平臺

本文在Python 3.8和Pytorch 1.13.0的深度學習框架進行試驗，電腦配置為Intel（R）Core（TM）i7-9700k，顯卡為NVIDIA GeForce RTX 2080Ti*2，主頻3.6GHz，內(nèi)存64GB，操作系統(tǒng)為Windows10×64系統(tǒng)（表2）。在訓練模型時使用GPU并行運算，加快模型的收斂速度。

本文訓練YOLOv5m網(wǎng)絡(luò)模型時，設(shè)置權(quán)重衰減系數(shù)為0.0005，初始學習率為0.01，批次大小batch_size為64，線程數(shù)目num works為5，訓練輪數(shù)epochs初定為300，訓練圖像和測試圖像像素均設(shè)置為640×640像素（表3）。

3.2評判指標

在深度學習領(lǐng)域常用RMSE作為訓練準確率的評斷依據(jù)，但在目標檢測細分領(lǐng)域，由于識別的種類相對而言往往較少（如本文僅兩個類別：cow，意為奶牛；cow eating，意為奶牛吃草；），RMSE值很容易達到接近1的較高值。而且目標檢測時更注重目標在圖像中的位置與錨定框的貼合程度，故本文采用Precision（準確率，P）、Recall（召回率，R）和Average Precision（平均精確度，AP）[21]三個方面作為評價標準對模型進行評估。準確率P表示模型分類器認為是正類且事實上是正類的部分占所有分類器是正類的比例，計算公式為：

P=×100%（3）

召回率R表示模型分類器認為是正類且事實上是正類的部分占所有事實上是正類的比例，計算公式為：

R=×100%（4）

式中：TP為檢測結(jié)果為正類且事實上是正類的數(shù)量，F(xiàn)P為檢測結(jié)果為正類而事實上為負類的數(shù)量，F(xiàn)N為檢測結(jié)果為負類而事實上是正類的數(shù)量。

平均精確度AP為通過Precision和Recall的點的組合，畫出來的曲線下面的面積，計算公式為：

AP=P（R）dR×100%（5）

式中：P（R）為PR曲線上R對應的P的值。

3.3訓練結(jié)果

利用YOLOV5m網(wǎng)絡(luò)，訓練了8335個訓練集的奶牛圖像，得到了圖6所示的全局損失函數(shù)的訓練誤差曲線?？梢钥吹?，在前100次迭代中，模型可以快速擬合，在進行到200個迭代次數(shù)之后，曲線趨于平穩(wěn)，準確率和召回率波動小，訓練模型收斂，這說明了訓練效果較好。

為驗證該方法的有效性，對牧場采集到的12段奶牛視頻數(shù)據(jù)分別測試Faster R-CNN模型、YOLOv4模型和本文YOLOv5m模型，對測試集識別結(jié)果從精確率、召回率、平均精度均值三個方面來評價不同模型的性能，試驗結(jié)果如表4所示，本文提出的識別方法的準確率為97.73%；召回率為96.36%；平均精確度為98.75%。

調(diào)整卷積神經(jīng)網(wǎng)絡(luò)訓練參數(shù)，反復訓練提高識別效果，系統(tǒng)對不同行為姿態(tài)奶牛圖片實現(xiàn)智能識別并顯示識別率如圖7所示。可以看出本文提出的方法對于不同時間段、不同姿態(tài)的奶牛均有較好的識別準確性，從圖7（a）-（d）可看出本文提出的方法對于白天、夜晚、遮擋、躺臥的奶牛均能準確識別。

4奶牛個體識別檢測系統(tǒng)設(shè)計

4.1系統(tǒng)總體方案設(shè)計

結(jié)合牧場對奶牛自動化管理的特點，設(shè)計的圖形界面具備以下特點：可以實現(xiàn)視頻和攝像頭的實時檢測和流量計趨勢曲線查看。用戶界面簡潔且操作方便，用戶可迅速掌握操作方法。可以直觀地看到系統(tǒng)的檢測狀態(tài)以及檢測結(jié)果。

4.2圖形用戶界面設(shè)計與實現(xiàn)

GUI用戶界面的設(shè)計主要包括注冊登錄界面和奶牛智能監(jiān)測系統(tǒng)主界面兩大部分：

（1）登錄界面設(shè)計。登錄界面的設(shè)計，在首次登錄時需要注冊用戶信息，并按規(guī)定注冊，注冊完成后可在登錄界面輸入用戶名和密碼，若信息正確則進入檢測主界面，注冊登錄界面的設(shè)計流程圖如圖9所示。

圖形界面由Qt Designer進行設(shè)計，主要分為登錄界面和注冊界面。在PyCharm中選擇：工具-Qt De?signer，進入GUI界面設(shè)計板塊，新建Main Window后，繪制所需功能界面，然后對這些按鈕以及顯示框等進行屬性設(shè)置，例如界面排版、文字大小、PushButton按鈕關(guān)聯(lián)動作函數(shù)等。最后保存界面設(shè)置，保存為*.ui格式文件。

功能實現(xiàn)：在Pycharm中點選：工具-PyUIC，將保存的*.ui文件轉(zhuǎn)換為py文件，并根據(jù)設(shè)計需求編寫相應功能函數(shù)，設(shè)計完成的注冊登錄界面如圖10所示。

（2）主界面設(shè)計。用戶在注冊用戶信息并登錄系統(tǒng)后，可選擇進入奶牛智能監(jiān)測系統(tǒng)主界面。界面部件添加方式與登錄界面設(shè)計方式相同，包括統(tǒng)計分析、運行監(jiān)測、設(shè)備管理、參數(shù)配置、流量計趨勢和溫度/濕度顯示等功能。

最后，根據(jù)設(shè)計需求編寫功能函數(shù)，并把上述注冊登錄界面和奶牛智能監(jiān)測系統(tǒng)主界面的py文件導入，以及將YOLOv5m算法打包寫入，最終實現(xiàn)奶牛智能監(jiān)測系統(tǒng)的各項功能。具體GUI界面設(shè)計如圖11所示。

5結(jié)語

由于大規(guī)模養(yǎng)殖環(huán)境中獲取的奶牛行為數(shù)據(jù)，背景復雜、奶牛行為姿態(tài)多樣和自動化管理等問題，探索具有更強實際應用能力的奶牛個體識別新方法以及推動智能化牧場養(yǎng)殖方式的發(fā)展，本文提出了基于深度學習的識別奶牛個體的方法。采用結(jié)構(gòu)相似性算法（SSIM）和均方誤差算法（MSE）剔除冗余圖像，通過標注、Mosaic數(shù)據(jù)增強處理后得到10545幅標簽數(shù)據(jù)，并對YOLOv5m模型進行訓練和優(yōu)化，成功地實現(xiàn)了對奶牛個體的準確識別，并實現(xiàn)了基于YOLOv5m網(wǎng)絡(luò)的奶牛識別檢測的可視化實時監(jiān)測界面。

實驗結(jié)果表明：基于YOLOv5m的奶牛個體識別技術(shù)具有較高的準確性和魯棒性。在不同光照、姿態(tài)和遮擋條件下，模型的平均識別準確率達到了98.75%，相比較YOLOv4提高5.88個百分點，能夠滿足實際應用的需求。未來研究可進一步拓展數(shù)據(jù)集，優(yōu)化模型算法，拓展系統(tǒng)功能，并探索更廣泛的應用場景，以提高奶牛養(yǎng)殖管理的效率和準確性，促進農(nóng)業(yè)的可持續(xù)發(fā)展。

參考文獻：

[1]王思懿.機器視覺在奶牛個體識別中的研究進展[J].農(nóng)業(yè)工程術(shù)，2020，40（27）：55-57.

[2]許貝貝，王文生，郭雷風，等.基于非接觸式的牛只身份識別研究進展與展望[J].中國農(nóng)業(yè)科技導報，2020，22（7）：79-89.

[3]李昊玥，陳桂芬，裴傲.基于改進Mask R-CNN的奶牛個體識別方法研究[J].華南農(nóng)業(yè)大學學報，2020，41（6）：161-168.

[4]宋一凡，王娟，李建麗，等.精準化養(yǎng)殖模式下牛只個體識別方法綜述[J].黑龍江畜牧獸醫(yī)，2021（22）：48-53.

[5]Okura F，Ikuma S，Makihara Y，et al.RGB-D Video-based Individual Identification of Dairy Cows Using Gait and Texture Analyses[J].Computers and Electronics in Ag?riculture，2019，165：104944.

[6]Bezen R，Edan Y，Halachmi I.Computer Vision System for Measuring Individual Cow Feed Intake Using RGB-D Camera and Deep Learning Algorithms[J].Computers and Electronics in Agriculture，2020，172：105345.

[7]Yin X，Wu D，Shang Y，et al.Using an Efficient Net-LSTM for the Recognition of Single Cow's Motion Behav?iours in a Complicated Environment[J].Computers and Electronics in Agriculture，2020，177：105707.

[8]Dihua W，Yunfei W，Mengxuan H，et al.Using a CNN-LSTM for Basic Behaviors Detection of a Single Dairy Cow in a Complex Environment[J].Computers and Electronics in Agriculture，2021，182：106016.

[9]張滿囤，單新媛，于津蘇，等.基于卷積神經(jīng)網(wǎng)絡(luò)的個體奶牛識別[J].東華大學學報，2018，35（2）：107-112.

[10]王立中，麻碩士，薛河儒，等.基于SIFT檢測與匹配算法的奶牛形體圖像技術(shù)研究[J].內(nèi)蒙古農(nóng)業(yè)大學學報（自然科學版），2009，30（1）：238-242.

[11]陳娟娟，劉財興，高月芳，等.基于改進特征袋模型的奶牛識別算法[J].計算機應用，2016，36（8）：2346-2351.

[12]趙凱旋，何東健.基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個體身份識別方法[J].農(nóng)業(yè)工程學報，2015，31（5）：181-187.

[13]Patrizia T，Marco B，Stefano B，et al.A Computer Vision Approach Based on Deep Learning for the Detection of Dairy Cows in Free Stall Barn[J].Computers and Electron?ics in Agriculture，2021，182：106030.

[14]Shen W，Hu H，Dai B，et al.Individual Identification of Dairy Cows Based on Convolutional Neural Networks[J].Multimedia Tools and Applications，2019，79：1.

[15]Simonyan K，Zisserman A.Very Deep Convolutional Net?works for Large-scale Image Recognition[J].CoRR，2014，abs/1409.1556.

[16]He K，Zhang X，Ren S，et al.Deep Residual Learning for Image Recognition[J].IEEE Conference on Computer Vi?sion and Pattern Recognition，2016，770-778.

[17]Howard A G，Zhu M，Chen B，et al.MobileNets：Efficient Convolutional Neural Networks for Mobile Vision Applica?tions[J].arXiv preprint arXiv，2017，1704：04861.

[18]He K，Zhang X，Ren S，et al.Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J].IEEE Transactions on Pattern Analysisamp;Machine Intelli?gence，2014，8691：346-361.

[19]Liu S，Qi L，Qin H，et al.Path Aggregation Network for In?stance Segmentation[J].IEEE/CVF Conference on Com?puter Vision and Pattern Recognition，2018，8759-8768.

[20]M.T，R.P，Q.V.L.Efficient Det：Scalable and Efficient Object Detection[J].Proceedings of the IEEE Computer So?ciety Conference on Computer Vision and Pattern Recogni?tion，2020，10778-10787.

[21]院老虎，常玉坤，劉家夫.基于改進YOLOv5s的霧天場景車輛檢測方法[J].鄭州大學學報，2023，44（3）：35-41.

Individual Cow Identification Based on Deep Learning

WU Ruizhi1，LUO Weiping1，2

（1.School of Mechanical Engineering and Automation，Wuhan Textile University，Wuhan Hubei 430200，China;2.Hubei Provincial Key Laboratory of Digital Textile Equipment，Wuhan Hubei 430200，China）

Abstract：In order to realize non-contact and high-precision individual cow identification and automated management suitable for large-scale dairy farming environment，a method of individual cow identification based on YOLOv5m network model is proposed，in"which the video data captured by the camera are processed in frames，and then the redundant images are removed by using Structural Similarity algo-rithm（SSIM）and Mean Squared Error algorithm（MSE）to train and optimize the YOLOv5m model to realize the individual cow identifica-tion.Mean Squared Error（MSE）was used to remove redundant images，and 10545 labeled data were obtained after labeling and Mosaic da-ta enhancement processing，and the YOLOv5m model was trained and optimized to achieve accurate recognition of individual cows.At the same time，a YOLOv5m-based individual cow recognition detection system was also designed to verify the correctness of the algorithm and the system.The results show that when the number of training times is 300 times，the average accuracy of YOLOv5m model for individual cow recognition reaches 98.75%，which is 5.88 percentage points higher than that of YOLOv4，and it provides an important technical sup-port and application basis for the development of modern animal husbandry.

Keywords：deep learning;individual cow identification;YOLO model;target detection

（責任編輯：孫婷）