何沛桐 張建華,2* 張 凝 夏 雪 柴秀娟

(1.中國農(nóng)業(yè)科學院 農(nóng)業(yè)信息研究所/農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)大數(shù)據(jù)重點實驗室,北京 100081;2.中國農(nóng)業(yè)科學院國家南繁研究院,海南 三亞 572024)

我國是世界畜牧業(yè)發(fā)展大國之一,肉、蛋總產(chǎn)量更是位居世界第一位[1]。據(jù)統(tǒng)計,2021年我國生豬出欄量占全球生豬出欄量50%以上,蛋雞存欄量占全球蛋雞存欄量34.8%[2]。近年來,隨著我國優(yōu)供給、強安全、保生態(tài)等政策出臺,畜牧業(yè)在加快生產(chǎn)方式的轉(zhuǎn)變,規(guī)?；⒓s化、標準化、智能化養(yǎng)殖逐漸成為畜禽養(yǎng)殖的發(fā)展趨勢。隨著養(yǎng)殖密度的不斷增大,畜禽疫病問題越來越凸顯,據(jù)評估2018年爆發(fā)的非洲豬瘟造成的經(jīng)濟損失高達1萬億元[3],其帶來的影響至今仍在繼續(xù);據(jù)中國畜牧業(yè)協(xié)會調(diào)查,2013年上半年爆發(fā)的H7N9禽流感對家禽養(yǎng)殖業(yè)的直接經(jīng)濟損失超過600億元[4]。同時,隨著人們對食品安全、生態(tài)環(huán)境、綠色健康的重視,畜禽健康養(yǎng)殖、福利養(yǎng)殖、精準養(yǎng)殖生產(chǎn)的高端畜禽產(chǎn)品越來越受到消費者青睞。因此,如何利用信息技術手段提升畜禽養(yǎng)殖的信息化、數(shù)字化、智能化水平,形成智慧養(yǎng)殖技術體系,是當前養(yǎng)殖業(yè)轉(zhuǎn)型升級和提質(zhì)增效的關鍵。

目前在畜禽養(yǎng)殖場中,畜禽的個體檢測、體溫檢測、疫病診斷、異常行為識別與體尺體重評估主要是以專業(yè)巡檢員在養(yǎng)殖舍內(nèi)不停巡檢為手段,這種方式存在工作量大、主觀性強、環(huán)境惡劣、存在交叉感染風險等情況[5]。同時,在傳感器、RFID、可穿戴設備、智能設備等技術應用下,基于物聯(lián)網(wǎng)的智慧養(yǎng)殖技術也得到較大的發(fā)展,并在規(guī)?；B(yǎng)殖場得到應用[6],如溫濕度等傳感器在養(yǎng)殖舍的布設,可多維度感知畜禽生長環(huán)境;智能控制設備的應用,實現(xiàn)了養(yǎng)殖舍環(huán)境的最優(yōu)控制;RFID耳標的佩戴可使畜禽個體身份智能識別;可穿戴設備的使用促進了畜禽個體行為和生命體征信息的收集,用于畜禽個體發(fā)情和疾病的預測預警;智能化稱重設備的應用使得畜禽可分群管理;精準飼喂站的應用可根據(jù)畜禽個體信息進行精細飼喂?；谖锫?lián)網(wǎng)的智慧養(yǎng)殖技術在養(yǎng)殖場的應用,較大提升了畜禽養(yǎng)殖效率,節(jié)約了養(yǎng)殖成本,但也存在一些問題,如基于物聯(lián)網(wǎng)的智慧養(yǎng)殖技術需要在畜禽個體耳朵上佩戴RFID標簽、腿上捆綁電子計步器、脖子或腹部上佩戴可穿戴設備等方式獲取畜禽個體的身份、生命體征與行為信息,這種侵入式或捆綁式方法,容易引起畜禽個體的不適、應激,容易滋生細菌引起并發(fā)癥,同時設備成本和運維成本高昂,使得畜禽養(yǎng)殖場難以承擔。

隨著以深度學習為引領的人工智能、機器視覺等新一代信息技術的發(fā)展,與畜禽養(yǎng)殖業(yè)的融合越來越緊密,利用視覺檢測、視覺感知、視覺識別技術,構(gòu)建畜禽養(yǎng)殖的“智慧眼睛”和“智慧大腦”,以圖像數(shù)據(jù)、視頻數(shù)據(jù)為驅(qū)動力,可以全面感知養(yǎng)殖場中畜禽個體的數(shù)量、身份、體尺體重、體溫、行為、疫病等信息,不僅能及時對畜禽疫病進行早期預警,降低畜禽養(yǎng)殖過程中因為疫病造成的經(jīng)濟損失,還能全方面提升畜禽養(yǎng)殖效率,改善畜禽產(chǎn)品的品質(zhì),改變畜禽養(yǎng)殖行業(yè)的生產(chǎn)方式。以深度學習網(wǎng)絡為基礎的智慧養(yǎng)殖模型,形成了畜禽行為、體尺體重的多維智能感知器,為智慧養(yǎng)殖提供決策支持。本文對近年來基于視覺感知的畜禽智慧養(yǎng)殖管理與疫病診斷關鍵技術進行了綜述,分別從畜禽個體檢測、畜禽身份識別、畜禽體尺體重評估、畜禽體溫檢測、畜禽行為識別、畜禽疫病識別等6個方面的研究進展進行闡述,總結(jié)出智慧養(yǎng)殖中畜禽智慧養(yǎng)殖管理與疫病診斷關鍵技術目前面臨的挑戰(zhàn),并對未來的發(fā)展趨勢進行了展望。

1 畜禽個體檢測

畜禽個體檢測是指利用深度學習,在有足夠畜禽圖像數(shù)據(jù)的情況下進行模型訓練,并在圖像中的畜禽輪廓上分別生成最小外接矩陣框,框定畜禽個體,從而實現(xiàn)養(yǎng)殖場中的畜禽個體目標檢測[7]。畜禽個體檢測是實現(xiàn)畜禽疫病智能檢測的主要內(nèi)容和關鍵,其檢測的準確性將直接影響體尺評估、體溫檢測、行為識別等后序算法的性能。本文對畜禽個體檢測方法進行歸納總結(jié)(表1)。

表1 近年基于深度學習的畜禽個體檢測方法研究進展Table 1 Research progress of livestock and poultry individual detection methods based on deep learning in recent years

早期畜禽個體檢測算法大多采用滑動窗口策略選出候選區(qū)域,然后提取候選區(qū)域特征,最后使用分類器進行分類,從而獲得目標區(qū)域,如Viola-Jones檢測、HOG檢測和有關可變形部件模型DPM算法等。由于滑動窗口方法候選區(qū)域的特征提取采用手工方式,遍歷一遍窗口耗時長,算法的準確性、魯棒性不強。近年來,隨著深度學習的發(fā)展,基于深度學習的R-CNN系列、SSD、YOLO以及CenterNet等新檢測算法優(yōu)于基于滑動窗口的畜禽個體目標檢測算法。基于深度學習的目標檢測框架可以分為二階檢測器和一階檢測器兩大類。

基于二階檢測器的畜禽個體檢測,首先在整個圖像范圍內(nèi)生成候選框,再在候選框區(qū)域內(nèi)二次修正回歸得到畜禽個體的檢測結(jié)果,具有較高的準確率,但是時效性相對較差,代表算法有R-CNN系列以及SPPnet等。Yang等[8]首先將目標檢測算法應用于畜禽的個體檢測,利用Faster R-CNN對500張可見光圖像中的生豬進行目標檢測。李昊玥[9]對Mask R-CNN進行改進,對其中的特征提取網(wǎng)絡和損失函數(shù)進行了優(yōu)化(圖1),提升了網(wǎng)絡對于奶牛圖像識別的性能和模型的準確率,相較于原始的Mask R-CNN算法其平均精度提升了3.28%,更加適合奶牛個體檢測任務。高云等[10]針對實際養(yǎng)殖環(huán)境中畜禽之間可能出現(xiàn)的相互遮擋、粘連等問題,設計了雙金字塔網(wǎng)絡對群養(yǎng)環(huán)境條件下的生豬進行個體識別,有效解決了顏色相近、個體相似的生豬粘連問題。

圖1 利用二階段檢測方法Mask R-CNN網(wǎng)絡對奶牛進行個體檢測結(jié)構(gòu)圖[9]Fig.1 The structure chart of individual detection of dairy cows using the two-stage detection method Mask R-CNN network[9]

基于一階段檢測器的畜禽個體檢測,則是不再單獨生成候選框,而是直接產(chǎn)生畜禽個體的類別概率和坐標值,很好地滿足了時效性,但是在檢測準確率方面較二階段目標檢測算法而言略有下降,代表算法有YOLO系列以及SSD算法等。何東健等[11]對YOLOv3算法進行改進,使其更加適應復雜環(huán)境下的奶牛個體檢測,其識別準確率明顯優(yōu)于YOLOv3模型和Faster R-CNN模型,且速度是后者的8倍。燕紅文等[17]將注意力機制融入到特征提取過程,將特征金字塔注意力與Tiny-YOLO進行結(jié)合,實現(xiàn)了對不同環(huán)境下的群養(yǎng)生豬進行多目標檢測。黃靜和張健[12]將金字塔網(wǎng)絡和注意力機制融入SSD算法,解決了在光照不足的養(yǎng)殖環(huán)境下對豬只個體的目標檢測。易詩等[13]對兔子的紅外熱圖像進行目標檢測,結(jié)合改進的YOLOv3算法,實現(xiàn)對兔子進行夜間實時監(jiān)控。房俊龍等[14]在CenterNet中加入特征金字塔結(jié)構(gòu)(圖2),不僅進一步加強了模型的特征提取能力,還更好地解決了實際養(yǎng)殖環(huán)境中豬只個體之間存在大范圍遮擋的問題。

目前,部分生豬、奶牛、肉牛等養(yǎng)殖基地逐漸將基于深度學習方法的個體檢測技術應用于實際養(yǎng)殖環(huán)境,用于畜禽數(shù)量動態(tài)統(tǒng)計,以及出欄畜禽的精準計數(shù)等任務[15]。隨著養(yǎng)殖規(guī)模不斷擴大,群體飼喂畜禽個體越來越密集,使得一定空間條件下飼喂畜禽個體增多,畜禽個體之間常常出現(xiàn)遮擋、粘連、重疊、擁擠現(xiàn)象;同時,畜禽養(yǎng)殖舍內(nèi)光照不足、環(huán)境復雜、養(yǎng)殖條件各異,使得在高密集、復雜環(huán)境條件下的畜禽個體目標檢測難度增大。如何提高存在畜禽相互遮擋、高密度群體養(yǎng)殖、畜禽養(yǎng)殖環(huán)境光照不足、養(yǎng)殖環(huán)境背景復雜情況下的檢測準確率是畜禽個體檢測面臨的挑戰(zhàn)。

2 畜禽身份識別

畜禽身份識別是實現(xiàn)精準畜禽疫病檢測與預警的關鍵。近年來,隨著養(yǎng)殖規(guī)模的擴大,生豬、肉牛、奶牛等大型牲畜個體化管理和個體化信息記錄也成為了大規(guī)模養(yǎng)殖的核心需求。傳統(tǒng)的畜禽個體身份識別主要依靠佩戴耳標或RFID標識方式,該方式不僅勞動成本高、效率低下,且容易造成畜禽個體的應激反應并且容易滋生細菌引起并發(fā)癥。因此,高精度、智能化、非接觸式的畜禽個體身份識別方法對智慧養(yǎng)殖有著非常重要的意義。本文總結(jié)了一些基于機器視覺技術的畜禽身份識別方法(表2)。畜禽的身份識別主要通過識別畜禽表型特征實現(xiàn),主要通過畜禽面部識別進行畜禽個體身份確認。隨著機器學習以及深度學習的興起,面部識別已取得了廣泛成功。將面部識別技術應用到動物身份識別任務中可以明顯提高識別的準確性,同時這種高精度、智能化、非接觸式的識別方式也可以和信息管理與檢測結(jié)合起來顯著降低智慧養(yǎng)殖的成本。本文主要介紹利用面部識別進行畜禽身份識別的方法。Kumar等[21]就以肉牛的口鼻點作為身份識別的關鍵,它們利用深度信念網(wǎng)絡進行肉牛的口鼻特征提取,再用單次相似性技術進行肉牛個體的識別,其身份識別正確率可達98.99%。燕紅文[22]利用豬臉對生豬身份進行識別,將Attention-AlexNet與LBP方法結(jié)合,其精確度為98.11%。李德平[23]對AlexNet網(wǎng)絡進行改進,并用改進后的網(wǎng)絡通過生豬背部進行識別,得到的豬只身份識別結(jié)果達到 94.13%。何嶼彤等[24]構(gòu)建了YOLOv3-DB-SPP模型,實現(xiàn)生豬多個體90.18%的識別精度。戴百生等[25]利用改進的ShuffleNet-v2對4 000張生豬臉部進行識別,其準確率可達96.98%。

表2 近年基于深度學習方法的畜禽身份識別技術研究進展Table 2 Research progress of livestock and poultry identification technology based on deep learning method in recent years

利用面部識別對畜禽進行身份確認無疑是最理想的方法,因此套用人臉識別已有的模型和方法最為常見。然而,人臉識別技術的成功背后是龐大的人臉數(shù)據(jù)集,相比之下,帶有標簽的畜禽面部圖像數(shù)據(jù)集相對較少,如何利用有限的畜禽面部數(shù)據(jù)達到最好的識別效果是當前的難點。為解決上述問題,2020年中國農(nóng)業(yè)科學院農(nóng)業(yè)信息研究所柴秀娟團隊從506頭生豬上收集了3 040個標記的豬臉數(shù)據(jù),構(gòu)建生豬臉部圖像視頻數(shù)據(jù)集,并利用遷移學習方法將畜禽數(shù)據(jù)調(diào)整到預先訓練好的人臉識別網(wǎng)絡來更好地實現(xiàn)種間知識轉(zhuǎn)移,在此理念基礎上設計了一種殘差種間同變網(wǎng)絡RiseNet[26](圖3),并根據(jù)畜禽面部結(jié)構(gòu)特征,將畜禽的面部分為上下兩部分,能讓畜禽面部分布更加貼近人臉的分布從而實現(xiàn)對畜禽面部更好的識別。利用RiseNet的殘差種間同變模塊從人類面部的上半部分學習畜禽上半部臉的種間特征,對于下半部分臉則是使用ImageNet上預先訓練的網(wǎng)絡進行特征提取,最后通過加權(quán)和降維來有效融合上下面部特征,RiseNet在生豬面部的數(shù)據(jù)上取得了99.5%的準確率,相關成果發(fā)表在2020ECCV上。2022年,該團隊又將目光繼續(xù)投向了基于集合的面部識別?；跓o約束的面部識別相比于單幀圖像識別能夠在其單個集合內(nèi)存在巨大方差而更加貼近真實環(huán)境,更加貼合實際養(yǎng)殖環(huán)境中的情況[27]。該團隊將集合的加權(quán)聚合轉(zhuǎn)換為一個圖神經(jīng)網(wǎng)絡的節(jié)點權(quán)重預測問題,采用了孿生網(wǎng)絡的結(jié)構(gòu),用VGGface2作為圖像級特征提取器,建立對比圖卷積塊結(jié)構(gòu),提出MG-GCN模型。該模型注重低質(zhì)量圖像在極端數(shù)據(jù)中的作用,更加關注具有對比性的信息,并在1 000對生豬面部數(shù)據(jù)中取得了95.6%的準確度。

圖3 通過面部識別對生豬進行身份識別的網(wǎng)絡RiseNet[26]Fig.3 RiseNet for identifying pigs through face recognition[26]

圖4 類YOLOv3白羽雞溫度敏感區(qū)域檢測網(wǎng)絡結(jié)構(gòu)圖[67]Fig.4 YOLOv3-like network structure diagram for detecting temperature sensitive areas in white feather chickens[67]

通過畜禽面部識別來進行對于畜禽的身份識別依然是主流。但直接將人臉識別技術遷移到畜禽數(shù)據(jù)中,很難在實際的畜牧養(yǎng)殖場景中實現(xiàn)畜禽個體身份識別的應用。與人臉識別不同的是,智慧養(yǎng)殖中的畜禽面部識別有數(shù)據(jù)量小以及識別場景復雜的特點,神經(jīng)網(wǎng)絡難以從較小的數(shù)據(jù)中學習出緊湊的特征分布,識別場景的無約束也會進一步增加數(shù)據(jù)的方差。因此,構(gòu)建大規(guī)模的公共畜禽身份識別圖像數(shù)據(jù)集非常必要,同時如何利用小樣本特征增廣的思想為畜禽面部識別合成一個更強的特征空間成為重要研究方向。畜禽面部與人臉的結(jié)構(gòu)差異會影響方法的性能,針對單幀的畜禽面部數(shù)據(jù)設計無約束方法也是有意義的研究方向。畜禽面部的屬性分析能為識別任務提供明確的語義幫助,無監(jiān)督的畜禽面部屬性的標簽獲取與分析,將是未來識別方向之一。目前,在實際的畜禽養(yǎng)殖環(huán)境中,大多養(yǎng)殖場依賴于RFID耳標的使用對畜禽身份進行識別。通過深度學習方法對畜禽面部的識別從而實現(xiàn)畜禽身份智能識別目前只在小部分養(yǎng)殖環(huán)境進行示范應用[28],在技術更加成熟之后將會有更大的應用空間。

3 畜禽體尺體重評估

畜禽體尺體重評估是畜禽疫病診斷與健康評估的重要手段。在畜禽生長階段,實時測量畜禽體尺、體重等信息可以監(jiān)測畜禽的生長、日增重、耗料增重比等指標,也可及時發(fā)現(xiàn)潛在疾病。體重、體尺信息是畜禽育種選種、考察品種繁殖性能的重要評價指標之一。目前傳統(tǒng)的體尺測量方法是使用卡尺、皮尺等工具進行人工測量,工作量大且測量準確度受人為主觀性影響較大。而傳統(tǒng)的體重測量方法也是依靠人工方式,將畜禽趕上秤,稱量體重,不僅人工工作量和時間成本較高,還會對畜禽造成很大的應激,嚴重影響畜禽正常生長,進而導致畜禽的生產(chǎn)性能下降[39]。常見的測量畜禽體重的設備為電子秤,盡管電子設備可以較為精準地測量畜禽的體重,但是由于稱重時畜禽個體的晃動等外界因素,會導致較大的測量誤差,同時稱重很大程度不可避免畜禽個體的應激反應。早期的一些研究通過直接確定畜禽骨骼尺寸來對其體尺體重進行計算,Cloete等[40]利用X射線成像技術測量畜禽骨骼尺寸,盡管實現(xiàn)了非接觸式測量,盡可能最大程度上避免了畜禽應激的情況,但是這種技術存在著應用環(huán)境要求較高、可能對畜禽本身造成損害的缺陷。利用機器視覺的畜禽體尺體重評估則可以完全避免上述問題。本文對于基于機器學習的畜禽體尺體重評估方法進行總結(jié)(表3)。

表3 畜禽體尺體重評估研究進展Table 3 Advances in livestock body condition assessment research

畜禽體尺體重評估一般包括兩部分,第一部分是通過圖像得出畜禽的身長、身高等指標,第二部分是通過已經(jīng)測量的畜禽身體指標利用校正模型得到畜禽的體重。從整體上看,畜禽體尺體重評估逐漸從單目視覺成像向雙目視覺成像發(fā)展。岳偉[41]用Sobel-Hough直線提取模型和閾值分割等方法對肉羊進行體尺體重和體重評估根據(jù)小孔成像原理,糾正背景板代替羊體產(chǎn)生的偏差,得到2.98%的平均誤差。江杰等[42]采用D-P算法和海倫-秦九韶公式尋找曲線曲率最大的點作為臀部測點,在尋找到的關鍵幀的基礎上,尋找肩胛點,結(jié)合空間分辨率計算出羊體尺參數(shù)。試驗結(jié)果表明,該方法可以準確提取關鍵幀,體尺測量平均誤差不超過3%。武堯[43]利用4個攝像頭通過正交方式安裝,用左、右兩側(cè)相機采集的數(shù)據(jù)進行互補,并得出了母豬體重預測公式:

y=0.638 8x1+0.574 21x2+0.138 1x3+
0.121 8x4+0.020 9x5+0.018 7x6+0.147 8x7

(1)

式中:x1～x7分別為母豬體長、體寬、體高、臀高、臀寬、胸圍、腱圍,cm。體重人工測量值與估測值的擬合誤差模型為:

y=0.004 7y′2-1.021 2y′+210.86

(2)

式中:y為實測體重,kg,y′為估測體重,kg。

單目成像方法雖然成本較低且易于布置,但是在精度上仍有提升空間。和單目成像相比,雙目視覺成像有著精度高、識別限制少的優(yōu)點。李琦等[44]采用Mask R-CNN算法結(jié)合牛體尺測點識別的方法,基于雙目視覺原理測定牛體尺參數(shù),利用雙目測量原理計算牛體尺測點的深度信息,將牛體尺測點像素坐標轉(zhuǎn)換為空間三維坐標,利用歐氏距離計算空間中點與點間的距離,從而計算牛體尺參數(shù)。其體長、體高、體斜長的平均相對誤差分別為6.09%、5.78%和6.58%。另外,深度相機也是多目視覺技術中經(jīng)常應用的硬件。Pezzuolo 等[45]首先利用深度相機對生豬的身長和高度等進行非接觸式測量,并建立了線性和非線性模型,與基于手動測量的相同非線性模型相比,平均絕對誤差減少了40% 以上。Li等[46]利用深度相機拍攝生豬飲水圖片,從背部點云數(shù)據(jù)中提取生豬尺寸參數(shù),并將其作為自變量建立逐步回歸分析模型,尺碼測量結(jié)果顯示,體長、身高、肩寬的平均相對絕對誤差分別為0.7%、1.8%和3.3%,雖然結(jié)果較為準確,但是依然要考慮深度相機成本較普通相機更加高昂的問題,而且算法消耗時間較長,數(shù)據(jù)量更大。

對于二維圖像數(shù)據(jù),主要是通過單相機獲取圖像,再利用測點法提取畜禽體尺并建立體重預測模型,但這種方法易受相機參數(shù)及物距影響,泛用性不強。對于三維圖像數(shù)據(jù),主要是利用雙目視覺技術和深度相機技術,獲取畜禽體長、體高等相關信息,能夠有效提高檢測精度,降低體重估測誤差。3D點云技術是未來研究的熱點之一,畜禽更多詳細信息可以通過3D點云數(shù)據(jù)獲取,其精度也更高。但是3D點云數(shù)據(jù)自身規(guī)模龐大,容易造成特征冗余,計算耗時多[47],并且在進行計算時對計算能力有較高的要求,有很大的優(yōu)化空間。從實用性上來看,基于深度學習的的畜禽體尺體重評估具有非接觸性、快速、準確的特點,有望在實際養(yǎng)殖環(huán)境實現(xiàn)逐步應用。

4 畜禽體溫檢測

體溫異常對于畜禽疫病的早期發(fā)現(xiàn)非常重要。畜禽體溫檢測不僅是不可缺少的疾病診斷依據(jù),而且對傳染病來說檢測體溫作為提前判斷患病畜禽更為重要。畜禽體溫的變化是畜禽對外來和內(nèi)在病理刺激的一種對抗反應,以生豬為例,豬流感病、豬藍耳病、豬瘟、豬鏈球菌病均會導致生豬發(fā)熱,體溫升高;仔豬正常體溫為38～40 ℃,成年豬為 38～39.5 ℃[61];體溫低于常溫時,稱為體溫低下,常見于大流血和瀕死期;體溫高于正常范圍時稱作發(fā)熱,較常溫升高1 ℃時稱作微熱;較常溫升高 2 ℃時稱作中熱,較常溫升高3 ℃以上時稱作高熱[62]。因此,對于畜禽的實時體溫檢測能夠及時發(fā)現(xiàn)患病畜禽,并對畜禽疫病進行及時預警與防治有重要意義。

臨床上,針對豬、牛、羊大型牲畜通常采用獸用體溫計植入畜禽個體直腸內(nèi)的溫度來確定[62],針對雞、鴨等小型畜禽通常采用體溫計放置在畜禽翼下或直腸來測量體溫[63]。但這種體溫測量方式存在缺陷:一是容易發(fā)生人畜交叉感染,人畜之間能夠進行傳染的疾病有200多種,如豬鏈球菌病、豬圓環(huán)病毒病等。二是這種方式屬于入侵式采集方式,畜禽個體在測溫時會產(chǎn)生應激反應。隨著傳感器技術的發(fā)展,出現(xiàn)了植入式微型體溫傳感器、可穿戴設備、注射式RFID感溫傳感器等接觸式實時感知畜禽體溫裝置,確實解決了在獲取溫度時畜禽應激問題,且大大降低了人畜交叉感染的風險,還方便多次溫度數(shù)據(jù)獲取,但是在首次植入傳感器時會對目標動物造成損傷,且后續(xù)還需手術取出,大大降低了動物福利,同時,該方法消耗大、運維成本高。

紅外熱成像測溫技術是一種非接觸式的體表測溫技術,結(jié)合視覺檢測技術,具有非接觸、無耗材、實時性、反應速度快等優(yōu)勢。其主要包括熱窗選擇、熱窗區(qū)域定位、溫度采集、體溫校準與反演、體溫異常預警等步驟。如何對養(yǎng)殖環(huán)境下的畜禽的溫度敏感部位進行有效檢測和建立畜禽體溫校正模型是畜禽體溫檢測的關鍵點。本文對近年來利用紅外熱成像技術進行畜禽體溫檢測的方法進行了總結(jié)(表4)。de Diego等[64]最早開始用熱紅外成像測溫技術對綿羊的眼部測溫來發(fā)現(xiàn)因為藍舌癥和病毒血癥而發(fā)熱的綿羊個體,發(fā)現(xiàn)了綿羊直腸溫度和綿羊眼球部位熱成像溫度的相關性,通過對綿羊眼球部位的溫度對綿羊是否發(fā)熱進行判斷,靈敏度能達到94.4%,但是并未提出有效的溫度敏感區(qū)域,也并未建立體溫校正模型,得出具體的綿羊體溫,只能對是否發(fā)熱進行二元分類。為探討綿羊溫度敏感區(qū)域溫度和直腸溫度之間的關系,進一步建立體溫校正模型以便對綿羊應激熱進行更好的監(jiān)測,Joy等[65]選取綿羊額頭、眼睛、耳朵、面部、鼻部等位置作為溫度敏感區(qū)域,并利用一個隱含層包含10個具有切線S型傳遞函數(shù)的神經(jīng)網(wǎng)絡作為校正模型對綿羊體溫進行檢測,這種方法的均方誤差能夠小到0.02,能較好地反應綿羊的真實體溫,但是沒有具體的溫度敏感區(qū)域檢測或者分割算法,對溫度敏感區(qū)域依然依賴于手工提取。Lu等[66]利用SVM算法對600頭仔豬頭部進行識別,根據(jù)頭部輪廓的形狀特征定位2個耳朵基點,最后提取以耳基點為中心的2個圓內(nèi)的2個最高溫度作為耳基溫度,對于左右耳基,分別有97%和98%的測試圖像誤差在0.4 ℃以內(nèi),該方法實現(xiàn)了對于仔豬的頭部的識別并且利用仔豬兩只耳朵的最高溫度作為仔豬的實際體溫,但是需要在特定的角度進行圖像獲取,且直接將耳部的最高溫度作為實際體溫,矯正模型有提升的空間。隨著目標檢測算法的不斷發(fā)展,溫度敏感區(qū)域檢測算法和溫度校正模型日益完善,沈明霞等[67]利用YOLOv3模型(圖5)對白羽雞腿部和頭部區(qū)域進行檢測,其視覺檢測準確率達到96.77%,接著對白羽雞的頭部和腿部區(qū)域利用熱紅外成像技術進行采集,結(jié)合環(huán)境溫度、相對濕度和光照強度,利用BP神經(jīng)網(wǎng)絡作為體溫校正模型,可以獲得0.33%的相對誤差,公式如下:

圖5 用于檢測母豬飲水行為SBDA-DL網(wǎng)絡模型結(jié)構(gòu)[78]Fig.5 Structure of SBDA-DL network model for testing sow drinking behavior[78]

y′=38.35-0.039x1-0.014x2+
0.035x3+0.024x4+0.003x5

(3)

式中:y′為白羽雞翅下溫度,℃,x1、x4、x5分別為環(huán)境溫度、頭部最高溫度、腿部最高溫度,℃,x2為相對濕度,%,x3為光照強度,lx。

肖德琴等[68]對生豬熱像圖的頭部及其耳部進行檢測,接著利用閾值分割方法對生豬耳部進行二值化處理,再結(jié)合溫度矩陣得出生豬的體溫,其體溫檢測模型能達到0.2%的誤差,但該模型僅適用于單只生豬的情況,對于多只生豬的情況則使用性較差。

利用熱紅外成像技術進行畜禽體溫檢測,關鍵是在復雜養(yǎng)殖環(huán)境下畜禽熱窗的準確定位,需要解決畜禽熱窗區(qū)域的跨空間、跨尺度、跨視角的特征提取問題,增強其畜禽熱窗區(qū)域的表達能力,優(yōu)化標簽編碼策略和邊界框回歸方式。熱紅外用于動物體溫測量時,受到環(huán)境溫度和測量距離影響比較嚴重,測溫精度不高,需要建立標準體溫與熱窗溫度、環(huán)境溫度的校準與反演模型,研判畜禽體溫異常情況。在實際應用方面,通過熱紅外成像方法對畜禽體溫進行檢測的技術相對較為成熟,且已經(jīng)在小范圍內(nèi)進行應用,對于體溫異常的畜禽個體識別,有助于畜禽疫病或疾病的早期發(fā)現(xiàn)與預警,未來有望在實際養(yǎng)殖環(huán)境下得以大范圍使用。

5 畜禽行為識別

畜禽行為識別是通過在適當位置部署圖像傳感器或者巡檢機器人上,以目標區(qū)域檢測為基礎,對畜禽群體或個體進行連續(xù)檢測與跟蹤,從而獲取其行為特征,用以判斷畜禽生長狀態(tài)、精神狀態(tài)、健康水平,進而對畜禽疾病和動物福利做出預警或識別,是畜禽疫病早期檢測的重要手段[74]。隨著集約化養(yǎng)殖模式得到普遍應用,飼養(yǎng)規(guī)模和密度不斷增加,大幅度提高畜禽生產(chǎn)效率的同時,也產(chǎn)生了大量的動物福利問題,畜禽生存條件惡劣,免疫力低下,危害人類與動物健康,威脅公共衛(wèi)生安全。行為特征是在一定條件下畜禽對內(nèi)外環(huán)境因素刺激所做出的能動反應,不僅與損傷、疾病、生理心理變化有關,也是對復雜環(huán)境的適應性表現(xiàn)[75]。畜禽的行為檢測與識別可對畜禽動物福利狀態(tài)進行判別,用于幫助飼養(yǎng)員改善畜禽飼養(yǎng)條件[76]。現(xiàn)代化的集約化養(yǎng)殖方式限制了許多具有生物學意義的畜禽行為。因此,在現(xiàn)代化飼養(yǎng)管理中,一般將畜禽行為表現(xiàn)分為正常行為和異常行為。

5.1 日常正常行為識別

在種類繁多的畜禽疫病臨床或亞臨床體征表現(xiàn)之前,往往伴有畜禽個體自身行為的改變,例如,當畜禽感染疫病時其飲水、進食頻率會發(fā)生巨大改變,或是躺臥、站立的時間大幅度增加或者減少。因此,日常行為的監(jiān)測與識別顯得尤為重要,可以彌補生物安全措施的不足,有利于防止畜禽烈性傳染疾病以及人畜共患病的傳播。日常行為活動主要包括采食、飲水、排泄、躺臥、站立、行走等基礎生理行為。本文對畜禽日常行為識別方法進行歸納(表5)。

在畜禽進食、飲水等行為識別方面,其主要思路在于檢測出畜禽個體之后,判斷畜禽個體與飲水區(qū)域或者進食區(qū)域之間的重疊關系。朱偉興等[77]利用閾值分割方法和幾何特征提取對生豬個體進行分割,再判斷分割出的畜禽個體是否和飲水區(qū)域重疊、重疊時間是否夠長來判斷畜禽是否進行了飲水行為,該方法對于的飲水行為識別準確率達到90.7%,但是對多只豬只個體需要進行手動標記。李澤森[78]建立以SSD為檢測網(wǎng)絡,以MobileNet為分類網(wǎng)絡的SBDA-DL算法模型(圖5),對母豬飲水行為進行檢測,在1 423張視頻截圖中得到了96%的準確率,但是由于飲水區(qū)域較為小,生豬在飲水器旁徘徊容易被誤認為在進行飲水行為,降低了飲水行為識別的準確率。

Alameer等[79]則是針對上述問題,設計了一個基于GoogLeNet結(jié)構(gòu)的網(wǎng)絡對生豬訪問進食區(qū)域卻不消耗飼料的NNV行為和生豬實際進食行為進行區(qū)分,準確率達到99.40%。Yang等[8]利用Faster R-CNN模型同時識別每一頭生豬的個體和其對應的頭部,再通過判斷生豬頭部和進食區(qū)域的范圍以及是否在進食時間范圍內(nèi)等條件來判斷生豬是否進行了進食行為,其準確率能達到99.6%,但是其限制條件較多,對沒有進食時間限制的養(yǎng)殖環(huán)境并不適用。為了彌補上述不足,為進一步提升對于生豬和進食飲水區(qū)域的判斷,嵇楊培等[80]先利用頭頸模型和YOLOv2算法對生豬個體進行檢測,對生豬是否在飲水進食區(qū)域進行判斷。鑒于頭頸模型的穩(wěn)定性,該檢測算法能夠很好地解決豬只之間遮擋、重疊的問題。再利用背景差分法對個體進行分割,通過閾值法判斷是否進行了進食飲水行為,其準確率分別達到96.49%和94.59%。

在畜禽行走、躺臥等行為識別方面,其主要思路是尋找一個視頻中連續(xù)幀中畜禽動作之間的相關性,從而對畜禽行為進行識別,因此能夠提取時間序列的網(wǎng)絡結(jié)構(gòu)被大量使用,雙流網(wǎng)絡[81]就是其中之一,其主要由空間流卷積網(wǎng)絡和時間流卷積網(wǎng)絡分別提取視頻的空間和時間特征,最后進行融合。Fuentes等[82]在雙流網(wǎng)絡的基礎上并行加入一個YOLOv3網(wǎng)絡對奶牛的行走行為進行識別,mAP為0.902。蘇森等[83]則是仿照雙流網(wǎng)絡結(jié)構(gòu),在YOLOv2網(wǎng)絡上添加了并行的3D-MobileNet網(wǎng)絡提取連續(xù)幀中的時序特征,利用通道注意力模塊將其與2D卷積網(wǎng)絡提取的空間特征進行融合(圖6),用于生豬躺臥行為的實時識別,mAP0.5的值達到61.32,大大降低了對于光流數(shù)據(jù)的計算,但是對于目標較小的場景效果較差。上述方法的通病是卷積網(wǎng)絡參數(shù)量巨大,計算時間較長,難以實現(xiàn)實時識別的效果。骨架提取則是另一種進行行為識別的方法,能夠去掉不必要的信息,便于識別。劉波[84]利用深度相機采集生豬行走序列圖像,對生豬的骨架端點進行提取,利用余弦函數(shù)進行貼合,從而實現(xiàn)對生豬行走的識別,其識別準確率能達到96.4%,但是該方法需要后臺進行隊列處理,實時性較差。在如何有效壓縮模型在計算過程中的參數(shù)是下一階段需要繼續(xù)考慮的問題。Fang等[85]將骨架提取和深度學習方法結(jié)合在一起,利用Deeplabcut和ResNet50尋找肉雞特征點構(gòu)建姿勢骨架,再利用樸素貝葉斯方法對肉雞的行走和整理羽毛行為進行識別,其精度分別為51.35%和92.58%,但該研究沒有考慮時間特征。目前來看,上述方法都存在著參數(shù)量過大、計算時間長的問題。

圖6 以YOLOv2為主干的生豬行為識別網(wǎng)絡模型圖[83]Fig.6 Model diagram of pig behavior recognition network with YOLOv2 as the backbone[83]

通過視覺檢測的目標檢測與目標跟蹤技術,對畜禽的生活習性、活動規(guī)律、行為特征進行自動獲取與統(tǒng)計分析,用以記錄畜禽正常行為,并對比患病畜禽行為統(tǒng)計差異顯著性,可以較為準確的預警一些疾病或疫病的發(fā)生。方法難點在于長時間對畜禽密集目標檢測與跟蹤,并計算其行為軌跡與特點。同時,因處理對象大多為實時視頻數(shù)據(jù),對算法的實時性要求較高。

5.2 異常行為識別

異常行為是指在行為類別、模式和表現(xiàn)程度上與正常行為有明顯差別的行為,以及對自身或?qū)ζ渌麄€體有害的行為,主要包括:非正常的飲水、進食與排泄,以及好斗、咬尾、打架、跛行、顫抖、蜷縮、厭食、久臥、犬坐、步態(tài)不穩(wěn)、腹式呼吸等。以生豬為例,豬傳染性腹瀉和豬流行性腸胃炎會使生豬排泄次數(shù)增加,而生豬在感染流行性感冒之后則是會增加飲水量并且減少飼料攝入;在仔豬斷奶后,如果其體內(nèi)缺乏微量元素,則會表現(xiàn)為好斗、咬尾、打架等行為。因此,對畜禽異常行為的識別,有助于在疫病初期對患病畜禽進行及時發(fā)現(xiàn),有效阻礙疫病進展和廣泛傳播。對畜禽異常行為識別的方法總結(jié)在表6。

表6 畜禽異常行為識別研究進展Table 6 Advances in research on abnormal behaviour recognition in livestock and poultry

近年來,大多研究集中在畜禽的跛行、打斗等異常行為識別。在跛行識別方面,Poursaberi等[98]早在2010年開始對奶牛跛行進行識別,利用背景減法對圖像中的奶牛進行提取,再用閾值分割方法對奶牛跛行進行識別,其準確率為94.7%。2013年Viazzi等[99]利用決策樹方法對8頭奶牛的105個視頻中的跛行行為進行識別,得到91%的是準確率。到了2019年,吳倩[100]利用YOLOv3算法對奶牛關鍵部位進行檢測,再用 SVM分類器對通過基于前后腿相對步長的跛行檢測方法的視頻進行分類,準確率為95.62%。為了解決基于可見光視頻的奶牛跛行檢測系統(tǒng)易受光線、環(huán)境變化因素影響的問題,康熙等[101]想到運用紅外熱圖像對跛行奶牛進行識別,利用YOLOv4對奶牛進行目標檢測,再計算紅外熱圖像中奶牛的弓背曲率,完成對奶牛跛行行為的識別,其最佳準確率為94.44%。在打斗等攻擊行為識別方面,主要多采用三維卷積的方法。Chen等[102]首先利用閾值分割方法識別出個體仔豬,再通過對連續(xù)幀中的仔豬位置對仔豬運動的加速度進行計算,通過其加速度的周期性變化規(guī)律來識別仔豬的攻擊性行為,例如碰撞和撞擊其他仔豬,該方法能成功識別出95.82%的中等攻擊性行為和97.04%的高攻擊性行為。張?zhí)K楠等[103]利用MobileNet對單點多框檢測器進行改進,提高 SSD 對運動生豬個體的檢測精度與速度,準確率能達到93.75%。Nasiri等[104]利用ResNet對行走肉雞的7個關鍵點進行檢測和跟蹤,再將其送入LSTM模型,建立的LSTM模型平均分類正確率為97.5%。三維卷積網(wǎng)絡雖然能更好地提取相關特征,但是模型參數(shù)和計算量也在增長,識別速度較慢。

異常行為識別是主要判斷畜禽疾病發(fā)生以及評估健康狀況。在行為特征描述方面,如何構(gòu)建包括時間、空間、通道等不同維度的注意力模塊,提升多維時空特征的表達能力,是異常行為識別的難點之一。同時,畜禽異常行為數(shù)據(jù)稀少性和正負樣本不均衡的問題,也是實現(xiàn)復雜場景下的畜禽異常行為準確識別的難點。

目前智能畜禽行為識別方法多在畜禽舍進行示范應用,實際應用還較少,需要進一步提高行為識別準確率,結(jié)合養(yǎng)殖現(xiàn)場實際情況,配合成體系的自動化系統(tǒng)裝備能更好地應用于實際場景當中。

6 畜禽疫病智能診斷

畜禽疫病圖像智能診斷是在建立畜禽疫病知識庫基礎上,利用深度學習提取患病畜禽個體身體結(jié)構(gòu)變化、輪廓變化、關鍵部位形態(tài)等表型特征,并對畜禽疫病類別進行識別與診斷[108]。畜禽生長過程中難免會受到種類繁多的傳染病及營養(yǎng)代謝病的危害,不僅會造成畜禽個體生病、體尺體重下降、產(chǎn)量和品質(zhì)降低,特別是在傳染性強、致死率高的畜禽疫病出現(xiàn)時,在養(yǎng)殖場發(fā)現(xiàn)后第一時間是進行徹底的捕殺和填埋以及對環(huán)境場所的徹底消毒,以免造成畜禽疫病爆發(fā)風險增大、人畜共患病危險升級的情況,繼而會對公共衛(wèi)生安全形成嚴重威脅。畜禽疫病智能診斷是現(xiàn)代化智能畜禽養(yǎng)殖的重大共性關鍵技術,是有效減輕和防止動物疫病事件產(chǎn)生嚴重社會危害、造成重大經(jīng)濟損失的關鍵環(huán)節(jié)。

目前在畜禽養(yǎng)殖疫病診斷與防控工作中,主要依靠獸醫(yī)在畜舍的巡視或者遠程診斷,甄別患病畜禽個體并采用相應的措施進行防治,還可借助相關檢測儀器或檢測試劑得出檢測結(jié)果確診準確疾病。但該方式工作量大、主觀性強、容易出現(xiàn)人畜間的疫病傳染[109]。從本世紀初開始,大多研究者利用專家系統(tǒng)、知識庫、規(guī)則推理、模糊推理、神經(jīng)網(wǎng)絡等方法,構(gòu)建畜禽疫病自動診斷系統(tǒng),在早期能夠通過文字描述或者圖像的識別對畜禽疫病做出診斷,在減少人工成本、提高識別準確率的同時更加具有實時性。徐東升等[110]早在2009年就提出用規(guī)則推理事例推理結(jié)合的方法構(gòu)建專家系統(tǒng),通過疫病癥狀描述,對白絨山羊的呼吸系統(tǒng)、消化系統(tǒng)、運動系統(tǒng)、神經(jīng)系統(tǒng)等方面的疫病進行識別診斷。Kim等[111]利用模糊C均值推理法為狗的肛周萎管、弓形蟲病等100種常見的疫病建立了專家系統(tǒng)便于狗主人的輔助診斷系統(tǒng),其準確率高達98.6%。鐘昌樂等[112]將BP神經(jīng)網(wǎng)絡結(jié)合到專家系統(tǒng)在中,集成了鴨、豬、貓、雞的多種常見疫病與癥狀知識,實現(xiàn)了具有推理簡單、實用性強等特點的畜禽疾病診斷專家系統(tǒng)。Sitanggang等[113]利用冢本模糊法對肉雞的常見疫病建立了專家系統(tǒng)。Suharjito等[114]利用冢本模糊法建立的專家系統(tǒng)對奶牛疫病的識別準確率高達100%。Nusai等[115]則是將生豬性別和年齡考慮到知識庫構(gòu)建中,其建立的專家系統(tǒng)在疾病篩查、癥狀診斷、病變診斷方面分別取得了97.5%、92.48%和95.62%的準確率?；谶壿嬐评淼男笄菀卟≡\斷系統(tǒng),主要利用疫病知識、規(guī)則推理、專家系統(tǒng)等方法,缺少對畜禽疫病癥狀的分析與描述,以及患病畜禽形態(tài)、結(jié)構(gòu)、表型等特征的刻畫,畜禽疫病診斷的準確性和普適性相對較低。

隨著深度學習在畜禽疫病識別的應用,畜禽疫病圖片數(shù)據(jù)逐漸被作為驅(qū)動構(gòu)建畜禽疫病識別模型,實現(xiàn)了畜禽疫病的智能識別。表7中總結(jié)了基于深度學習方法的畜禽疫病圖像智能診斷算法。Mbelwa等[116]利用XceptionNet網(wǎng)絡對兩種患有不同疫病和健康的肉雞的糞便進行分類,從而實現(xiàn)對于兩種肉雞疫病的分類,其準確度達到94%。Gao等[117]提出了一種基于知識圖譜和遷移學習的卷積神經(jīng)網(wǎng)絡KGTL-CNN,實驗結(jié)果表明該模型有著86.77%的F1得分,相比傳統(tǒng)CNN模型來講提升了7.7%。Rony等[118]將Inception-V3結(jié)構(gòu)和VGG16網(wǎng)絡有機結(jié)合在一起(圖7)對肉牛的3種疫病進行識別,準確率為95%,囿于肉牛疫病圖像數(shù)據(jù)的不足,識別準確率依然有提升的空間。邱洪濤[119]將深度學習方法和證據(jù)理論融合,利用ResNet-18提取生豬內(nèi)臟圖像特征,再利用證據(jù)理論對生豬疫病進行了準確識別,該方法雖然有著可觀的準確率,但是利用的是生豬解剖圖像,不符合實時檢測識別的初衷。

圖7 針對牛的3種疫病識別的Inception-V3和VGG16結(jié)合網(wǎng)絡[118]Fig.7 Inception-V3 and VGG16 combined network for identification of three diseases of cattle[118]

表7 基于深度學習的畜禽疫病智能診斷研究進展Table 7 Research progress of livestock and poultry disease identification based on deep learning

當前,基于深度學習的畜禽疫病智能診斷的主要難點還是在于大規(guī)模畜禽疫病圖像數(shù)據(jù)集的構(gòu)建。同時,畜禽疫病智能診斷面臨應用場景復雜、數(shù)據(jù)來源多樣、混合疫病復雜耦合等眾多挑戰(zhàn),現(xiàn)有方法在視覺異常檢測、多模異構(gòu)數(shù)據(jù)統(tǒng)一表示與融合決策、以及知識圖譜自主構(gòu)建和演進等方面仍有不足,系統(tǒng)性和實用性亟待提高。同時,如何應對跨媒體多模態(tài)輸入的數(shù)據(jù)結(jié)構(gòu)復雜性和融合決策協(xié)同泛化難的挑戰(zhàn),實現(xiàn)精準高效的疫病識別與診斷,是變革智能養(yǎng)殖生產(chǎn)方式的重要方向。目前,少量畜禽疫病識別或疾病診斷APP已上線使用[120],主要是基于專家系統(tǒng)、知識庫、規(guī)則推理、模糊推理等邏輯推理方法構(gòu)建,這些方法需要填寫或選擇的癥狀信息較多,操作復雜,智能化程度有待提升?；谏疃葘W習的畜禽疫病圖像智能診斷方法在保證其訓練數(shù)據(jù)集充足的情況下能夠提供更高更穩(wěn)定的疫病識別準確率,智能化程度高,將會有較大的應用空間。

7 結(jié) 論

基于視覺智能感知的畜禽疫病檢測與智慧養(yǎng)殖管理關鍵技術是智慧養(yǎng)殖技術體系的重要內(nèi)容,也是智慧養(yǎng)殖決策支持與智能管理的關鍵。多項研究表明,畜禽個體檢測、畜禽身份識別、畜禽體溫檢測技術已可實現(xiàn)復雜養(yǎng)殖環(huán)境的精確畜禽個體識別與體溫檢測,相應的檢測精度與計算速度基本能滿足實際的要求,在實際畜禽養(yǎng)殖環(huán)境下已經(jīng)處于示范階段。但畜禽疫病識別、畜禽行為識別、畜禽體尺體重評估由于其性能依然有提升的空間,且較多為示范性場所或者試點應用,其應用場景較少,導致實際應用效果尚不明晰,還有待進一步檢驗。本文介紹了畜禽智慧養(yǎng)殖的多個方面,基于視覺智能感知的畜禽疫病檢測技術均獲得了較好的進步與效果,將多個基于視覺感知的畜禽智慧養(yǎng)殖管理技術與智能裝備相結(jié)合,形成系統(tǒng)化、智能化、完整性的畜禽智慧養(yǎng)殖管理體系,將會在實際的畜禽養(yǎng)殖中發(fā)揮更大的應用效果。對相關研究進行總結(jié)梳理后,可以得出以下結(jié)論:

1)基于機器視覺的畜禽個體檢測算法研究目前主要致力于解決高遮擋、光線差等問題,檢測速度也是重要關注的指標?，F(xiàn)研究的準確率大部分在92%以上。

2)深度學習在畜禽身份識別中已有廣泛應用。深度學習方法能夠通過單獨識別畜禽的面部、花紋、尾部等部位從而實現(xiàn)畜禽身份識別。其中,不同畜禽個體之間的臉部特征差異性最為明顯,較其他身體部位相比,特征更為豐富也更為明顯,因此利用面部數(shù)據(jù)的研究較多。其中以輕量級網(wǎng)絡為主,其識別準確率能達到90%以上。目前機器視覺的畜禽身份識別方法已經(jīng)進行了示范應用。

3)對于體尺體重測量方面的研究,部分研究利用二維數(shù)據(jù)進行后續(xù)預測,但也有一些研究已經(jīng)開始利用三維數(shù)據(jù),相對誤差更小。畜禽體尺體重的智能估測已經(jīng)被越來越多的養(yǎng)殖公司投入使用,在測量精度和速度上已經(jīng)有了很好的表現(xiàn)[121]。

4)基于機器視覺對畜禽體溫進行檢測的研究較為豐富,從早期研究使用的閾值分割方法到使用深層次的卷積神經(jīng)網(wǎng)絡,其區(qū)域提取準確率逐步提高,校正的體溫溫度相對誤差也逐步減小。在一些畜禽智能養(yǎng)殖場已經(jīng)應用將部分研究投入應用,很多企業(yè)也已經(jīng)推出相關產(chǎn)品[122]。

5)利用深度學習方法對畜禽疫病進行直接識別的相關研究較少,主要難點在于對于畜禽疫病圖像數(shù)據(jù)集的構(gòu)建。

6)在畜禽行為識別方面,對于日常正常的行為識別,多數(shù)研究通過判定畜禽和養(yǎng)殖環(huán)境特定范圍接觸的情況來對日常行為進行識別。在異常行為識別方面,則需要通過連續(xù)幀之間的關系進行確認。相對于其他研究,判定奶牛跛足方面的研究較多,且較成體系。

8 展 望

在目前已經(jīng)有畜禽養(yǎng)殖基地示范采用智能感知方法的情況下,隨著畜禽養(yǎng)殖環(huán)境不斷規(guī)范化、規(guī)?；F(xiàn)代化,以及相應設備硬件的不斷更新,基于視覺感知的體尺體重評估及畜禽疫病檢測技術有著較強的實際應用可行性。未來研究還需以視覺感知方法研究為出發(fā)點,突破智慧養(yǎng)殖中體尺體重評估及畜禽疫病檢測技術瓶頸,進而實現(xiàn)畜禽養(yǎng)殖的智慧管理與疫病的智能防控。未來技術發(fā)展趨勢如下:

1)基于視覺感知的體尺體重評估及畜禽疫病檢測技術將會在智慧養(yǎng)殖中得到充分應用。目前,隨著畜禽工廠化高密度養(yǎng)殖方式的發(fā)展,隨之而帶來的疫病防控、精細飼喂、畜禽群體管理、早期疾病監(jiān)測預警等系列問題日益突出,現(xiàn)有技術已不能滿足國家對疫病防控監(jiān)管日趨嚴格的要求,也不能滿足養(yǎng)殖業(yè)對畜禽管理的智慧化需求,迫切需要一種低成本、高精度、智能化的基于視覺感知的體尺體重評估及畜禽疫病檢測技術,以實現(xiàn)對畜禽智慧養(yǎng)殖由表及里的全方位升級改造。在對畜禽進行實時檢測識別的應用環(huán)境下,結(jié)合實際應用場景,兼顧準確率和運行速率依然是在基于視覺智能感知的體尺體重評估及畜禽疫病檢測亟待解決的問題。

2)基于面部識別的畜禽個體身份識別技術將會逐漸在智慧養(yǎng)殖中占據(jù)主導。無約束場景下的面部識別問題一直是畜禽個體身份識別技術的難點,過去的面部識別研究往往僅關注圖像質(zhì)量對性能的影響,而忽略了數(shù)據(jù)中存在的極端樣本,如何提取更豐富的畜禽臉部信息將是提升畜禽個體身份識別技術精度的關鍵。隨著基于面部識別的畜禽個體身份識別技術的不斷突破,這種低成本、高精度、智能化的畜禽身份識別技術將會在智慧養(yǎng)殖中得到充分應用。

3)跨媒體、多模態(tài)的畜禽疫病識別與融合診斷方法將會成為新的研究方向。現(xiàn)有的依據(jù)單模數(shù)據(jù)的診斷方法,無法達到較高的識別精度,難以滿足疫病精準診斷要求。在基于圖像信息的同時融合聲音、數(shù)值、視頻等媒體信息,以及深度信息、熱紅外信息、近紅外光譜信息、紫外信息等多模態(tài)信息,并對獲取的多模異構(gòu)復雜耦合的數(shù)據(jù)進行融合分析,達到精確診斷和預警的目的。

4)在實際養(yǎng)殖環(huán)境下對多個畜禽熱窗的準確定位是未來畜禽非接觸測溫的關鍵。熱紅外用于動物體溫測量時,受到環(huán)境溫度和測量距離影響比較嚴重,測溫精度不高,需要建立標準體溫與熱窗溫度、環(huán)境溫度的校準與反演模型,研判畜禽體溫異常情況?，F(xiàn)存的熱紅外技術用于體溫測量的方法大多數(shù)對于畜禽所處環(huán)境背景條件有著較高的要求,養(yǎng)殖環(huán)境復雜背景、多個畜禽熱窗精準檢測、體溫與熱窗溫度映射等問題在未來可能會通過多模態(tài)結(jié)合的方法進行有效解決。

5)動態(tài)多視角與時空特征融合的畜禽個體行為識別方法成為新的研究熱點。在復雜養(yǎng)殖環(huán)境條件下畜禽個體行為存在遮擋、背景干擾、光照不均等因素影響,同時由于角度變化,畜禽外觀和姿態(tài)同樣發(fā)生變化,尤其畜禽個體外表相似度較高,其本質(zhì)特征難以抓取。因此,如何充分考慮不同視角下畜禽信息的融合,以彌補單視角畜禽個體檢測中的漏檢,同時考慮畜禽行為的時空特性,建立不同畜禽品種的骨架幾何特征,形成視角不變性特征表示的骨架序列時空關聯(lián)性特征,提取畜禽行為視頻幀的上下文信息,提高畜禽行為識別的精度和魯棒性,成為解決該問題的重要方法。

6)三維體尺數(shù)據(jù)在未來是估測畜禽體尺體重的重要數(shù)據(jù)形式。在如今雙目視覺技術和深度相機技術已經(jīng)大量應用于畜禽體尺體重估測的情況下,更為先進的3D點云技術有著更加廣闊的開發(fā)前景。3D點云數(shù)據(jù)可以獲得畜禽更多的位置和細節(jié)信息,精度更高。如何發(fā)揮3D點云的優(yōu)勢,解決3D點云技術數(shù)據(jù)龐大、冗余多、耗時長和對硬件要求高的問題,是未來研究的一大方向。

在應用層面,基于視覺感知的畜禽體尺體重評估和疫病檢測方法仍處于示范使用階段,從示范使用轉(zhuǎn)向至全面推廣應用,還存在以下難點:一是畜禽品種存在多樣性,比如生豬有:長白豬、大白豬、夏洛克、漢普夏、皮特蘭等,造成需要收集的樣本難度大,樣本類型少會造成視覺算法模型的泛化能力弱,準確率降低。二是應用場景存在多樣性,比如生豬養(yǎng)殖場有空懷母豬舍、母豬產(chǎn)房舍、斷奶仔豬舍、育肥豬舍等,不同豬舍的內(nèi)部結(jié)構(gòu)和養(yǎng)殖模式也不一致,造成視覺模型算法的普適性有一定困難。三是不同生育期的畜禽個體具有差異性,造成視覺算法的準確識別難度加大。四是基于視覺的智能算法需要與養(yǎng)殖舍內(nèi)設施融合,比如生豬面部識別算法用于生豬身份識別,需與精準飼喂、巡檢機器人等裝置聯(lián)合使用,使得視覺算法模型在實際場景的推廣應用成本加大。五是養(yǎng)殖戶對視覺智能感知系統(tǒng)認識程度仍需提升,當前大型養(yǎng)殖企業(yè)開始逐漸重視視覺智能感知技術的應用,但對大多數(shù)中小規(guī)模養(yǎng)殖場仍存在一定的接受過程。