肖德琴 林思聰 劉 勤 黃一桂 曾瑞麟 陳 麗

(1.華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院， 廣州 510642； 2.溫氏食品集團(tuán)股份有限公司， 云浮 523700)

0 引言

生豬的體溫監(jiān)測在規(guī)?；i養(yǎng)殖中有非常重要的作用，一般使用豬的直腸溫度表征豬的體溫[1-2]。當(dāng)豬只處于循環(huán)衰弱、產(chǎn)后癱瘓、中毒或者臨死期時，其體溫低于正常體溫范圍的最低值；當(dāng)豬只感染某些炎癥或傳染性疾病時，如豬傳染性胸膜肺炎、豬流感等，其體溫超過正常體溫的最高值。在畜禽養(yǎng)殖中的大部分傳染性疾病中，體溫升高往往發(fā)生的較早[3-4]。因此，對生豬進(jìn)行體溫監(jiān)測和分析能有效發(fā)現(xiàn)疾病早期癥狀，以便及時通知養(yǎng)殖人員處理，減少養(yǎng)殖企業(yè)的經(jīng)濟(jì)損失[5-7]。

檢測生豬體溫的方法主要有傳感器法和熱紅外成像技術(shù)。相比于傳感器測溫要將設(shè)備置于生豬體內(nèi)[8-9]，基于熱紅外成像技術(shù)的測溫方法具有非接觸式的優(yōu)點(diǎn)，避免了人畜接觸交叉感染，也不會引起豬只的應(yīng)激反應(yīng)，能更準(zhǔn)確地反映豬只體溫[10]。SCOLARI等[11]和SKYKES等[12]使用紅外熱像儀采集發(fā)情母豬肛部的熱紅外圖像分析母豬發(fā)情行為；秦永孝等[13]利用紅外熱像儀研究母豬發(fā)情狀態(tài)下體溫變化；WESCHENFELDER等[14]通過紅外熱像儀采集生豬屠宰前的體溫，研究分析了生豬體表溫度與其屠宰前的心理?xiàng)l件和豬肉品質(zhì)的相關(guān)性。上述研究都表明了基于熱紅外成像技術(shù)提取的豬只體溫能夠反映豬只生理狀況。

近年來隨著計(jì)算機(jī)視覺的發(fā)展，基于圖像處理技術(shù)的生豬熱紅外圖像感興趣區(qū)域測溫技術(shù)成為研究熱點(diǎn)。周麗萍等[15]基于熱紅外圖像提出改進(jìn)Ostu算法檢測生豬耳根區(qū)域，但該方法僅能檢測完整具有耳根部特征的豬只圖像。趙海濤[16]借鑒人臉關(guān)鍵點(diǎn)檢測技術(shù)對豬臉的紅外圖像進(jìn)行關(guān)鍵部位自動識別，該方法適用于人工拍攝的豬臉數(shù)據(jù)，難以結(jié)合自動化設(shè)備進(jìn)行檢測。LU等[17]使用SVM識別紅外圖像中豬只頭部，基于頭部輪廓定位豬耳，并提取溫度，但存在將豬尾部輪廓誤識別為豬頭，導(dǎo)致耳部定位錯誤的問題。盡管上述研究一定程度上實(shí)現(xiàn)了自動化提取熱紅外圖像中感興趣部位的溫度，但數(shù)據(jù)來源是人工拍攝，自動化程度較低，而且存在感興趣部位的定位精度較低的問題。

已有研究表明，生豬熱紅外圖像的耳部區(qū)域最大溫度及平均溫度均保持了與生豬直腸體溫較好的相關(guān)性[17-18]。本文在前期部署的設(shè)施豬場生豬體溫紅外巡檢系統(tǒng)基礎(chǔ)上[19]，將紅外熱成像技術(shù)與計(jì)算機(jī)視覺技術(shù)結(jié)合，選取生豬耳部區(qū)域作為其體溫的代表區(qū)域，提出一種基于紅外熱成像的生豬耳溫自動提取算法(Infrared thermography based pigs’ ear temperature extraction，IT-PETE)，自動提取生豬耳部溫度，以實(shí)現(xiàn)對設(shè)施豬場內(nèi)生豬體溫的快速監(jiān)測，為后期構(gòu)建豬只健康監(jiān)測預(yù)警模型提供技術(shù)支撐。

1 材料與方法

1.1 生豬熱紅外圖像數(shù)據(jù)的采集

本文數(shù)據(jù)采集于廣東省云浮市新興縣溫氏東成種豬場，于2018年7—9月進(jìn)行了試驗(yàn)，現(xiàn)場裝備部署及拍攝效果如圖1所示。試驗(yàn)豬舍的限位欄長220 cm、寬75 cm、高106 cm。采集設(shè)備為FLIR A310型紅外熱像儀，并在其內(nèi)置25°鏡頭的基礎(chǔ)上加裝了一個視場角90°的鏡頭，部署于滑軌移動設(shè)備上，距離地面200 cm，可拍攝欄位共計(jì)28個。熱像儀的紅外分辨率為320像素×240像素。紅外熱像儀在試驗(yàn)環(huán)境下進(jìn)行嚴(yán)格校準(zhǔn)，試驗(yàn)豬場內(nèi)的環(huán)境因子數(shù)據(jù)是可調(diào)控的并且相對穩(wěn)定，但具體拍攝時仍需要對豬只個體輻射率和拍攝距離等參數(shù)進(jìn)行校正優(yōu)化。根據(jù)文獻(xiàn)[20]的研究，通過多次拍攝測溫，將豬只個體輻射率調(diào)準(zhǔn)為0.95能夠穩(wěn)定反映生豬的體溫。實(shí)際拍攝時，豬只姿態(tài)變化一定程度上影響拍攝距離。但將拍攝距離從115 cm調(diào)整到140 cm后，同一測量點(diǎn)的溫度誤差不超過0.1℃，測量結(jié)果如表1所示，試驗(yàn)結(jié)果表明不同拍攝距離對設(shè)備測溫效果影響不顯著。因此，根據(jù)豬只大致高度將拍攝距離設(shè)置為120 cm。經(jīng)過試驗(yàn)校準(zhǔn)后，本文紅外設(shè)備獲取的溫度在誤差允許范圍內(nèi)能夠反映生豬的體溫，能夠建立有效的溫度分布熱像圖和獲取豬只體溫。

表1 不同拍攝距離下部分溫度數(shù)據(jù)

根據(jù)采集到的紅外熱像圖，構(gòu)建包含2 400幅生豬紅外熱像圖的數(shù)據(jù)集。樣本來自于28個欄位不同生豬個體。其中，訓(xùn)練集和驗(yàn)證集共2 000幅圖像用于訓(xùn)練和篩選模型，400幅用于驗(yàn)證模型性能。在進(jìn)行數(shù)據(jù)集標(biāo)注前對數(shù)據(jù)集預(yù)處理，再使用LabelImg標(biāo)注工具對數(shù)據(jù)集進(jìn)行豬只個體及耳部區(qū)域的標(biāo)注，如圖2所示。為避免非目標(biāo)區(qū)域?qū)δ繕?biāo)區(qū)域分割和溫度提取造成干擾，進(jìn)行標(biāo)注時盡可能使包含耳部區(qū)域的最小外接矩形作為標(biāo)注框。

1.2 基于紅外熱成像的生豬耳溫自動提取算法

本文提出的基于紅外熱成像的生豬耳溫自動提取算法包括生豬熱紅外圖像預(yù)處理、生豬耳部提取、生豬耳溫自動提取3個階段，其中生豬耳部提取又分為基于YOLO v4[21]的生豬個體和耳部區(qū)域檢測、生豬個體和耳部判定、基于形態(tài)學(xué)的生豬耳部區(qū)域分割3個步驟，算法流程圖如圖3所示。

1.3 基于拉普拉斯算子的生豬熱紅外圖像預(yù)處理

在訓(xùn)練目標(biāo)檢測模型前，對熱紅外圖像進(jìn)行裁剪等預(yù)處理，可以減少噪聲，輔助人工標(biāo)注數(shù)據(jù)，同時有助于目標(biāo)檢測器更好地學(xué)習(xí)特征。對圖像裁剪的基本思路是保留圖像中間位置限位欄的目標(biāo)豬只，將短邊上下各裁剪30個像素寬度，消除非目標(biāo)欄位豬只對后續(xù)耳部檢測的干擾。原始圖像由分辨率320像素×240像素變?yōu)?20像素×180像素。之后使用中心數(shù)為5的4鄰域拉普拉斯算子對圖像銳化處理，使得豬只耳部邊緣輪廓信息更加突出明顯，以減弱紅外熱像圖存在邊緣模糊、對比度較低等問題，有利于人工標(biāo)注和機(jī)器識別。預(yù)處理過程如圖4所示。

1.4 基于YOLO v4和形態(tài)學(xué)的生豬耳部檢測

在所采集的熱紅外圖像中，生豬由于個體差異、姿態(tài)變化等因素導(dǎo)致其耳部形狀不規(guī)則，如圖5所示。使用傳統(tǒng)的目標(biāo)檢測算法難以設(shè)計(jì)出具有高魯棒性的圖像特征用于豬只耳部的檢測。相較于人工設(shè)計(jì)特征，深度學(xué)習(xí)方法通過深層次的神經(jīng)網(wǎng)絡(luò)自動提取目標(biāo)特征，使其在目標(biāo)檢測領(lǐng)域取得了傳統(tǒng)機(jī)器學(xué)習(xí)無法比擬的檢測精度。采用基于深度卷積網(wǎng)絡(luò)的目標(biāo)檢測器YOLO v4識別豬只耳部區(qū)域[21]。YOLO(You only look once)是一種一階段的目標(biāo)檢測器，將目標(biāo)檢測問題轉(zhuǎn)換為回歸問題，具有檢測速度快的特點(diǎn)[22]。YOLO v4經(jīng)過改進(jìn)[21-24]，使用CSPDarknet53作為骨干網(wǎng)絡(luò)，SPP和PAN作為特征融合結(jié)構(gòu)，并使用了如CuMix和Mosaic數(shù)據(jù)增強(qiáng)、DropBlock正則化、類標(biāo)簽平滑等訓(xùn)練技巧提高了目標(biāo)檢測的精度。

基于耳部區(qū)域的圖像，采用形態(tài)學(xué)方法對豬只耳部進(jìn)行分割，以提取耳部輪廓，去除背景噪聲。具體算法過程如下：

輸入：經(jīng)過圖像預(yù)處理的生豬熱紅外圖像I。

輸出：經(jīng)過分割的耳部區(qū)域二值圖像Ifinal及該區(qū)域在圖像I中的左上角坐標(biāo)(xe1,ye1)、右下角坐標(biāo)(xe2,ye2)。

(1)將熱紅外圖像I輸入到Y(jié)OLO v4目標(biāo)檢測器。

(2)經(jīng)過YOLO v4目標(biāo)檢測器處理，得到有且僅有一個分類為pig且置信度最高的目標(biāo)豬只檢測框，若干個(不大于6個)分類為ear的耳部檢測框，將檢測框坐標(biāo)由(x,y,w,h)轉(zhuǎn)換為左上角(x1,y1)右下角(x2,y2)表示。

(3)遍歷計(jì)算每個耳部檢測框，判斷其質(zhì)心是否包含于目標(biāo)豬只檢測框，若是則輸出此耳部檢測框；否則舍棄該檢測框。

(4)對輸出的每個耳部檢測框在圖像I上裁剪對應(yīng)區(qū)域圖像Iear。

(5)將圖像Iear轉(zhuǎn)換成灰度圖Igrey。

(6)使用Otsu算法計(jì)算圖像Igrey的二值分割閾值b，并根據(jù)b計(jì)算得到二值化圖像Ibw。

(7)對圖像Ibw進(jìn)行開操作，消去圖像噪點(diǎn)，使輪廓光滑，得到圖像Iopen。

(8)基于圖像Iopen使用小面積填充方法消除內(nèi)部孔洞得到圖像Ifinal。

步驟(2)使用YOLO v4目標(biāo)檢測器對豬只耳部和豬只個體進(jìn)行了識別，目的是通過豬只個體區(qū)域來確保耳部區(qū)域?qū)儆谀繕?biāo)欄位的豬只，避免其它欄位的豬只耳部對結(jié)果造成干擾。

1.5 基于耳部分割圖像的生豬耳溫自動提取

根據(jù)生豬耳部提取算法得到生豬耳部分割圖像和原始熱紅外圖像對應(yīng)的溫度矩陣對耳部溫度進(jìn)行自動提取。算法提取的耳部溫度包括溫度最大值tmax、溫度平均值tmean。當(dāng)豬只呈現(xiàn)不同的姿態(tài)或者行為時，耳部區(qū)域存在遮擋問題，熱像儀捕獲的熱紅外圖像中目標(biāo)欄位豬只耳部區(qū)域存在1個、2個或不存在的情況。只考慮檢測到耳部區(qū)域的情況，設(shè)初始熱紅外圖像溫度矩陣為M，檢測到的耳部區(qū)域左上角坐標(biāo)為(x1,y1)，右下角坐標(biāo)為(x2,y2)，耳部溫度提取流程如下：

輸入：經(jīng)過分割的耳部區(qū)域二值圖像Ifinal，耳部區(qū)域左上角坐標(biāo)(xe1,ye1)、右下角坐標(biāo)(xe2,ye2)和溫度矩陣M。

輸出：耳部溫度集合Tear，耳部溫度平均值tmean和耳部溫度最大值tmax。

(1)根據(jù)耳部區(qū)域的左上角和右下角坐標(biāo)計(jì)算其在圖像預(yù)處理前的實(shí)際坐標(biāo)(x′e1,y′e1)、(x′e2,y′e2)。

(2)將實(shí)際坐標(biāo)(x′e1,y′e1)、(x′e2,y′e2)映射到溫度矩陣，提取出耳部區(qū)域的溫度矩陣T。

(3)遍歷耳部區(qū)域二值圖像Ifinal每個像素點(diǎn)，如果坐標(biāo)為(x,y)的像素點(diǎn)值為1，則將該點(diǎn)對應(yīng)的溫度添加到耳部溫度集合Tear；否則，舍棄該點(diǎn)對應(yīng)的溫度值。

(4)計(jì)算耳部溫度集合Tear的平均值tmean。

(5)計(jì)算耳部溫度集合Tear的最大值tmax。

2 試驗(yàn)

2.1 試驗(yàn)配置

試驗(yàn)所用處理平臺為臺式計(jì)算機(jī)，處理器為Intel Xeon E7-8870，64 GB內(nèi)存，GPU采用NVIDIA TESLA K80。運(yùn)行環(huán)境為Ubuntu 16.04LTS 64位操作系統(tǒng)，編程語言使用Python 3.7，深度學(xué)習(xí)框架使用Pytorch 1.7, 配備CUDA 10.0版本并行計(jì)算架構(gòu)與cuDNN 8.0版本深層神經(jīng)網(wǎng)絡(luò)加速庫。

2.2 生豬耳部區(qū)域檢測模型訓(xùn)練結(jié)果

本文標(biāo)注了訓(xùn)練集和驗(yàn)證集共2 000幅圖像用于YOLO v4的訓(xùn)練，并采用5折交叉驗(yàn)證的方法篩選模型，將數(shù)據(jù)隨機(jī)劃分為5份，每份400幅圖像，即每次訓(xùn)練有訓(xùn)練集圖像1 600幅，驗(yàn)證集圖像400幅。生豬耳部區(qū)域檢測器基于YOLO v4預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，每次訓(xùn)練迭代1 000個迭代周期，每迭代10個迭代周期保存1次模型。訓(xùn)練設(shè)置批尺寸為4，即訓(xùn)練集1 600幅圖像，每訓(xùn)練迭代1個迭代周期，需要迭代400次。YOLO v4的初始訓(xùn)練參數(shù)設(shè)置如表2所示。訓(xùn)練結(jié)果如表3所示。

表2 YOLO v4訓(xùn)練參數(shù)設(shè)置

表3 生豬耳部區(qū)域檢測模型訓(xùn)練結(jié)果

表3中l(wèi)osstrain為訓(xùn)練時模型在訓(xùn)練集上的平均損失值，lossval為在驗(yàn)證集上的平均損失值，括號內(nèi)數(shù)字為迭代周期，lossvalmin為模型在驗(yàn)證集上最小損失值，Epochval為該損失值對應(yīng)的迭代周期的次數(shù)。

進(jìn)行多次訓(xùn)練后，發(fā)現(xiàn)YOLO v4迭代約100個迭代周期時就已經(jīng)收斂。根據(jù)表3可知，第4折交叉驗(yàn)證，訓(xùn)練迭代到740個迭代周期時在驗(yàn)證集上取得最小損失值3.944 5。該次訓(xùn)練損失函數(shù)的收斂情況如圖6所示，模型在訓(xùn)練集上的損失函數(shù)已經(jīng)收斂。因此選用訓(xùn)練750個迭代周期后得到的模型作為生豬耳部區(qū)域檢測模型進(jìn)行后續(xù)試驗(yàn)。

2.3 生豬耳部區(qū)域檢測模型性能分析

為驗(yàn)證生豬耳部檢測算法中YOLO v4目標(biāo)檢測器的檢測精度和速度，本文標(biāo)注了測試集400幅圖像用于評估，同時訓(xùn)練了Faster R-CNN[25]、SSD[26]檢測器進(jìn)行對比試驗(yàn)。本文檢測器的訓(xùn)練和測試都在Pytorch深度學(xué)習(xí)框架下進(jìn)行。

試驗(yàn)采用精確率(P)、召回率(R)、平均精度(mAP)、F1值、交并比(IoU)和單幀圖像的平均檢測時間評估模型性能。

3種檢測模型的檢測結(jié)果如圖7所示。3種檢測模型均能正確檢測出豬只個體，當(dāng)視野中出現(xiàn)上下欄位的生豬時，當(dāng)前欄位的生豬個體仍然能被檢測出來。在耳部區(qū)域檢測方面，YOLO v4和Faster R-CNN檢測模型能將目標(biāo)豬只的2個耳朵都檢測出來，SSD存在明顯的檢測丟失現(xiàn)象。同時，YOLO v4的分類置信度明顯高于Faster R-CNN和SSD。

3種模型在測試集上的性能如表4所示。在檢測精度方面，YOLO v4各項(xiàng)評估指標(biāo)的得分均優(yōu)于Faster R-CNN和SSD。Faster R-CNN對豬只個體的檢測精度與YOLO v4相當(dāng)，但豬只耳部的檢測精度為95.6%，低于YOLO v4的97.6%。SSD在豬只個體及其耳部區(qū)域的檢測精度都略顯不足。在IoU方面，YOLO v4的評分為90.5%，比Faster R-CNN和SSD高2.9個百分點(diǎn)和8.2個百分點(diǎn)，表明YOLO v4在檢測框的預(yù)測上更貼近人工標(biāo)注，有利于后續(xù)生豬耳部分割和溫度提取等操作的執(zhí)行。試驗(yàn)表明，YOLO v4檢測模型相較于Faster R-CNN和SSD有更強(qiáng)的檢測性能，更能滿足生豬耳部區(qū)域定位識別的需求。

表4 3種模型在測試集上的性能檢測結(jié)果

在檢測速度方面，YOLO v4處理1幅熱紅外圖像的平均時間為12 ms，速度極快，優(yōu)于Faster R-CNN的處理時間，同時也比SSD快。本研究中，部署于生豬養(yǎng)殖場的紅外熱像儀拍攝熱像圖時需要停頓1 s，而生豬耳部分割和溫度提取過程處理耗時可忽略不計(jì)，YOLO v4檢測模型能夠滿足實(shí)時提取耳部溫度的需求。

2.4 生豬耳溫自動提取性能分析

為評估本文算法的整體性能以及驗(yàn)證其提取的耳部溫度最大值和平均值是否能直接代表人工統(tǒng)計(jì)數(shù)據(jù)，從測試集隨機(jī)選取20頭豬的熱紅外圖像，人工提取40個豬只耳部輪廓，基于溫度矩陣統(tǒng)計(jì)輪廓內(nèi)部溫度的平均值和最大值作為真值，與算法提取的生豬耳溫結(jié)果進(jìn)行對比。特別說明，為減少人工提取耳部輪廓時的主觀誤差，由3人分別對耳部輪廓進(jìn)行提取，分別計(jì)算耳部溫度并取其平均值作為真實(shí)值。

基于熱紅外圖像的生豬耳部區(qū)域檢測實(shí)例如圖8所示，檢測到目標(biāo)豬只的2個耳部區(qū)域后，使用生豬耳部區(qū)域分割方法提取其耳部像素點(diǎn)，得到耳部輪廓的二值圖像，過程如圖9所示。結(jié)合溫度矩陣和耳部輪廓的二值圖像，提取耳部溫度的最大值和平均值。人工提取的溫度數(shù)據(jù)與算法結(jié)果的相對誤差計(jì)算公式為

(1)

式中T——人工測量溫度，作為真實(shí)值

t——算法提取溫度，作為測量值

e——相對誤差

試驗(yàn)結(jié)果如表5所示，其中Tmax和Tmean分別是人工提取的耳部區(qū)域溫度最大值和平均值，emax和emean是本文算法結(jié)果與人工測量值取得的最大值與平均值相對誤差。

表5 耳部溫度提取結(jié)果

由表5可知，通過本文算法提取的耳部溫度最大值與人工提取的數(shù)據(jù)一致，而平均值略有浮動，但相對誤差在合理范圍內(nèi)。由于耳部分割邊緣點(diǎn)選取略有偏差，統(tǒng)計(jì)對應(yīng)溫度的平均值時會有偏差，而最大值總能包含在耳部輪廓內(nèi)，因此取值基本一致。

為評估算法在溫度檢測上的準(zhǔn)確性，統(tǒng)計(jì)所有生豬耳部溫度數(shù)據(jù)的算法結(jié)果的相對誤差。結(jié)果表明，算法提取的耳部區(qū)域最大溫度相對誤差最大為1.4%，平均相對誤差為0.1%；本文算法提取的耳部區(qū)域平均溫度相對誤差最大為2.8%，平均相對誤差為0.6%。該結(jié)果為可接受范圍，表明本文算法提取的生豬耳部溫度有較高的準(zhǔn)確性。

進(jìn)一步將人工提取的溫度數(shù)據(jù)與算法結(jié)果進(jìn)行相關(guān)性分析，試驗(yàn)結(jié)果如圖10、11所示。由圖10、11可知，人工統(tǒng)計(jì)結(jié)果與算法提取的耳部區(qū)域溫度最大值的決定系數(shù)為0.984 9，與溫度平均值的決定系數(shù)為0.911 9，相關(guān)性較好，表明本文算法一定程度上可以替代人工提取生豬紅外熱像圖中的耳溫，表明本文算法基于生豬的紅外熱圖像自動提取耳溫的可行性。

3 結(jié)束語

提出一種基于紅外熱成像的生豬耳溫自動提取算法。算法基于YOLO v4和形態(tài)學(xué)對熱紅外圖像中的生豬耳部進(jìn)行提取，并結(jié)合耳部分割圖像和溫度矩陣自動獲取耳部區(qū)域溫度的最大值和平均值。構(gòu)建了用于熱紅外圖像的生豬個體和耳部區(qū)域的YOLO v4檢測模型，耳部檢測的準(zhǔn)確率為97.6%，單幅圖像平均檢測時間為12 ms。試驗(yàn)結(jié)果表明，人工統(tǒng)計(jì)耳溫和本文算法提取的耳溫具有高度相關(guān)性，且本文算法提取結(jié)果的相對誤差在可接受范圍內(nèi)。本文算法能夠滿足實(shí)時檢測耳部溫度的要求，可為豬只體溫自動化監(jiān)測及預(yù)警提供技術(shù)支撐。