張 倩，楊 穎*，劉 剛, 2, 3，吳 瀟，寧遠霖

1.中國農業(yè)大學信息與電氣工程學院，北京 100083 2.現代精細農業(yè)系統(tǒng)研究教育部重點實驗室，北京 100083 3.農業(yè)部農業(yè)信息獲取技術重點實驗室，北京 100083

引 言

隨著人民生活水平的提高，人們更加重視食物的營養(yǎng)健康，牛奶中含有豐富的乳蛋白和維生素，日常飲用牛奶有益于提高人體的免疫力。據《中國奶業(yè)統(tǒng)計資料》顯示：2020年全國牛奶產量為3 440萬噸，占比全球總產量的5%，奶牛養(yǎng)殖規(guī)模比例達到67%[1]。發(fā)展奶牛養(yǎng)殖業(yè)對于國家的畜牧業(yè)發(fā)展和農業(yè)農村經濟發(fā)展都有極其重要的作用[2]。奶牛乳房炎是奶牛生產養(yǎng)殖中最為嚴重的疾病之一。奶牛患乳腺炎疾病會導致產奶量下降、牛奶質量降低，會對養(yǎng)殖戶造成嚴重的經濟損失[3]。根據臨床癥狀不同，奶牛乳房炎主要可分為顯性乳房炎和隱性乳房炎[4]?；加酗@性乳房炎的部位表現出肉眼可見的紅、腫、熱等癥狀，然而，隱性乳房炎的發(fā)病率高且奶牛乳房外觀變化細微，檢測較為困難[5]。早期由于缺乏有效的科技手段，養(yǎng)殖人員通過人工觀察奶牛乳腺炎的發(fā)病情況，判斷具有一定的主觀性，誤診率較高。隨著我國奶牛養(yǎng)殖廠的數量規(guī)模不斷擴大，急需一種高效、準確的奶牛隱性乳房炎早期檢測方法。

早期比較常規(guī)的“接觸式”奶牛隱性乳房炎檢測方法主要包括直接體細胞計數法(SCC)、加州乳房炎檢測法(CMT)、電導率法(EC)等等。此類法均需要對奶牛乳液進行采樣，并通過專業(yè)儀器測量樣品的理化成分從而判定奶牛是否患乳房炎，整個過程需要嚴格控制檢測樣品的環(huán)境條件，具有實驗操作繁瑣、周期長且成本價格昂貴等弊端，從而限制了其在生產實際中的應用[6-8]。

紅外熱成像技術[9](infrared thermograph technology, IRT)近些年來應用領域愈加廣泛，其原理是利用傳感器檢測物體表面輻射出的電磁波信號，并轉換成視覺可見的熱紅外圖像或視頻，其不同的明亮程度以及顏色代表不同溫度從而可以判斷患病區(qū)域表面溫度以及炎癥反應程度。IRT技術作為一種安全、低成本、非侵入性的快速疾病篩查方法，可以在早期發(fā)現乳腺病變，基于IRT的“非接觸式”畜類乳腺炎檢測方法開始受到研究人員的關注。Zaninelli[10]等將采集到的奶牛熱紅外像圖像通過應用軟件計算每個乳房的溫度數據，結果證實了奶牛乳房表面溫度與其牛奶樣品中的體細胞數量之間存在顯著相關性。Bartolome[11]等通過熱紅外圖像以及心率來評估動物眼睛溫度，研究表明動物的眼睛顯示出最高的溫度代表最接近內部核心體溫的溫度。Sathiyabarathi[12]等采用IRT技術檢測奶牛體溫和乳房表皮溫度(USST)，結果表明：患乳腺炎的部位平均USST高于平均體溫0.8 ℃。因此，研究者們提出采用熱紅外熱像儀測量奶牛眼睛和乳房等關鍵部位溫度，可以作為奶牛乳房疾病判斷依據。

Metzner[13]等采用不同的幾何工具手動測量出奶牛熱紅外圖像關鍵部位，并通過受試者工作特征曲線(receiver operating characteristic, ROC)分析比較出最佳檢測方法。然而人工標記很容易產生誤差，且消耗大量人力。為了實現奶牛乳房炎的自動檢測，張旭東[14]等提出了一種基于閾值分割的奶牛眼睛和乳房自動定位算法，并根據溫度閾值對奶牛乳房炎發(fā)病程度進行評級，結果表明，一級奶牛乳腺炎檢測準確率為87.5%，二級的檢測準確率僅有33.3%。該研究中的分割方法對噪聲敏感，關鍵部位定位誤差大，導致二級乳腺炎檢測準確極低。

隨著深度學習在計算機視覺領域的不斷發(fā)展，卷積神經網絡(CNN)對大規(guī)模的數據具有強大的學習功能，在復雜背景的目標檢測場景中取得了顯著的成績[15]。為了提高奶牛關鍵部位的識別準確度，Xudong[16]等提出了一種基于熱紅外圖像的EFMYOLOv3深度學習算法，該方法定位平均精確率達到96.8%，乳腺炎分類準確率為83.33%。王彥超[17]等提出了一種改進YOLO v3-tiny的奶牛乳房炎檢測方法，奶牛乳房炎檢測精度可達77.3%。然而，在實際場景中由于運動目標的測量距離、角度、環(huán)境等因素都會造成測量溫度漂移，再經過與閾值比較，誤差擴大，嚴重影響到最終的乳腺炎分類。無論是目標檢測或是圖像分割法均需定位識別出奶牛的眼睛、乳房等關鍵部位，其次通過特定軟件從每頭牛奶的多張圖片中提取出該區(qū)域溫度，然后將其與標準理化指標進行比較。這種“多步式”的檢測方法不僅過程冗余復雜，而且很容易由于外部因素造成誤差累計，因此更需要一種從輸入數據到得出最終結果，無需其他人工操作步驟的“端到端”奶牛乳腺炎檢測方法。

針對上述問題，為了實現更快速、更高精度的“一步式”奶牛乳腺炎疾病檢測，本工作提出一種基于熱紅外圖像拼接的改進ResNet34奶牛乳腺炎檢測算法。無需人工手動標記奶牛熱紅外數據，首先將原始局部圖像拼接成完整圖片，再采用RandAugment數據增強技術擴充數據集，最后基于遷移學習和改進ResNet34算法直接對奶牛熱紅外圖像進行識別，將奶牛乳腺狀況進行分類(患病或正常)。

1 實驗部分

1.1 數據來源

實驗數據來自于北京市延慶區(qū)大地集團的荷斯坦奶牛養(yǎng)殖場。采集時間控制在上午8—10點時間段內，采集地點設置在養(yǎng)殖場室內。數據采集場景如圖1(a—d)所示，泌乳期奶牛依次通過寬度為90 cm的入口通道進入擠奶廳(18臺擠奶儀器)，入口處的射頻識別(RFID)裝置用以記錄視頻中每一頭奶牛的ID號，入口通道兩側分別安裝一臺固定拍攝裝置——FLIR A310熱像儀(FLIR系列，美國)。為確保熱像儀能拍到實驗對象的關鍵部位，并減少視野盲區(qū)，熱像儀鏡頭(FOL 18 mm)與通道直線距離180 cm，鏡頭高度設置為90 cm。按照實際情況調整熱成像儀的反射溫度、相對濕度并設置其發(fā)射率為0.98，與Zaninelli等[10]研究保持一致。采用FLIR Tools的Altas SDK圖庫記錄360頭奶牛的熱紅外視頻(視頻的格式為SEQ，像素大小為320×240)，并通過體細胞分析儀對采集的牛奶樣品進行檢測。根據Zaninelli等[10]的研究表明：當SCC值大于或等于20 W·mL-1時，奶牛的該乳房部位被確認為患有乳腺炎。

圖1 奶牛熱紅外數據采集裝置示意圖

1.2 圖像預處理

實驗共計獲取360頭奶牛熱紅外視頻。SCC檢測結果顯示29頭奶?；加腥橄傺准膊?，為了使數據較為均衡，隨機挑選37頭正常奶牛，共計66頭奶牛選為最終實驗對象，然后通過MATLAB R2018b將其SEQ視頻按照15 fps速率分幀成像素大小為320×240，格式為jpg的原始熱紅外圖片。

采集過程中，自然行走的奶牛由于運動導致眼睛和乳房無法一直保持在同一幀畫面之中。為了增強有關信息的可檢測性，本研究提出一種奶牛熱紅外圖像拼接方法：將同一頭奶牛連續(xù)幀中單獨包含眼睛或乳房的局部圖片，一對一水平拼接成同時包含眼睛和乳房的整體圖片[圖2(a, b, c)所示]。這樣既保留了數據處理前后的時空聯(lián)系，又解決了動態(tài)目標導致的數據特征缺失問題。根據上述預處理方法共得到2 234張(37頭)正常、1 064張(29頭)患病奶牛熱紅外圖像，并將樣本數量按照3∶1∶1劃分訓練集、驗證集、測試集。劃分結果如表1所示。

表1 數據劃分結果

圖2 數據預處理效果

1.3 數據增強

數據增強是以提高深度學習模型的魯棒性為目的，從同源數據中產生具有相同的標簽的樣本，擴充訓練數據集的技術。深度殘差網絡一貫的數據增強方式是：在模型訓練過程中將獲得每一批數據進行增強與變換，具體過程是：首先將圖像按比例縮放像素大小為256×256，然后對圖像進行隨機裁剪為224×224，最后將像素進行歸一化處理。

為了進一步提升樣本多樣性，在原有數據增強的基礎上結合RandAugment數據增強新方法。當數據增強操作使得增強樣本和原樣本之間的分布產生了較大的差異，反而會降低模型性能，因此從RandAugment操作集中剔除與本實驗有負影響的4種操作，其余10種操作分別為：自動明暗對比(AutoContrast)、均衡化(Equalize)、旋轉(Rotate)、色調分離(Posterize)、對比度(Contrast)、銳化(Sharpness)、沿X軸錯切(Shear-X)、沿Y軸錯切(Shear-Y)、沿X軸移位(Translate-X)、沿Y軸移位(Translate-Y)。RandAugment有兩個關鍵性參數：N和M，即每次數據增強子策略按照1/10等概率原則選取N種操作方法，每種操作使得圖像形變程度為M，共有10N種生成圖像。數據增強的最佳強度取決于模型大小和訓練集大小，過于極端的增強操作可能會產生一定的信噪比，從而導致數據增強效果適得其反。圖3(a—d)展示的是當N=3、M=15時使用RandAugment數據增強, 經過包含沿X軸錯切、沿Y軸移位和旋轉三種增強方式的增強子策略所生成的效果圖。

圖3 數據增強效果圖

1.4 遷移學習

遷移學習是一種運用已有知識對相關領域問題進行求解，在經驗信息的基礎上使得快速解決新任務能力的機器學習新方法。從圖像分類流程來看，參數遷移屬于遷移學習主要方式之一，參數遷移可以使得模型訓練過程具有一個較好的初始狀態(tài)，能有效縮短訓練時間[18]。ImageNet是一個具有超過1 400萬圖像，2萬多個類別的大型可視化數據庫，其樣本類別覆蓋范圍廣、種類豐富多樣。奶牛熱紅外數據與ImageNet中動物圖片在紋理、色彩、結構等方面有相似的宏觀特征[19]。本研究選用參數遷移學習方法進行模型訓練，將深度殘差網絡模型在ImageNet上預訓練參數權重加載到所搭建好的模型中進行網絡的微調，若預訓練權重與新構建網絡層匹配則保留其值，反之，不匹配層(改進部分)使用默認隨機參數初始化，訓練過程不凍結任何網絡層。

1.5 改進ResNet34模型構建

深度殘差網絡(deep residual network)由2015年微軟亞洲研究院的He等所提出，其核心思想——短路機制巧妙的緩解了傳統(tǒng)卷積層中由于深度增加導致網絡退化問題。近年來，殘差網絡各種變體模型應時而生，在圖像分類、目標檢測、以及語義分割等領域取得突破性進展[20]。

ResNet34作為深度殘差網絡的一員，其表征能力和學習能力較高且模型參數較少，是圖像分類領域研究的熱點方向，因此本研究采用ResNet34殘差網絡作為實驗的基礎網絡。ResNet34首先采用7×7卷積層和3×3最大池化層下采樣減小輸入圖像特征尺寸，然后通過layer1—layer4提取高層特征信息，并經過自適應全局平均池化層輸入到全連接層，最后進行分類輸出。其中每一層layer分別包含3，4，6和3個BasicBlock模塊，BasicBlock架構如圖4(c)所示：主要使用了兩個3×3的卷積、批歸一化處理、ReLU激活函數等操作，再將深層特征與捷徑連接傳遞的低層信息相加。當BasicBlock輸入和輸出數據維度一致時其殘差支路不做任何變化(路線②)，否則，利用卷積層進行下采樣，并相應改變通道數量(路線①)。

實驗的數據采集場景單一，與自然可見光圖像相比，熱紅外圖像紋理清晰，色彩、明亮對比度明顯。針對紅外熱成像自身的特點，為了使該模型更適用于奶牛乳腺炎分類任務，提出一種改進ResNet34網絡結構，該結構如圖4所示，其中(a)部分表示模型內部層數改進，(b)為新增輔助分類器，(d)和(e)為多融合池化層。圖5為每層網絡的特征圖可視化。

圖4 改進ResNet34模型結構

圖5 特征圖可視化

1.5.1 網絡層數改進

冗余的特征以及權重會使網絡模型占用更多的內存資源，為了在最大限度地保持模型準確性的同時實現高效深度學習，對Layer層進行輕量化，如圖4(a)所示：將傳統(tǒng)ResNet34模型內部四層Layer分別包含3，4，6和3個BasicBlock精簡化為3，2，2和3個殘差單元，保留淺層以及深層的特征提取層，刪減部分中間層從而大幅度壓縮空間、降低計算量，達到速度與準確率之間的平衡。

1.5.2 多融合池化層

最大池化可以提取具有強烈的語義信息和紋理特征；平均池化可以更多地保留圖像背景信息。傳統(tǒng)ResNet34殘差網絡使用單一的最大或平均池化進行特征圖降維，可能會導致有用信息丟失。為盡量避免類似情況發(fā)生，設計了新的池化層如圖4(d)和(e)部分所示：將大小為3×3、步長為2的最大池化層與平均池化進行融合，結合兩者優(yōu)勢，在降低特征維度的同時增強網絡的非線性表達能力使得提取內容更加豐富。前向傳播時具體計算公式如式(1)，假設由輸入特征圖X對應池化窗口的值可以計算輸出特征圖Y中某一位置的值，則

(1)

式(1)中，n表示特征圖號，c是通道號，h是行號，w是列號，s為步長大小，kh和kw是池化窗口的長、寬大小。

1.5.3 輔助分類器

基于GoogLeNet網絡在中間層添加輔助分類器促進模型更穩(wěn)定學習和更好收斂的思想，本研究分別在Layer2和Layer3的輸出層設置兩組輔助分類器，獲取更多的淺層以及中間層信息，彌補由于模型精簡帶來的特征損失。如圖4(b)部分所示：輔助分類器由大小為3×3的多融合全局池化層與全連接層組成并輸出輔助分類結果，其輸出并不影響主分類器的分類結果，而是在反向傳播時額外增加兩個淺層網絡的Loss損失值。

在分類問題中，假設模型預測第i類的概率為Pi，則交叉熵損失函數值L的表達式如式(2)

(2)

式(2)中，N為樣本個數，yi表示樣本i的標簽(正類為1，負類為0)。

設新增輔助分類器的損失值表達式如式(3)，則利用輔助分類器后總的損失函數值表達式如式(4)

(3)

(4)

1.6 模型評價指標

選取查準率、查全率、特異性、F1分數作為最終的模型性能評價指標，具體表達公式如式(5)—式(8)

(5)

(6)

(7)

(8)

式(5)—式(8)中的TP表示模型預測為正的正樣本數量，TN表示模型預測為負的負樣本數量，FP表示模型預測為正的負樣本數量，FN表示模型預測為負的正樣本。

2 結果與討論

實驗硬件環(huán)境：Intel i9-10900K處理器、NVIDIA GTX3060GPU、64G內存、12G顯存；軟件環(huán)境：Ubuntu18.04操作系統(tǒng)、PyTorch1.9.0深度學習框架、Python3.8.11編程語言、PyCharm集成開發(fā)環(huán)境、CUDA11.4。設置模型參數：Batch-size為32、Adam優(yōu)化器、交叉熵損失函數。

實驗流程如圖6所示，首先將處理好的實驗數據應用于幾種經典深度學習網絡模型，并根據驗證準確率、測試準確率、平均訓練時間等指標對改進ResNet34模型與其他模型性能進行比較；然后基于改進ResNet34模型結合遷移學習、數據增強、學習率進行微調，最后根據實驗結果進行評價與分析。

圖6 實驗流程圖

2.1 改進ResNet34模型與其他模型性能的比較

將改進ResNet34與四種傳統(tǒng)經典網絡模型——VGG16，GoogLeNet，ResNet34，ResNet50的奶牛乳腺炎分類性能進行對比。設置模型參數：訓練輪數為200、學習率為0.000 1。改進ResNet34模型中輔助分類器的衰減系數按照層數由淺至深將其分別設置為0.1，0.2和1。實驗結果如表2所示，從表中可以看出ResNet系列網絡的驗證準確率明顯高于其他模型，其中ResNet34與ResNet50測試準確率僅相差0.2%，經過模型改進以后ResNet34測試準確率比ResNet50高0.8%；改進前后的ResNet34模型平均檢測速度相差無幾，均處于優(yōu)勢地位，但改進后模型的分類速度提升5.9%，測試準確率提升了1%；VGG16在幾種模型中訓練時間最久，分類準確率相對較低；GoogLeNet模型總體性能處于中游。從訓練損失圖7中可以看出ResNet34模型擬合速度相對較快，穩(wěn)定后的Loss值相對最低。

表2 不同模型性能比較

圖7 不同分類模型損失圖

圖8展示了改進ResNet34模型性能，由圖可知改進ResNet34模型在訓練過程中收斂速度較快，大約在第30個Epoch時模型訓練準確率達到88.4%，證明所提出的改進模型具有較好的分類效果。為了進一步提高模型性能，以改進ResNet34模型為基礎進行實驗。

圖8 改進Resnet34模型性能圖

2.2 遷移學習和數據增強以及超參數對模型性能的影響

2.2.1 遷移學習對網絡性能的影響

為了比較遷移學習對改進ResNet34模型性能的影響，設置模型參數：訓練輪數為200、學習率為0.000 1。實驗訓練結果準確率如圖9(a, b)所示：基于遷移學習的改進ResNet34模型訓練準確率比未遷移的改進ResNet34模型高大約1.3%，遷移之后模型的初始性能更高，訓練過程中模型收斂速度更快、訓練損失更小。

圖9 遷移學習對模型訓練結果影響對比

2.2.2 數據增強對模型性能的影響

為了比較數據增強對改進ResNet34模型性能的影響，參照RandAugment原作者實驗以及本文數據實際情況，設置參數N和M分別為3和15。設置模型參數：訓練輪數為500、學習率為0.000 1。實驗結果如圖10(a,b)所示：數據增強后模型的訓練準確率高于未增強模型1.5%，但模型擬合速度有些許變慢，損失值有所上升。該組實驗證明在一定程度上數據增強可以提高本實驗模型的分類準確率，但還有很大提升空間。

圖10 數據增強對模型訓練結果影響對比

2.2.3 學習率對模型性能的影響

學習率主要控制模型到達最優(yōu)點過程中權重的更新步長，為了比較不同學習率對模型性能影響，設置四組對照實驗。實驗結果如表3所示：當學習率為0.000 1時改進ResNet34模型的分類準確率達到相對最優(yōu)；當學習率小于0.000 01時模型性能出現退化。決定選擇學習率為0.000 1進行最終的改進ResNet34模型訓練。

表3 不同學習率下的模型訓練結果對比

2.2.4 綜合數據增強與遷移學習對模型性能影響

上述實驗分別證明了遷移學習、數據增強以及調整學習率對于改進ResNet34模型性能都有一定的提升。為了探究綜合以上幾種方式對改進ResNet34模型性能的影響，設置模型參數：訓練輪數為600，學習率為0.000 1，RandAugment中N=3，M=15。實驗結果表明：融合遷移學習和數據增強的改進ResNet34模型的每張圖片檢測時間達到0.003 39 s，驗證準確率達到90.3%，測試準確率為88.4%，分別比傳統(tǒng)ResNet34模型分類準確率高5.3%和2.9%。由此證明了融合遷移學習和數據增強對改進ResNet34模型訓練效果以及分類準確率有很大的幫助。

2.3 模型評價

2.3.1 模型性能評價

為了評估融合遷移學習和數據增強的改進ResNet34網絡模型對于奶牛乳腺炎疾病檢測的性能，對從未參與訓練過程的測試樣本進行預測，結果如表4所示。

表4 測試集混淆矩陣結果

由表6以及式(5)—式(8)計算出改進ResNet34網絡模型在測試集上查準率為91.2%、查全率為91.6%、特異度為0.818、F1分數為0.914，表明本研究提出的奶牛乳腺炎檢測算法分類能力強且模型具有良好的穩(wěn)健性。

在基于紅外圖像的奶牛乳腺炎疾病檢測領域中，文獻[14]提出一種基于閾值分割奶牛乳腺炎疾病檢測方法，一級和二級奶牛乳腺炎檢測準確率分別為87.5%和33.3%。文獻[16]改進的深度學習網絡，對奶牛乳腺炎疾病檢測率的83.33%, 文獻[17]提出的一種改進YOLO v3-tiny的奶牛關鍵部位檢測方法，奶牛乳房炎檢測精度為77.3%。從表5中可以看出，所構建的改進ResNet34算法的奶牛乳腺炎分類準確率在相關研究中表現出色，證明了本研究所提出的方法具有明顯優(yōu)勢。

表5 相關研究結果對比

2.3.2 模型的泛化性評價

為了證明本研究方法的泛化性，需進一步保證各數據集之間樣本的獨立性，將奶牛個體數量按照3∶1∶1劃分為訓練集、驗證集和測試集，劃分結果如表6所示。將數據樣本送入融合遷移學習和數據增強的改進ResNet34模型中，并設置上述實驗相同的模型參數。實驗結果如表7所示，按照奶牛個體數量劃分數據測得模型的分類效果同樣令人滿意，證明本文所提出的融合遷移學習和數據增強的改進ResNet34模型對未知奶?；既橄傺椎募膊z測準確率達到80%以上，該模型具有很好的魯棒性以及有效性。

表6 按照奶牛個體劃分數據

表7 按照奶牛個體劃分數據檢測結果

3 結 論

基于殘差網絡提出了一種改進ResNet34模型，通過模型精簡以及引入輔助分類器模塊和多融合池化層，能夠有效提高奶牛熱紅外圖像乳腺炎檢測準確率，縮短分類時間。經過與幾種經典深度學習模型對比，在考慮遷移學習、學習率、數據增強以及數據集劃分方式等因素影響的情況下，設置多組對比實驗，實驗結果表明：當學習率為0.000 1時，融合遷移學習和RandAugment數據增強的改進ResNet34模型測試準確率為88.4%，高于傳統(tǒng)ResNet34模型2.5%。通過混淆矩陣計算出模型查準率為0.912、查全率為0.916、F1分數為0.914，證明本研究所提出的奶牛乳腺炎檢測模型具有很好的健壯性與魯棒性。與前人基于熱紅外圖像奶牛乳腺炎研究相比，本方法無需人工手動標記樣本，能有效避免中間操作造成的誤差累計，疾病檢測準確率較高且平均檢測時間僅需約0.003 39 s，本研究可以提高奶牛乳腺炎早期檢測的識別效率，為牛場管理人員科學養(yǎng)殖提供參考。然而，由于本研究依賴于奶牛的熱紅外數據，而固定的采集設備很難捕獲到包含完整目標的數據，且關鍵部位(乳房、眼睛)的位置影響溫度的獲取。因此，在后續(xù)研究中，還需進一步提高數據采集設備，例如：利用深度相機與可移動、便攜式熱像儀獲取帶有位置信息的優(yōu)質數據集，提高關鍵部位溫度讀取精度，增強奶牛乳腺炎檢測系統(tǒng)性能。