沈維政，郭金彥，戴百生*，王鑫杰，梁晨，邱柏隆，張哲，王軍號，史偉，張逸軒

（1.東北農(nóng)業(yè)大學(xué)電氣與信息學(xué)院，哈爾濱 150030；2.黑龍江省農(nóng)業(yè)技術(shù)推廣站，哈爾濱 150030；3.西北民族大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，蘭州 730030）

奶牛體型外貌可直觀反映奶牛健康水平與發(fā)育狀況[1-2]，以量化方式客觀公正評估奶牛體型指標(biāo)[2-4]，對奶牛遺傳育種優(yōu)化及精細(xì)化管理具有重要意義。傳統(tǒng)奶牛體型評定方法主要利用皮尺、測杖、半圓儀等工具手動測量指標(biāo)，費(fèi)時(shí)費(fèi)力且易受主觀因素影響。此種接觸式測量方法會引起奶牛應(yīng)激反應(yīng)，降低奶牛健康福利[5]。

隨著計(jì)算機(jī)視覺技術(shù)發(fā)展及智慧牧場概念提出，部分學(xué)者采用二維圖像數(shù)據(jù)對奶牛進(jìn)行非接觸式體型評定指標(biāo)測量。閆震通過模板匹配方法將奶牛圖像與包含關(guān)鍵點(diǎn)模板進(jìn)行匹配，實(shí)施體型關(guān)鍵點(diǎn)定位，完成體型評定指標(biāo)測量[6]。但此類方法對奶牛位姿有一定要求，圖像質(zhì)量影響測量值準(zhǔn)確度。對于現(xiàn)實(shí)中復(fù)雜環(huán)境三維物體，二維信息對三維目標(biāo)進(jìn)行表征，造成信息損失[7-8]。

近年來，深度相機(jī)等三維傳感器得到進(jìn)一步發(fā)展，高質(zhì)量點(diǎn)云數(shù)據(jù)更易獲取，基于點(diǎn)云數(shù)據(jù)測量奶牛體型指標(biāo)方面，國內(nèi)外研究較多，并取得一定進(jìn)展。Kamchen等驗(yàn)證深度相機(jī)在奶牛體型指標(biāo)測量方向潛力，通過手動標(biāo)注關(guān)鍵點(diǎn)方式完成奶牛體型指標(biāo)測量[9]。Pezzuolo等使用多個(gè)Kinect深度相機(jī)，從不同角度近距離獲取奶牛局部點(diǎn)云數(shù)據(jù)，使用SPIP軟件手工測得奶牛腰角寬、體長、體高、胸圍、背部坡度等體型指標(biāo)信息[10]。這種交互式定位方法降低體型指標(biāo)測量的自動化程度。牛金玉使用TOF深度相機(jī)采集奶牛點(diǎn)云數(shù)據(jù)，分割奶牛軀體，根據(jù)奶牛主要身體幾何特征定位體型關(guān)鍵點(diǎn)測量相關(guān)指標(biāo)[11]。趙新強(qiáng)使用結(jié)構(gòu)光深度相機(jī)采集奶牛RGB-D數(shù)據(jù)，在奶牛目標(biāo)區(qū)域內(nèi)檢測角點(diǎn)，定位相關(guān)體型關(guān)鍵點(diǎn)，測量奶牛相關(guān)指標(biāo)[12]。此類直接對奶牛整體區(qū)域進(jìn)行體型關(guān)鍵點(diǎn)自動定位方法，易受奶牛行走過程中背部結(jié)構(gòu)特征變化影響，導(dǎo)致關(guān)鍵點(diǎn)定位不準(zhǔn)確，產(chǎn)生誤差[13]。

為解決當(dāng)前奶牛體型評定存在自動化程度低及體型關(guān)鍵點(diǎn)定位誤差較大等問題，實(shí)現(xiàn)對奶牛體型評定指標(biāo)高效且精準(zhǔn)非接觸式自動測量，本文提出一種基于兩階段關(guān)鍵點(diǎn)定位算法的奶牛體型評定指標(biāo)自動測量方法，檢測出奶牛體型關(guān)鍵點(diǎn)關(guān)鍵區(qū)域，通過點(diǎn)云模型的局部形狀信息實(shí)現(xiàn)體型關(guān)鍵點(diǎn)精準(zhǔn)定位，完成體型評定指標(biāo)的自動測量。

1 材料與方法

1.1 材料

2021年9月在黑龍江省大慶市林甸縣晟康牧業(yè)有限公司奶牛養(yǎng)殖場，采用Intel RealSense D435深度相機(jī)采集荷斯坦奶牛深度圖像數(shù)據(jù)。深度圖像數(shù)據(jù)分辨率為848×480像素，幀率為30 f·s-1。深度相機(jī)連接到PC端，以Visual Studio 2017為開發(fā)平臺，基于RealSense SDK 2.0進(jìn)行采集。考慮奶牛背部體長、肩寬、胸寬、腹寬、腰寬五項(xiàng)體型評定指標(biāo)可通過計(jì)算機(jī)視覺技術(shù)測量，采集奶牛背部圖像作為本文研究對象，自動測量體型評定指標(biāo)。將RealSense D435深度相機(jī)架設(shè)在稱量奶牛的體重秤（長約2.5 m，寬約0.9 m，高約1.7 m）上方2.5 m，依次采集單頭奶牛背部圖像。本次試驗(yàn)共采集49頭體型不同的奶牛背部深度圖像序列，整理得到4 421幅圖像。

使用Labelme標(biāo)注工具，將奶牛鬐甲點(diǎn)、尾根點(diǎn)、左側(cè)肩寬點(diǎn)、右側(cè)肩寬點(diǎn)、左側(cè)胸寬點(diǎn)、右側(cè)胸寬點(diǎn)、左側(cè)腹寬點(diǎn)、右側(cè)腹寬點(diǎn)、左側(cè)腰寬點(diǎn)、右側(cè)腰寬點(diǎn)分為10類保存，獲得.json文件，再將.json文件轉(zhuǎn)換為.xml文件，其中以標(biāo)注點(diǎn)作為標(biāo)注框中點(diǎn)，標(biāo)注框設(shè)置為20×20像素，標(biāo)注效果如圖1所示。

圖1 數(shù)據(jù)集標(biāo)注效果Fig.1 Dataset labeling effect

1.2 方法

為實(shí)現(xiàn)奶牛體型評定指標(biāo)自動測量，對采集深度圖像序列濾波，獲得質(zhì)量更高的深度圖像數(shù)據(jù)，進(jìn)行體型關(guān)鍵區(qū)域檢測，獲取到奶牛體型關(guān)鍵點(diǎn)所在局部區(qū)域并重建該區(qū)域三維點(diǎn)云，利用空間結(jié)構(gòu)信息定位體型關(guān)鍵點(diǎn)，完成體型評定指標(biāo)計(jì)算。

1.2.1 深度圖像濾波

由于深度圖像數(shù)據(jù)存在隨機(jī)噪聲，紅外光束直射奶牛個(gè)體某些部位皮毛表面時(shí)存在鏡面反射，造成該部位深度值缺失，影響體型評定指標(biāo)測量[14-15]。為提高深度圖像數(shù)據(jù)質(zhì)量，利用RealSense SDK 2.0提供邊緣平滑濾波器和孔洞填充濾波器對深度圖像數(shù)據(jù)進(jìn)行處理[16]。

采用邊緣平滑濾波器平滑深度噪聲，保持合理且穩(wěn)定邊緣。該濾波器通過掃描x軸和y軸目標(biāo)像素深度值并計(jì)算一維指數(shù)移動平均線（EMA），確定合適平滑量。采用左側(cè)有效像素（Left Valid Pixel）作空間域孔洞填充；采用與邊緣平滑濾波器同類型指數(shù)移動平均線（EMA）濾波器，對深度圖像中每個(gè)像素在時(shí)間域上應(yīng)用指數(shù)滑動平均填充孔洞。

經(jīng)過邊緣平滑濾波器、孔洞填充濾波器后圖像數(shù)據(jù)濾波效果如圖2所示。奶牛深度圖像數(shù)據(jù)得到修復(fù)，大部分邊緣噪聲和孔洞被消除。

圖2 深度圖像濾波效果（偽彩色處理）Fig.2 Depth image filtering effect(Pseudo-color processing)

1.2.2 兩階段體型關(guān)鍵點(diǎn)定位

因奶牛軀干部位不同類型測量點(diǎn)之間常有不規(guī)則凸起，直接對奶牛整體區(qū)域定位奶牛體型關(guān)鍵點(diǎn)易受干擾，本文提出一種兩階段體型關(guān)鍵區(qū)域體型關(guān)鍵點(diǎn)定位方法實(shí)現(xiàn)對奶牛體型關(guān)鍵點(diǎn)的精準(zhǔn)定位。

1.2.2.1 體型關(guān)鍵區(qū)域檢測

考慮到奶牛養(yǎng)殖場實(shí)際環(huán)境較復(fù)雜且奶牛個(gè)體表征因素差異較大，對體型關(guān)鍵區(qū)域自動檢測工作對檢測精度與速度均具有較高要求，在檢測過程中同時(shí)輸出檢測類別的錨框與概率，適合本研究任務(wù)場景，故本文基于YOLO v5模型對體型關(guān)鍵區(qū)域進(jìn)行自動檢測[17-19]。YOLO v5網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，其網(wǎng)絡(luò)架構(gòu)可分為4個(gè)部分：輸入端、Backbone網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)和輸出端。其中Backbone網(wǎng)絡(luò)以Focus結(jié)構(gòu)作為基準(zhǔn)網(wǎng)絡(luò)，608×608×1大小的圖片傳遞給Focus層，使用切片（slice）切割成320×320×12的特征圖，經(jīng)過concat以及一次卷積（CBL）轉(zhuǎn)化為320×320×64的特征圖。

圖3 基于YOLO v5的體型關(guān)鍵區(qū)域檢測網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Detection network structure of key areas of linear appraisal based on YOLO v5

基于YOLO v5體型關(guān)鍵區(qū)域檢測模型，檢測效果如圖4所示。由圖可知，本文提出的檢測模型可精準(zhǔn)檢測出奶牛體型關(guān)鍵區(qū)域。

圖4 體型關(guān)鍵區(qū)域檢測效果Fig.4 Detection effect of key areas for cow body type assessment

1.2.2.2 體型關(guān)鍵點(diǎn)定位

在完成第一階段奶牛體型關(guān)鍵區(qū)域檢測后，第二階段即為在各關(guān)鍵區(qū)域內(nèi)分別定位奶牛體型關(guān)鍵點(diǎn)。

利用相機(jī)內(nèi)參將關(guān)鍵區(qū)域重建為三維點(diǎn)云模型[20]，圖5為各關(guān)鍵區(qū)域三維點(diǎn)云模型效果圖。圖中（1）至（10）分別為奶牛鬐甲點(diǎn)、尾根點(diǎn)、左肩寬點(diǎn)、右肩寬點(diǎn)、左胸寬點(diǎn)、右胸寬點(diǎn)、左腹寬點(diǎn)、右腹寬點(diǎn)、左腰寬點(diǎn)、右腰寬點(diǎn)所在關(guān)鍵區(qū)域。

圖5 體型關(guān)鍵區(qū)域點(diǎn)云數(shù)據(jù)效果Fig.5 Point cloud data effect of key areas of cow linear appraisal

根據(jù)上述方法檢測的體型關(guān)鍵區(qū)域中包含有背景數(shù)據(jù)及離群點(diǎn)，使用點(diǎn)云濾波方法對體型關(guān)鍵區(qū)域點(diǎn)云數(shù)據(jù)進(jìn)行處理，避免對體型關(guān)鍵點(diǎn)定位造成影響[21]。

本文獲取的奶牛圖像數(shù)據(jù)中背景主要來自于地面，采用基于直通濾波法去除背景點(diǎn)云[22]，去除三維點(diǎn)云模型中距離坐標(biāo)原點(diǎn)o距離大于1.6 m的點(diǎn)。采用基于統(tǒng)計(jì)濾波法的離群點(diǎn)去除方法去除體型關(guān)鍵區(qū)域中的離群點(diǎn)[23]，濾除體型關(guān)鍵區(qū)域中超出該區(qū)域平均歐氏距離5個(gè)標(biāo)準(zhǔn)差以上的所有點(diǎn)，完成離群點(diǎn)去除工作。

在從體型關(guān)鍵區(qū)域中實(shí)現(xiàn)體型關(guān)鍵點(diǎn)定位時(shí)分別選用不同策略：對鬐甲點(diǎn)與尾根點(diǎn)選用基于z軸最值方法；對左肩寬點(diǎn)、右肩寬點(diǎn)、左胸寬點(diǎn)、右胸寬點(diǎn)、左腹寬點(diǎn)、右腹寬點(diǎn)、左腰寬點(diǎn)與右腰寬點(diǎn)選用基于曲率定位方法[23]。

基于最值點(diǎn)方法是利用點(diǎn)云數(shù)據(jù)中z軸表征與深度攝像頭所在水平平面垂直的直線這一特性，根據(jù)關(guān)鍵點(diǎn)類型名稱定位該點(diǎn)所在體型關(guān)鍵區(qū)域，然后在該體型關(guān)鍵區(qū)域內(nèi)遍歷所有點(diǎn)并輸出z軸坐標(biāo)值最大點(diǎn)，該點(diǎn)即為體型關(guān)鍵點(diǎn)[24-25]。

基于曲率方法是利用空間幾何變換中物體曲率不隨物體剛性變換而發(fā)生變化這一固有特性，表示對某一點(diǎn)所在局部曲面彎曲程度。采用平均曲率和高斯曲率[26]。其中平均曲率指某一點(diǎn)局部曲面在該點(diǎn)處平均彎曲程度；高斯曲率指點(diǎn)云表面某一點(diǎn)總彎曲程度，計(jì)算公式分別如式（1）、（2）所示。

式中，k1為該點(diǎn)最大主曲率，k2為該點(diǎn)最小主曲率。L、N、M、E、F、G分別為二次參數(shù)曲面逼近法中曲面在該點(diǎn)的偏微分值[27]。

體型關(guān)鍵點(diǎn)定位示例如圖6所示，圖6右部中將平均曲率最大點(diǎn)輸出結(jié)果用紅色點(diǎn)表示，高斯曲率最大點(diǎn)輸出結(jié)果用綠色點(diǎn)表示，z軸最值最大點(diǎn)輸出結(jié)果用藍(lán)色點(diǎn)表示。

圖6 體型關(guān)鍵點(diǎn)定位Fig.6 Key point positioning for cow body type assessment

1.2.3 體型評定指標(biāo)測量

在準(zhǔn)確獲取到奶牛體型關(guān)鍵點(diǎn)后，各項(xiàng)指標(biāo)測量工作即可轉(zhuǎn)化為在三維點(diǎn)云模型上對各體型關(guān)鍵點(diǎn)間的距離求解[28]。輸出各奶牛體型關(guān)鍵點(diǎn)坐標(biāo)值，再求取每對體型關(guān)鍵點(diǎn)之間歐式距離作為體型評定指標(biāo)的預(yù)測結(jié)果。對測試集中包含的15頭奶牛，將基于高斯曲率和z軸最值結(jié)合策略作為策略一，基于平均曲率和z軸最值結(jié)合策略作為策略二，采用兩種策略分別進(jìn)行體型評定指標(biāo)自動測量，得到測量結(jié)果進(jìn)行對比分析，確定精度更高的測量方法。

2 結(jié)果與分析

2.1 體型關(guān)鍵區(qū)域檢測模型參數(shù)與訓(xùn)練

本試驗(yàn)硬件配置如下：操作系統(tǒng)為Windows 10，處理器為英特爾酷睿i7-7800X 3.5 GHz，內(nèi)存為16 GB，顯卡為英偉達(dá)GeForce GTX 1080（11 GB內(nèi)存），使用Pytorch框架搭建網(wǎng)絡(luò)，Pytorch版本為1.10.0。訓(xùn)練出的檢測模型參數(shù)量大小為353 MB。

為訓(xùn)練體型關(guān)鍵區(qū)域檢測模型，將4421張奶牛深度圖像數(shù)據(jù)按照8：2劃分訓(xùn)練集與測試集，其中訓(xùn)練集包括34頭奶牛共3572幀圖像，測試集包括15頭奶牛共849幀圖像。

在模型訓(xùn)練時(shí)以32幅圖像作為一個(gè)批次，衰減系數(shù)設(shè)定為0.0005。預(yù)熱學(xué)習(xí)率為0.1，預(yù)熱學(xué)習(xí)率動量為0.8，預(yù)熱3輪次，余弦退火超參數(shù)設(shè)為0.1。約260次迭代后，模型收斂。

2.2 體型關(guān)鍵區(qū)域檢測結(jié)果與分析

在檢測體型關(guān)鍵區(qū)域時(shí)需采用評價(jià)指標(biāo)描述檢測精度，AP（Average precision）為各類別平均精確度，表示測試集中某類目標(biāo)檢測精確度和與該目標(biāo)有關(guān)圖像的數(shù)量比值。考慮奶牛鬐甲點(diǎn)、尾根點(diǎn)、左肩寬點(diǎn)、右肩寬點(diǎn)、左胸寬點(diǎn)、右胸寬點(diǎn)、左腹寬點(diǎn)、右腹寬點(diǎn)、左腰寬點(diǎn)、右腰寬點(diǎn)共10個(gè)不同類AP來判斷模型優(yōu)劣時(shí)，每一個(gè)類別均有AP，難以計(jì)算檢測模型優(yōu)劣，因此本研究選擇各項(xiàng)類別平均AP值，即選擇mAP（mean Average Precision）作為檢測網(wǎng)絡(luò)模型訓(xùn)練預(yù)測效果優(yōu)劣，計(jì)算公式如式（3）所示。

式中，Q表示類別數(shù)目，文中取值為10。

基于YOLO v5體型關(guān)鍵區(qū)域檢測模型得到檢測結(jié)果數(shù)據(jù)如表1所示，結(jié)果顯示mAP最終均能達(dá)到97.5%左右，說明關(guān)鍵區(qū)域檢測模型訓(xùn)練結(jié)果良好，檢測速度達(dá)到60 f·s-1，可滿足日常生產(chǎn)所需。值得注意的是右胸寬點(diǎn)精度略低于其他部位，原因是在采集奶牛圖像時(shí)某一天深度攝像頭設(shè)置角度存在偏差，當(dāng)天采集的深度圖像中奶牛右胸寬點(diǎn)存在被欄桿遮擋情況，導(dǎo)致該點(diǎn)精度低于其他部位?？傮w而言，本文提出的體型關(guān)鍵區(qū)域檢測模型可精準(zhǔn)確定奶牛關(guān)鍵區(qū)域，為下一步體型關(guān)鍵點(diǎn)定位工作提供基礎(chǔ)。

表1 體型關(guān)鍵區(qū)域檢測結(jié)果Table 1 Detection results of key areas for cow linear appraisal

2.3 體型評定指標(biāo)測量結(jié)果與分析

體型關(guān)鍵點(diǎn)定位結(jié)果顯示基于曲率體型關(guān)鍵點(diǎn)定位方法平均速度可達(dá)到0.265 s·幅-1，基于z軸最值體型關(guān)鍵點(diǎn)定位方法平均速度達(dá)到0.018 s·幅-1，符合奶牛養(yǎng)殖場實(shí)際應(yīng)用場景對效率的要求。

基于兩階段關(guān)鍵點(diǎn)定位算法得到15頭奶牛體型評定指標(biāo)預(yù)測結(jié)果如表2所示。

表2 基于兩階段關(guān)鍵點(diǎn)定位算法的體型評定指標(biāo)測量結(jié)果Table 2 Measurement results of cow linear appraisal indicators based on two-stage key point positioning algorithm（cm）

其中，最大誤差為5.68 cm，最小誤差為0 cm，結(jié)果可知產(chǎn)生誤差較大的預(yù)測值是因體型關(guān)鍵區(qū)域檢測結(jié)果發(fā)生偏差，導(dǎo)致體型關(guān)鍵點(diǎn)定位誤差較大。

本文基于策略一和策略二對奶牛5個(gè)體型評定指標(biāo)計(jì)算平均絕對誤差（MAE）和均方根誤差（RMSE），如表3所示。結(jié)果顯示對腰寬指標(biāo)預(yù)測值誤差較小，對肩寬和腹寬指標(biāo)預(yù)測值誤差較大，原因是肩部和腹部離散點(diǎn)干擾較多。

表3 體型評定指標(biāo)的平均絕對誤差和均方根誤差Table 3 Mean absolute error and root mean square error for cow linear appraisal indicators

本文對體型評定指標(biāo)自動測量得到預(yù)測值與人工測量真實(shí)值之間相關(guān)性，如圖7所示。

圖7 指標(biāo)真實(shí)值與預(yù)測值對比Fig.7 Comparison of actual value and predicted value of each indicator

由圖7可知，本文提出奶牛體型評定指標(biāo)自動測量方法獲得的預(yù)測值與人工測量獲得的真實(shí)值間具有良好相關(guān)性，決定系數(shù)R2最大為0.9394，最小為0.8573，基于策略一的決定系數(shù)由大到小依次為腹寬、體長、肩寬、腰寬、胸寬，基于策略二的決定系數(shù)由大到小依次為腹寬、肩寬、體長、胸寬、腰寬?；诓呗远贸龅臏y量值與真實(shí)值之間的決定系數(shù)更高，且基于策略一和策略二測得預(yù)測值相差較小，故選擇輸出平均曲率最大值點(diǎn)與z軸最大值點(diǎn)相結(jié)合的方法作為奶牛體型關(guān)鍵點(diǎn)定位策略，自動測量奶牛體型評定指標(biāo)更為精確。

3 討論與結(jié)論

為解決奶牛部分體型評定指標(biāo)測量問題，采用目標(biāo)檢測模型獲取體型關(guān)鍵點(diǎn)所在關(guān)鍵區(qū)域，分別采用基于高斯曲率和平均曲率方法輸出體型關(guān)鍵點(diǎn)，得到體型評定指標(biāo)預(yù)測值。結(jié)果表明，基于平均曲率可取得更好測量效果。

本文通過深度學(xué)習(xí)算法以及三維點(diǎn)云技術(shù)對奶牛部分體型評定指標(biāo)進(jìn)行自動測量。奶牛體型評定指標(biāo)測量相關(guān)研究大多存在人工交互，且在奶牛行走過程中對整體奶牛圖像數(shù)據(jù)進(jìn)行關(guān)鍵點(diǎn)直接定位存在一定誤差，如基于雙目視覺技術(shù)方法中，對體長指標(biāo)存在1.14%～6.09%的平均相對誤差，基于深度學(xué)習(xí)檢測算法的關(guān)鍵點(diǎn)定位方法對體長指標(biāo)存在0.23%～5.79%的平均相對誤差[9-10]。因此，本文在自動化的前提下預(yù)測值精度較高。

由于深度圖像數(shù)據(jù)中存在信息缺失問題，可考慮引入RGB圖像信息，結(jié)合深度學(xué)習(xí)算法進(jìn)行精細(xì)的孔洞填充。此外，在奶牛個(gè)體點(diǎn)云與欄桿等背景點(diǎn)云難以有效分割時(shí)會造成測量精度下降，針對奶牛體型關(guān)鍵區(qū)域點(diǎn)云的自動化處理方法有待進(jìn)一步研究。

本研究對奶牛的5個(gè)體型評定指標(biāo)自動測量時(shí)測量值平均絕對誤差和均方根誤差分別為1.55與1.78 cm，決定系數(shù)R2達(dá)到0.9394。證明該方法可為奶牛體型評定提供新的解決方法，給奶牛跛行行為檢測和體重預(yù)測等領(lǐng)域提供思路。