關(guān)鍵詞 豬; 無(wú)接觸測(cè)量; 體尺; 視覺(jué)傳感器; 三維點(diǎn)云; 計(jì)算機(jī)視覺(jué)
肉類(lèi)中的蛋白質(zhì)是人類(lèi)必需的營(yíng)養(yǎng)成分之一,也是人類(lèi)膳食結(jié)構(gòu)的重要部分[1]。隨著工業(yè)化和城市化的發(fā)展,世界人口數(shù)量和生活水平不斷提高,人們對(duì)動(dòng)物性食品的需求不斷增長(zhǎng)。根據(jù)聯(lián)合國(guó)糧農(nóng)組織(FAO)提供的數(shù)據(jù),截至2020 年底,世界肉類(lèi)總產(chǎn)量已經(jīng)超過(guò)33 000 萬(wàn)t。其中,豬肉作為全球三大肉類(lèi)之一,占全球肉總產(chǎn)量的33%[2]。我國(guó)是養(yǎng)豬大國(guó),養(yǎng)豬基數(shù)大、豬肉消費(fèi)占比高。國(guó)家統(tǒng)計(jì)局?jǐn)?shù)據(jù)[3]顯示,2022 年中國(guó)全年豬肉產(chǎn)量5 541 萬(wàn)t,同比增加4.6%,生豬出欄69 995 萬(wàn)頭,同比增加4.3%,能繁殖母豬存欄4 390 萬(wàn)頭,同比增加1.4%。因此,全球畜牧業(yè)生產(chǎn),特別是豬肉的生產(chǎn)與安全,對(duì)糧食安全有著重要的影響[4]。
合理的豬體生理信息監(jiān)測(cè)是確保豬肉安全的關(guān)鍵環(huán)節(jié)之一。通過(guò)監(jiān)測(cè)豬體生理信息,可以實(shí)現(xiàn)豬的生長(zhǎng)發(fā)育狀況監(jiān)測(cè)[5]、疾病預(yù)警[6]和生產(chǎn)性能評(píng)估[7]等。其中,豬的體尺參數(shù)測(cè)量是生理信息監(jiān)測(cè)的主要內(nèi)容,測(cè)量參數(shù)包括體高、體長(zhǎng)、體寬、胸圍、臀圍和腹圍等[8],這些參數(shù)對(duì)指導(dǎo)實(shí)際生產(chǎn)如評(píng)價(jià)生長(zhǎng)狀況[9]、性狀選擇[10]和參數(shù)預(yù)測(cè)[11]具有重要意義。
傳統(tǒng)的豬體體尺測(cè)量通常是通過(guò)皮尺、卷尺和測(cè)量杖等工具進(jìn)行人工測(cè)量[12]。在養(yǎng)殖數(shù)量大、測(cè)量頻率高和待測(cè)體尺參數(shù)多的情況下,傳統(tǒng)的人工體尺測(cè)量方式耗時(shí)耗力,且工作量巨大。同時(shí),豬的應(yīng)激反應(yīng)也會(huì)導(dǎo)致人工測(cè)量的精度下降。此外,這種接觸式的測(cè)量為人和牲畜之間細(xì)菌和病毒的傳播提供了可能[13]。因此,傳統(tǒng)的豬體體尺測(cè)量方式亟需進(jìn)一步的改進(jìn)。
為減少牲畜的應(yīng)激影響,無(wú)接觸式的牲畜體尺測(cè)量方法已開(kāi)始研究和推廣[8-9,12,14-19]。無(wú)接觸式測(cè)量是在對(duì)象處于正常活動(dòng)的前提下,使用先進(jìn)的光學(xué)傳感器對(duì)檢測(cè)對(duì)象的表面實(shí)現(xiàn)二維或三維的成像,同時(shí)結(jié)合計(jì)算機(jī)視覺(jué)算法,達(dá)到體尺測(cè)量的目的[16]。不同牲畜體尺測(cè)量要求具有一定的差異性[17-18]。一是養(yǎng)殖環(huán)境,牛羊一般養(yǎng)殖在室外牧場(chǎng),而豬的養(yǎng)殖環(huán)境一般是半封閉或封閉的室內(nèi)場(chǎng)地,由于生豬養(yǎng)殖環(huán)境缺少自然光照,可忽略陽(yáng)光直射對(duì)設(shè)備工作造成的影響,應(yīng)選取工作場(chǎng)景亮度不足條件下的測(cè)量設(shè)備和方案。二是體形體態(tài),由于生豬的體形比奶牛和肉牛的小,且活潑好動(dòng),對(duì)測(cè)量設(shè)備的采樣率和算法適應(yīng)性要求更高。三是體表,牛羊需考慮被毛對(duì)體尺測(cè)量的影響;而豬毛一般較稀疏,不會(huì)完全遮擋體表,但生豬體表一般沾有糞便、泥點(diǎn)等,需要考慮其產(chǎn)生的噪聲對(duì)數(shù)據(jù)真實(shí)性的干擾。
近年來(lái),隨著無(wú)接觸式豬體體尺測(cè)量技術(shù)的發(fā)展,對(duì)該技術(shù)在實(shí)際生產(chǎn)中應(yīng)用的需求越來(lái)越旺盛。目前,針對(duì)無(wú)接觸式體尺測(cè)量的研究主要聚焦于算法細(xì)節(jié),例如數(shù)據(jù)的預(yù)處理、獲取目標(biāo)數(shù)據(jù)、體尺計(jì)算方式等[19-20],但沒(méi)有特別關(guān)注工程部署方面的條件限制和可行性技術(shù)方案的需求。因此,本文從工程部署角度概述了近年來(lái)不同的無(wú)接觸式豬體體尺測(cè)量方法研究進(jìn)展,將算法細(xì)節(jié)和工程部署需求相結(jié)合,突出在工程應(yīng)用中相關(guān)算法差異,并對(duì)三維體尺測(cè)量技術(shù)進(jìn)行詳細(xì)的技術(shù)分析,以期更好地提升無(wú)接觸式豬體體尺測(cè)量技術(shù)的成熟度、準(zhǔn)確度和便利性,為該技術(shù)在監(jiān)測(cè)豬體生理信息方面的應(yīng)用提供參考。
1 無(wú)接觸式體尺測(cè)量原理及硬件技術(shù)
無(wú)接觸式體尺測(cè)量主要利用視覺(jué)傳感器進(jìn)行視頻圖像數(shù)據(jù)采集。視覺(jué)傳感器一般分為兩大類(lèi):RGB 設(shè)備和深度設(shè)備[20]。RGB 設(shè)備即普通相機(jī),通過(guò)內(nèi)部的成像元件將光線(xiàn)轉(zhuǎn)換為數(shù)字信號(hào)并存儲(chǔ)[21],其成像原理簡(jiǎn)單、材料成本低、發(fā)展時(shí)間長(zhǎng)且設(shè)備種類(lèi)繁多,技術(shù)十分成熟,通常是便攜、低成本視覺(jué)系統(tǒng)的重要組成部分。但RGB 設(shè)備輸出的是二維圖像數(shù)據(jù),這極大限制了計(jì)算機(jī)感知和理解三維現(xiàn)實(shí)世界的能力[22]。深度設(shè)備利用3D 表面成像技術(shù)實(shí)現(xiàn)設(shè)備到物體表面距離的測(cè)量,即深度測(cè)量。深度信息能夠反映物體的三維空間關(guān)系和特征,可以改善計(jì)算機(jī)在二維圖像上感知能力受限的問(wèn)題。3D 表面成像技術(shù)的基本原理可以分為三大類(lèi)[23]:三角測(cè)量、飛行時(shí)間和干涉法。
基于三角測(cè)量的3D 表面成像技術(shù)本質(zhì)上是一種幾何計(jì)算,通過(guò)測(cè)量三角形的角度和基線(xiàn),計(jì)算確定目標(biāo)的距離。三角測(cè)量的計(jì)算原理用公式(1)表示,Z 表示深度,b 是基線(xiàn)長(zhǎng)度,d1和d2分別是入射光束在相機(jī)1 和相機(jī)2 的位置,f 是相機(jī)的焦距[24]。
基于飛行時(shí)間的3D 表面成像技術(shù),顧名思義,是通過(guò)計(jì)算光的飛行時(shí)間來(lái)測(cè)量深度。光源發(fā)射出已知速度的光束,經(jīng)由測(cè)量物體的表面反射回傳感器上,根據(jù)來(lái)回時(shí)間t 來(lái)計(jì)算深度Z[25]。而深度Z 和時(shí)間t 之間的關(guān)系可以用函數(shù)f 表示,即公式(2)。
基于干涉法的3D 表面成像技術(shù)一般通過(guò)干涉儀將相干光束一分為二,其中1 條射向參考鏡,另1條射向樣品,再將2 條光束反射回分束器,通過(guò)波的相位信息來(lái)確定深度,其精度在納米范圍[26]。但這種方法不適用于牲畜的體尺測(cè)量。
無(wú)接觸式的豬體體尺測(cè)量技術(shù)的發(fā)展已有30 多年,從最早的黑白相機(jī)到深度相機(jī),從單個(gè)設(shè)備到多個(gè)設(shè)備,從灰度圖到三維點(diǎn)云圖,從機(jī)器學(xué)習(xí)到深度學(xué)習(xí),視覺(jué)傳感器的轉(zhuǎn)型升級(jí)和算法技術(shù)的發(fā)展促使工程實(shí)施方案發(fā)生了明顯的變化,不同階段的工程實(shí)施方案具有顯著的特點(diǎn)[27-28]。本文將無(wú)接觸式豬體體尺測(cè)量工程部署方法分為兩大類(lèi),分別為基于RGB 設(shè)備的部署方法和基于深度設(shè)備的部署方法,如圖1 所示。為了條理清晰地回顧無(wú)接觸式的豬體體尺測(cè)量技術(shù)的發(fā)展,以視覺(jué)傳感器作為切入點(diǎn)進(jìn)行闡述。
2 工程部署方法
2.1 基于RGB設(shè)備的部署方法
1)單RGB 相機(jī)。在早期的研究中,無(wú)接觸式豬體體尺測(cè)量并沒(méi)有構(gòu)成一項(xiàng)獨(dú)立的研究。研究者將單個(gè)相機(jī)安裝在進(jìn)食站處,在飼養(yǎng)環(huán)境下對(duì)豬進(jìn)行日常監(jiān)測(cè)、計(jì)數(shù)等[29-30],把長(zhǎng)度或面積等圖像測(cè)量數(shù)據(jù)作為估計(jì)豬活體質(zhì)量等指標(biāo)的參數(shù)[31]。這些研究沒(méi)有明確地對(duì)測(cè)量體尺進(jìn)行學(xué)術(shù)性的定義,但其基于圖像進(jìn)行測(cè)量的思想為無(wú)接觸式體尺測(cè)量提供了思路[32]。
直至VIA 系統(tǒng)(visual image analysis system,VIA system)[33]的出現(xiàn),基于RGB 圖像的體尺測(cè)量技術(shù)獨(dú)立出來(lái)并成為研究熱點(diǎn)。VIA 系統(tǒng)中,主要有兩大部分,第一部分為安裝在食槽頂部的RGB 相機(jī),第二部分為計(jì)算機(jī)內(nèi)的圖像分析軟件,用于計(jì)算和處理采集設(shè)備采集的圖像。該系統(tǒng)首先對(duì)采集的豬體背部圖像進(jìn)行失真矯正,再通過(guò)圖像算子的處理以及灰度圖像的閾值選取獲得目標(biāo)豬體的背部輪廓。同時(shí),為了得到更準(zhǔn)確的結(jié)果,使用圖像腐蝕和膨脹等簡(jiǎn)單操作對(duì)背部輪廓圖像進(jìn)行處理。最終,該系統(tǒng)通過(guò)背部的輪廓圖獲得豬體形態(tài)數(shù)據(jù)。Doe?schl 等[34]對(duì)VIA 系統(tǒng)所計(jì)算的豬體體尺測(cè)量指標(biāo)進(jìn)一步明確,定義了線(xiàn)性測(cè)量指標(biāo)和面積測(cè)量指標(biāo)。VIA 系統(tǒng)創(chuàng)造性地給出了一種早期的無(wú)接觸式豬體體尺測(cè)量方案,通過(guò)單RGB 相機(jī)采集豬體背部圖像,對(duì)豬日常活動(dòng)的干擾較小,可應(yīng)用于現(xiàn)場(chǎng)飼養(yǎng)環(huán)境。但是該系統(tǒng)的人工圖像處理過(guò)程過(guò)于復(fù)雜,同時(shí)由于圖像質(zhì)量低和分析算法低效還會(huì)產(chǎn)生誤差。單RGB 相機(jī)只能拍攝豬體的某個(gè)視角,大多數(shù)研究將相機(jī)放置于頂部拍攝俯視圖以獲取豬體背部圖像,所獲取的豬體體尺數(shù)據(jù)或豬體圖像特征有限。
2)雙RGB 相機(jī)。為了獲取更多的豬體體尺數(shù)據(jù),部分研究改為使用雙RGB 相機(jī)。這種雙相機(jī)的組合方式主要有2 種。
第1 種組合方式是在食槽頂部拍攝的基礎(chǔ)上再增加一個(gè)側(cè)面進(jìn)行拍攝。Chen 等[35]開(kāi)發(fā)了一種基于機(jī)器視覺(jué)技術(shù)的豬體生長(zhǎng)監(jiān)測(cè)系統(tǒng),通過(guò)一對(duì)相機(jī)得到的俯視圖和側(cè)視圖計(jì)算體高、體長(zhǎng)、胸寬和臀寬,并根據(jù)這些體尺參數(shù)預(yù)測(cè)豬的肉產(chǎn)量。類(lèi)似的,Tian 等[36]也從雙視角RGB 相機(jī)采集豬體圖像,然后轉(zhuǎn)換成二值圖像以獲得感興趣區(qū)域和豬體的邊緣,最后根據(jù)豬體邊緣的位置計(jì)算豬體的體高、體長(zhǎng)、胸寬和臀寬。與基于單個(gè)RGB 相機(jī)的豬體體尺測(cè)量方法不同,這種方法可以同時(shí)在側(cè)視圖上計(jì)算體高,可獲得更多的體尺數(shù)據(jù)。
第2 種組合方式是雙目視覺(jué)系統(tǒng),即類(lèi)似人眼結(jié)構(gòu),將2 個(gè)相機(jī)放置在有一定間距的同一個(gè)視角,左右相機(jī)參數(shù)相同。雙目視覺(jué)系統(tǒng)通過(guò)立體匹配算法對(duì)2 個(gè)RGB 相機(jī)的圖像進(jìn)行匹配,基于三角原理把雙相機(jī)視差轉(zhuǎn)換為深度,最后將深度信息重新映射到原始圖像中以得到3D 點(diǎn)云圖像。李卓等[37]使用雙目視覺(jué)系統(tǒng)獲得豬體深度圖像,利用幀差法提取豬只高度信息,并基于豬體輪廓的拐點(diǎn)篩選體尺檢測(cè)關(guān)鍵點(diǎn),計(jì)算體長(zhǎng)、體寬、體高、臀寬、臀高5 個(gè)體尺參數(shù)。Shi 等[38-40]的團(tuán)隊(duì)基于雙目視覺(jué)系統(tǒng)展開(kāi)了多項(xiàng)豬體體尺測(cè)量研究,通過(guò)雙RGB 相機(jī)獲取豬體的深度圖,使用深度閾值獲取豬體圖像區(qū)域以消除圖像背景的干擾[38],然后在豬體深度圖中確定測(cè)量關(guān)鍵點(diǎn),最后基于關(guān)鍵點(diǎn)的位置計(jì)算體長(zhǎng)、體寬、臀寬、肩寬、臀高等多項(xiàng)體尺參數(shù)[39]。該團(tuán)隊(duì)還構(gòu)建了一種無(wú)接觸式的豬體體尺檢測(cè)系統(tǒng)[40],實(shí)現(xiàn)了工程化和自動(dòng)化。該系統(tǒng)把滑軌放置于飲水區(qū)域圍欄的上方,當(dāng)該系統(tǒng)工作時(shí),滑軌上帶有雙目視覺(jué)相機(jī)的電氣柜在不同的圍欄處停止并進(jìn)行圖像采集,同時(shí)使用軟件程序?qū)崿F(xiàn)電氣柜的控制以及采集圖像的校準(zhǔn)和體尺測(cè)量。與VIA 系統(tǒng)的人工圖像閾值處理和傳統(tǒng)的灰度閾值分割不同,雙目視覺(jué)利用深度信息可以得到更加精確的豬體背部輪廓圖像,測(cè)量更多的豬體體尺數(shù)據(jù)。
3)多個(gè)RGB 相機(jī)。為了得到更加完整的豬體三維圖像,可以將多對(duì)RGB 相機(jī)應(yīng)用在多個(gè)視角分別獲取視差圖像,進(jìn)而構(gòu)建豬體三維圖像。Wu 等[41]開(kāi)發(fā)了由6 個(gè)高分辨率相機(jī)組成的立體成像系統(tǒng),分別拍攝豬的側(cè)視圖、俯視圖和后視圖,并通過(guò)視差計(jì)算深度以獲得豬的三維圖像。盡管多個(gè)RGB 相機(jī)可以得到更完整的豬體三維圖像,但是與單個(gè)或一對(duì)RGB 相機(jī)相比,所需設(shè)備的數(shù)量更多,且需要更復(fù)雜的測(cè)量環(huán)境和測(cè)量系統(tǒng),因此,該方法難以應(yīng)用到實(shí)際養(yǎng)殖和農(nóng)業(yè)生產(chǎn)中。
2.2 基于深度設(shè)備的部署方法
1)單深度相機(jī)。面向消費(fèi)者的3D 深度相機(jī)在問(wèn)世后受到了業(yè)界的廣泛關(guān)注,研究者將其應(yīng)用于無(wú)接觸式的豬體體尺測(cè)量和豬活體質(zhì)量預(yù)測(cè)中。Condotta 等[42]通過(guò)Kinect v1 深度相機(jī)獲取的深度圖和點(diǎn)云數(shù)據(jù)計(jì)算豬的體積,從而進(jìn)一步估計(jì)豬的活體質(zhì)量。Okayama 等[43]將點(diǎn)云數(shù)據(jù)與豬的姿態(tài)角度相結(jié)合,以減少活體質(zhì)量估計(jì)的誤差。Li 等[44]將Ki?nect v2 深度相機(jī)放置于飲水區(qū)的上方采集深度圖像,將深度圖轉(zhuǎn)為點(diǎn)云數(shù)據(jù)后計(jì)算肩寬、體高和體長(zhǎng)。單深度相機(jī)和雙目視覺(jué)系統(tǒng)類(lèi)似,都是從單個(gè)方向上獲取豬體的深度圖或點(diǎn)云數(shù)據(jù)。其主要區(qū)別除了基本原理不同外,3D 深度相機(jī)避免了雙相機(jī)匹配的計(jì)算過(guò)程。利用單深度相機(jī)可以構(gòu)建一個(gè)簡(jiǎn)單、有效且可靠的無(wú)接觸式豬體體尺測(cè)量系統(tǒng)。然而受視角單一的影響,這種方式只能獲取有限的豬體部分點(diǎn)云,因此只能測(cè)量部分豬體體尺。
2)雙深度相機(jī)。為了獲取更完整的豬體點(diǎn)云數(shù)據(jù),有研究使用了2 個(gè)深度相機(jī)。Pezzuolo 等[45]將2個(gè)Kinect v1 深度相機(jī)放置于豬的喂食區(qū)上方和側(cè)方,測(cè)量的體尺數(shù)據(jù)包括體長(zhǎng)、腹圍、肩寬和臀高。相比單深度相機(jī)的方法,該研究獲取的點(diǎn)云數(shù)據(jù)更完整,因此還可以獲得豬體的腹圍數(shù)據(jù)。
除了這種常規(guī)的基于雙深度相機(jī)的研究,Wang等[46]將其設(shè)計(jì)成便攜式的豬體體尺檢測(cè)系統(tǒng),把2個(gè)Xtion Pro 深度相機(jī)固定在一個(gè)V 型背攜式金屬支架上進(jìn)行移動(dòng)式數(shù)據(jù)采集。該研究首先對(duì)2 個(gè)相機(jī)進(jìn)行配準(zhǔn),再使用歐幾里得聚類(lèi)剔除背景,從而獲得目標(biāo)豬體點(diǎn)云。為了讓整個(gè)流程自動(dòng)化,還需要使用主成分分析算法對(duì)豬的姿態(tài)進(jìn)行歸一化,最終確定歸一化點(diǎn)云的測(cè)量關(guān)鍵點(diǎn),以此來(lái)計(jì)算體長(zhǎng)、體寬和體高。
3)3 個(gè)深度相機(jī)。為了能夠基本完整地采集到目標(biāo)豬體的表面點(diǎn)云數(shù)據(jù),需使用3 個(gè)深度相機(jī)。常見(jiàn)的方式是先將3 個(gè)深度相機(jī)分別放置于一個(gè)通道的兩側(cè)和頂部,然后進(jìn)行配準(zhǔn),測(cè)量時(shí)讓豬逐頭通過(guò)該通道,當(dāng)行至最佳位置時(shí)捕獲點(diǎn)云數(shù)據(jù),再利用隨機(jī)樣本一致性算法等技術(shù)提取豬的點(diǎn)云,最后根據(jù)關(guān)鍵點(diǎn)計(jì)算體長(zhǎng)、體高、體寬和腹圍的體尺數(shù)據(jù)[47]。Hu 等[48]通過(guò)改進(jìn)的深度學(xué)習(xí)網(wǎng)絡(luò)PointNet++對(duì)豬體的不同部位進(jìn)行點(diǎn)云分割,以避免其他點(diǎn)云部分干擾關(guān)鍵點(diǎn)的確定,分別測(cè)量了體長(zhǎng)、體高、體寬、胸圍、腹圍、臀圍等體尺數(shù)據(jù)。三維視角的深度相機(jī)組合能夠獲取比較豐富的體尺數(shù)據(jù)。
2.3 工程部署方法對(duì)比
從視覺(jué)傳感器角度看,不同的工程部署方法所使用的設(shè)備數(shù)量、設(shè)備類(lèi)型大有不同;從算法技術(shù)角度看,隨著設(shè)備的更新,新技術(shù)和更高效的算法逐漸替代了傳統(tǒng)方法??偟膩?lái)說(shuō),不同的工程部署方法不僅與視覺(jué)傳感器設(shè)備和測(cè)量算法技術(shù)緊密相連,還決定了測(cè)量環(huán)境、采集數(shù)據(jù)類(lèi)型、可測(cè)量體尺數(shù)據(jù)。表1 對(duì)不同工程部署方法的特點(diǎn)進(jìn)行匯總。對(duì)于無(wú)接觸體尺測(cè)量方法評(píng)價(jià),通常采用算法測(cè)量結(jié)果與人工測(cè)量結(jié)果進(jìn)行對(duì)比。表2 中列舉了不同工程部署方法的體尺測(cè)量性能指標(biāo)[8,37,40,44,46-49]。由于表2 中各個(gè)文獻(xiàn)使用了不同的自建數(shù)據(jù)集,且其中一些研究為了避免豬的非標(biāo)準(zhǔn)姿態(tài)、數(shù)據(jù)缺失、噪聲等帶來(lái)的較大誤差,在評(píng)估其方法性能時(shí)采取了數(shù)據(jù)過(guò)濾的措施,因此表2 中結(jié)果僅供參考。通過(guò)對(duì)比各種工程部署方法的優(yōu)缺點(diǎn)及應(yīng)用效果可以看出,使用三維視角的深度相機(jī)系統(tǒng)采集的三維點(diǎn)云可獲取更豐富、準(zhǔn)確的豬體體尺數(shù)據(jù),更能滿(mǎn)足實(shí)際的體尺測(cè)量需求。
3 基于點(diǎn)云的三維體尺測(cè)量技術(shù)
基于深度設(shè)備的部署方法使用以點(diǎn)云為基礎(chǔ)的三維體尺測(cè)量技術(shù),其可測(cè)量的數(shù)據(jù)豐富,精度較高,具有更為廣泛的應(yīng)用前景[50]。這類(lèi)方法可劃分為5 個(gè)技術(shù)步驟:目標(biāo)豬體提取、豬體數(shù)據(jù)補(bǔ)全、豬體姿態(tài)歸一化、關(guān)鍵點(diǎn)檢測(cè)和體尺計(jì)算(圖2)。
3.1 目標(biāo)豬體提取
在數(shù)據(jù)采集的過(guò)程中,原始點(diǎn)云數(shù)據(jù)不僅包括目標(biāo)豬體,還包括地面、欄桿、屋內(nèi)天花板等現(xiàn)場(chǎng)環(huán)境的其他物體,如果測(cè)量位置位于飼養(yǎng)區(qū)等豬的日?;顒?dòng)區(qū)域,點(diǎn)云數(shù)據(jù)還可能包括非測(cè)量對(duì)象豬體[51]。因此,目標(biāo)豬體提取是無(wú)接觸式測(cè)量的必要步驟。例如,Condotta 等[42]直接選取某個(gè)深度范圍的數(shù)據(jù);Li 等[44]使用方差分類(lèi)算法消除非豬點(diǎn)云,通過(guò)區(qū)域生長(zhǎng)法分割同一點(diǎn)云下的多只豬;Wang 等[46]使用歐幾里得聚類(lèi)提取豬體點(diǎn)云。上述方法均是基于人工操作或者傳統(tǒng)機(jī)器學(xué)習(xí)的算法,難以具備高精度和強(qiáng)泛化能力。在實(shí)際的應(yīng)用中,豬在進(jìn)食和飲水時(shí),其點(diǎn)云呈現(xiàn)與欄桿、地面等物體接觸的狀態(tài),還有豬的多種姿態(tài)和多只豬混合圈養(yǎng)等特點(diǎn)均使得豬體信息提取存在一定的難度。因此,由于環(huán)境的復(fù)雜性、豬體的多種姿態(tài)和多場(chǎng)景應(yīng)用等因素,使得上述傳統(tǒng)目標(biāo)豬體提取方法難以滿(mǎn)足日后實(shí)際測(cè)量的需求。
3.2 豬體數(shù)據(jù)補(bǔ)全
點(diǎn)云數(shù)據(jù)本身是稀疏的,且受被測(cè)對(duì)象特性、處理方法和環(huán)境的影響,采集的點(diǎn)云數(shù)據(jù)存在缺失。當(dāng)前研究的豬體數(shù)據(jù)缺失一般是數(shù)據(jù)采集方式導(dǎo)致的。單深度相機(jī)或雙深度相機(jī)的拍攝方式難以兼顧所有的角度,只能獲得局部的豬體點(diǎn)云。三維視角的深度相機(jī)一般需要狹長(zhǎng)的拍攝通道,該通道可由繩子、鐵鏈或木板等材料圍成,以盡量使通道不遮擋豬體的關(guān)鍵部位,因此這種拍攝方式下,豬體點(diǎn)云會(huì)呈現(xiàn)條紋狀的缺失。除此之外,反射、透射、分辨率和角度等原因也會(huì)導(dǎo)致點(diǎn)云數(shù)據(jù)的缺失。李孟飛等[52]使用模型豬作為實(shí)驗(yàn)對(duì)象,結(jié)合了3 次B 樣條曲線(xiàn)擬合和邊緣檢測(cè),提出一種基于閾值分析的豬側(cè)視點(diǎn)云補(bǔ)全方法,補(bǔ)全因欄桿遮擋而缺失的部分點(diǎn)云數(shù)據(jù),有效減小了豬體胸圍和腹圍的測(cè)量誤差。在無(wú)接觸式豬體體尺測(cè)量的領(lǐng)域中針對(duì)缺失點(diǎn)云補(bǔ)全的相關(guān)研究較少,然而豬體數(shù)據(jù)的補(bǔ)全有助于確定測(cè)量關(guān)鍵點(diǎn),有利于提高測(cè)量體尺的精度,還能夠在設(shè)備數(shù)量有限的情況下為獲取更多的數(shù)據(jù)提供支持。因此,豬體數(shù)據(jù)的補(bǔ)全對(duì)于后續(xù)的測(cè)量任務(wù)以及推動(dòng)下游應(yīng)用至關(guān)重要。
3.3 豬體姿態(tài)歸一化
當(dāng)完成豬的點(diǎn)云數(shù)據(jù)采集后,為了更好地利用計(jì)算機(jī)視覺(jué)技術(shù)實(shí)現(xiàn)點(diǎn)云測(cè)量關(guān)鍵點(diǎn)的自動(dòng)提取,提高測(cè)量體尺的自動(dòng)化程度,需要對(duì)豬體進(jìn)行姿態(tài)的歸一化,即對(duì)點(diǎn)云進(jìn)行三維旋轉(zhuǎn)和三維平移,使得豬體在點(diǎn)云坐標(biāo)系中呈現(xiàn)的姿態(tài)統(tǒng)一,便于后續(xù)處理。目前,傳統(tǒng)的姿態(tài)歸一化方法主要有三類(lèi)[53]:第一類(lèi)是基于主成分分析的經(jīng)典姿態(tài)歸一化方法[54];第二類(lèi)是基于3D 點(diǎn)云對(duì)稱(chēng)特征的姿態(tài)歸一化方法[55-57];第三類(lèi)是基于特定幾何信息的方法[58-60]。在復(fù)雜的環(huán)境下,上述方法難以捕獲目標(biāo)的關(guān)鍵特征。另外,受點(diǎn)云數(shù)據(jù)質(zhì)量的影響,其歸一化效果不穩(wěn)定,容易導(dǎo)致歸一化主軸不準(zhǔn)確。為了進(jìn)一步提高豬體姿態(tài)歸一化方法的性能,王可等[61]提出了一種基于地面法向量的局部坐標(biāo)系矯正方法,用于修正主成分分析方法帶來(lái)的誤差或錯(cuò)誤。Guo 等[62]將對(duì)稱(chēng)特征的姿態(tài)歸一化方法與豬體的前方朝向相結(jié)合,提出了一種自動(dòng)豬體歸一化框架,其性能優(yōu)于傳統(tǒng)方法。這些基于傳統(tǒng)方法改進(jìn)的姿態(tài)歸一化方法仍然受到傳統(tǒng)方法缺陷的制約,難以進(jìn)一步推廣至更為復(fù)雜的環(huán)境下。
3.4 豬體測(cè)量關(guān)鍵點(diǎn)檢測(cè)與體尺測(cè)量
豬體體尺測(cè)量實(shí)質(zhì)上是基于體尺的幾何定義,對(duì)測(cè)量關(guān)鍵點(diǎn)的位置和距離進(jìn)行度量。因此,在完成目標(biāo)豬體提取、數(shù)據(jù)補(bǔ)全和姿態(tài)歸一化后,需要先檢測(cè)豬體的測(cè)量關(guān)鍵點(diǎn),才能進(jìn)行豬體體尺的計(jì)算。以體長(zhǎng)測(cè)量為例,Hu 等[48]首先確定耳根部中點(diǎn)和尾部中點(diǎn),再將豬體背部邊緣的點(diǎn)云分為前、中、后三部分,然后分別計(jì)算每個(gè)部分的體長(zhǎng)關(guān)鍵點(diǎn),最后擬合得到背部的體長(zhǎng)曲線(xiàn)以計(jì)算體長(zhǎng)。這類(lèi)傳統(tǒng)的豬體測(cè)量關(guān)鍵點(diǎn)檢測(cè)方法具有嚴(yán)格的定義,解釋性強(qiáng)。其準(zhǔn)確測(cè)量的前提是需要準(zhǔn)確的豬體點(diǎn)云數(shù)據(jù),如果存在噪聲數(shù)據(jù)干擾,則會(huì)對(duì)測(cè)量產(chǎn)生較大的影響。
3.5 其他
在基于深度相機(jī)的豬體體尺測(cè)量的研究中,使用的三維點(diǎn)云數(shù)據(jù)不包含顏色信息,導(dǎo)致使用這種點(diǎn)云數(shù)據(jù)的網(wǎng)絡(luò)無(wú)法提取物體的顏色特征。而現(xiàn)在的消費(fèi)級(jí)深度傳感器一般同時(shí)具備RGB 相機(jī)和深度相機(jī),這為同時(shí)捕獲深度信息和顏色信息提供了硬件支持。因此,在牲畜體尺測(cè)量的研究中,可以把RGB 數(shù)據(jù)與點(diǎn)云數(shù)據(jù)相結(jié)合[63],將RGB 相機(jī)與深度相機(jī)進(jìn)行配準(zhǔn),使得每個(gè)點(diǎn)信息除三維坐標(biāo)外還有RGB 三通道值。在豬體體尺測(cè)量領(lǐng)域暫時(shí)沒(méi)有利用類(lèi)似的數(shù)據(jù)類(lèi)型進(jìn)行的相關(guān)研究,但在豬體體尺測(cè)量的各項(xiàng)任務(wù)中,通過(guò)多模態(tài)特征融合算法使模型能夠同時(shí)學(xué)習(xí)點(diǎn)云的空間特征及顏色特征,將有利于提高三維體尺測(cè)量部署方法的精度。
4 展望
綜上所述,使用視覺(jué)傳感器和先進(jìn)的計(jì)算機(jī)視覺(jué)技術(shù)進(jìn)行無(wú)接觸式豬體體尺測(cè)量,可以有效解決傳統(tǒng)豬體體尺測(cè)量中費(fèi)時(shí)費(fèi)力、精度低和存在接觸風(fēng)險(xiǎn)等問(wèn)題。設(shè)備是工程實(shí)施方案的主要核心,工程實(shí)施方案會(huì)隨著設(shè)備的更新而升級(jí)。使用三維視角深度相機(jī)的部署方法能夠獲取更豐富且準(zhǔn)確的豬體體尺數(shù)據(jù)。但目前無(wú)接觸式豬體體尺測(cè)量領(lǐng)域應(yīng)用的相關(guān)技術(shù)與前沿的深度學(xué)習(xí)方法結(jié)合尚不夠深入。而深度學(xué)習(xí)方法憑借神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取和學(xué)習(xí)能力,使計(jì)算機(jī)能更好地處理各種點(diǎn)云任務(wù)。在未來(lái)的研究中,結(jié)合點(diǎn)云數(shù)據(jù)處理相關(guān)領(lǐng)域的深度學(xué)習(xí)方法,有望能提升無(wú)接觸式豬體體尺測(cè)量技術(shù)的成熟度、準(zhǔn)確度和便利性。
1)點(diǎn)云分割。與規(guī)則剛體目標(biāo)相比,豬體點(diǎn)云存在無(wú)序性和密度不均勻等特點(diǎn),傳統(tǒng)方法提取的特征較為簡(jiǎn)單,難以處理復(fù)雜的點(diǎn)云數(shù)據(jù)以提取目標(biāo)豬體。在實(shí)際工程的應(yīng)用上,還需要算法具備較強(qiáng)的泛化能力和遷移能力,即能夠適用于不同周齡、品種的豬及各種環(huán)境等。此外,深度學(xué)習(xí)的點(diǎn)云分割方法還存在分割模型復(fù)雜導(dǎo)致計(jì)算成本高、標(biāo)注大量的點(diǎn)云樣本十分耗時(shí)等問(wèn)題。盡管面臨以上挑戰(zhàn),深度學(xué)習(xí)方法由于其高效的特征學(xué)習(xí)能力,在點(diǎn)云語(yǔ)義分割領(lǐng)域展現(xiàn)出優(yōu)良的效果,可以感知更深層的點(diǎn)云語(yǔ)義信息,因此由傳統(tǒng)方法轉(zhuǎn)向深度學(xué)習(xí)方法是豬體點(diǎn)云分割的未來(lái)主流方向。除了豬體點(diǎn)云提取,點(diǎn)云分割還可應(yīng)用于豬體不同部位的分割,即部件分割任務(wù),以輔助豬體體尺測(cè)量。
2)點(diǎn)云補(bǔ)全。點(diǎn)云補(bǔ)全是通過(guò)局部點(diǎn)云對(duì)整體點(diǎn)云進(jìn)行生成和估計(jì),可以有效地提高豬體點(diǎn)云數(shù)據(jù)質(zhì)量。目前主要面臨兩大挑戰(zhàn):一是結(jié)構(gòu)特征的挑戰(zhàn),點(diǎn)云補(bǔ)全任務(wù)需要網(wǎng)絡(luò)學(xué)習(xí)局部點(diǎn)云的結(jié)構(gòu)特征,但點(diǎn)云數(shù)據(jù)具有無(wú)序性和非結(jié)構(gòu)性,這使得點(diǎn)云補(bǔ)全任務(wù)更難完成。二是點(diǎn)云細(xì)粒度的挑戰(zhàn),即網(wǎng)絡(luò)需要學(xué)習(xí)點(diǎn)云的幾何對(duì)稱(chēng)性、規(guī)則排列和表面光滑度等細(xì)粒度細(xì)節(jié)。點(diǎn)云數(shù)據(jù)補(bǔ)全在近幾年已經(jīng)取得了重大的進(jìn)展,將該技術(shù)應(yīng)用到豬體體尺測(cè)量中是該領(lǐng)域未來(lái)的重點(diǎn)之一。
3)點(diǎn)云姿態(tài)歸一化。為了實(shí)現(xiàn)豬體體尺測(cè)量的自動(dòng)化,豬體姿態(tài)歸一化是必要的步驟。在無(wú)接觸式豬體體尺測(cè)量中,豬體是一種復(fù)雜的非剛體,感知其姿態(tài)需要大量的特征信息,且實(shí)際養(yǎng)殖中同個(gè)欄位的數(shù)量較多、養(yǎng)殖密度較大,目標(biāo)個(gè)體容易被遮擋,難以進(jìn)行姿態(tài)歸一化。因此,使用考慮遮擋的端到端網(wǎng)絡(luò)對(duì)豬體進(jìn)行姿態(tài)歸一化成為了該領(lǐng)域的趨勢(shì)。
4)關(guān)鍵點(diǎn)檢測(cè)。傳統(tǒng)的豬體測(cè)量關(guān)鍵點(diǎn)檢測(cè)方法具有嚴(yán)格的定義,解釋性強(qiáng),其準(zhǔn)確測(cè)量的前提是需要準(zhǔn)確的豬體點(diǎn)云數(shù)據(jù),因此,這種方法嚴(yán)重依賴(lài)于上游任務(wù)的準(zhǔn)確完成,諸如豬體點(diǎn)云提取、豬體表面點(diǎn)云去噪等。深度學(xué)習(xí)在點(diǎn)云關(guān)鍵點(diǎn)檢測(cè)任務(wù)中展現(xiàn)了更為優(yōu)異的檢測(cè)性能,可以解決傳統(tǒng)方法的缺點(diǎn)。豬體測(cè)量關(guān)鍵點(diǎn)檢測(cè)可視為點(diǎn)云分類(lèi)任務(wù),即構(gòu)建函數(shù)將點(diǎn)云數(shù)據(jù)映射為豬體的各個(gè)關(guān)鍵點(diǎn),還可以視為點(diǎn)云的興趣點(diǎn)檢測(cè)任務(wù),輔助研究人員進(jìn)行關(guān)鍵點(diǎn)檢測(cè)結(jié)果的判斷。
目前在豬體體尺測(cè)量領(lǐng)域中,深度設(shè)備的應(yīng)用更加廣泛且效果良好,以深度學(xué)習(xí)為核心的算法正逐漸占據(jù)主導(dǎo)地位。在未來(lái)的研究中,深度設(shè)備與深度學(xué)習(xí)算法相結(jié)合的無(wú)接觸式豬體體尺測(cè)量方式將有更大的發(fā)展和提升空間。