張建龍 周 康 莊晏榕 滕光輝,3*

(1.中國農(nóng)業(yè)大學(xué) 水利與土木工程學(xué)院，北京 100083;2.農(nóng)業(yè)農(nóng)村部設(shè)施農(nóng)業(yè)工程重點(diǎn)實(shí)驗(yàn)室，北京 100083;3.北京市畜禽健康養(yǎng)殖環(huán)境工程技術(shù)研究中心，北京 100083)

隨著精細(xì)養(yǎng)殖的發(fā)展，豬只生產(chǎn)管理日趨智能化，準(zhǔn)確地識別豬只身份是進(jìn)行智能化管理的基礎(chǔ)。在傳統(tǒng)生產(chǎn)中，工作人員采用給豬只剪耳缺的方式識別其身份，但是這種方法會對豬只造成傷害，影響豬只生長發(fā)育[1]。隨著射頻識別技術(shù)(Radio frequency identification, RFID)的發(fā)展，電子耳號也被用于區(qū)分豬只個(gè)體[2]，但由于其成本較高，且信號容易被金屬環(huán)境屏蔽，未能得到廣泛應(yīng)用[3]。近年來，已有研究提出了許多利用圖像識別技術(shù)無接觸地識別豬只身份的方法：1)在豬只背部噴涂不同標(biāo)記，并采用模式識別以及橢圓擬合的方法識別這些標(biāo)記進(jìn)而識別豬只身份[4]；2)建立豬臉圖像數(shù)據(jù)庫并采用EigenFace的方法識別豬臉[5]；3)使用卷積神經(jīng)網(wǎng)絡(luò)模型，該方法可大大提升豬臉識別準(zhǔn)確率[3,6-7]；4)采用加權(quán)稀疏低秩組件編碼[8]，其中卷積神經(jīng)網(wǎng)絡(luò)為應(yīng)用最為廣泛的方法。以上研究均取得了良好的效果，識別豬只身份的準(zhǔn)確率為77.5%～96.7%，使得豬臉識別APP的開發(fā)也成為了可能[9]，但已有研究均只考察了短時(shí)間內(nèi)豬只臉部的識別效果，而隨著育肥豬生長、環(huán)境變化、污漬附著等原因，其臉部也在變化，因此還有必要考察隨著豬只生長其臉部變化對識別模型準(zhǔn)確率的影響。

本研究擬比較不同深度學(xué)習(xí)模型的豬臉識別效果，選取識別效果最好的模型用于豬臉識別,考察使用不同天數(shù)圖像數(shù)據(jù)訓(xùn)練該模型的識別效果,同時(shí)考察豬只生長臉部變化對該模型識別準(zhǔn)確率的影響，以期為豬臉識別系統(tǒng)的設(shè)計(jì)提供理論依據(jù)。

1 材料與方法

1.1 豬臉圖像采集系統(tǒng)搭建

由于豬只在飲水時(shí)姿態(tài)相對固定，更容易獲取其臉部圖像[10]，因此本研究中將豬欄內(nèi)飲水器改造并安裝攝像頭獲取豬只臉部圖像。改造后的飲水器見圖1：殼體頂部開有小孔，方便安裝攝像頭；殼體中部靠上位置有2對安裝孔；中部靠下安裝有鴨嘴式飲水器，攝像頭距離鴨嘴式飲水器380 mm，可以在豬只飲水時(shí)獲取清晰的豬臉圖像。本研究中使用的攝像頭型號為駱日LRCP10620_1080P，分辨率為1 920 像素×1 080 像素，經(jīng)USB接口與工控機(jī)連接。圖像采集程序基于2018版LabVIEW軟件開發(fā)平臺和軟件提供的視覺開發(fā)模塊編寫，每隔1 s采集1張格式為JPEG的圖像，每天獲取的圖像位于同1個(gè)文件夾，文件夾名稱為當(dāng)天的日期，例如12月3日獲取的圖像位于文件夾“1203”中，圖像存儲名稱為圖像采集時(shí)間，如10:50:12時(shí)刻采集的圖像名稱為“105012.jpg”。

1.攝像頭；2.安裝孔；3.鴨嘴式飲水器1.Camera; 2.Mounting holes; 3.Duckbill drinker圖1 改造后的飲水器Fig.1 Reconstructed drinker

1.2 數(shù)據(jù)獲取及預(yù)處理

本試驗(yàn)于2019-12-15—2019-12-25在承德市豐寧動物試驗(yàn)基地的8號育肥豬舍進(jìn)行，該舍被分為30 欄，每欄飼養(yǎng)了6 頭大白育肥豬。圖2為該品種的1 頭育肥豬在不同日齡時(shí)的臉部圖像?？梢钥闯?，在70～90日齡時(shí)其臉型稍長且尖，但整體形狀變化不明顯；從110 日齡開始，其臉頰和鼻拱部分逐漸變寬，此時(shí)臉部形狀變化也最明顯。也已有研究表明，大白豬在100～140 日齡時(shí)生長速度最快[11]，因此本研究中隨機(jī)選取2欄(12頭)100～115 日齡的豬只為研究對象，將其按身份不同分別編號為0、1、…、11。同時(shí)，在這2欄內(nèi)布置了豬臉圖像采集系統(tǒng)，系統(tǒng)運(yùn)行時(shí)間為每天08:00—17:00。為區(qū)分不同身份豬只的圖像，在豬只背部噴涂了不同標(biāo)記并于豬舍頂部安裝了攝像頭，持續(xù)記錄每頭豬訪問飲水器的時(shí)間。從試驗(yàn)期間獲取的圖像中去除豬只未在飲水的無效圖像和模糊圖像后，共保留了12頭豬共30 549張豬只臉部有效圖像，每頭豬每天的數(shù)據(jù)為210～240張，隨后根據(jù)豬只真實(shí)身份對每張圖像進(jìn)行標(biāo)記，圖像標(biāo)簽為其真實(shí)身份編號。

圖2 育肥豬不同日齡(D)的臉部圖像Fig.2 Facial images of fattening pigs at different ages (D)

本研究中所采集的豬臉原始圖像大小為1 920像素×1 080像素，為在提高模型訓(xùn)練速度對所有原始圖像進(jìn)行了預(yù)處理，其處理過程及結(jié)果見圖3，圖像最終被處理為2種不同大小以適應(yīng)不同模型的輸入。

圖3 圖像預(yù)處理過程及處理結(jié)果Fig.3 Image preprocessing process and processing results

1.3 深度卷積網(wǎng)絡(luò)模型選取及訓(xùn)練

深度卷積網(wǎng)絡(luò)模型可以經(jīng)過一系列的卷積和池化等操作從圖像中提取信息，在其較淺的網(wǎng)絡(luò)層中檢測紋理和輪廓等基本特征，并在更深的網(wǎng)絡(luò)層中學(xué)習(xí)到更加綜合、抽象的信息。深度卷積網(wǎng)絡(luò)的訓(xùn)練過程分2步進(jìn)行：第1步是數(shù)據(jù)由淺層向更深的層次傳播的階段，稱其為前向傳播；第2步是當(dāng)前向傳播的結(jié)果與真實(shí)結(jié)果相差較大時(shí)，把誤差從較深的網(wǎng)絡(luò)層回傳至淺層進(jìn)行參數(shù)更新的過程，稱其為反向傳播。具體為：首先將深度卷積網(wǎng)絡(luò)的參數(shù)進(jìn)行初始化，隨后將輸入的數(shù)據(jù)經(jīng)過各網(wǎng)絡(luò)層向前傳播計(jì)算出預(yù)測結(jié)果，再比較預(yù)測結(jié)果和真實(shí)結(jié)果之間的差異，其后進(jìn)行反向傳播，分別求得各網(wǎng)絡(luò)層產(chǎn)生的誤差并進(jìn)行參數(shù)更新，如此循環(huán)往復(fù)，直至達(dá)到預(yù)期的效果。深度卷積網(wǎng)絡(luò)局部感知和權(quán)重值共享的特點(diǎn)大大減小了模型的規(guī)模。由于大部分的深度學(xué)習(xí)任務(wù)存在相關(guān)性，使用遷移學(xué)習(xí)(Transfer learning)的方法可以將預(yù)訓(xùn)練好的網(wǎng)絡(luò)模型參數(shù)遷移到新的模型中，進(jìn)而在保證模型效果的同時(shí)提高模型的學(xué)習(xí)效率。

為保證模型的識別效果，本研究首先選取了目前分類識別效果較好且在ImageNet圖像數(shù)據(jù)集上預(yù)訓(xùn)練過(Pre-trained)的DenseNet201[12]、MobileNetV3_small[13]、SeNet154[14]和Xception[15]4種模型，除將每個(gè)模型的輸出節(jié)點(diǎn)改為12外，其他參數(shù)均保持不變，各模型的大小、參數(shù)量、輸入圖像尺寸如表1所示。由于本研究中每天采集的12頭豬只的圖像數(shù)量均為210～240 張，每頭豬只的臉部數(shù)據(jù)量相對均衡，因此可選用識別準(zhǔn)確率(A)為本研究中的模型評價(jià)指標(biāo)，計(jì)算方法為：

(1)

式中：nture為識別正確的樣本數(shù)；nall為樣本總數(shù)。將試驗(yàn)期間獲取的所有有效數(shù)據(jù)按照7∶3的比例隨機(jī)分為訓(xùn)練集和驗(yàn)證集并將訓(xùn)練集中的數(shù)據(jù)順序隨機(jī)打亂，保留各模型在訓(xùn)練過程中識別準(zhǔn)確率最佳時(shí)的權(quán)值，隨后選取4個(gè)模型中識別準(zhǔn)確率最高的1個(gè)作為豬臉識別模型并查看了其第1個(gè)卷積層輸出的特征圖。

所有模型均基于Tensorflow-gpu-2.2.0和Python 3.7.0搭建，程序運(yùn)行環(huán)境為裝有Intel i7-9700 CPU、Windows10 64位操作系統(tǒng)、32GB內(nèi)存和NVidia GeForce GTX 1660 Ti 6 GB顯卡的臺式計(jì)算機(jī)。訓(xùn)練過程中每個(gè)模型的超參數(shù)均相同，其優(yōu)化函數(shù)采用Adam優(yōu)化函數(shù),損失函數(shù)為稀疏多分類交叉熵?fù)p失函數(shù)(Sparse categorical crossentropy)、學(xué)習(xí)率設(shè)置為0.000 1、訓(xùn)練過程中每批次數(shù)據(jù)量大小(Batch size)為32、每個(gè)模型都訓(xùn)練100次。

表1 不同豬臉識別模型輸入圖像尺寸及信息Table 1 Input image size and information of different pig face recognition model

1.4 育肥豬臉部識別準(zhǔn)確率變化研究方法

選定對全部數(shù)據(jù)的驗(yàn)證集識別準(zhǔn)確率最高的模型后，將試驗(yàn)期間第1～2天采集的豬臉數(shù)據(jù)按照比例7∶3隨機(jī)分為訓(xùn)練集和驗(yàn)證集，將訓(xùn)練集中的數(shù)據(jù)順序打亂后重新對模型進(jìn)行了訓(xùn)練，訓(xùn)練過程中的其他超參數(shù)不變，并保留了對驗(yàn)證集識別準(zhǔn)確率最高時(shí)的權(quán)值。相同地，分別使用在試驗(yàn)期間第 1～3、1～4、1～5天所采集的豬臉數(shù)據(jù)對模型重新進(jìn)行了訓(xùn)練，并分別保留了對驗(yàn)證集識別準(zhǔn)確率最高時(shí)各模型的權(quán)值。訓(xùn)練結(jié)束后，分別使用試驗(yàn)期間第3～8、4～9、5～10和6～11天采集的豬臉圖像數(shù)據(jù)作為測試集，分別逐天考察了各模型對豬臉的識別準(zhǔn)確率。

2 結(jié)果與分析

2.1 深度卷積網(wǎng)絡(luò)模型訓(xùn)練及選取結(jié)果

訓(xùn)練過程中，各模型對全部豬臉數(shù)據(jù)驗(yàn)證集的識別準(zhǔn)確率變化見圖4。訓(xùn)練結(jié)束時(shí)，各模型均取得了較為理想的識別效果且未觀測到過擬合現(xiàn)象，與之前采用卷積神經(jīng)網(wǎng)絡(luò)模型[3,6-7]識別豬臉的研究結(jié)果相近，其中Pre-trained Xception模型對驗(yàn)證集的識別準(zhǔn)確率最低，為97.23%，Pre-trained SeNet154模型識別準(zhǔn)確率最高，為98.80%，可能是由于其采用了Squeeze-and-Excitation (SE)模塊的原因，從圖像中提取出了更多的信息。值得注意的是Pre-trained MobileNetV3_small模型大小僅有19 MB，遠(yuǎn)小于其他模型，但是在驗(yàn)證上仍然取得了97.97% 的識別準(zhǔn)確率。綜合各模型對驗(yàn)證集的識別準(zhǔn)確率，最終選取Pre-trained SeNet154為本研究使用的豬臉識別模型。

圖4 各模型對測試集的識別準(zhǔn)確率Fig.4 Accuracy on test set of each model

2.2 模型特征圖

在測試圖像輸入Pre-trained SeNet154模型的第1個(gè)卷積層后，共輸出了256個(gè)特征圖，圖5為其中30 個(gè)具有代表性的特征圖輸出。經(jīng)比較輸入圖像與特征圖發(fā)現(xiàn)，經(jīng)過第1個(gè)卷積層后平滑了圖像，消除了背景的干擾，突出了豬只臉部的細(xì)節(jié)，提取出了豬臉邊緣、輪廓和紋理信息，并且可以適應(yīng)不同亮度圖像的輸入，說明卷積操作可以有效地提取豬只臉部特征。

圖5 模型第1個(gè)卷積層部分特征圖輸出Fig.5 Partial feature maps output of the first convolutional layer of Pre-trained SeNet154

2.3 豬臉識別準(zhǔn)確率變化分析

分別使用試驗(yàn)期間第1～2天(共5 520 組)、第1～3天(共8 741 組)、第1～4天(共10 919 組)和第1～5天采集的豬臉圖像數(shù)據(jù)(共14 872 組)重新訓(xùn)練Pre-trained SeNet154模型，并分別以試驗(yàn)期間采集的第3～8天(共16 830 組)、第4～9天(共17 072 組)、第5～10天(共16 581 組)和第6～11天(共16 795 組)的豬臉數(shù)據(jù)作為各模型的測試集，并分別逐天考察各模型對測試集的識別準(zhǔn)確率，其結(jié)果見圖6。可見：使用試驗(yàn)期間采集的不同時(shí)間段的豬臉數(shù)據(jù)訓(xùn)練模型后，各模型對測試集數(shù)據(jù)逐天的識別準(zhǔn)確率呈整體下降趨勢，其中使用試驗(yàn)期間第1～2天的數(shù)據(jù)訓(xùn)練的模型識別準(zhǔn)確率最低，其每天的識別準(zhǔn)確率均低于使用更多天數(shù)豬臉數(shù)據(jù)訓(xùn)練的模型，使用第1～3天數(shù)據(jù)訓(xùn)練的模型次之，使用第1～4和1～5天的豬臉數(shù)據(jù)訓(xùn)練的模型識別效果最好且下降趨勢幾乎相同，可能是由于僅使用試驗(yàn)期間第1～2和1～3天的豬臉數(shù)據(jù)訓(xùn)練模型時(shí)數(shù)據(jù)量不足，無法使模型得到充分訓(xùn)練。訓(xùn)練結(jié)束后，各模型對其測試集中第1天豬臉數(shù)據(jù)的識別準(zhǔn)確率均在94.92%以上，其中使用試驗(yàn)期間第1～4天豬臉數(shù)據(jù)訓(xùn)練的模型識別準(zhǔn)確率最高，為96.74%，其后逐天下降，到第6天時(shí)下降為84.17%。

T為測試數(shù)據(jù)距離訓(xùn)練模型所用數(shù)據(jù)的時(shí)間，如使用第5天的豬臉數(shù)據(jù)測試第1～4天數(shù)據(jù)訓(xùn)練的模型時(shí)T=1。T is the time between the test data and the training data. For example, when using the data of 5th day to test the model trained on data from day 1 to 4, T=1.圖6 使用不同天數(shù)圖像訓(xùn)練的模型對其測試集的識別準(zhǔn)確率Fig.6 Recognition accuracy of model trained with images of different days on its test set

為明確隨著豬只生長其臉部識別準(zhǔn)確率下降的原因，查看了識別錯誤的樣本，以5號豬為例，圖7示出該頭豬未能被正確識別的部分樣本示例?？梢?陰天舍內(nèi)昏暗、污漬沾染、飼料附著和豬臉生長變化均會引起識別錯誤，其中以豬臉部生長變化引起的識別錯誤居多，為保證模型的識別準(zhǔn)確率，應(yīng)使用每天實(shí)時(shí)更新的動態(tài)模型，同時(shí)盡量保持舍內(nèi)衛(wèi)生，必要時(shí)可考慮增加補(bǔ)光燈。

圖7 識別錯誤的樣本示例Fig.7 Examples of samples that identify incorrectly

2.4 動態(tài)模型的識別效果

為驗(yàn)證使用每天實(shí)時(shí)更新的動態(tài)模型的識別效果，本研究還考察了每天使用前4天數(shù)據(jù)重新訓(xùn)練的動態(tài)模型的識別效果，具體為：分別使用試驗(yàn)期間第2～5、3～6、4～7、5～8、6～9、7～10天的豬臉圖像數(shù)據(jù)重新訓(xùn)練了模型，每次訓(xùn)練的數(shù)據(jù)量為10 800～11 900，考察了各模型分別對第6～11天豬臉數(shù)據(jù)的識別效果，其準(zhǔn)確率分別為96.32%、95.98%、96.59%、96.14%、95.82%和96.36%，效果良好，可能是因?yàn)椴捎脛討B(tài)模型可以及時(shí)學(xué)習(xí)到豬只臉部的最新變化，同時(shí)由于采用了多天的數(shù)據(jù)訓(xùn)練學(xué)習(xí)到了之前有污漬附著時(shí)的豬臉信息，增強(qiáng)了系統(tǒng)的識別能力。

3 結(jié) 論

本研究針對育肥豬生長過程中臉部變化對識別模型準(zhǔn)確率的影響進(jìn)行了研究，得出以下結(jié)論：

1)基于LabVIEW軟件開發(fā)平臺于豬舍飲水處搭建了豬臉圖像采集系統(tǒng)，獲取了12頭長白育肥豬共30 549 組豬臉圖像數(shù)據(jù)，經(jīng)比較預(yù)訓(xùn)練(Pre-trained)的DenseNet201、MobileNetV3_small、SeNet154和Xception 4種模型的識別效果發(fā)現(xiàn)，Pre-trained SeNet154模型對驗(yàn)證集的識別準(zhǔn)確率最高，為98.80%，最終選取其為豬臉識別模型，該模型特征圖可視化的結(jié)果表明模型可以較好地提取豬只臉部輪廓與形狀信息。

2)分別用試驗(yàn)期間第1～2、1～3、1～4和1～5天采集的豬臉圖像數(shù)據(jù)訓(xùn)練Pre-trained SeNet154模型，并分別使用第3～8、4～9、5～10和6～11天的數(shù)據(jù)逐天測試模型的豬臉識別效果發(fā)現(xiàn)，使用第1～4與1～5天數(shù)據(jù)訓(xùn)練的模型豬臉識別效果相當(dāng)且優(yōu)于使用第1～2與1～3天數(shù)據(jù)訓(xùn)練的模型。使用第1～4天數(shù)據(jù)訓(xùn)練的模型對第5天數(shù)據(jù)的識別準(zhǔn)確率最高，為96.74%，其后5天的識別準(zhǔn)確率逐天下降，到第10天為84.17%，豬臉生長以及光照變化、污漬附著等均會影響到豬臉識別的效果。

3)使用第(n-4)～(n-1)天(5≤n≤10)的數(shù)據(jù)重新訓(xùn)練動態(tài)模型后，對第n天豬臉數(shù)據(jù)的識別準(zhǔn)確率均在95.82%以上。

以上結(jié)果表明，深度卷積網(wǎng)絡(luò)模型可以用于育肥豬的豬臉識別，但是由于育肥豬生長及污物附著等原因，建議在育肥豬的豬臉識別系統(tǒng)中每天都使用至少前4天，且≥10 800 組豬臉圖像重新更新識別模型。Pre-trained MobileNetV3_small模型規(guī)模較小，仍然取得了不錯的識別效果，在硬件條件較差并對處理速度要求嚴(yán)格的場合，可以選擇該模型為豬臉識別模型。