張美娜 王 瀟 梁萬杰 曹 靜 張文宇,4

(1.南京農(nóng)業(yè)大學(xué)工學(xué)院， 南京 210031； 2.江蘇省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所， 南京 210014；3.南京農(nóng)業(yè)大學(xué)人工智能學(xué)院， 南京 210031； 4.江蘇大學(xué)農(nóng)業(yè)工程學(xué)院， 鎮(zhèn)江 212013)

0 引言

我國(guó)是設(shè)施農(nóng)業(yè)大國(guó)，設(shè)施種植面積占世界總面積的85%以上，但與發(fā)達(dá)國(guó)家相比，我國(guó)設(shè)施農(nóng)業(yè)的投入產(chǎn)出比、生產(chǎn)效率、機(jī)械化率與現(xiàn)代化管理水平仍然較低[1-4]。溫室遠(yuǎn)程監(jiān)控是一種現(xiàn)代化管理手段，依靠多源傳感器、智能裝備、物聯(lián)網(wǎng)以及人機(jī)交互等多項(xiàng)技術(shù)支撐[5-8]，如荷蘭Priva Topcrop Monitor作物監(jiān)測(cè)系統(tǒng)、美國(guó)Sensaphone系列環(huán)境與網(wǎng)絡(luò)監(jiān)控報(bào)警系統(tǒng)以及以色列BF-Agritech植物生態(tài)監(jiān)測(cè)系統(tǒng)等。近年來，我國(guó)規(guī)?；瘻厥颐娣e穩(wěn)步發(fā)展，基本配備有環(huán)境管控系統(tǒng)，但多依賴國(guó)外進(jìn)口，受限于封裝的軟件系統(tǒng)，溫室內(nèi)監(jiān)測(cè)的數(shù)據(jù)開放和利用不便。

傳統(tǒng)的遠(yuǎn)程監(jiān)控端人機(jī)交互方式主要依靠鍵盤、鼠標(biāo)等外設(shè)，互動(dòng)性不強(qiáng)；同時(shí)，數(shù)據(jù)展示方式以靜態(tài)文本與監(jiān)控視頻為主，原始數(shù)據(jù)較多而綜合性、分析性、決策性的數(shù)據(jù)較少，缺少數(shù)據(jù)信息與真實(shí)世界的交融。國(guó)外研究學(xué)者開展了相關(guān)研究，如KING等[9]開發(fā)了ARVino可視化系統(tǒng)，實(shí)現(xiàn)了在實(shí)景視頻中疊加地理信息系統(tǒng)(Geographic information system，GIS)數(shù)據(jù)與葡萄種植數(shù)據(jù)，為葡萄栽培者提供了三維可視化的數(shù)據(jù)與分析。HUUSKONEN等[10]設(shè)計(jì)了一種增強(qiáng)現(xiàn)實(shí)(Augmented reality，AR)系統(tǒng)，遠(yuǎn)程監(jiān)控端的操作員不僅可以獲得實(shí)時(shí)可視化信息，還可以通過配套的可穿戴設(shè)備控制農(nóng)機(jī)行駛。國(guó)內(nèi)以計(jì)算機(jī)視覺技術(shù)為基礎(chǔ)的人機(jī)交互系統(tǒng)在農(nóng)業(yè)場(chǎng)景中的應(yīng)用較少。

作物生理、形態(tài)等參數(shù)的獲取首先建立在作物目標(biāo)識(shí)別的基礎(chǔ)上，國(guó)內(nèi)外在該領(lǐng)域的研究主要集中在應(yīng)用機(jī)器學(xué)習(xí)與深度學(xué)習(xí)算法從作物圖像中識(shí)別目標(biāo)。KOIRALA等[11]在果實(shí)檢測(cè)方法綜述中指出深度學(xué)習(xí)方法優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、淺層卷積神經(jīng)網(wǎng)絡(luò)算法，果實(shí)識(shí)別精度普遍達(dá)到85%以上。用于目標(biāo)檢測(cè)的深度學(xué)習(xí)方法主要分為兩階段(2-stage)和單階段(1-stage)檢測(cè)算法。兩階段檢測(cè)算法包括R-CNN(Region-convolutional neural network)、SPP-NET(Spatial pyramid pooling networks)、Fast R-CNN、Faster R-CNN、R-FCN(Region-fully convolutional network)、Mask R-CNN等。單階段檢測(cè)模型算法包括SSD(Single shot multibox detector)、YOLO (You only look once)v1～v5等[12]。相關(guān)研究主要以離線采集目標(biāo)圖像進(jìn)行識(shí)別檢測(cè)為主[13-16]，極少涉及遠(yuǎn)程實(shí)時(shí)監(jiān)控的場(chǎng)景。同時(shí)，新型深度神經(jīng)網(wǎng)絡(luò)模型算法仍不斷涌現(xiàn)，使其在農(nóng)業(yè)領(lǐng)域的探索應(yīng)用不斷拓展。

綜上所述，本文設(shè)計(jì)一種溫室遠(yuǎn)程監(jiān)控系統(tǒng)，在遠(yuǎn)程監(jiān)控端集成圖像融合算法、人臉識(shí)別與手勢(shì)識(shí)別算法，增強(qiáng)遠(yuǎn)程監(jiān)控系統(tǒng)的多類型環(huán)境數(shù)據(jù)可視化與人機(jī)交互效果。同時(shí)，應(yīng)用深度學(xué)習(xí)網(wǎng)絡(luò)模型算法，實(shí)時(shí)、在線識(shí)別溫室端監(jiān)控視頻中的番茄目標(biāo)，以期為管理者提供作物生長(zhǎng)信息奠定基礎(chǔ)。

1 監(jiān)控系統(tǒng)構(gòu)建與識(shí)別算法設(shè)計(jì)

1.1 溫室遠(yuǎn)程監(jiān)控系統(tǒng)結(jié)構(gòu)

溫室遠(yuǎn)程監(jiān)控系統(tǒng)設(shè)計(jì)需求主要包括：①溫室內(nèi)通過“機(jī)器換人”實(shí)現(xiàn)溫室環(huán)境與作物生長(zhǎng)監(jiān)測(cè)的無人化。②通過遠(yuǎn)程監(jiān)控中心能夠可視化溫室內(nèi)各類型的監(jiān)測(cè)數(shù)據(jù)(文本、圖像、視頻等)，具有預(yù)警提示功能。③安全、互動(dòng)性強(qiáng)的人機(jī)交互系統(tǒng)。針對(duì)上述需求設(shè)計(jì)一種溫室遠(yuǎn)程監(jiān)控系統(tǒng)，如圖1所示，系統(tǒng)主要由溫室巡檢平臺(tái)、通信網(wǎng)絡(luò)和遠(yuǎn)程監(jiān)控中心3部分組成。

圖1 系統(tǒng)結(jié)構(gòu)示意圖Fig.1 Architecture of system

溫室巡檢平臺(tái)以巡檢機(jī)器人(松靈SCOUT2.0型)為運(yùn)動(dòng)載體，搭載控制器、多源傳感器與通信模塊實(shí)現(xiàn)溫室內(nèi)環(huán)境與作物的動(dòng)態(tài)監(jiān)測(cè)?？刂破鳛镻C機(jī)，用于機(jī)器人本體的運(yùn)動(dòng)控制、傳感器數(shù)據(jù)的采集與處理，以及通過通信模塊收發(fā)數(shù)據(jù)。機(jī)載多源傳感器主要包括用于巡檢機(jī)器人自主導(dǎo)航的激光雷達(dá)傳感器(鐳神C16型)，用于監(jiān)測(cè)作物生長(zhǎng)的視覺傳感器(海康威視DS-E12型)，用于環(huán)境監(jiān)測(cè)的溫、光、濕、氣等傳感器。通信模塊包括PC機(jī)無線WiFi模塊，可采集溫室內(nèi)布置的其他傳感器數(shù)據(jù)，擴(kuò)展的移動(dòng)通信模塊(華為4G LTE模塊)用于將溫室端數(shù)據(jù)傳輸至通信網(wǎng)絡(luò)。系統(tǒng)關(guān)鍵模塊技術(shù)參數(shù)如表1所示。

表1 關(guān)鍵模塊技術(shù)參數(shù)Tab.1 Technical parameters of key modules

通信網(wǎng)絡(luò)用于實(shí)現(xiàn)溫室巡檢平臺(tái)與遠(yuǎn)程監(jiān)控中心之間的數(shù)據(jù)通信。溫室端集成的數(shù)據(jù)通過移動(dòng)通信網(wǎng)絡(luò)傳輸至云端服務(wù)器(阿里云輕量型服務(wù)器，2 GB內(nèi)存)存儲(chǔ)與轉(zhuǎn)發(fā)至遠(yuǎn)程監(jiān)控中心。

遠(yuǎn)程監(jiān)控中心用于查看溫室內(nèi)作物與環(huán)境的可視化動(dòng)態(tài)數(shù)據(jù)。監(jiān)控中心為PC機(jī)，用于從云端下載溫室端多源傳感數(shù)據(jù)進(jìn)行解碼、分析與處理。PC機(jī)擴(kuò)展攝像頭實(shí)現(xiàn)人臉識(shí)別與手勢(shì)交互兩種人機(jī)交互方式，用于人員安全登錄管理與監(jiān)控界面顯示數(shù)據(jù)的切換。

1.2 軟件系統(tǒng)設(shè)計(jì)

軟件系統(tǒng)包括溫室巡檢機(jī)器人端軟件與遠(yuǎn)程監(jiān)控中心端軟件兩部分，均采用Pycharm集成開發(fā)環(huán)境，以Python為編程語(yǔ)言開發(fā)，除了標(biāo)準(zhǔn)庫(kù)以外，開發(fā)過程還應(yīng)用了OpenCV圖像處理庫(kù)、mmcv計(jì)算機(jī)視覺庫(kù)以及PyTorch機(jī)器學(xué)習(xí)庫(kù)的相關(guān)函數(shù)。

軟件系統(tǒng)各功能模塊組成如圖2所示。溫室巡檢機(jī)器人端到云服務(wù)器端，以及云服務(wù)器端到遠(yuǎn)程監(jiān)控中心端之間的通信均基于TCP/IP協(xié)議，通過Socket套接字函數(shù)實(shí)現(xiàn)。因傳輸?shù)臄?shù)據(jù)類型包括視頻、圖像和文本3種，設(shè)置8080、8088、8084服務(wù)器端口分別進(jìn)行傳輸。遠(yuǎn)程監(jiān)控中心端接收到數(shù)據(jù)后在人機(jī)交互界面顯示與操作，主要包括人臉識(shí)別線程、AR數(shù)據(jù)增強(qiáng)顯示線程、番茄識(shí)別線程、手勢(shì)識(shí)別線程以及預(yù)警命令線程。完成的人機(jī)交互界面如圖3所示。

1.3 人機(jī)交互算法

1.3.1人臉識(shí)別算法

人臉識(shí)別登錄用于提高系統(tǒng)的安全性。考慮到該功能的使用頻率不高，為縮短研發(fā)過程和降低資源消耗，采用開源的傳統(tǒng)人臉識(shí)別算法實(shí)現(xiàn)此功能。3種經(jīng)典的人臉識(shí)別算法包括特征臉Eigenface、Fisherface以及局部二值模式(Local binary patterns，LBP)，其中Eigenface算法的局限性為：待識(shí)別圖像中人臉尺寸接近特征臉中人臉的尺寸，且待識(shí)別人臉圖像必須為正面人臉圖像；Fisherface算法增加了線性判別分析，對(duì)人臉差異的識(shí)別效果有所提升，但對(duì)光照、人臉姿態(tài)的變化不敏感；LBP算法將人臉圖像分為若干子區(qū)域，并在子區(qū)域內(nèi)根據(jù)LBP值統(tǒng)計(jì)其直方圖，以直方圖作為其判別特征，對(duì)光照有明顯的魯棒性[17]。綜上所述，系統(tǒng)以O(shè)penCV庫(kù)為支持，采用Haar級(jí)聯(lián)算法結(jié)合局部二進(jìn)制模式直方圖(Local binary pattern histogram，LBPH)算法分別實(shí)現(xiàn)人臉檢測(cè)與有權(quán)限管理員人臉識(shí)別。

圖2 軟件系統(tǒng)功能框圖Fig.2 Block diagram of software system

圖3 人機(jī)交互界面Fig.3 Human-computer interaction interface

首先采用Haar級(jí)聯(lián)算法實(shí)現(xiàn)人臉檢測(cè)，Haar級(jí)聯(lián)算法是一種用于在圖像上定位對(duì)象的檢測(cè)方法，具有識(shí)別速度快的優(yōu)點(diǎn)[18]。算法原理概括為：①使用Haar-like特征做檢測(cè)。②使用積分圖(Integral image)對(duì)Haar特征求值進(jìn)行加速。③使用AdaBoost算法選擇關(guān)鍵特征，進(jìn)行人臉和非人臉分類。④使用Cascade級(jí)聯(lián)把強(qiáng)分類器級(jí)聯(lián)到一起，提高準(zhǔn)確率。

然后，采用LBPH算法[19]實(shí)現(xiàn)管理員人臉識(shí)別，算法實(shí)現(xiàn)概括為：①對(duì)待識(shí)別整幅圖像進(jìn)行LBP編碼。②將圖像分區(qū)并獲取各區(qū)域LBP編碼直方圖，轉(zhuǎn)換為直方圖矩陣HIST。③計(jì)算待識(shí)別人臉圖像直方圖矩陣與已訓(xùn)練好的模型直方圖矩陣之間的距離，若距離差小于設(shè)定閾值則判斷為管理員，否則判斷為非管理員。LBPH算法具有不受光照、縮放、旋轉(zhuǎn)和平移影響的優(yōu)點(diǎn)。

1.3.2手勢(shì)識(shí)別算法

識(shí)別手部并定位手部關(guān)鍵點(diǎn)位置用于實(shí)現(xiàn)人機(jī)交互操作，即界面切換與圖像尺寸縮放。隨著目標(biāo)檢測(cè)技術(shù)的發(fā)展，很多學(xué)者將傳統(tǒng)基于人工建模方式的手勢(shì)識(shí)別轉(zhuǎn)換成目標(biāo)檢測(cè)問題?？紤]實(shí)時(shí)性需求，選擇YOLO系列目標(biāo)檢測(cè)算法，其中，YOLO v3在手勢(shì)識(shí)別中應(yīng)用較為廣泛[20-21]，為此，本系統(tǒng)采用YOLO v3算法[22]先進(jìn)行手部識(shí)別，通過PyTorch框架實(shí)現(xiàn)。識(shí)別后的手部圖像將被截取輸入到后續(xù)網(wǎng)絡(luò)，進(jìn)一步提取手部關(guān)鍵點(diǎn)信息。

手部關(guān)鍵點(diǎn)檢測(cè)與面部關(guān)鍵點(diǎn)檢測(cè)類似，應(yīng)用面部檢測(cè)表現(xiàn)突出的ResNet-50網(wǎng)絡(luò)[23]檢測(cè)手部21個(gè)關(guān)鍵點(diǎn)并輸出坐標(biāo)矩陣。ResNet網(wǎng)絡(luò)有效解決了深度神經(jīng)網(wǎng)絡(luò)的退化問題，在神經(jīng)網(wǎng)絡(luò)發(fā)展史上具有里程碑意義。模型訓(xùn)練過程中，為解決傳統(tǒng)L2損失函數(shù)對(duì)離群值敏感的問題，采用FENG等[23]提出的Wing loss作為損失函數(shù)計(jì)算式，為

(1)

其中

D=w(1-ln(1+w/θ))

(2)

式中 wing(x)——Wing loss函數(shù)

w——增大損失函數(shù)的值

|x|——誤差D——常數(shù)

θ——約束非線性區(qū)域曲率

最后，以輸出的食指指尖坐標(biāo)為圓心繪制(eclipse()函數(shù))動(dòng)態(tài)圓形加載圖標(biāo)，同時(shí)，用直線連接左右手部候選框中心點(diǎn)坐標(biāo)(Line()函數(shù))，根據(jù)直線距離的長(zhǎng)短控制圖像尺寸。

1.4 作物識(shí)別算法

1.4.1算法模型

遠(yuǎn)程監(jiān)控中心端的溫室作物視頻監(jiān)控界面具備作物識(shí)別功能，可為作物尺寸、成熟度等生長(zhǎng)參數(shù)的進(jìn)一步提取奠定基礎(chǔ)。農(nóng)業(yè)環(huán)境復(fù)雜，傳統(tǒng)CNN算法通過加深網(wǎng)絡(luò)層數(shù)提高圖像理解能力容易出現(xiàn)過擬合，性能提升有限。另一方面，Transformer 作為一種基于注意力的編碼器-解碼器架構(gòu)，從自然語(yǔ)言處理(NLP)領(lǐng)域拓展至計(jì)算機(jī)視覺(CV)領(lǐng)域。視覺Transformer架構(gòu)Swin Transformer在ImageNet、COCO 和 ADE20k 等多個(gè)數(shù)據(jù)集上取得了非常優(yōu)異的性能。為此，應(yīng)用以Swin Transformer[24]為主干網(wǎng)絡(luò)提取特征圖，再進(jìn)入Cascade Mask RCNN[25]后續(xù)網(wǎng)絡(luò)進(jìn)行果實(shí)語(yǔ)義分割的網(wǎng)絡(luò)模型，從而實(shí)現(xiàn)番茄作物識(shí)別，模型整體結(jié)構(gòu)示意圖如圖4所示。

圖4 番茄識(shí)別網(wǎng)絡(luò)模型示意圖Fig.4 Diagram of network model for tomato recognition

Swin Transformer網(wǎng)絡(luò)模型主要考慮了視覺信號(hào)的特點(diǎn)，解決了傳統(tǒng)Transformer模型多尺度建模與計(jì)算量巨大的問題，能夠靈活處理不同尺度的圖像，采用滑動(dòng)窗口機(jī)制，將注意力的計(jì)算限制在每個(gè)窗口內(nèi)，因此大大降低了計(jì)算復(fù)雜度。Swin Transformer網(wǎng)絡(luò)模型輸出與典型卷積模型的特征圖分辨率一致，已成為一種基本骨干網(wǎng)絡(luò)。這里選用Swin Small為主干網(wǎng)，其中Stage 1～4的Block數(shù)量分別為2、2、18、2，維度參數(shù)C為96。

Cascade Mask RCNN主要參考了實(shí)例分割主流算法Mask RCNN[26]模型結(jié)構(gòu)，在每個(gè)級(jí)聯(lián)階段添加一個(gè)預(yù)測(cè)目標(biāo)掩碼的分支，從而實(shí)現(xiàn)更精確的實(shí)例分割。主干網(wǎng)獲取的特征圖進(jìn)入Cascade Mask RCNN后續(xù)的區(qū)域生成網(wǎng)絡(luò)(Region proposal network，RPN)和級(jí)聯(lián)的檢測(cè)網(wǎng)絡(luò)分別實(shí)現(xiàn)目標(biāo)識(shí)別和定位兩階段任務(wù)，通過使用不同的交并比 (Intersection over union，IoU)閾值訓(xùn)練多個(gè)級(jí)聯(lián)的檢測(cè)器能夠有效提高目標(biāo)檢測(cè)精度。模型中，IoU梯度分別設(shè)置為0.5、0.6、0.7。

1.4.2損失函數(shù)

在模型訓(xùn)練階段采用多種損失函數(shù)結(jié)合的方式評(píng)估模型。其中，圖4中B0處Bounding Box采用Smooth L1作為損失函數(shù)。分類性能采用交叉熵?fù)p失函數(shù)。

Cascade Mask RCNN模型不同IoU梯度下的分類性能和語(yǔ)義分割性能仍然采用交叉熵?fù)p失函數(shù)評(píng)估；Bounding Box采用GIoU[27]作為損失函數(shù)。

1.4.3遷移學(xué)習(xí)應(yīng)用

農(nóng)業(yè)場(chǎng)景中，精細(xì)領(lǐng)域的數(shù)據(jù)集仍處于稀缺狀態(tài)，制作大批量的高質(zhì)量數(shù)據(jù)集所需的時(shí)間與人力成本較高，遷移學(xué)習(xí)是解決樣本不足的有效方法之一。利用官方發(fā)布的coco預(yù)訓(xùn)練模型作為源模型，為后續(xù)番茄數(shù)據(jù)集模型訓(xùn)練的學(xué)習(xí)起點(diǎn)，以充分利用源模型的知識(shí)基礎(chǔ)。

2 試驗(yàn)

2.1 系統(tǒng)通信試驗(yàn)

溫室巡檢機(jī)器人端控制器將采集到的環(huán)境傳感器數(shù)據(jù)轉(zhuǎn)換為字符串并連接為字符串報(bào)文進(jìn)行發(fā)送，主要包括溫室溫度(℃)、溫室相對(duì)濕度(%)、光照強(qiáng)度(lx)、二氧化碳濃度、土壤濕度(%)、土壤pH值、病蟲害染病程度(%)、作物健康狀況(健康、不健康)共8類數(shù)據(jù)，設(shè)置文本數(shù)據(jù)發(fā)送周期為1 h。

視頻數(shù)據(jù)應(yīng)用OpenCV庫(kù)的圖像壓縮函數(shù)imencode()對(duì)圖像幀進(jìn)行處理，轉(zhuǎn)換為字節(jié)流后傳輸，解決了基于像素訪問進(jìn)行傳輸數(shù)據(jù)量大的問題，接收端收到數(shù)據(jù)后利用imdecode()函數(shù)進(jìn)行解壓縮操作。圖像數(shù)據(jù)傳輸與視頻數(shù)據(jù)傳輸方法相同。系統(tǒng)通信試驗(yàn)結(jié)果表明，溫室巡檢機(jī)器人發(fā)送端到遠(yuǎn)程監(jiān)控中心端之間的通信延遲均在 200 ms 以內(nèi)。

2.2 人機(jī)交互試驗(yàn)

2.2.1人臉識(shí)別試驗(yàn)

人臉檢測(cè)訓(xùn)練數(shù)據(jù)來源于OpenCV官方訓(xùn)練的XML文件haarcascade_frontalface_default.xml。同時(shí)，在不同環(huán)境拍攝不同表情、不同姿態(tài)管理員面部圖像80幅形成訓(xùn)練數(shù)據(jù)集，并進(jìn)行驗(yàn)證，用20幅管理員面部圖像作為驗(yàn)證集，識(shí)別成功率為90%。

2.2.2手勢(shì)識(shí)別試驗(yàn)

手勢(shì)識(shí)別數(shù)據(jù)集來自TV-Hand中2萬幅手部圖像[28]；手部特征點(diǎn)檢測(cè)數(shù)據(jù)集來自Large-scale Multiview 3D Hand Pose Dataset 中的5萬幅圖像[29]。YOLO v3與ResNet-50網(wǎng)絡(luò)超參設(shè)置如表2所示。模型在AMD EPYC 7302 16-Core Processor，GeForce RTX 3090，23 GB顯存，搭載Linux系統(tǒng)的環(huán)境下訓(xùn)練。Wing loss損失函數(shù)參數(shù)中w和θ分別設(shè)置為5和2。

手部識(shí)別試驗(yàn)結(jié)果表明，20次不同角度下的單手部識(shí)別置信度均大于0.98；同時(shí)，20次雙手識(shí)別置信度均大于0.96。手部關(guān)鍵點(diǎn)檢測(cè)的ResNet-50網(wǎng)絡(luò)模型，訓(xùn)練146次的損失函數(shù)變化曲線如圖5所示，損失函數(shù)最終收斂在0.1以下。

經(jīng)手勢(shì)識(shí)別后，人機(jī)交互與圖像尺寸縮放的功能實(shí)現(xiàn)如圖6所示。

表2 網(wǎng)絡(luò)超參數(shù)設(shè)置Tab.2 Network hyperparameter settings

圖5 手勢(shì)識(shí)別網(wǎng)絡(luò)損失函數(shù)變化曲線Fig.5 Loss function curve of gesture recognition network

圖6 手勢(shì)識(shí)別交互實(shí)現(xiàn)Fig.6 Human-computer interaction by gesture

2.3 作物識(shí)別試驗(yàn)

2.3.1數(shù)據(jù)集與超參數(shù)設(shè)置

基于溫室巡檢機(jī)器人在溫室采集不同角度、不同遮擋情況以及不同成熟度共計(jì)1 800幅番茄生長(zhǎng)圖像制作數(shù)據(jù)集。首先，采用基于PaddlePaddle的高效圖像分割工具PaddleSeg人工標(biāo)注圖像；然后將標(biāo)注后得到VOC格式的json文件經(jīng)算法批量轉(zhuǎn)換為L(zhǎng)ableme格式的coco數(shù)據(jù)集；最后，將標(biāo)注的番茄果實(shí)數(shù)據(jù)集劃分為訓(xùn)練集、測(cè)試集、驗(yàn)證集，按比例8∶1∶1進(jìn)行隨機(jī)分配。模型同樣在AMD EPYC 7302 16-Core Processor，GeForce RTX 3090，23 GB顯存，搭載Linux系統(tǒng)的環(huán)境下訓(xùn)練。Cascade Mask RCNN網(wǎng)絡(luò)中IoU梯度分別設(shè)置為0.5、0.6、0.7；網(wǎng)絡(luò)超參數(shù)設(shè)置為：?jiǎn)闻螆D像數(shù)使用遷移學(xué)習(xí)算法前為2，使用遷移學(xué)習(xí)算法后為1，選用Adamw優(yōu)化器，學(xué)習(xí)率為1×10-5，權(quán)重衰減為0.05，預(yù)熱學(xué)習(xí)率為500。使用遷移學(xué)習(xí)之后將單批次圖像數(shù)的值由原來的2改為1，該超參數(shù)為一次訓(xùn)練所選取的樣本數(shù)，影響模型的優(yōu)化程度和速度，在GPU內(nèi)存受限的情況下取值較小。

2.3.2遷移學(xué)習(xí)應(yīng)用效果分析

使用遷移學(xué)習(xí)方法前后損失函數(shù)變化曲線如圖7所示，損失值統(tǒng)計(jì)如表3所示。

圖7 使用遷移學(xué)習(xí)前后損失函數(shù)變化曲線Fig.7 Loss functions curves before and after using transfer learning method

在訓(xùn)練速度方面，由圖7可知，使用遷移學(xué)習(xí)前后的模型都在迭代15 000次后收斂，但使用遷移學(xué)習(xí)后的單批次圖像數(shù)調(diào)整為1，即花費(fèi)了更少的訓(xùn)練時(shí)間。由表3可知，使用遷移學(xué)習(xí)方法后不同IoU閾值下?lián)p失值均小于未使用遷移學(xué)習(xí)方法的損失值。因此，應(yīng)用遷移學(xué)習(xí)方法后，模型在收斂速度和最終收斂的損失值上更優(yōu)。

表3 使用遷移學(xué)習(xí)前后損失值對(duì)比Tab.3 Comparison of loss value before and after using transfer learning method

同時(shí)，采用平均精度mask AP(Average precision)評(píng)估使用遷移學(xué)習(xí)前后的模型語(yǔ)義分割性能，mask AP越大，模型效果越好。mask AP計(jì)算結(jié)果如表4所示。

表4 使用遷移學(xué)習(xí)前后語(yǔ)義分割的mask AP對(duì)比Tab.4 Comparison of mask AP value before and after using transfer learning method %

由表4可知，使用遷移方法后，IoU取0、0.5、0.75時(shí)的mask AP提升了7.8、6.4、7.2個(gè)百分點(diǎn)，因此，該模型精度優(yōu)于未使用遷移學(xué)習(xí)方法的模型。番茄實(shí)物最終的檢測(cè)效果如圖8所示。

圖8 檢測(cè)效果Fig.8 Detection results

3 結(jié)論

(1)設(shè)計(jì)了一種溫室遠(yuǎn)程監(jiān)控系統(tǒng)。該系統(tǒng)以巡檢機(jī)器人作為傳感器數(shù)據(jù)采集與通信載體將溫室內(nèi)作物及環(huán)境數(shù)據(jù)發(fā)送至通信模塊；通信系統(tǒng)采用移動(dòng)通信網(wǎng)絡(luò)加云服務(wù)器的網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)溫室端與遠(yuǎn)程監(jiān)控中心端的文本、圖像及視頻3種類型數(shù)據(jù)的傳輸。

(2)集成了人臉識(shí)別與手部關(guān)鍵點(diǎn)識(shí)別算法實(shí)現(xiàn)遠(yuǎn)程監(jiān)控端的人機(jī)交互。其中，管理員人臉識(shí)別基于Haar級(jí)聯(lián)算法與LBPH算法，識(shí)別成功率達(dá)90%。手部關(guān)鍵點(diǎn)識(shí)別基于YOLO v3與ResNet-50算法模型，單手部識(shí)別置信度均大于0.98，雙手識(shí)別置信度均大于0.96；同時(shí)，基于提取的食指指尖坐標(biāo)與左右手部候選框中心點(diǎn)坐標(biāo)實(shí)現(xiàn)了人機(jī)交互與圖像尺寸縮放的功能。

(3)應(yīng)用最新的Swin Small+Cascade Mask RCNN深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行遠(yuǎn)程視頻中番茄的檢測(cè)與語(yǔ)義分割。同時(shí)，采用遷移學(xué)習(xí)方法解決農(nóng)業(yè)場(chǎng)景數(shù)據(jù)集不足的問題。試驗(yàn)結(jié)果表明，使用遷移學(xué)習(xí)方法后，模型的收斂速度更快、損失值更低，語(yǔ)義分割精度有所提升，IoU取0、0.5、0.75時(shí)的mask AP分別提升了7.8、 6.4、7.2個(gè)百分點(diǎn)。