摘 要：針對城市周邊出租農(nóng)場，文章提出一個(gè)基于數(shù)字孿生的虛擬現(xiàn)實(shí)農(nóng)場系統(tǒng)。本系統(tǒng)由用戶節(jié)點(diǎn)、云和APP三部分組成，用戶節(jié)點(diǎn)通過圖像識(shí)別技術(shù)，將環(huán)境信息、農(nóng)作物生長狀態(tài)信息映射到二維的農(nóng)場游戲APP中，從而實(shí)現(xiàn)現(xiàn)實(shí)農(nóng)場與虛擬農(nóng)場游戲之間的數(shù)字孿生。APP端分為兩部分，基于數(shù)字孿生信息的虛擬游戲界面和基于實(shí)時(shí)攝像頭的現(xiàn)實(shí)監(jiān)控界面。這兩個(gè)界面均支持澆水、施肥等遠(yuǎn)程操作功能。同時(shí)，通過遠(yuǎn)程采摘機(jī)制通知管理員進(jìn)行采摘，并根據(jù)用戶地址提供送貨入戶服務(wù)。

關(guān)鍵詞：數(shù)字孿生；物聯(lián)網(wǎng)；智慧農(nóng)業(yè)；深度學(xué)習(xí)

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2024）17-0195-04

0 引 言

中國農(nóng)業(yè)面臨著產(chǎn)業(yè)結(jié)構(gòu)失衡、產(chǎn)業(yè)鏈效益低、科技支撐力不足以及高質(zhì)量產(chǎn)品供給不足等問題[1]。對此，國家先后頒布了《關(guān)于全面深化農(nóng)村改革加快推進(jìn)農(nóng)業(yè)現(xiàn)代化的若干意見》《鄉(xiāng)村振興戰(zhàn)略規(guī)劃（2018—2022年）》《關(guān)于做好2023年全面推進(jìn)鄉(xiāng)村振興重點(diǎn)工作的意見》等一系列政策文件，以推進(jìn)農(nóng)業(yè)現(xiàn)代化進(jìn)程。

消費(fèi)群體對農(nóng)產(chǎn)品品質(zhì)需求在不斷提升，而目前市場上農(nóng)產(chǎn)品生產(chǎn)銷售過程監(jiān)管透明度不足，農(nóng)產(chǎn)品的品質(zhì)難以得到保障。然而，隨著物聯(lián)網(wǎng)、自動(dòng)化技術(shù)的發(fā)展，使得種植趨向自動(dòng)化，減輕了農(nóng)民種植農(nóng)作物實(shí)地操作的工作量，提高了工作效率，有效降低了農(nóng)業(yè)生產(chǎn)成本。在智慧農(nóng)場系統(tǒng)構(gòu)建方面，國內(nèi)外諸多學(xué)者已經(jīng)展開了大量研究。文獻(xiàn)[2]利用物聯(lián)網(wǎng)技術(shù)完成遠(yuǎn)程監(jiān)控系統(tǒng)設(shè)計(jì)，促進(jìn)農(nóng)業(yè)生產(chǎn)活動(dòng)走向智能化，提高農(nóng)業(yè)的生產(chǎn)效率。文獻(xiàn)[3]借助先進(jìn)的監(jiān)測軟件來分析田間的土壤水含量，明確土壤灌溉飽和點(diǎn)與補(bǔ)償點(diǎn)，并提出具體的灌溉方案。通過中央控制系統(tǒng)將相關(guān)指令發(fā)送至閥門控制系統(tǒng)，實(shí)現(xiàn)農(nóng)業(yè)節(jié)水灌溉的智能化。文獻(xiàn)[4]通過外部傳感器等元件，采集環(huán)境的溫度、濕度、光照時(shí)間等信息，然后由計(jì)算機(jī)進(jìn)行相應(yīng)的分析并發(fā)出控制指令，實(shí)現(xiàn)對智慧農(nóng)業(yè)監(jiān)測系統(tǒng)的控制。文獻(xiàn)[5]講述了利用農(nóng)業(yè)機(jī)器人完成除草、收割、噴施肥料、播種等農(nóng)業(yè)日常工作，代替大量的勞動(dòng)力，推動(dòng)了智慧農(nóng)業(yè)的發(fā)展。文獻(xiàn)[6]利用云服務(wù)分布計(jì)算存儲(chǔ)性能對數(shù)據(jù)分析處理，提升大數(shù)據(jù)平臺(tái)應(yīng)用價(jià)值，為農(nóng)業(yè)園區(qū)提供了相應(yīng)的AI能力和定制化管理服務(wù)，實(shí)現(xiàn)農(nóng)業(yè)數(shù)字化。文獻(xiàn)[7]融合物聯(lián)網(wǎng)、智能感知、大數(shù)據(jù)和智能終端等技術(shù)，在農(nóng)作物生產(chǎn)管理上取得了顯著增效、減損和提質(zhì)的效果。文獻(xiàn)[8]提出通過一系列無人化作業(yè)手段與模式對農(nóng)田生態(tài)系統(tǒng)進(jìn)行生態(tài)化管理與改造，來實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)的可持續(xù)發(fā)展。文獻(xiàn)[9]以智能農(nóng)場為農(nóng)業(yè)4.0的代表，闡述了智能農(nóng)場的概念及發(fā)展現(xiàn)狀，以及包含的主要技術(shù)。文獻(xiàn)[10]提出了"六域模型"農(nóng)業(yè)物聯(lián)網(wǎng)參考體系結(jié)構(gòu)，并將其應(yīng)用于家庭農(nóng)場露地蔬菜種植，實(shí)現(xiàn)了家庭智慧農(nóng)場系統(tǒng)結(jié)構(gòu)設(shè)計(jì)。

現(xiàn)今，城市周邊出現(xiàn)了很多出租農(nóng)場，這些農(nóng)場將土地出租給城市用戶用于種植體驗(yàn)。但是由于城市用戶時(shí)間緊缺，常出現(xiàn)很多農(nóng)作物成熟但腐爛在地里的情況。針對此應(yīng)用場景，本文設(shè)計(jì)了一種基于數(shù)字孿生的虛擬現(xiàn)實(shí)農(nóng)場系統(tǒng)。依靠傳感器的精準(zhǔn)性，用戶能夠隨時(shí)隨地在APP上查看農(nóng)場信息，并依靠圖像識(shí)別技術(shù)直觀地觀察植物生長狀態(tài)。當(dāng)農(nóng)作物成熟后，用戶可下發(fā)訂單至農(nóng)場管理員進(jìn)行采摘，并以快遞的形式送至用戶手中。

1 數(shù)字孿生農(nóng)場系統(tǒng)的實(shí)現(xiàn)

1.1 整體系統(tǒng)

數(shù)字孿生的概念是指根據(jù)現(xiàn)實(shí)環(huán)境的量化數(shù)據(jù)生成虛擬世界，并確?，F(xiàn)實(shí)環(huán)境與虛擬世界之間的實(shí)時(shí)同步。為了實(shí)現(xiàn)實(shí)際農(nóng)場與APP之間的數(shù)字孿生，需要經(jīng)過農(nóng)場環(huán)境信息的量化、量化信息的實(shí)時(shí)傳輸、量化信息與虛擬世界元素映射，最終實(shí)現(xiàn)現(xiàn)實(shí)農(nóng)場與虛擬農(nóng)場（APP）之間的實(shí)時(shí)同步。我們把農(nóng)場環(huán)境信息分為兩類，一類為環(huán)境信息，另一類為農(nóng)作物生長狀態(tài)信息。環(huán)境信息通過傳感器采集處理后已經(jīng)達(dá)到了量化目的，而農(nóng)作物的生長狀態(tài)信息則需要通過攝像頭采集圖片，再通過神經(jīng)網(wǎng)絡(luò)分類量化。量化后的數(shù)據(jù)通過通信模塊傳輸?shù)皆品?wù)器，再轉(zhuǎn)發(fā)至虛擬農(nóng)場接口（APP數(shù)據(jù)端），根據(jù)量化數(shù)據(jù)進(jìn)行解映射，并實(shí)現(xiàn)虛擬農(nóng)場與現(xiàn)實(shí)農(nóng)場的聯(lián)動(dòng)。

虛擬現(xiàn)實(shí)農(nóng)場系統(tǒng)如圖1所示，主要由四部分組成：硬件終端、云平臺(tái)、圖像識(shí)別模塊和用戶APP。該系統(tǒng)考慮的場景為市郊農(nóng)場將分塊的土地租出給用戶，每個(gè)用戶都具備獨(dú)立的節(jié)點(diǎn)終端用于收集各自農(nóng)場的環(huán)境信息。在硬件終端中，傳感器負(fù)責(zé)收集環(huán)境信息并進(jìn)行量化處理，圖像識(shí)別模塊負(fù)責(zé)收集農(nóng)作物生長狀態(tài)信息并進(jìn)行分類處理。這些信息經(jīng)過STM32單片機(jī)匯總后，通過Wi-Fi模塊以MQTT協(xié)議發(fā)送至云平臺(tái)。云平臺(tái)匯總所有用戶的數(shù)據(jù)，并將這些數(shù)據(jù)發(fā)送至指定的用戶APP端口。每個(gè)用戶的虛擬農(nóng)場（APP端）根據(jù)現(xiàn)實(shí)環(huán)境的量化信息調(diào)用植物模型構(gòu)建虛擬農(nóng)場。考慮到農(nóng)作物的生長緩慢以及用戶體驗(yàn)感，現(xiàn)實(shí)農(nóng)場與虛擬農(nóng)場之間的同步數(shù)據(jù)一般每30秒進(jìn)行一次。此外，農(nóng)場的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)通過一個(gè)單獨(dú)的攝像頭采集，并通過云平臺(tái)轉(zhuǎn)發(fā)至用戶APP，用于生成實(shí)時(shí)監(jiān)控畫面。用戶也可通過APP向單片機(jī)下發(fā)命令，對光照和灌溉設(shè)備進(jìn)行相關(guān)操作。

1.2 硬件節(jié)點(diǎn)

硬件節(jié)點(diǎn)的電路圖如圖2所示，采用STM32F103ZET6單片機(jī)為主控單元，土壤溫度傳感器DS18B20、LED模塊、土壤濕度傳感器LM393、空氣溫濕度傳感器DHT11和光強(qiáng)度傳感器BH1750分別接在單片機(jī)的PA0、PA1、PA5、PA6以及PA11和PA12數(shù)據(jù)接口?？紤]到系統(tǒng)所需的傳送速率，通信模塊采用ESP8266Wi-Fi模塊并通過PA2、PA3串行數(shù)據(jù)接口與單片機(jī)相連。圖像識(shí)別部分采用了輕量化的OpenMV模塊來實(shí)現(xiàn)農(nóng)作物生長狀態(tài)信息的分類，并與STM32通過PB10和PB11串行數(shù)據(jù)接口相連。硬件節(jié)點(diǎn)的工作的流程圖如圖3所示，硬件設(shè)備啟動(dòng)后，先對需要用到的各個(gè)端口進(jìn)行初始化，初始化完成后通過各個(gè)傳感器獲取環(huán)境信息，由串型數(shù)據(jù)接口PB10和PB11獲取圖像識(shí)別信息，并將環(huán)境信息顯示在單片機(jī)屏幕上，最后將所有采集到的數(shù)據(jù)打包，通過Wi-Fi模塊以MQTT協(xié)議發(fā)送至云平臺(tái)。

1.3 云管理平臺(tái)

云管理平臺(tái)使用OneNET物聯(lián)網(wǎng)云平臺(tái)。該平臺(tái)接收到單片機(jī)傳輸?shù)沫h(huán)境信息和圖像識(shí)別的植物信息，將數(shù)據(jù)進(jìn)行整合、存儲(chǔ)，并繪制成動(dòng)態(tài)數(shù)據(jù)圖，在云管理平臺(tái)的可視化界面上顯示。同時(shí)，云管理平臺(tái)提供API接口供APP調(diào)用。

1.4 圖像識(shí)別

圖像識(shí)別的主要目的是為了量化農(nóng)作物的生長狀態(tài)信息，因此，我們采用了神經(jīng)網(wǎng)絡(luò)對農(nóng)作物圖片進(jìn)行分類，更多的分類數(shù)量可以使虛擬農(nóng)作物更加接近真實(shí)農(nóng)作物。本文以簡單的九分類為例，簡單說明農(nóng)作物生長狀態(tài)的量化過程。首先，農(nóng)作物種類分為三類：番茄、辣椒、蘑菇；其次，每種農(nóng)作物生長階段分為幼苗、生長和成熟三個(gè)階段，如圖表1所示。農(nóng)作物種類和生長階段量化后的信息為[S0，S1]，其中S0和S1的長度都為2 bit。

圖像識(shí)別模塊OpenMV4支持多種神經(jīng)網(wǎng)絡(luò)模型，考慮到硬件的算力支持和計(jì)算延遲，本文采用了輕量級MobileNet網(wǎng)絡(luò)。首先，我們制作了一個(gè)小型的訓(xùn)練集對MobileNet神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，達(dá)到最優(yōu)性能后，將訓(xùn)練好的MobileNet網(wǎng)絡(luò)下載到OpenMV4模塊中。圖片識(shí)別模塊的工作過程如圖4所示，OpenMV4模塊的攝像頭采集到320×320尺寸的圖片后，對圖片進(jìn)行預(yù)處理得到128×128尺寸的圖像，并將其輸入MobileNet網(wǎng)絡(luò)，最終得到識(shí)別結(jié)果[S0，S1]。用戶APP端根據(jù)得到的[S0，S1]對照表1，改變虛擬農(nóng)作物模型元素。

1.5 用戶APP設(shè)計(jì)

用戶APP分為虛擬界面、現(xiàn)實(shí)界面，用戶可以通過點(diǎn)擊導(dǎo)航欄對應(yīng)的圖標(biāo)進(jìn)行切換。無論在哪個(gè)界面，用戶都可以通過點(diǎn)擊按鈕的方式進(jìn)行遠(yuǎn)程灌溉、補(bǔ)光等操作。APP定時(shí)向云平臺(tái)發(fā)送REQUEST請求以獲取包含環(huán)境溫濕度、土壤溫濕度的環(huán)境信息，以及包含農(nóng)作物種類S0、生長階段S1的農(nóng)作物信息。這些環(huán)境信息會(huì)在虛擬界面和現(xiàn)實(shí)界面的信息欄中顯示，而農(nóng)作物種類S0、生長階段S1的農(nóng)作物信息用來構(gòu)建虛擬農(nóng)場?；跀?shù)字孿生的虛擬農(nóng)場構(gòu)建過程如圖5所示，APP對農(nóng)作物種類和生長階段信息[S0，S1]進(jìn)行分割，首先根據(jù)S0判斷農(nóng)作物種類并定位至相應(yīng)的文件夾，其次根據(jù)生長階段S1定位至生長階段模型，獲取相應(yīng)的模型圖片，以此構(gòu)成數(shù)字孿生虛擬農(nóng)場畫面。種類和生長階段信息與模型圖片的映射關(guān)系如表2所示。APP端的現(xiàn)實(shí)界面顯示的是農(nóng)場實(shí)時(shí)監(jiān)控畫面，當(dāng)APP切換至現(xiàn)實(shí)界面后，它會(huì)直接接入監(jiān)控API。當(dāng)用戶使用采摘功能時(shí)，APP將用戶的采摘信息（農(nóng)作物種類、用戶ID）發(fā)送至云平臺(tái)，管理員通過云平臺(tái)接收到信息后，會(huì)安排工作人員進(jìn)行采摘和派送服務(wù)。

2 結(jié)果和分析

通過攝像頭拍攝的農(nóng)作物圖片作為數(shù)據(jù)集，其包含不同植物種類、不同生長狀態(tài)、不同角度、不同光照下的圖片，將訓(xùn)練集中的圖片標(biāo)注后，通過神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并通過測試集驗(yàn)證其識(shí)別率及方案可行性。農(nóng)作物生長階段的數(shù)據(jù)集由334張圖片組成，對圖中植物進(jìn)行處理后進(jìn)行訓(xùn)練，訓(xùn)練集共267張圖片，另外67張圖片被用作測試集。訓(xùn)練完成后，導(dǎo)出模型文件。圖像識(shí)別模塊通過模型實(shí)時(shí)識(shí)別攝像頭畫面，輸出植物的名稱及其所處生長階段，為用戶端虛擬界面提供數(shù)據(jù)。農(nóng)作物生長階段的訓(xùn)練結(jié)果如表3所示，包括幼苗、生長、成熟等生長階段，其中幼苗階段和成熟階段的識(shí)別精準(zhǔn)度達(dá)到100%，生長階段的識(shí)別精準(zhǔn)度達(dá)到96.2%。

如圖6（a）所示，系統(tǒng)選取了農(nóng)場種植的番茄、辣椒、蘑菇三種農(nóng)作物進(jìn)行識(shí)別。以番茄為例，系統(tǒng)識(shí)別植物名稱S0為“番茄”，生長階段S1為“生長”，因此輸出結(jié)果S0S1為“0001”。如圖6（b）所示，用戶APP基于此結(jié)果，呈現(xiàn)出數(shù)字孿生畫面。當(dāng)用戶點(diǎn)擊番茄的數(shù)字模型時(shí)，系統(tǒng)會(huì)高亮所選土地并顯示其詳細(xì)信息。在數(shù)字孿生畫面下方，依次顯示包含環(huán)境溫濕度、土壤溫濕度的環(huán)境信息、遠(yuǎn)程操控按鈕，以及供用戶切換界面的導(dǎo)航欄。

3 結(jié) 論

本文提出的基于數(shù)字孿生的虛擬現(xiàn)實(shí)農(nóng)場系統(tǒng)，充分利用了深度學(xué)習(xí)，對農(nóng)作物進(jìn)行智能識(shí)別，通過數(shù)字孿生技術(shù)，該系統(tǒng)增強(qiáng)了農(nóng)業(yè)互動(dòng)感，使得農(nóng)場游戲也能模擬真實(shí)農(nóng)作物產(chǎn)出。系統(tǒng)依靠傳感器對農(nóng)場環(huán)境進(jìn)行精準(zhǔn)識(shí)別，調(diào)動(dòng)灌溉系統(tǒng)為農(nóng)作物提供更好的生長環(huán)境。農(nóng)作物成熟時(shí)通知管理員采摘，有效避免農(nóng)產(chǎn)品未及時(shí)采摘造成的腐爛和浪費(fèi)等問題。綜上所述，基于數(shù)字孿生的虛擬現(xiàn)實(shí)農(nóng)場系統(tǒng)為用戶提供了一個(gè)培育農(nóng)作物的管理平臺(tái)，可以有效地提高農(nóng)作物生產(chǎn)的效率、資源利用率和產(chǎn)品質(zhì)量，幫助消費(fèi)者樹立對農(nóng)產(chǎn)品質(zhì)量安全的信心，同時(shí)幫助生產(chǎn)者合理規(guī)劃生產(chǎn)。

參考文獻(xiàn)：

[1] 夏顯力，陳哲，張慧利，等.農(nóng)業(yè)高質(zhì)量發(fā)展：數(shù)字賦能與實(shí)現(xiàn)路徑 [J].中國農(nóng)村經(jīng)濟(jì)，2019（12）：2-15.

[2] 張清淘.基于物聯(lián)網(wǎng)技術(shù)的智慧農(nóng)業(yè)遠(yuǎn)程監(jiān)控系統(tǒng)設(shè)計(jì) [J].南方農(nóng)機(jī)，2023，54（2）：84-86.

[3] 宋衛(wèi)東.物聯(lián)網(wǎng)技術(shù)在智慧農(nóng)業(yè)節(jié)水灌溉中的應(yīng)用 [J].黑龍江糧食，2022（11）：52-54.

[4] 朱斌.基于物聯(lián)網(wǎng)技術(shù)的智慧農(nóng)業(yè)大棚監(jiān)測系統(tǒng)研究 [J].南方農(nóng)機(jī)，2023，54（6）：84-86.

[5] 劉元?jiǎng)?，熊?基于物聯(lián)網(wǎng)技術(shù)的智慧農(nóng)業(yè)無線控制系統(tǒng)設(shè)計(jì) [J].自動(dòng)化技術(shù)與應(yīng)用，2021，40（6）：70-73.

[6] 陳菁，劉靖永，錢煒.基于5G和物聯(lián)網(wǎng)的智慧農(nóng)業(yè)大數(shù)據(jù)管理平臺(tái) [J].張江科技評論，2022（1）：71-73.

[7] 吳文福，張娜，李姝峣，等.5T智慧農(nóng)場管理系統(tǒng)構(gòu)建與應(yīng)用探索 [J].農(nóng)業(yè)工程學(xué)報(bào)，2021，37（9）：340-349.

[8] 蘭玉彬，趙德楠，張彥斐，等.生態(tài)無人農(nóng)場模式探索及發(fā)展展望 [J].農(nóng)業(yè)工程學(xué)報(bào)，2021，37（9）：312-327.

[9] 穆悅，丁艷鋒.智能農(nóng)場：以水稻為例的一個(gè)未來農(nóng)場運(yùn)營的設(shè)想 [J].中國稻米，2020，26（5）：80-83.

[10] 王旭，周開利.“六域模型”農(nóng)業(yè)物聯(lián)網(wǎng)參考體系結(jié)構(gòu)及應(yīng)用 [J].現(xiàn)代電子技術(shù)，2022，45（6）：53-57.

[11] 張彥通，蘇前敏.基于遷移學(xué)習(xí)的玉米病害圖像識(shí)別 [J].中國農(nóng)業(yè)科技導(dǎo)報(bào)，2023，25（10）：119-125.

作者簡介：劉明輝（2001.10—），男，漢族，江西撫州人，本科，研究方向：物聯(lián)網(wǎng)技術(shù)、圖像識(shí)別；通信作者：尚玉龍（1988.02—），男，漢族，河南焦作人，副教授，博士，研究方向：無線通信、物聯(lián)網(wǎng)技術(shù)、智能反射面、數(shù)字廣播。

DOI：10.19850/j.cnki.2096-4706.2024.17.038

收稿日期：2024-03-19

基金項(xiàng)目：2023年省級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃一般項(xiàng)目（202311463052Y）

Virtual Reality Farm System Based on Digital Twin

LIU Minghui， ZHANG Zheng， ZHU Lihong， LIU Xinyang， SHANG Yulong， XIAO Shuyan

（Jiangsu University of Technology， Changzhou 213001， China）

Abstract： In view of the rental farms in the urban periphery， this paper proposes a Virtual Reality farm system based on digital twin. The system consists of three parts of user node， cloud and APP. The user node maps the environmental information and crop growth status information to the two-dimensional farm game APP through image recognition technology， thus realizing the digital twin between the real farm and the virtual farm game. The APP terminal is divided into two parts， the virtual game interface based on the digital twin information and the real monitoring interface based on the real-time camera， and both interfaces support remote operations such as watering and fertilizing. Meanwhile， it notifies the administrator of picking through the remote picking mechanism， and provides the service of delivering goods to the home according to the user's address.

Keywords： digital twin; Internet of Things; intelligent agriculture; Deep Learning