摘 要:大數(shù)據(jù)處理與分析技術(shù)深度融入農(nóng)業(yè),成為助力農(nóng)業(yè)高質(zhì)量發(fā)展的重要因素之一。以河南周口國(guó)家農(nóng)業(yè)高新技術(shù)產(chǎn)業(yè)示范區(qū)為例,根據(jù)作物種植區(qū)的溫度、土壤、光照等要素的特點(diǎn),按照其自然屬性特征與地理空間屬性特征,借助Hadoop數(shù)據(jù)處理平臺(tái),采用Apriori算法對(duì)數(shù)據(jù)進(jìn)行提取,利用ECharts數(shù)據(jù)可視化工具與傳統(tǒng)前后端框架平臺(tái),完成對(duì)不同特征農(nóng)業(yè)數(shù)據(jù)表的清洗、精簡(jiǎn)、規(guī)整與歸約處理,設(shè)計(jì)了農(nóng)業(yè)大數(shù)據(jù)處理系統(tǒng),結(jié)合人機(jī)交互、統(tǒng)計(jì)分析等方法實(shí)現(xiàn)農(nóng)業(yè)數(shù)據(jù)的可視化。結(jié)果表明,所設(shè)計(jì)系統(tǒng)穩(wěn)定可靠,數(shù)據(jù)可視化效果滿足實(shí)際需求,可為智慧農(nóng)業(yè)關(guān)鍵技術(shù)研究和應(yīng)用提供良好的參考價(jià)值。
關(guān)鍵詞:智慧農(nóng)業(yè);大數(shù)據(jù);Hadoop;自然空間特征
中圖分類號(hào):S24;TP311.1 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1674-7909(2024)15-146-5
DOI:10.19345/j.cnki.1674-7909.2024.15.031
0 引言
隨著大數(shù)據(jù)、人工智能等技術(shù)的發(fā)展,農(nóng)業(yè)領(lǐng)域正經(jīng)歷從傳統(tǒng)模式向信息化、智能化轉(zhuǎn)型的深刻變革,標(biāo)志著農(nóng)業(yè)生產(chǎn)邁入了高速發(fā)展的新階段[1]。利用大數(shù)據(jù)技術(shù)對(duì)農(nóng)業(yè)數(shù)據(jù)進(jìn)行挖掘分析,可以為精準(zhǔn)把握農(nóng)業(yè)生產(chǎn)動(dòng)態(tài)、顯著提升生產(chǎn)效率、有效削減資源消耗提供有力的技術(shù)支持,為破解智慧農(nóng)業(yè)發(fā)展中所遭遇的挑戰(zhàn)提供了新的思維路徑與實(shí)踐方法[2]。
在現(xiàn)代農(nóng)業(yè)生產(chǎn)中,會(huì)產(chǎn)生大量涵蓋空氣溫濕度、光照強(qiáng)度、土壤pH值及土壤氮磷鉀含量等多維數(shù)據(jù)。這些農(nóng)業(yè)要素?cái)?shù)據(jù)不僅具有傳統(tǒng)數(shù)據(jù)的普遍特征,還因其數(shù)據(jù)屬性的高度復(fù)雜性與時(shí)空分布的特異性,展現(xiàn)出一定的自然空間特征[3]。研究以河南周口國(guó)家農(nóng)業(yè)高新技術(shù)產(chǎn)業(yè)示范區(qū)(以下簡(jiǎn)稱“周口國(guó)家農(nóng)高區(qū)”)為例。該示范區(qū)坐落于黃淮平原的核心區(qū)域,其農(nóng)業(yè)數(shù)據(jù)的自然空間特征尤為顯著,具體體現(xiàn)在以下3個(gè)方面。一是數(shù)據(jù)呈現(xiàn)顯著的周期性特征,農(nóng)業(yè)生產(chǎn)以一年兩熟為主要模式;二是數(shù)據(jù)來源多元且復(fù)雜,區(qū)域內(nèi)還廣泛采用了糧食作物與經(jīng)濟(jì)作物套種、間作等多樣化種植模式;三是數(shù)據(jù)維度廣泛,涵蓋土壤理化性質(zhì)、氣象情況等多個(gè)方面[4]。
針對(duì)黃淮平原的農(nóng)業(yè)要素?cái)?shù)據(jù)特性,以周口國(guó)家農(nóng)高區(qū)為例,開展基于自然空間特征的智慧農(nóng)業(yè)大數(shù)據(jù)處理系統(tǒng)研究,綜合利用Hadoop平臺(tái)、Apriori算法及ECharts數(shù)據(jù)可視化工具完成對(duì)所采集的農(nóng)業(yè)大數(shù)據(jù)處理,設(shè)計(jì)了農(nóng)業(yè)大數(shù)據(jù)處理系統(tǒng),實(shí)現(xiàn)農(nóng)業(yè)數(shù)據(jù)的可視化和深入分析,以期為周口國(guó)家農(nóng)高區(qū)高質(zhì)量發(fā)展提供數(shù)據(jù)支撐,并為黃淮平原其他區(qū)域農(nóng)業(yè)可持續(xù)發(fā)展提供技術(shù)參考。
1 相關(guān)技術(shù)介紹
1.1 Hadoop平臺(tái)
Hadoop平臺(tái)是一個(gè)功能強(qiáng)大、靈活可擴(kuò)展的數(shù)據(jù)處理平臺(tái),其核心組件如下。HDFS(Hadoop Distributed File System)作為分布式存儲(chǔ)系統(tǒng)的核心,負(fù)責(zé)海量數(shù)據(jù)文件的可靠存儲(chǔ)與高效訪問,通過數(shù)據(jù)冗余、容錯(cuò)機(jī)制等技術(shù)手段,確保了數(shù)據(jù)的高可用性與持久性,為數(shù)據(jù)處理任務(wù)提供了穩(wěn)定的數(shù)據(jù)基礎(chǔ)。MapReduce編程模型是Hadoop平臺(tái)中用于實(shí)現(xiàn)大規(guī)模數(shù)據(jù)處理的關(guān)鍵框架。該模型通過定義Map(映射)和Reduce(歸約)兩種基本操作,將復(fù)雜的計(jì)算任務(wù)拆解為可并行處理的單元,實(shí)現(xiàn)了對(duì)大規(guī)模數(shù)據(jù)集的高效處理。MapReduce模型用來簡(jiǎn)化并行計(jì)算的復(fù)雜性,同時(shí)優(yōu)化資源利用,實(shí)現(xiàn)負(fù)載均衡,確保數(shù)據(jù)處理的高效性與可擴(kuò)展性。YARN(Yet Another Resource Negotiator)是Hadoop平臺(tái)的資源管理與調(diào)度系統(tǒng),負(fù)責(zé)集群資源的動(dòng)態(tài)分配、任務(wù)調(diào)度和故障恢復(fù)等任務(wù)。YARN通過引入資源抽象層,實(shí)現(xiàn)對(duì)計(jì)算資源與存儲(chǔ)資源的精細(xì)管理,為Hadoop集群提供靈活的資源使用策略。YARN內(nèi)置的容錯(cuò)機(jī)制與資源調(diào)整能力,可確保集群在面對(duì)各種運(yùn)算時(shí)仍能保持穩(wěn)定運(yùn)行,為數(shù)據(jù)處理任務(wù)順利執(zhí)行提供有力保障[5]。Hadoop平臺(tái)的結(jié)構(gòu)如圖1所示。
1.2 Apriori算法
Apriori算法是一種關(guān)聯(lián)規(guī)則挖掘技術(shù),通過對(duì)目標(biāo)數(shù)據(jù)庫(kù)進(jìn)行多輪深度遍歷,從龐大的數(shù)據(jù)集中挖掘出潛在的、有價(jià)值的關(guān)聯(lián)性信息。
Apriori算法依據(jù)數(shù)據(jù)項(xiàng)集的支持度這一關(guān)鍵度量標(biāo)準(zhǔn),逐步篩選出頻繁項(xiàng)集,即在數(shù)據(jù)集中頻繁共現(xiàn)的數(shù)據(jù)項(xiàng)組合。在此過程中,算法利用向下封閉屬性(即如果一個(gè)項(xiàng)集是頻繁的,那么它的所有非空子集也是頻繁的),有效減少候選項(xiàng)集的搜索空間,提高數(shù)據(jù)挖掘效率。通過反復(fù)迭代,算法能夠全面而準(zhǔn)確地列舉出所有滿足支持度閾值的頻繁項(xiàng)集。對(duì)于識(shí)別出的頻繁項(xiàng)集,Apriori算法能夠推導(dǎo)出相應(yīng)的關(guān)聯(lián)規(guī)則,這些規(guī)則揭示了數(shù)據(jù)項(xiàng)之間的關(guān)聯(lián)性,能對(duì)智慧農(nóng)業(yè)數(shù)據(jù)進(jìn)行較好的處理[6]。該算法的核心概念包括:
(1)項(xiàng)與項(xiàng)集:在數(shù)據(jù)庫(kù)環(huán)境中,最小單位的信息元素被定義為項(xiàng),用符號(hào)i進(jìn)行標(biāo)記。項(xiàng)的集合則構(gòu)成了項(xiàng)集,記作I。項(xiàng)集的元素?cái)?shù)量若為k,則被稱為k項(xiàng)集[7]。例如,在智慧農(nóng)業(yè)數(shù)據(jù)庫(kù)中,包含空氣溫度、濕度、光照強(qiáng)度、土壤pH值及土壤氮磷鉀含量等多維數(shù)據(jù)的集合即被視為一個(gè)6項(xiàng)集。
(2)關(guān)聯(lián)規(guī)則:此類規(guī)則遵循x→y的邏輯形式,其中x和y均為I的真子集,且滿足x∩y=0。關(guān)聯(lián)規(guī)則的目的是揭示數(shù)據(jù)庫(kù)中當(dāng)x出現(xiàn)時(shí),y也出現(xiàn)的規(guī)律[8]。
(3)支持度:衡量x和y中所涉及的項(xiàng)在全體事務(wù)集中共同出現(xiàn)頻率的指標(biāo),記作Supp(x→y),可通過計(jì)算包含項(xiàng)目集X的事務(wù)數(shù)t與總事務(wù)數(shù)T之間的比值來定義。此外,為了有效區(qū)分頻繁項(xiàng)集與非頻繁項(xiàng)集,在算法執(zhí)行過程中,人為設(shè)定一個(gè)稱為最小支持度(min_sup)的閾值。
(4)置信度:置信度反映了在數(shù)據(jù)集中,同時(shí)包含x和y的條目數(shù)與僅包含x(即前提)的事務(wù)數(shù)之間的比例關(guān)系,用conf(x→y)表示。在生成關(guān)聯(lián)規(guī)則的過程中,通過最小置信度(min_conf)的閾值來區(qū)分強(qiáng)關(guān)聯(lián)規(guī)則與弱關(guān)聯(lián)規(guī)則[9]。
2 系統(tǒng)框架
農(nóng)業(yè)數(shù)據(jù)的自然空間特性涵蓋了通過多樣化傳感器技術(shù)所采集的農(nóng)業(yè)要素?cái)?shù)據(jù)的屬性,包括空氣溫度、濕度、光照強(qiáng)度、土壤pH值及土壤氮磷鉀含量等自然特性指標(biāo)。智慧農(nóng)業(yè)大數(shù)據(jù)處理系統(tǒng)包括感知層、傳輸層和應(yīng)用層,系統(tǒng)組成如圖2所示。
感知層主要為各數(shù)據(jù)采集終端。采集終端搭載了各種傳感器,用于采集農(nóng)作物的環(huán)境參數(shù),并通過傳輸層上傳到應(yīng)用層。采集終端需要對(duì)空氣溫濕度、光照強(qiáng)度、土壤溫濕度、土壤pH值、土壤氮磷鉀含量等參數(shù)進(jìn)行采集,然后借助互聯(lián)網(wǎng)、4G/5G移動(dòng)網(wǎng)絡(luò)傳輸至數(shù)據(jù)智能分析處理系統(tǒng)。在應(yīng)用層,Hadoop平臺(tái)的多種組件共同構(gòu)筑了大數(shù)據(jù)存儲(chǔ)管理層,為可視化框架提供了強(qiáng)大的數(shù)據(jù)處理與管理能力;最上層是農(nóng)業(yè)數(shù)據(jù)可視化結(jié)構(gòu)層(該結(jié)構(gòu)負(fù)責(zé)從數(shù)據(jù)平臺(tái)中高效提取并處理數(shù)據(jù),并利用ECharts可視化工具及一系列可視化API,實(shí)現(xiàn)對(duì)農(nóng)業(yè)數(shù)據(jù)的精準(zhǔn)可視化呈現(xiàn))。
3 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
3.1 系統(tǒng)工作流程
研究設(shè)計(jì)了一個(gè)高效的數(shù)據(jù)處理與分析框架,其工作流程如圖3所示。該框架基礎(chǔ)由傳感器網(wǎng)絡(luò)及既有的資源數(shù)據(jù)庫(kù)組成。首先,對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理,確保數(shù)據(jù)的準(zhǔn)確性、完整性和一致性,并將其遷移到數(shù)據(jù)處理平臺(tái)。其次,在數(shù)據(jù)處理平臺(tái)上,采用關(guān)聯(lián)規(guī)則算法,挖掘提取出價(jià)值數(shù)據(jù),實(shí)現(xiàn)對(duì)“凈化”后數(shù)據(jù)的深度挖掘與智能分析,為后續(xù)的決策支持、模式識(shí)別等應(yīng)用提供有力支撐。為了直觀展示數(shù)據(jù)分析成果,研究設(shè)計(jì)了可視化方案,將農(nóng)業(yè)要素?cái)?shù)據(jù)分析結(jié)果可視化展現(xiàn)。
3.2 系統(tǒng)設(shè)計(jì)步驟
研究緊扣周口國(guó)家農(nóng)高區(qū)智慧農(nóng)業(yè)的實(shí)際應(yīng)用場(chǎng)景,針對(duì)智慧農(nóng)業(yè)要素?cái)?shù)據(jù)的多源性、高維性和復(fù)雜性特征進(jìn)行了系統(tǒng)性分析。此系統(tǒng)開發(fā)流程分為以下4個(gè)階段。
3.2.1 數(shù)據(jù)預(yù)處理階段
從國(guó)家農(nóng)業(yè)科學(xué)數(shù)據(jù)中心的農(nóng)業(yè)數(shù)據(jù)庫(kù)提取了周口國(guó)家農(nóng)高區(qū)所處的黃淮地區(qū)的農(nóng)業(yè)數(shù)據(jù)集,如表1所示。鑒于農(nóng)業(yè)數(shù)據(jù)具備周期性、來源多樣性和高維性等特征,對(duì)數(shù)據(jù)進(jìn)行清洗,以適應(yīng)數(shù)據(jù)展示需求。
3.2.2 數(shù)據(jù)挖掘分析階段
在獲得干凈數(shù)據(jù)集之后,采用Apriori算法對(duì)數(shù)據(jù)進(jìn)行分析,以挖掘數(shù)據(jù)屬性間的內(nèi)在聯(lián)系,并針對(duì)特定研究問題,提供了關(guān)鍵數(shù)據(jù)特征的提取支持。
3.2.3 數(shù)據(jù)可視化展示階段
研究基于Web技術(shù),開發(fā)了前端用戶界面。該界面負(fù)責(zé)集成并展示數(shù)據(jù)可視化組件??紤]到農(nóng)業(yè)數(shù)據(jù)的多維性和空間復(fù)雜性,研究選用ECharts作為可視化工具,實(shí)現(xiàn)了數(shù)據(jù)在Web平臺(tái)中的直觀展示,并對(duì)可視化效果進(jìn)行了深入分析。同時(shí),研究結(jié)合Web GIS技術(shù),進(jìn)一步提升了數(shù)據(jù)展示的質(zhì)量,并對(duì)系統(tǒng)性能進(jìn)行了全面評(píng)測(cè),提出了相應(yīng)的優(yōu)化措施。
3.3 系統(tǒng)具體實(shí)現(xiàn)
3.3.1 數(shù)據(jù)清洗
在處理數(shù)據(jù)之前,根據(jù)周口農(nóng)高區(qū)所在區(qū)域的農(nóng)業(yè)數(shù)據(jù)特征和生產(chǎn)要求,對(duì)數(shù)據(jù)集中的異常值、空值、離群值等異常數(shù)據(jù)進(jìn)行了清洗,使農(nóng)業(yè)數(shù)據(jù)分析更加簡(jiǎn)單且高效。
單一農(nóng)業(yè)要素?cái)?shù)據(jù)連續(xù)特征屬性值的關(guān)聯(lián)清洗流程如下。對(duì)象為處理溫濕度等農(nóng)業(yè)要素?cái)?shù)據(jù)中因時(shí)間或空間連續(xù)性而出現(xiàn)的特征屬性缺失值問題。處理思路為周口農(nóng)高區(qū)所在區(qū)域的農(nóng)業(yè)要素?cái)?shù)據(jù)的自然空間特征,即平原地區(qū)的相鄰區(qū)域農(nóng)業(yè)要素?cái)?shù)據(jù)在空間上的連續(xù)性,對(duì)缺失數(shù)據(jù)值進(jìn)行針對(duì)性地填充補(bǔ)全。
先輸入原始農(nóng)業(yè)要素?cái)?shù)據(jù)集,通過對(duì)數(shù)據(jù)集中每個(gè)維度的理論屬性值數(shù)量與實(shí)際屬性值數(shù)量進(jìn)行比較,對(duì)數(shù)據(jù)進(jìn)行特征缺失值檢測(cè)。
若某一維度的特征數(shù)據(jù)在數(shù)據(jù)集中未發(fā)現(xiàn)缺失值,系統(tǒng)將繼續(xù)對(duì)下一個(gè)維度進(jìn)行檢測(cè);若檢測(cè)到缺失值,系統(tǒng)將選取所有相關(guān)條目的屬性,構(gòu)建指標(biāo)元組,并依據(jù)公式(1)來計(jì)算這些元組之間的互信息值,關(guān)聯(lián)清洗流程(如圖4所示)。系統(tǒng)采用熵對(duì)互信息值進(jìn)行歸一化處理。研究設(shè)定歸一化互信息指標(biāo)選擇的標(biāo)準(zhǔn)閾值為0.8。如果一個(gè)指標(biāo)元組的歸一化互信息值MI超過這個(gè)閾值,它將被視為相關(guān)指標(biāo)。
鑒于某些數(shù)據(jù)屬性的缺失值表現(xiàn)出較高的獨(dú)立性,即它們?cè)跁r(shí)間和空間上與其他屬性缺乏明顯的連續(xù)性,因此無法直接應(yīng)用基于數(shù)據(jù)關(guān)聯(lián)性的傳統(tǒng)清洗方法。周口農(nóng)高區(qū)所在區(qū)域?qū)儆邳S淮海旱作區(qū)。黃淮海旱作區(qū)土壤的壓實(shí)層和耕作層厚度及穿透阻力存在顯著差異。其中,壓實(shí)層較厚的區(qū)域主要集中在安徽省北部,而耕作層較厚的區(qū)域則主要集中在河南?。?0]。周口農(nóng)高區(qū)位于河南省與安徽省交界處,因此土壤這一農(nóng)業(yè)要素?cái)?shù)據(jù)屬于這類數(shù)據(jù)。為解決這一難題,研究采用跨數(shù)據(jù)源的關(guān)聯(lián)清洗策略,通過整合多個(gè)數(shù)據(jù)源,從其他數(shù)據(jù)庫(kù)中獲取缺失屬性的替代值。首先,搜集了全面或?qū)傩曰パa(bǔ)的專業(yè)數(shù)據(jù)庫(kù)資源,如中國(guó)科學(xué)院南京土壤研究所的中國(guó)土壤科學(xué)數(shù)據(jù)庫(kù)。其次,基于條目數(shù)據(jù)中其他未缺失的代表性屬性,進(jìn)行精確檢索,以填補(bǔ)缺失值。
在處理土地要素?cái)?shù)據(jù)中的異常缺失值時(shí),可以將其分為兩大類,并采取相應(yīng)的處理措施。
第一類是非邏輯性數(shù)據(jù)異常,其特點(diǎn)為數(shù)據(jù)單元本身正確,但表述格式不一致,如采樣時(shí)間格式、數(shù)據(jù)類型和內(nèi)容中的標(biāo)點(diǎn)符號(hào)數(shù)量等。針對(duì)此類異常,可以采取以下規(guī)則進(jìn)行修正操作:對(duì)于日期等時(shí)間屬性數(shù)據(jù),采用Python函數(shù)庫(kù)中的dateutil.parser函數(shù),將所有時(shí)間數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為datetime格式;針對(duì)數(shù)據(jù)格式不一致問題,根據(jù)各數(shù)據(jù)集的特點(diǎn),利用Python內(nèi)置函數(shù)進(jìn)行數(shù)據(jù)格式的整理。
第二類是邏輯性數(shù)據(jù)異常,包括數(shù)據(jù)錯(cuò)誤(如溢出或明顯違背可信規(guī)則)和異常離群點(diǎn)等。這類異常點(diǎn)在性質(zhì)上與整體樣本不一致,可能對(duì)預(yù)測(cè)模型的質(zhì)量產(chǎn)生負(fù)面影響。針對(duì)此類異常,可以采用統(tǒng)計(jì)方法和箱線圖技術(shù)進(jìn)行處理。例如,對(duì)于連續(xù)型數(shù)據(jù),可利用pandas的describe函數(shù)觀察數(shù)據(jù)的統(tǒng)計(jì)性描述,以了解數(shù)據(jù)集屬性值的分布情況;也可利用箱型圖的四分位距(IQR)檢測(cè)離群點(diǎn),以識(shí)別并處理異常值。
3.3.2 農(nóng)業(yè)要素?cái)?shù)據(jù)屬性關(guān)聯(lián)性分析
系統(tǒng)采用Apriori算法進(jìn)行農(nóng)業(yè)要素?cái)?shù)據(jù)關(guān)聯(lián)屬性挖掘及特征提取,處理流程如下。①根據(jù)農(nóng)業(yè)要素?cái)?shù)據(jù)集,生成包含數(shù)據(jù)字段屬性及其對(duì)應(yīng)的順序編碼的特征屬性字典。②利用主函數(shù)調(diào)用Apriori算法,輸入?yún)?shù),包括目標(biāo)數(shù)據(jù)集和最小置信度。其中,key和屬性字典是核心組成部分。③生成頻繁項(xiàng)集及其映射規(guī)則。根據(jù)導(dǎo)入的數(shù)據(jù)集和預(yù)設(shè)的最小置信度,分析數(shù)據(jù)庫(kù)中的每個(gè)頻繁項(xiàng)集,并按照預(yù)定格式輸出屬性間的強(qiáng)關(guān)聯(lián)映射。
3.3.3 數(shù)據(jù)可視化
該系統(tǒng)在Web端實(shí)現(xiàn)農(nóng)業(yè)數(shù)據(jù)可視化,同時(shí)將農(nóng)業(yè)要素?cái)?shù)據(jù)存儲(chǔ)在Hadoop平臺(tái)上。在數(shù)據(jù)處理和可視化過程中,該系統(tǒng)通過JDBC接口獲取所需數(shù)據(jù),經(jīng)過處理和轉(zhuǎn)換后,將結(jié)果匯總至Web端進(jìn)行可視化展示。該系統(tǒng)采用Echarts數(shù)據(jù)可視化框架進(jìn)行設(shè)計(jì),利用Web GIS對(duì)農(nóng)業(yè)地理屬性數(shù)據(jù)處理系統(tǒng)進(jìn)行分析。此外,采用基于散點(diǎn)圖矩陣的空間映射可視化解決方案。
研究利用Echarts中的散點(diǎn)圖矩陣實(shí)例,對(duì)土壤理化性質(zhì)等農(nóng)業(yè)要素?cái)?shù)據(jù)的自然特征進(jìn)行多維數(shù)據(jù)可視化設(shè)計(jì)??梢暬蝿?wù)的核心是將農(nóng)業(yè)要素?cái)?shù)據(jù)的自然特征屬性進(jìn)行可視化展示。根據(jù)散點(diǎn)圖矩陣的特點(diǎn),研究實(shí)例的可視化元素主要基于關(guān)聯(lián)規(guī)則挖掘的自然特征屬性挖掘方法的結(jié)果進(jìn)行設(shè)計(jì),以解決屬性提取中的強(qiáng)關(guān)聯(lián)度問題。其主要流程如下。
①可視化基礎(chǔ)元素設(shè)計(jì):包括初始坐標(biāo)軸(以x軸為例)、標(biāo)準(zhǔn)化數(shù)據(jù)(HuBei_Soil.xlsx)的導(dǎo)入等。使用農(nóng)業(yè)要素原始數(shù)據(jù)集,讀入當(dāng)前目錄,并在對(duì)應(yīng)的可視化設(shè)計(jì)中實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化。②數(shù)據(jù)標(biāo)準(zhǔn)化:將標(biāo)準(zhǔn)數(shù)據(jù)集導(dǎo)入并進(jìn)行標(biāo)準(zhǔn)化處理,轉(zhuǎn)換為Echarts數(shù)據(jù)格式。③交互與特效設(shè)計(jì):包括生成坐標(biāo)屬性控制臺(tái)與散點(diǎn)尾跡特效。
智慧農(nóng)業(yè)大數(shù)據(jù)平臺(tái)如圖5所示。該可視化平臺(tái)展示信息包括區(qū)域種植基本情況、農(nóng)業(yè)要素實(shí)時(shí)數(shù)據(jù)、資訊情況、作物情況云圖信息和部分傳感器采集信息。
由于周口國(guó)家農(nóng)高區(qū)所處區(qū)域村莊、河流、道路現(xiàn)狀較為復(fù)雜,地圖渲染細(xì)節(jié)較多,渲染矢量地圖繪制速度較慢,系統(tǒng)存在區(qū)域數(shù)據(jù)加載過慢的問題。在可視化實(shí)現(xiàn)過程中,研究采用Web GIS中的地圖緩存技術(shù)處理行政區(qū)域可視化圖(如圖5中間部分所示),處理步驟如下:①GIS服務(wù)器端創(chuàng)建客戶端請(qǐng)求的地圖緩存;②客戶端在進(jìn)行拖拽、縮放等地圖操作時(shí),向服務(wù)器端發(fā)送請(qǐng)求;③服務(wù)器端按照客戶端傳送的匹配條件,將已緩存的圖片返回給客戶端。
4 結(jié)束語
研究以現(xiàn)有的數(shù)據(jù)處理開源平臺(tái)為基礎(chǔ),根據(jù)周口國(guó)家農(nóng)高區(qū)農(nóng)業(yè)大數(shù)據(jù)處理和可視化要求,針對(duì)農(nóng)業(yè)要素的自然空間特征,對(duì)農(nóng)業(yè)數(shù)據(jù)進(jìn)行清洗,同時(shí)對(duì)數(shù)據(jù)屬性的缺失值的問題進(jìn)行處理,最后用可視化的方式呈現(xiàn),可為周口國(guó)家農(nóng)高區(qū)高質(zhì)量發(fā)展提供技術(shù)支持和數(shù)據(jù)支撐,并為其他區(qū)域高標(biāo)準(zhǔn)農(nóng)田建設(shè)、農(nóng)業(yè)智慧化發(fā)展提供良好借鑒。
參考文獻(xiàn):
[1]趙春江.智慧農(nóng)業(yè)的發(fā)展現(xiàn)狀與未來展望[J].華南農(nóng)業(yè)大學(xué)學(xué)報(bào),2021,42(6):1-7.
[2]姚立立.空地一體作物長(zhǎng)勢(shì)信息獲取平臺(tái)的構(gòu)建研究[D].南京:南京農(nóng)業(yè)大學(xué),2021.
[3]陳桂芬,李靜,陳航等.大數(shù)據(jù)時(shí)代人工智能技術(shù)在農(nóng)業(yè)領(lǐng)域的研究進(jìn)展[J].吉林農(nóng)業(yè)大學(xué)學(xué)報(bào), 2018,40(4):502-510.
[4]劉海航.一種基于GIS的耕地質(zhì)量評(píng)價(jià)方法[J].鄉(xiāng)村科技,2023,14(19):155-158.
[5]周少珂,郭璇,張振平,等.大數(shù)據(jù)Hadoop集群下Sqoop數(shù)據(jù)傳輸技術(shù)研究[J].河南科技,2024,51(6):25-28.
[6]李德辰,呂一帆,趙學(xué)健.一種基于預(yù)判篩選的頻繁項(xiàng)集挖掘算法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2018, 28(5):99-102.
[7]招福新.關(guān)聯(lián)規(guī)則算法研究及其在高校學(xué)生信息庫(kù)挖掘中的應(yīng)用[D].重慶:重慶大學(xué),2005.
[8]白利果,喬鋼柱,曾建潮.關(guān)聯(lián)規(guī)則挖掘在農(nóng)業(yè)產(chǎn)值分析中的應(yīng)用[J].太原科技大學(xué)學(xué)報(bào),2008(5):335-338.
[9]劉國(guó)紅,梅玲.一種關(guān)聯(lián)規(guī)則算法在農(nóng)業(yè)網(wǎng)站日志分析中的應(yīng)用[J].廣東農(nóng)業(yè)科學(xué),2010,37(1):177-180.
[10]李勇,趙云澤,勾宇軒,等.黃淮海旱作區(qū)農(nóng)田耕層土壤結(jié)構(gòu)特征與其影響因素[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2022,53(3):321-330.