陶忠良　管孝鋒　劉彥妮

摘 要 本文闡述了農(nóng)業(yè)大數(shù)據(jù)的概念與特點及存在問題，然后針對用戶對農(nóng)業(yè)大數(shù)據(jù)平臺應(yīng)用服務(wù)的需求，設(shè)計了面向精細農(nóng)業(yè)的數(shù)據(jù)分析平臺，并詳細介紹了數(shù)據(jù)平臺的架構(gòu)和功能服務(wù)。

關(guān)鍵詞 農(nóng)業(yè) 大數(shù)據(jù) 智能分析 平臺構(gòu)建

云計算、物聯(lián)網(wǎng)、大數(shù)據(jù)技術(shù)的日益發(fā)展，對社會各個領(lǐng)域的技術(shù)變革都產(chǎn)生了重大影響，其在數(shù)據(jù)挖掘和智慧應(yīng)用等方面表現(xiàn)出很大優(yōu)勢。本文基于大數(shù)據(jù)技術(shù)，分析了其在農(nóng)業(yè)管理領(lǐng)域數(shù)據(jù)采集、處理、報告分析方面的應(yīng)用服務(wù)，進一步推動農(nóng)業(yè)信息化建設(shè)。

1 農(nóng)業(yè)大數(shù)據(jù)發(fā)展現(xiàn)狀

1.1 農(nóng)業(yè)大數(shù)據(jù)的概念與特點

農(nóng)業(yè)大數(shù)據(jù)是大數(shù)據(jù)技術(shù)在農(nóng)業(yè)領(lǐng)域的具體實踐，是將大數(shù)據(jù)技術(shù)運用到農(nóng)業(yè)生產(chǎn)過程的多個環(huán)節(jié)中，[1]解決農(nóng)業(yè)相關(guān)領(lǐng)域內(nèi)多源數(shù)據(jù)的采集、處理和分析應(yīng)用，最終為農(nóng)業(yè)領(lǐng)域中不同用戶群體提供個性化的數(shù)據(jù)分析報告和可視化報表展示。

農(nóng)業(yè)大數(shù)據(jù)具有自身的特殊性和復(fù)雜性，不僅具有海量數(shù)據(jù)，而且數(shù)據(jù)來源廣泛、數(shù)據(jù)即時性強、采集難度大等特點。首先，農(nóng)業(yè)數(shù)據(jù)種類多樣，還包含了圖表、圖片、視頻等要素，其數(shù)據(jù)類型具有半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)類型特點。另外，農(nóng)業(yè)生產(chǎn)過程中農(nóng)作物易受溫度、濕度、施肥、蟲害管理等外界因素的影響，其存在著諸多差異。因此如何采集動態(tài)數(shù)據(jù)，并融合多源數(shù)據(jù)類型進行挖掘分析，進而提高農(nóng)業(yè)數(shù)據(jù)個性化服務(wù)應(yīng)用是農(nóng)業(yè)數(shù)據(jù)服務(wù)的重要發(fā)展方向。

1.2 農(nóng)業(yè)大數(shù)據(jù)應(yīng)用中存在的問題

農(nóng)業(yè)大數(shù)據(jù)在應(yīng)用方面還處于初級階段，不同企業(yè)機構(gòu)、用戶之間數(shù)據(jù)缺少共享，[2]其多將數(shù)據(jù)作為自有資源，未認識到數(shù)據(jù)共享的重要性。其次，信息平臺擴展性較差，對多源渠道采集的數(shù)據(jù)未能很好地進行標準化處理。在農(nóng)業(yè)數(shù)據(jù)應(yīng)用服務(wù)方面，當(dāng)前服務(wù)對象多為企業(yè)、政府機構(gòu)等專業(yè)人士，而普通農(nóng)戶在數(shù)據(jù)信息服務(wù)方面的利用較低。[3]在農(nóng)業(yè)數(shù)據(jù)個性化服務(wù)應(yīng)用中，數(shù)據(jù)個性化定制化服務(wù)能力較弱。

2 農(nóng)業(yè)大數(shù)據(jù)應(yīng)用模式平臺設(shè)計

2.1 平臺設(shè)計原則與思路

農(nóng)業(yè)大數(shù)據(jù)應(yīng)用模式平臺利用物聯(lián)網(wǎng)、傳感器等數(shù)據(jù)信息采集技術(shù)構(gòu)建覆蓋土壤數(shù)、肥料、氣象、農(nóng)產(chǎn)品價格等多類數(shù)據(jù)的信息平臺，建立多源海量數(shù)據(jù)農(nóng)業(yè)信息數(shù)據(jù)庫，通過數(shù)據(jù)標準化處理的一系列操作，為數(shù)據(jù)平臺用戶提供農(nóng)業(yè)數(shù)據(jù)個性化定制及可視化查詢服務(wù)。

農(nóng)業(yè)數(shù)據(jù)信息平臺首先采用多源數(shù)據(jù)匯集的原則，利用大數(shù)據(jù)技術(shù)將與農(nóng)業(yè)相關(guān)的各類結(jié)構(gòu)化和非結(jié)構(gòu)化的文本數(shù)據(jù)進行匯集。其次，農(nóng)業(yè)數(shù)據(jù)平臺對各類數(shù)據(jù)進行標準化處理，建立統(tǒng)一標準的數(shù)據(jù)庫。最后，在數(shù)據(jù)平臺應(yīng)用中，需為用戶提供個性化定制服務(wù)及可視化分析功能，實現(xiàn)用戶的快速查詢服務(wù)，同時，對數(shù)據(jù)平臺中數(shù)據(jù)隱私權(quán)限進行多級設(shè)置，實現(xiàn)用戶對數(shù)據(jù)的分級使用。

2.2 數(shù)據(jù)平臺架構(gòu)組成

農(nóng)業(yè)大數(shù)據(jù)平臺由基礎(chǔ)設(shè)備層、采集層、處理層及應(yīng)用層組成。基礎(chǔ)設(shè)備層是大數(shù)據(jù)平臺的基礎(chǔ)，是平臺進行數(shù)據(jù)采集、處理、挖掘分析工作的必備前提。此外，數(shù)據(jù)采集層可直接連接傳感器系統(tǒng)，進行實時數(shù)據(jù)的采集。其后，數(shù)據(jù)處理層可將采集來的多源異構(gòu)數(shù)據(jù)進行標準化處理。最后，由數(shù)據(jù)應(yīng)用層提供不同種類的數(shù)據(jù)服務(wù)，進而滿足不同用戶群體的個性化數(shù)據(jù)需求服務(wù)。

3 農(nóng)業(yè)大數(shù)據(jù)智能分析平臺技術(shù)設(shè)計

3.1 平臺總體架構(gòu)

基于大數(shù)據(jù)存儲及分析處理技術(shù)，構(gòu)建面向精細農(nóng)業(yè)的大數(shù)據(jù)智能分析平臺，將農(nóng)業(yè)領(lǐng)域中各類相關(guān)數(shù)據(jù)融入，綜合形成農(nóng)業(yè)數(shù)據(jù)信息一體化分析平臺，為農(nóng)業(yè)生產(chǎn)用戶、涉農(nóng)企業(yè)及相關(guān)決策管理部門提供服務(wù)應(yīng)用。本研究基于基礎(chǔ)設(shè)施即服務(wù)（IAAS）、平臺即服務(wù)（PAAS）、軟件即服務(wù)（SAAS）三種應(yīng)用形式，設(shè)計了農(nóng)業(yè)大數(shù)據(jù)智能分析平臺的總體架構(gòu)，如圖1所示。

3.2 平臺技術(shù)實現(xiàn)

3.2.1 關(guān)鍵技術(shù)框架

本文基于大數(shù)據(jù)技術(shù)，對農(nóng)業(yè)智能分析平臺展開研究，構(gòu)建了包含元數(shù)據(jù)管理、ETL工具、設(shè)計工具、數(shù)據(jù)服務(wù)、預(yù)置應(yīng)用和BI平臺模塊，平臺模塊框架如圖2所示。

農(nóng)業(yè)大數(shù)據(jù)智能分析平臺包含了智能系統(tǒng)基礎(chǔ)服務(wù)和運行框架，并能夠綜合管理各類BI工具、分析模型及相關(guān)資源。針對采集數(shù)據(jù)的多源異構(gòu)的特點，設(shè)計多級分布式高速緩存文件對象存儲系統(tǒng)，用以減輕數(shù)據(jù)源負載。面向農(nóng)業(yè)大數(shù)據(jù)的多源數(shù)據(jù)接口與集成架構(gòu)描述了數(shù)據(jù)從數(shù)據(jù)源到數(shù)據(jù)倉庫過程中所遵循的規(guī)范和架構(gòu)。針對農(nóng)業(yè)多源數(shù)據(jù)量大，異構(gòu)，缺失，沖突以及存在臟數(shù)據(jù)等特點，設(shè)計ETL數(shù)據(jù)加載、清洗和轉(zhuǎn)換細則與流程。針對農(nóng)業(yè)大數(shù)據(jù)環(huán)境下，農(nóng)業(yè)數(shù)據(jù)采集、處理、挖掘過程等復(fù)雜問題，數(shù)據(jù)分析挖掘過程設(shè)計了精準生產(chǎn)、自動化生產(chǎn)、供應(yīng)鏈追蹤、智慧化生產(chǎn)等相關(guān)農(nóng)業(yè)領(lǐng)域應(yīng)用。

農(nóng)業(yè)大數(shù)據(jù)智能分析平臺中，本研究利用ETL技術(shù)實現(xiàn)多源異構(gòu)數(shù)據(jù)的標準化處理、集成及數(shù)據(jù)倉庫的構(gòu)建，形成農(nóng)業(yè)領(lǐng)域主要實踐應(yīng)用中的主題數(shù)據(jù)庫。平臺中設(shè)計工具部分可為系統(tǒng)用戶提供農(nóng)業(yè)相關(guān)信息快速查詢分析，并構(gòu)建農(nóng)作物生長指標工具、動態(tài)數(shù)據(jù)監(jiān)測、圖文報告等功能。平臺中預(yù)置應(yīng)用可為農(nóng)業(yè)管理者提供作物生長的綜合評價參數(shù)、監(jiān)控預(yù)警、預(yù)測優(yōu)化等分析模型和數(shù)據(jù)分析參考?；赑ortal技術(shù)BI門戶實現(xiàn)了綜合展板，可實現(xiàn)在同一界面中展示關(guān)鍵信息。

3.2.2 數(shù)據(jù)采集處理分析

精細農(nóng)業(yè)智能分析平臺的基礎(chǔ)是對海量多源數(shù)據(jù)進行采集及標準化的整合處理。在數(shù)據(jù)采集過程中，研究所采用的ETL工具有抽取高效、性能穩(wěn)定、插件框架的特點，其插件的可復(fù)用性較高，能夠針對于不同主題數(shù)據(jù)源的采集需求，設(shè)計相應(yīng)的數(shù)據(jù)采集插件。對于農(nóng)業(yè)生產(chǎn)過程中的終端用戶而言，無需復(fù)雜編程操作，便可簡單快速的從智能平臺獲取可視化展示的數(shù)據(jù)報告。在主題數(shù)據(jù)庫設(shè)計方面，可實現(xiàn)細節(jié)數(shù)據(jù)層、匯總數(shù)據(jù)層和應(yīng)用集市層的三級服務(wù)。首先，根據(jù)默認的ETL抽取規(guī)則將臨時存儲區(qū)數(shù)據(jù)抽取整理到細節(jié)數(shù)據(jù)層。然后，將細節(jié)數(shù)據(jù)層抽取、整理、分析成面向業(yè)務(wù)應(yīng)用主題的統(tǒng)計數(shù)據(jù)集，即匯總數(shù)據(jù)層。最后，將細節(jié)數(shù)據(jù)層和匯總數(shù)據(jù)層數(shù)據(jù)抽取整理成應(yīng)用集市層，形成農(nóng)業(yè)生產(chǎn)消費過程中相關(guān)主題對應(yīng)的多維數(shù)據(jù)立方體。

3.2.3 BI分析平臺

在農(nóng)業(yè)大數(shù)據(jù)智能分析平臺中，BI分析平臺是運用多維數(shù)據(jù)服務(wù)，將復(fù)雜的專業(yè)數(shù)據(jù)，以圖形等簡單易懂的形式展現(xiàn)出來。用戶可利用BI分析平臺提供的多維分析工具，簡單快捷地從數(shù)據(jù)立方體中對數(shù)據(jù)指標進行多維度的綜合分析，精準掌握各指標的動態(tài)和變化趨勢。此外，BI分析平臺也提供數(shù)據(jù)報告展示功能，平臺系統(tǒng)端可自動生成包含文字、數(shù)字、圖表、圖形等形式的數(shù)據(jù)分析報告。

4 結(jié)論

本研究分析構(gòu)建了面向精細農(nóng)業(yè)應(yīng)用的大數(shù)據(jù)分析體系結(jié)構(gòu)、設(shè)計思路及功能應(yīng)用，對農(nóng)業(yè)生產(chǎn)過程中產(chǎn)生的多源數(shù)據(jù)進行集成、挖掘分析，以實現(xiàn)大數(shù)據(jù)服務(wù)在農(nóng)業(yè)領(lǐng)域的精準需求分析、自動化生產(chǎn)、產(chǎn)品追溯的應(yīng)用。最終研究通過大數(shù)據(jù)技術(shù)的應(yīng)用，實現(xiàn)農(nóng)業(yè)生產(chǎn)及銷售過程的一體化，將農(nóng)業(yè)生產(chǎn)過程中種植、肥料供應(yīng)與后期加工、運輸、銷售等各環(huán)節(jié)數(shù)據(jù)鏈接成一個綜合數(shù)據(jù)信息平臺，并對其環(huán)節(jié)中相關(guān)要素進行統(tǒng)一協(xié)調(diào)和控制，以增加農(nóng)業(yè)生產(chǎn)過程中價值增值。

參考文獻

[1] 蔡書凱.大數(shù)據(jù)與農(nóng)業(yè)：現(xiàn)實挑戰(zhàn)與對策[J].電子商務(wù)，2014.22（9）：1149-1151.

[2] 張浩然，李中良，鄒騰飛，等.農(nóng)業(yè)大數(shù)據(jù)綜述[J].計算機科學(xué)，2014.41（S2）：387-392.

[3] 周子琦.制約我國農(nóng)業(yè)大數(shù)據(jù)應(yīng)用的因素及對策分析[J].商情，2015（4）：168.