摘 要:“大數(shù)據(jù)”已發(fā)展成為了數(shù)據(jù)挖掘以及智慧應(yīng)用的前沿技術(shù),是在物聯(lián)網(wǎng)、云計算之后信息技術(shù)產(chǎn)業(yè)領(lǐng)域的又一次重大的技術(shù)變革。文章從大數(shù)據(jù)農(nóng)業(yè)發(fā)展的現(xiàn)狀、發(fā)展中遇到的主要問題、大數(shù)據(jù)農(nóng)業(yè)發(fā)展的關(guān)鍵技術(shù)、以及大數(shù)據(jù)農(nóng)業(yè)發(fā)展的現(xiàn)實(shí)制約幾方面進(jìn)行分析和探討,并且對我國的大數(shù)據(jù)農(nóng)業(yè)和智慧型農(nóng)業(yè)的發(fā)展提出建議。
關(guān)鍵詞:大數(shù)據(jù);關(guān)鍵技術(shù);農(nóng)業(yè)發(fā)展
1 概述
大數(shù)據(jù)的發(fā)展延伸出很多分支,農(nóng)業(yè)大數(shù)據(jù)是非常具有特色的一支,因?yàn)樵谵r(nóng)業(yè)領(lǐng)域里創(chuàng)新性的結(jié)合了大數(shù)據(jù)理論、技術(shù)和方法。
農(nóng)業(yè)大數(shù)據(jù)是農(nóng)業(yè)與大數(shù)據(jù)的結(jié)合,除了具有大數(shù)據(jù)的特性之外,還具有復(fù)雜性和分散性的特征。農(nóng)業(yè)的發(fā)展也不再是簡單的耕地、播種、施肥、殺蟲等等環(huán)節(jié),而是涉及到更多的跨行業(yè)、跨專業(yè)、跨業(yè)務(wù)的發(fā)展,在農(nóng)業(yè)大數(shù)據(jù)中,更多的是數(shù)據(jù)分析與挖掘,以及數(shù)據(jù)的可視化。
2 農(nóng)業(yè)大數(shù)據(jù)面臨的主要問題
2.1 數(shù)據(jù)量化能力低
在農(nóng)業(yè)中,農(nóng)業(yè)普查是獲取農(nóng)作物產(chǎn)量、農(nóng)產(chǎn)品市場價格等這些數(shù)據(jù)的唯一途徑。但是,農(nóng)業(yè)普查獲得的數(shù)據(jù)也最容易受到人為因素的影響。比如,從普查人員的角度來說,可能受到自身業(yè)務(wù)能力水平或是個人利益的影響,導(dǎo)致數(shù)據(jù)出現(xiàn)質(zhì)量問題;從農(nóng)業(yè)普查機(jī)構(gòu)的角度來說,在審核過程中的程序有缺陷、把關(guān)不嚴(yán)密,以及普查的方案存在漏洞,這些都會影響普查數(shù)據(jù)的質(zhì)量。
2.2 數(shù)據(jù)共享量率低
在市場經(jīng)濟(jì)發(fā)展的過程中,由于農(nóng)業(yè)經(jīng)營和生產(chǎn)模式逐步分散化,所以要將農(nóng)業(yè)生產(chǎn)在全國范圍內(nèi)進(jìn)行統(tǒng)一規(guī)劃變得很難。而且,掌握這些數(shù)據(jù)的大型涉農(nóng)網(wǎng)站和一些涉農(nóng)研究管理機(jī)構(gòu),因?yàn)轶w質(zhì)和相互競爭等因素,導(dǎo)致了彼此之間不能共享信息,不能共享數(shù)據(jù),造成大量的農(nóng)業(yè)數(shù)據(jù)之間缺乏統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范,使得數(shù)據(jù)共享率極低。
2.3 對數(shù)據(jù)分析解釋的客觀性問題片面
只要是有效的大數(shù)據(jù)工具和方法都可以對采集到農(nóng)業(yè)領(lǐng)域的數(shù)據(jù)進(jìn)行分析。但是在對數(shù)據(jù)分析的過程中,不同的職能機(jī)構(gòu)有各自的執(zhí)行標(biāo)準(zhǔn)和規(guī)范,在按照這些標(biāo)準(zhǔn)和規(guī)范解釋數(shù)據(jù)時,使得分析得到的結(jié)果存在很大差異,還有的分析人員對數(shù)據(jù)分析代有主觀色彩,造成了“數(shù)據(jù)偏見”。
鑒于上述問題,必須改變獲取農(nóng)業(yè)大數(shù)據(jù)的來源,一般由機(jī)器提供的數(shù)據(jù)客觀性較強(qiáng),可以考慮將互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)技術(shù)與農(nóng)業(yè)結(jié)合。
3 農(nóng)業(yè)大數(shù)據(jù)的關(guān)鍵技術(shù)
可以看出,由于大數(shù)據(jù)的數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜,而農(nóng)業(yè)大數(shù)據(jù)作為它的一個分支,對其進(jìn)行分析面臨非常嚴(yán)峻的挑戰(zhàn)。用現(xiàn)有技術(shù)對數(shù)據(jù)的提取、存儲、搜索、共享、分析和處理已經(jīng)非常困難,因此對處理大數(shù)據(jù)中的一些關(guān)鍵技術(shù)的研究顯得十分的迫切。下面是歸納出的三個方面:
3.1 大數(shù)據(jù)存儲技術(shù)
大數(shù)據(jù)核心技術(shù)是基于存儲的計算,所以數(shù)據(jù)的存儲是基礎(chǔ)。大數(shù)據(jù)的數(shù)據(jù)量日益龐大,使得傳統(tǒng)存儲技術(shù)面臨建設(shè)成本高、運(yùn)維復(fù)雜、擴(kuò)展性有限等問題,急需尋找成本低廉、擴(kuò)展性高的存儲技術(shù),云存儲技術(shù)應(yīng)運(yùn)而生。通過用集群應(yīng)用、網(wǎng)格技術(shù)或者是分布式文件系統(tǒng)等將網(wǎng)絡(luò)中大量各種不同的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng),就是云系統(tǒng)的工作原理。
存儲層主要是將若干個存儲設(shè)備虛擬化管理;基礎(chǔ)管理層是管理云存儲設(shè)備之間協(xié)同工作,使多個存儲設(shè)備對外提供同一種服務(wù);應(yīng)用接口層就是提供各種服務(wù)接口;訪問層就是授權(quán)用戶可以登錄云存儲系統(tǒng),享受云服務(wù)。
3.2 大數(shù)據(jù)管理技術(shù)
數(shù)據(jù)存儲好后,還要對其進(jìn)行深度分析,從中發(fā)現(xiàn)有用信息加以利用,并不是簡單的生成報表,要運(yùn)用復(fù)雜的分析模型以及數(shù)據(jù)對其進(jìn)行分析。雖然SQL語言(存取關(guān)系數(shù)據(jù)庫系統(tǒng)語言)在經(jīng)過不斷的擴(kuò)充,其功能和表達(dá)能力也不斷的增強(qiáng),但是由于關(guān)系數(shù)據(jù)管理的對象主要是標(biāo)準(zhǔn)化的結(jié)構(gòu)化數(shù)據(jù),而現(xiàn)在成熟的數(shù)據(jù)庫大部分都是結(jié)構(gòu)化的設(shè)計。所以在大數(shù)據(jù)時代,面對海量的半結(jié)構(gòu)化和非結(jié)構(gòu)數(shù)據(jù),關(guān)系數(shù)據(jù)管理技術(shù)喪失了其特有的優(yōu)勢。在實(shí)際應(yīng)用中,非結(jié)構(gòu)化數(shù)據(jù)比如辦公文檔、文本、圖片、圖像和音頻/視頻信息等等逐步上升為主導(dǎo)地位。顯然,關(guān)系數(shù)據(jù)管理系統(tǒng)不能夠繼續(xù)勝任大數(shù)據(jù)分析的要求,所面臨的挑戰(zhàn)是必然的,必須研究一種新型的數(shù)據(jù)管理技術(shù)。
3.3 大數(shù)據(jù)處理技術(shù)
大數(shù)據(jù)處理的流程主要包括以下四個環(huán)節(jié):采集、導(dǎo)入(預(yù)處理)、統(tǒng)計(分析)、挖掘。在這四個環(huán)節(jié)中,數(shù)據(jù)挖掘是最關(guān)鍵的步驟。因?yàn)榍叭齻€環(huán)節(jié)可以通過運(yùn)用特定的算法,或是機(jī)器采集來進(jìn)行分析。對于數(shù)據(jù)挖掘沒有預(yù)先設(shè)定的主題,主要是利用現(xiàn)有的數(shù)據(jù),運(yùn)用各種算法,達(dá)到預(yù)測的效果,進(jìn)而對一些高級別數(shù)據(jù)進(jìn)行進(jìn)一步的分析。例如,通過分析農(nóng)業(yè)大數(shù)據(jù),可以很好的預(yù)測農(nóng)產(chǎn)品市場價格走向等等。可以看出數(shù)據(jù)挖掘中涉及的數(shù)據(jù)量和計算量都很大,相應(yīng)的數(shù)據(jù)挖掘算法也很復(fù)雜。
以上述關(guān)鍵技術(shù)作為支撐,結(jié)合自身需要,并且針對所在領(lǐng)域的特點(diǎn),細(xì)化研究大數(shù)據(jù),才能發(fā)現(xiàn)問題,有針對性的解決。
參考文獻(xiàn)
[1]劉鵬,吳兆峰,胡谷雨.大數(shù)據(jù)——正在發(fā)生的深刻變革[J].中興通訊技術(shù),2013(04).
[2]張浩然,李中良,鄒騰飛,等.農(nóng)業(yè)大數(shù)據(jù)綜述[J].計算機(jī)科學(xué),2014(S2).
[3]李道亮.物聯(lián)網(wǎng)與智慧農(nóng)業(yè)[J].農(nóng)業(yè)工程,2012(01).
[4]楊大蓉.中國智慧農(nóng)業(yè)產(chǎn)業(yè)發(fā)展策略[J].江蘇農(nóng)業(yè)科學(xué),2014(04).
[5]James Manyika,Michael Chui,Brad Brown,et al.Big data:The next frontier for innovation,competition,and productivity,2011.
[6]孟小峰,慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計算機(jī)研究與發(fā)展,2013(01).
[7]王強(qiáng).大數(shù)據(jù)技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用分析及建設(shè)策略[J].新疆農(nóng)業(yè)科技,2015(01).
作者簡介:李旭茹(1990,8-),女,山西呂梁,碩士,研究方向是圖象處理與識別,助教,工作單位是山西農(nóng)業(yè)大學(xué)軟件學(xué)院。