楊雨鋒 四川信息職業(yè)技術(shù)學(xué)院 四川廣元 628017

?

基于大數(shù)據(jù)技術(shù)實現(xiàn)的農(nóng)村普惠金融系統(tǒng)

楊雨鋒 四川信息職業(yè)技術(shù)學(xué)院 四川廣元 628017

【文章摘要】

近年來農(nóng)業(yè)在我國經(jīng)濟體系中重要性逐漸提高。而農(nóng)業(yè)發(fā)展急需大量資金注入，銀行貸款是一種典型應(yīng)用。本系統(tǒng)主要在業(yè)務(wù)分析上考慮如何進行大數(shù)據(jù)技術(shù)應(yīng)用，數(shù)據(jù)服務(wù)模型，綜合分析農(nóng)村普惠金融系統(tǒng)的業(yè)務(wù)流程和功能性分析。為新農(nóng)村建設(shè)提供相關(guān)的技術(shù)支持。

【關(guān)鍵詞】

大數(shù)據(jù)；數(shù)據(jù)模型；Hadoop；功能分析

1　大數(shù)據(jù)技術(shù)簡介

大數(shù)據(jù)（big data），或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達到擷去、管理、處理并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。（在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》中大數(shù)據(jù)不用隨機分析法［抽樣調(diào)查］這樣的捷徑，而采用所有數(shù)據(jù)的方法）大數(shù)據(jù)的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Veracity（真實性）。

大數(shù)據(jù)是一個概念，也是一種技術(shù)，也是一種應(yīng)用。

大數(shù)據(jù)技術(shù)是云計算技術(shù)、軟件技術(shù)、網(wǎng)絡(luò)技術(shù)、通信技術(shù)、物聯(lián)網(wǎng)技術(shù)、市場營銷技術(shù)、電子商務(wù)技術(shù)、數(shù)據(jù)庫技術(shù)的綜合應(yīng)用，通過對互聯(lián)網(wǎng)上海量數(shù)據(jù)的跟蹤、分析，智能化的給人們提供決策依據(jù)，科學(xué)決策，從而提高成功率，創(chuàng)造價值。

2　數(shù)據(jù)庫技術(shù)介紹

數(shù)據(jù)庫（Database）是按照數(shù)據(jù)結(jié)構(gòu)來組織、存儲和管理數(shù)據(jù)的倉庫。如何處理的SOA-數(shù)據(jù)關(guān)系的三個不同模型來管理大數(shù)據(jù)、云數(shù)據(jù)和數(shù)據(jù)層次結(jié)構(gòu)。

SOA的三個數(shù)據(jù)中心模型分別是數(shù)據(jù)即服務(wù)（DaaS）模型、物理層次結(jié)構(gòu)模型和架構(gòu)組件模型。DaaS數(shù)據(jù)存取的模型描述了數(shù)據(jù)是如何提供給SOA組件的。物理模型描述了數(shù)據(jù)是如何存儲的以及存儲的層次圖是如何傳送到SOA數(shù)據(jù)存儲器上的。最后，架構(gòu)模型描述了數(shù)據(jù)、數(shù)據(jù)管理服務(wù)和SOA組件之間的關(guān)系。

常用的數(shù)據(jù)庫為MySql、SQLerver、Oracle等，與開發(fā)工具、Windows、Android、Linux、IOS等操作系統(tǒng)結(jié)合，即可開發(fā)出農(nóng)村普惠金融服務(wù)的管理軟件（平臺）。

數(shù)據(jù)庫效率問題可采用一個解決方案是現(xiàn)代分層存儲模式。數(shù)據(jù)庫不是磁盤，而是一組相互連接的高速緩存點，其存儲于本地內(nèi)存中，也可能轉(zhuǎn)向固態(tài)硬盤，然后到本地磁盤，最后到云存儲。緩存算法處理這些緩存點之間的活動，從而來平衡存儲成本（同時也是平衡同步地更新成本）和性能。

對于大數(shù)據(jù)，它也是經(jīng)?？梢詣?chuàng)建適用于大多數(shù)分析的匯總數(shù)據(jù)。

3　Hadoop介紹

Hadoop旨在通過一個高度可擴展的分布式批量處理系統(tǒng)，對大型數(shù)據(jù)集進行掃描，以產(chǎn)生其結(jié)果。Hadoop項目包括三部分，分別是Hadoop Distributed File System（HDFS）、HadoopMapReduce編程模型，以及Hadoop Common。

Hadoop平臺對于操作非常大型的數(shù)據(jù)集而言可以說是一個強大的工具。為了抽象Hadoop編程模型的一些復(fù)雜性，已經(jīng)出現(xiàn)了多個在Hadoop之上運行的應(yīng)用開發(fā)語言。Pig、Hive和Jaql是其中的代表。

4　農(nóng)村普惠金融系統(tǒng)功能分析

a.依權(quán)限等級提供讀寫修改功能。確保安全性。

b.提供多個客戶關(guān)系圖。直面形象的了解客戶之間關(guān)系。

c.提供各種類搜索引擎，可以快速搜索使用者需要的信息。

d.采用分布式云存儲，可以儲存更多的數(shù)據(jù)。

e.兼容并整合各種金融工具在數(shù)據(jù)庫中應(yīng)用中。

f.顯示編輯功能，可調(diào)節(jié)字體，背景等選項。

g.導(dǎo)出數(shù)據(jù)功能，在合法權(quán)限下可從數(shù)據(jù)庫導(dǎo)出數(shù)據(jù)。

h.提供簡單的分析功能，可初步分析客戶情況，給出參考建議。

i.個人備注功能，依靠帳號可寫入僅該用戶可看到的備注。

j.關(guān)注功能，需要關(guān)注客戶可收藏在關(guān)注欄。

5　軟件實現(xiàn)過程

第1步：收集數(shù)據(jù)

要查找數(shù)據(jù)、收集數(shù)據(jù)以及根據(jù)數(shù)據(jù)作出決策，您需要實現(xiàn)一個分布式系統(tǒng)。因為設(shè)備基本上在不停地發(fā)送數(shù)據(jù)，您需要能夠以較小的延遲加載數(shù)據(jù)（收集或獲取數(shù)據(jù)）。這項工作在收集點完成，這里也是為實時決策而評估數(shù)據(jù)的位置。稍后我們再回到收集點。

來自收集點的數(shù)據(jù)流入 Hadoop 集群（在本例中，即大數(shù)據(jù)機）?？赡苓€會將其他數(shù)據(jù)提供給此設(shè)備。例社交信源將來自分擇相關(guān)哈希標記的數(shù)據(jù)聚合者（通常是一家公司）。然后使用 Flume 或 Scribe 將數(shù)據(jù)加載到 Hadoop。

第2步：整理和移動數(shù)據(jù)

下一步是添加數(shù)據(jù)（社交信源、用戶個人信息和使結(jié)果與分析相關(guān)所需的任何其他數(shù)據(jù)）和開始整理、解釋和理解數(shù)據(jù)。

例如，將用戶個人信息添加到社交信源和添加位置數(shù)據(jù)以建立對各用戶以及用戶相關(guān)模式的全面了解。通常，這使用 Apache Hadoop MapReduce來完成。用戶個人信息通過 Hadoop InputFormat接口從 Oracle NoSQL 數(shù)據(jù)庫批量加載，因此被添加到MapReduce數(shù)據(jù)集。

為了將所有這些與 POS 數(shù)據(jù)、客戶關(guān)系管理（CRM）數(shù)據(jù)以及各種其他交易數(shù)據(jù)結(jié)合，您可能會使用 Oracle Big Data Connectors將精簡的數(shù)據(jù)高效地移動到 Oracle 數(shù)據(jù)庫。然后您可以使用 Oracle 商務(wù)智能云服務(wù)器（Exalytics）或業(yè)務(wù)智能（BI）工具或者（這是比較有趣的地方）通過數(shù)據(jù)挖掘之類的工具，對您所跟蹤的數(shù)據(jù)有一個全面的了解。

第3步：分析數(shù)據(jù)

最后一個階段（這里稱為“分析”）是創(chuàng)建數(shù)據(jù)挖掘模型和統(tǒng)計模型以便用于產(chǎn)生合適的優(yōu)惠券。這些模型真正是皇冠上的明珠，因為它們讓您能夠基于非常精確的模型實時進行決策。模型進入收集點和決策點以作用于實時數(shù)據(jù)。該模型描述和預(yù)測客戶個人的行為并基于這些預(yù)測確定要采取的行動。

第4步：開發(fā)、測試、運行系統(tǒng)

針對農(nóng)戶、銀行雙方的需求分析，按照軟件開發(fā)的流程，選擇合理的開發(fā)工具、數(shù)據(jù)庫、操作系統(tǒng)，組建團隊完成軟件開發(fā)，并且實現(xiàn)與現(xiàn)有郵儲銀行系統(tǒng)軟件的兼容、安全。

6　結(jié)束語

農(nóng)村普惠金融系統(tǒng)是根據(jù)農(nóng)業(yè)發(fā)展資金業(yè)務(wù)需要，結(jié)合銀行金融業(yè)務(wù)流程，開發(fā)采用主流技術(shù)形成的。在應(yīng)用過程過大量采用大數(shù)據(jù)技術(shù)，及時高效準確解決現(xiàn)實問題，具有一定應(yīng)用于推廣價值。

【參考文獻】

［1］陳志菲.大數(shù)據(jù)背景下提升高職研究水平的若干思考.邢臺職業(yè)技術(shù)學(xué)院學(xué)報.2015，32

［2］劉承良.網(wǎng)絡(luò)大數(shù)據(jù)的現(xiàn)狀與展望.中國管理信息化.2015，18（12）

［3］曾凌靜.大數(shù)據(jù)系統(tǒng)架構(gòu)及技術(shù)發(fā)展研究.石家莊學(xué)院學(xué)報.2015，17（6）

【作者簡介】

楊雨鋒 男，畢業(yè)于成都信息工程學(xué)院，現(xiàn)在四川信息職業(yè)技術(shù)學(xué)院任教，研究方向：網(wǎng)絡(luò)工程，linux應(yīng)用。