余長江 鄒帥 邱斌 孫浩

摘要：大數(shù)據(jù)技術(shù)因其數(shù)據(jù)化、網(wǎng)格化與動態(tài)化等特點與精準扶貧的機制要求相契合，數(shù)據(jù)扶貧成為了實現(xiàn)精準脫貧目標的可行路徑。該文通過采用大數(shù)據(jù)算法如聚類分析、ARIMA回歸等算法，從系統(tǒng)功能設(shè)計、系統(tǒng)架構(gòu)及技術(shù)實現(xiàn)內(nèi)容等方面分別進行了綜述，該研究成果在新疆“訪惠聚”駐村活動的精準扶貧實踐中，進行了試點建設(shè)并取得了成效。

關(guān)鍵詞：大數(shù)據(jù);精準扶貧;數(shù)據(jù)扶貧

中圖分類號：TP311? ? ? 文獻標識碼：A? ? ? 文章編號：1009-3044（2018）34-0006-03

1 立項選題的意義

我國扶貧工作開始于上世紀80年代中期，通過不懈努力取得了舉世公認的輝煌成就，但是長期以來貧困居民底數(shù)不清、情況不明、針對性不強、扶貧資金和項目指向不準的問題較為突出，2014年1月，我國政府詳細制定了精準扶貧工作模式的頂層設(shè)計，推動“精準扶貧”思想落地，全國各地先后全力開展內(nèi)容廣泛的精準扶貧工作。隨著對精準扶貧的進一步闡釋與發(fā)展，精準機制的要求更為具體細致，大數(shù)據(jù)技術(shù)因其數(shù)據(jù)化、網(wǎng)格化與動態(tài)化等特點與精準扶貧的機制要求相契合，數(shù)據(jù)扶貧成為了實現(xiàn)精準脫貧目標的可行路徑，大數(shù)據(jù)技術(shù)開始在精準扶貧的全國各地、各個領(lǐng)域開展試點。

在扶貧工作中，存在信息化程度低、數(shù)據(jù)不完善、監(jiān)管機制不明確、信息孤立缺乏共享等問題，缺少對貧困人口的致貧原因、幫扶項目、實施流程以及扶貧成效反饋之間的動態(tài)歸納，靜態(tài)滯后的工作方式開展扶貧很難達到貧困人口的準確識別。在精準扶貧實踐中，嘗試通過構(gòu)建農(nóng)村精準扶貧大數(shù)據(jù)支撐云平臺，打通扶貧相關(guān)多部門數(shù)據(jù)，運用大數(shù)據(jù)和人工智能等技術(shù)建立貧困人口特征模型，實現(xiàn)貧困人口精準識別、精準分析、扶貧效果趨勢預(yù)測等功能，助力精準扶貧工作具有很強的現(xiàn)實意義。

2 主要研究內(nèi)容

通過“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的技術(shù)實現(xiàn)思路，基于國務(wù)院貧困人口建檔立卡數(shù)據(jù)與其他政府已有扶貧相關(guān)內(nèi)部數(shù)據(jù)（包括公安人口基本數(shù)據(jù)、教育貧困生數(shù)據(jù)、民政數(shù)據(jù)、衛(wèi)生部門貧困人口醫(yī)療數(shù)據(jù)、社保社保數(shù)據(jù)等），再結(jié)合從互聯(lián)網(wǎng)上爬取的相關(guān)外部數(shù)據(jù)（包括人口關(guān)聯(lián)信息、貧困地區(qū)歷年受災(zāi)情況、教育資源分布地圖等），研究對扶貧緊密相關(guān)的內(nèi)外部數(shù)據(jù)進行有機融合，清洗、整理，并交叉驗證、比對識別出重要數(shù)據(jù)，挖掘其中深層次信息，實現(xiàn)信息共享和業(yè)務(wù)協(xié)作功能，對扶貧幫扶過程中三個重要階段（識貧、扶貧、脫貧）的現(xiàn)狀和需求進行監(jiān)控、數(shù)據(jù)挖掘、統(tǒng)計分析以及可視化的展現(xiàn)，研究為扶貧工作人員提供切實有效的工具，為扶貧領(lǐng)導(dǎo)層提供直觀的決策數(shù)據(jù)支撐。

3 系統(tǒng)架構(gòu)設(shè)計及主要技術(shù)實現(xiàn)

3.1 系統(tǒng)架構(gòu)設(shè)計

系統(tǒng)整體架構(gòu)通過分層設(shè)計、模塊化組合的整體設(shè)計思路，包含用戶及權(quán)限服務(wù)、界面服務(wù)、算法服務(wù)、數(shù)據(jù)存取服務(wù)、離線計算服務(wù)、數(shù)據(jù)同步服務(wù)等微服務(wù)，含安全路由網(wǎng)關(guān)、分布式高速共享緩存、分布式消息隊列、注冊中心、配置中心、監(jiān)控中心、日志中心、關(guān)系數(shù)據(jù)庫、KV數(shù)據(jù)庫、全文搜索引擎、圖數(shù)據(jù)庫。系統(tǒng)架構(gòu)設(shè)計如圖1所示。

微服務(wù)通過虛擬容器集群管理平臺進行服務(wù)器部署，相同功能微服務(wù)可以部署多個副本進行負載均衡，可以根據(jù)業(yè)務(wù)量規(guī)模大小進行橫向擴展，支持滾動式服務(wù)升級。

路由網(wǎng)關(guān)提供對網(wǎng)WEB服務(wù)，結(jié)合用戶及權(quán)限服務(wù)提供鑒權(quán)、授權(quán)功能保證內(nèi)網(wǎng)接口訪問安全性，通過高速共享緩存共享用戶會話信息，可通過VRRP協(xié)議部署多臺達到高可用的目的。

注冊中心用來注冊與發(fā)現(xiàn)微服務(wù)。

分布式消息隊列用于微服務(wù)間的通信，配置中心、監(jiān)控中心、日志中心也通過消息總線與所有微服務(wù)進行通信。

配置中心用于所有微服務(wù)的在線配置，可通過版本服務(wù)器對微服務(wù)進行在線配置與環(huán)境的進行無縫切換。

監(jiān)控中心用于所有微服務(wù)的斷路器狀態(tài)監(jiān)控、分布式鏈路跟蹤，可通過WEB監(jiān)控界面及時發(fā)現(xiàn)微服務(wù)的功能及性能問題。

日志中心用于收集所有微服務(wù)的日志，可通過WEB界面進行任意篩選與報表，可用于故障定位或用戶操作日志分析。

關(guān)系數(shù)據(jù)庫存放系統(tǒng)所需的關(guān)系型數(shù)據(jù)，通過主備份或主從備份達到高可用目的。

KV數(shù)據(jù)庫存放系統(tǒng)所需的Key Value類型的非結(jié)構(gòu)化數(shù)據(jù)，采用集群的方式可提高存儲與檢索的速度，同時達到可伸縮、高可用的目的。

全文搜索引擎用于對結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)進行索引并存儲，采用集群的方式可提高索引與檢索的速度，同時達到可伸縮、高可用目的。

圖數(shù)據(jù)庫用于存儲貧困戶、貧困家庭、社會關(guān)系，采用集群的方式可提高存儲與查找速度，同時達到可伸縮、高可用目的。

3.2 系統(tǒng)技術(shù)實現(xiàn)

通過對大數(shù)據(jù)分析模型所需的數(shù)據(jù)源的實地情況調(diào)研，通過架構(gòu)分層，明確大數(shù)據(jù)平臺從數(shù)據(jù)采集、整合、共享以及管理全流程所需技術(shù)，完成農(nóng)村精準扶貧大數(shù)據(jù)支撐云平臺的架構(gòu)設(shè)計，系統(tǒng)提供數(shù)據(jù)存儲，高效實時的數(shù)據(jù)關(guān)聯(lián)分析、計算、數(shù)據(jù)挖掘的能力，并提供查詢、檢索和可視化功能，如圖2所示。

數(shù)據(jù)采集技術(shù)，根據(jù)數(shù)據(jù)類型不同，采集技術(shù)上可以采用Sqoop、Flume、Data X、Emcd等成熟工具和技術(shù)，將傳統(tǒng)關(guān)系型數(shù)據(jù)庫、文件、消息等類型的數(shù)據(jù)采集到大數(shù)據(jù)平臺接口層。滿足跨平臺的數(shù)據(jù)交互，如Hadoop、Oracle、MySql等平臺間的交互，在數(shù)據(jù)采集過程中會對數(shù)據(jù)進行稽核校驗。

數(shù)據(jù)計算技術(shù)，數(shù)據(jù)到達接口層后，按照實時與離線批處理場景，進行分類計算整合，形成扶貧數(shù)據(jù)整合層。

數(shù)據(jù)存儲技術(shù)，采用分布式文件系統(tǒng)HDFS、Hbase、Mysql等混合存儲技術(shù)，滿足不同數(shù)據(jù)存儲需要。

資源管理技術(shù)，在集群管理方面引用Yarn開源平臺對多用戶以及多隊列實現(xiàn)虛擬CPU、內(nèi)存按照FIFO、Fair的方式進行任務(wù)調(diào)度和資源管理。在權(quán)限方面則通過Ranger對用戶訪問權(quán)限進行細粒度控制。

3.3 系統(tǒng)關(guān)鍵技術(shù)

3.3.1 聚類分析算法

聚類分析一種建立分類的多元統(tǒng)計分析方法，根據(jù)在數(shù)據(jù)中發(fā)現(xiàn)的信息，將數(shù)據(jù)對象分組。

K均值聚類是一種比較流行的聚類算法，這種算法的基本思想是將每一個樣品分配給最近中心的類別中，算法包括以下步驟：

1）將所有樣品分為K個初始類;

2）通過歐幾里得距離將某個樣品劃分到離中心最近的類別中，并對獲得樣品與失去樣品的類重新計算中心坐標;

3）一直重復(fù)第二步，指導(dǎo)所有樣品不能再被分為止。

4 系統(tǒng)功能實現(xiàn)

農(nóng)村精準扶貧大數(shù)據(jù)支撐云平臺實現(xiàn)的功能眾多，由于篇幅有限，以下就主要的核心功能進行簡要描述。

4.1 前端APP數(shù)據(jù)采集與交互

精準扶貧APP功能依托于精準扶貧中間件和應(yīng)用后臺管理系統(tǒng)的支撐，在手機上為扶貧人員提供貧困戶數(shù)據(jù)實時動態(tài)采集更新、實時統(tǒng)計分析、實時比對預(yù)警等功能。具體包括核心功能展示、掃一掃、對象查詢、數(shù)據(jù)統(tǒng)計、動態(tài)異常預(yù)警、教育指數(shù)、個人中心等。客戶端可通過條件篩選、鎖定范圍，對貧困人姓名進行搜索或直接鍵入身份證號，一鍵查詢貧困人員資料、幫扶干部、幫扶計劃等，可通過所選區(qū)域范圍查詢出該區(qū)域內(nèi)所有貧困戶列表，包括其貧困戶性別、年齡結(jié)構(gòu)、致貧原因、扶貧指標等信息，并對統(tǒng)計結(jié)果簡單分析，扶貧工作人員通過該功能可快速了解每戶扶貧整體狀況。其中通過“掃一掃”，掃描貧困戶身份證，通過OCR技術(shù)自動識別身份證信息，通過貧困人口身份代碼的唯一性，關(guān)聯(lián)出身份信息對應(yīng)貧困戶建檔立卡資料和其他部門關(guān)聯(lián)數(shù)據(jù)，展示數(shù)據(jù)比對信息。通過貧困人口身份代碼的唯一性，可以把扶貧措施、扶貧效果、政策性補助等歸集到同一貧困對象，提高扶貧干部的工作效率。

4.2 貧困人口畫像

貧困指數(shù)是一種常用的衡量社會公平程度的指標，基于阿瑪?shù)賮啞ど呢毨е笖?shù)理論，利用精準扶貧主題數(shù)據(jù)庫中的家庭成員數(shù)據(jù)、醫(yī)療健康數(shù)據(jù)、住房數(shù)據(jù)、教育數(shù)據(jù)，基于大數(shù)據(jù)技術(shù)，對家庭人口特征、人口規(guī)模、收入狀況、健康狀況、住房及產(chǎn)權(quán)條件、生活條件、資產(chǎn)狀況、受教育水平和職業(yè)等方面的信息進行匯總分析，憑借模型算法為每一個維度的數(shù)據(jù)設(shè)置不同的權(quán)重，生成貧困指數(shù)形成評估貧困目標的貧困等級。脫貧指數(shù)依托獲取目標區(qū)域數(shù)據(jù)（包括區(qū)域輿情信息、區(qū)域教育資源分布情況、區(qū)域歷年受災(zāi)情況），再圍繞貧困對象扶貧維度，分別以幫扶力度、健康狀況、消費層次、收入來源、交通條件、受教育程度、以及地域發(fā)展程度的多重數(shù)據(jù)，結(jié)合算法模型輸出相應(yīng)指數(shù)，反映出某一地理空間中貧困目標脫貧潛力的概率。

基于扶貧數(shù)據(jù)主題庫，通過直觀化的指數(shù)形式，研究建立全維度的貧困人口畫像，采用偏度-峰度法，對偏度和峰度兩個指標來檢查樣本是否符合正態(tài)分布。研究建立關(guān)聯(lián)關(guān)系圖譜，提取民政人口數(shù)據(jù)、醫(yī)療健康數(shù)據(jù)、社保數(shù)據(jù)，通過對以上數(shù)據(jù)交叉驗證、對比識別，對目標貧困戶所有直系或非直系親屬的人口數(shù)量、人口特征、收入水平等數(shù)據(jù)進行維度關(guān)聯(lián)，確立貧困人口關(guān)聯(lián)關(guān)系，建立目標貧困人群與潛在幫扶資源的關(guān)聯(lián)性分析，提供個性化扶貧資源整合建議。扶貧人員可利用扶貧對象畫像，快速精準評判貧困戶的貧困程度和脫貧成效，同時挖掘貧困戶的家庭關(guān)系和社會關(guān)系圖譜，有效識別貧困對象和預(yù)防假脫貧。

4.3 扶貧資金流向監(jiān)測預(yù)警

通過接入政府內(nèi)部數(shù)據(jù)、融合外部數(shù)據(jù)，對“政府”“扶貧地區(qū)”及“扶貧項目”三個維度進行關(guān)聯(lián)，通過統(tǒng)計圖表或數(shù)學方法，對數(shù)據(jù)資料進行整理、分析，并對數(shù)據(jù)的分布狀態(tài)、數(shù)字特征和隨機變量之間關(guān)系進行估計和描述。針對數(shù)據(jù)特征，結(jié)合區(qū)域動態(tài)走勢甄別與量化工具，找出數(shù)據(jù)的基本規(guī)律。扶貧工作人員可清晰直觀地了解了政府扶貧資金從發(fā)放到落實再到區(qū)域經(jīng)濟改善的整個過程流勢，以及項目是否存在問題。同時對該圖譜信息的分析來達到對整個扶貧資金發(fā)放流程的監(jiān)管及預(yù)警，實現(xiàn)監(jiān)管預(yù)警全覆蓋。

4.4 扶貧區(qū)域評價

扶貧區(qū)域評價是對精準扶貧、小范圍扶貧的宏觀的整體性扶貧評價?；谪毨е笖?shù)、脫貧指數(shù)以及政府扶貧措施、政府招標采購數(shù)據(jù)等一系列的扶貧手段和力度，利用平臺中已有數(shù)據(jù)，并對區(qū)域GDP、人均收入、產(chǎn)業(yè)結(jié)構(gòu)、區(qū)域地理條件、交通、資源結(jié)構(gòu)等數(shù)據(jù)進行整合分析和挖掘，通過發(fā)展指數(shù)和貧困指數(shù)的變換情況可以反映出扶貧措施的實施效果，每一項扶貧措施的所有數(shù)據(jù)都會與指數(shù)相關(guān)聯(lián)，扶貧措施影響指數(shù)的變化情況讓決策者清晰直觀地看到措施的實施效果，最終客觀準確的評估扶貧區(qū)域的扶貧評價。主要的扶貧質(zhì)量指標包括如貧困人口變化率（%）、貧困地區(qū)農(nóng)民人均純收入增長率（%）、貧困地區(qū)農(nóng)民人均生活消費支出增長率（%）、無房戶或住危房農(nóng)戶的下降率（%）、義務(wù)教育輟學率降低幅度（百分點）、有合格衛(wèi)生室村的增長率（%）、貧困地區(qū)貸款余額的增長率（%）等。

4.5 扶貧趨勢預(yù)測

貧困對象預(yù)測，根據(jù)主題數(shù)據(jù)庫中戶口、就醫(yī)、土地、生產(chǎn)資料、生活設(shè)施等信息，結(jié)合外部數(shù)據(jù)收入來源、人均消費、區(qū)域資源等信息，對扶貧區(qū)域貧困對象識別。通過線性回歸、LR、ARIMA等算法，依據(jù)歷史數(shù)據(jù)預(yù)測未來貧困狀態(tài)的值，識別因災(zāi)致貧、因病致貧等貧困人口，動態(tài)地預(yù)測其貧困情況。扶貧人員根據(jù)該預(yù)測制定專項幫扶措施，提前進行醫(yī)療救助、助學救助、殘疾救助、就業(yè)幫扶、產(chǎn)業(yè)發(fā)展等;同時就貧困區(qū)域預(yù)測，為扶貧領(lǐng)導(dǎo)提前制定區(qū)域政策提供數(shù)據(jù)支撐。

脫貧對象預(yù)測，對主題數(shù)據(jù)庫中貧困戶的戶口，土地，生產(chǎn)資料，生活設(shè)施等信息，結(jié)合外部數(shù)據(jù)收入來源、人均消費、區(qū)域資源、技術(shù)反饋、健康狀況等數(shù)據(jù)，通過大數(shù)據(jù)挖掘分析，對其是否脫離貧困的可能性進行科學的算法預(yù)測。扶貧人員依據(jù)脫貧預(yù)測結(jié)果，優(yōu)化幫扶措施，進行扶貧資源配置側(cè)重和優(yōu)化。

返貧對象預(yù)測，對脫貧戶建立脫貧檔案，并對脫貧戶的貧困指數(shù)進行定期監(jiān)控，通過回歸分析算法實現(xiàn)返貧對象識別，若監(jiān)測到脫貧戶的運作異常則立即發(fā)送返貧預(yù)警。扶貧人員通過返貧預(yù)測，及時知曉返貧預(yù)警并制定相應(yīng)解決措施。

4.6 扶貧人員工作評價

系統(tǒng)實現(xiàn)對扶貧干部工作的評價，對扶貧辦工作人員建檔立卡，實時定位干部，回溯干部扶貧走訪軌跡，通過機器深度學習，篩選出扶貧工作人員的工作評價，形成工作成效積分量化考評依據(jù)。

5 結(jié)束語

基于大數(shù)據(jù)技術(shù)特點與精準扶貧工作的契合特點，開展數(shù)據(jù)扶貧的應(yīng)用研究并將該成果應(yīng)用在新疆“訪惠聚”駐村活動的精準扶貧實踐中，通過構(gòu)建農(nóng)村精準扶貧大數(shù)據(jù)支撐云平臺，打通教育、民政、衛(wèi)計、人社、公安、水利、農(nóng)業(yè)等13個部門數(shù)據(jù)，對扶貧工作進行全過程的信息化支撐，取得了很好的應(yīng)用效果。

參考文獻：

[1] 劉洋. 層次混合存儲系統(tǒng)中緩存和預(yù)取技術(shù)研究[D]. 武漢： 華中科技大學， 2013.

[2] 傅穎勛， 羅圣美， 舒繼武. 安全云存儲系統(tǒng)與關(guān)鍵技術(shù)綜述[J]. 計算機研究與發(fā)展， 2013， 50（1）： 136-145.

[3] 鄧維杰. 精準扶貧的難點、對策與路徑選擇[J]. 農(nóng)村經(jīng)濟， 2014（6）： 78-82.

[4] Liping Xiang， Yinlong Xu， John C S， et al. A Hybrid Approach to Failed Disk Recovery Using RAID-6 Codes[J]. ACM Transactions on Storage（TOS）， 2011（3）： 1-34.

[5] 刁瑩. 用數(shù)學建模方法評價存儲系統(tǒng)性能[D]. 哈爾濱： 哈爾濱工程大學， 2013.

[6] 汪三貴， 郭子豪. 論中國的精準扶貧[J]. 貴州社會科學， 2015（5）： 147-150.

[7] 李勇. 異構(gòu)存儲系統(tǒng)中的緩存技術(shù)研究[D]. 武漢： 華中科技大學， 2014.

[8] 孟小峰， 慈祥. 大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J]. 計算機研究與發(fā)展， 2013， 50（1）： 146-169.

[9] 田敬. 對等存儲系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D]. 北京： 北京大學， 2007.

【通聯(lián)編輯：謝媛媛】