丘美景，王倩桃，熊筠野

（廣東電網(wǎng)有限責(zé)任公司梅州供電局，梅州 514000）

隨著辦公軟件的普及，越來(lái)越多管理人員使用EXCEL表格對(duì)下級(jí)單位進(jìn)行資料搜集，由于大多數(shù)下發(fā)搜集的管理人員處于一對(duì)多的關(guān)系，搜集上來(lái)的資料隨業(yè)務(wù)的增加而成倍增長(zhǎng)，越來(lái)越多的EXCEL反饋表格（有些還有N個(gè)版本）使管理人員匯總時(shí)容易疲勞、出錯(cuò)。

該系統(tǒng)是針對(duì)上述痛點(diǎn)進(jìn)行設(shè)計(jì)的一套軟件，意在解決管理人員在資料搜集過(guò)程中存在的各種痛點(diǎn)（防止資料誤刪、誤改、誤增、誤操作等），從而提升業(yè)務(wù)能力和管理水平。系統(tǒng)將搜集的資料以任務(wù)的方式進(jìn)行下發(fā)，功能模塊包括任務(wù)下發(fā)、任務(wù)跟蹤、任務(wù)提醒、任務(wù)處理等功能，支持線上線下操作功能，簡(jiǎn)單實(shí)用。同時(shí)通過(guò)系統(tǒng)數(shù)據(jù)進(jìn)行圖形化進(jìn)行大屏展示，任務(wù)情況一目了然，極大地提升管理水平，管理逐步形成信息化、自動(dòng)化。

1 概述

用戶信息采集系統(tǒng)出現(xiàn)較早，是基于Web信息采集系統(tǒng)，其類型主要分為以下幾種：

（1）Web信息采集。Web信息采集作為一種應(yīng)用最為廣泛的信息采集方式，信息采集主要是經(jīng)根節(jié)點(diǎn)至關(guān)聯(lián)的子節(jié)點(diǎn)，并對(duì)所有的鏈接節(jié)點(diǎn)進(jìn)行采集，直到采集完畢為止。

（2）主題信息采集。根據(jù)采集主題的約定，對(duì)與主題相關(guān)的數(shù)據(jù)進(jìn)行采集，并可以通過(guò)多種數(shù)據(jù)文本來(lái)描述主題。

（3）增量式的信息采集。在數(shù)據(jù)采集時(shí)，需要在靜止的頁(yè)面下不斷更新Web頁(yè)面，只需要對(duì)部分頁(yè)面數(shù)據(jù)進(jìn)行更新，這樣會(huì)節(jié)省大量的采集時(shí)間，且能夠提升信息采集效率。

（4）個(gè)性化的信息采集。在信息采集時(shí)，我們可以結(jié)合用戶的需求進(jìn)行信息采集，這樣可以滿足不同用戶的使用需求。

（5）分布式的信息采集。在信息采集時(shí)，我們可以設(shè)置不同的采集節(jié)點(diǎn)，利用信息的協(xié)同性進(jìn)行采集，并將采集數(shù)據(jù)進(jìn)行合并，此采集方式具有性能好、速度快等優(yōu)點(diǎn)，能夠有效提升采集服務(wù)質(zhì)量，確保采集的協(xié)調(diào)性。

2 總體需求分析

2.1 技術(shù)原理

本文實(shí)現(xiàn)基于自動(dòng)化信息收集管理系統(tǒng)總體需求分析，包括系統(tǒng)功能和性能分析。在系統(tǒng)架構(gòu)模式上，采用了B/S設(shè)計(jì)模式，有利于減少系統(tǒng)維護(hù)的工作量，降低系統(tǒng)開發(fā)成本。其系統(tǒng)的技術(shù)原理如下：

該系統(tǒng)采用B/S架構(gòu)，HTML、JS、JAVA等開發(fā)語(yǔ)言，Mysql數(shù)據(jù)庫(kù)用于存儲(chǔ)數(shù)據(jù)；因當(dāng)前這種開發(fā)技術(shù)已成熟，系統(tǒng)操作較為簡(jiǎn)單，故我們可以根據(jù)用戶的需求，構(gòu)建自動(dòng)化信息收集管理系統(tǒng)，并對(duì)系統(tǒng)功能結(jié)構(gòu)進(jìn)行劃分。在系統(tǒng)功能結(jié)構(gòu)設(shè)計(jì)時(shí)，其結(jié)構(gòu)功能主要分為以下幾種：信息采集功能、加工功能、統(tǒng)計(jì)分析功能、系統(tǒng)管理功能和參數(shù)設(shè)置功能。其中，系統(tǒng)管理功能主要由用戶管理、系統(tǒng)操作管理、角色管理、訪問(wèn)權(quán)限管理等幾個(gè)部分組成。

2.2 系統(tǒng)研究?jī)?nèi)容

自動(dòng)化信息收集管理系統(tǒng)的應(yīng)用，其應(yīng)用內(nèi)容主要包括以下幾個(gè)方面：一是自動(dòng)化信息收集管理系統(tǒng)開發(fā)技術(shù)，主要包括：技術(shù)架構(gòu)、功能設(shè)計(jì)、開發(fā)平臺(tái)介紹等；二是系統(tǒng)總體需求分析與設(shè)計(jì)；三是開發(fā)自動(dòng)化信息收集管理系統(tǒng)的功能模塊。

2.3 非功能性需求分析

根據(jù)非功能性需求分析，其需求如下：在界面設(shè)計(jì)需求上，自動(dòng)化信息收集管理系統(tǒng)設(shè)計(jì)界面滿足總體需求，使信息采集更快速，體驗(yàn)更豐富，界面更友好；在功能擴(kuò)展要求上，自動(dòng)化信息收集管理系統(tǒng)采用了擴(kuò)展功能，對(duì)系統(tǒng)進(jìn)行升級(jí)，在系統(tǒng)維護(hù)時(shí)，采用遠(yuǎn)程更新方式。

3 系統(tǒng)設(shè)計(jì)

（1）該系統(tǒng)采用B/S架構(gòu)，并采用HTML、JS的開發(fā)語(yǔ)言和Mysql數(shù)據(jù)庫(kù)，用于存儲(chǔ)數(shù)據(jù)。

（2）安全設(shè)計(jì)方面，既保證數(shù)據(jù)安全又保證服務(wù)安全；數(shù)據(jù)方面采用HTTPS加密，消息內(nèi)容加密、Token校驗(yàn)、防SQL注入、非常用登錄地址郵件提醒和同一用戶操作頻率的監(jiān)控等安全技術(shù)手段；服務(wù)安全方面采用nginx反向代理。

（3）使用Nginx做反向代理提高服務(wù)吞吐量、便于服務(wù)器分布擴(kuò)展、安全；nginx作為代理可以滿足大量客戶端的同時(shí)請(qǐng)求并均衡的分發(fā)到相應(yīng)服務(wù)的實(shí)例，同時(shí)避免了服務(wù)器ip和端口直接與外網(wǎng)聯(lián)通從而達(dá)到防止攻擊的效果。

（4）服務(wù)端采用微服務(wù)進(jìn)行項(xiàng)目設(shè)計(jì)與開發(fā)以達(dá)到業(yè)務(wù)解耦的效果（即高內(nèi)聚低耦合）使復(fù)雜的業(yè)務(wù)模塊化便于擴(kuò)展和維護(hù)。

（5）在微服務(wù)的基礎(chǔ)上實(shí)現(xiàn)分布式部署提高系統(tǒng)的容錯(cuò)性（一個(gè)服務(wù)的癱瘓并不會(huì)讓整個(gè)系統(tǒng)癱瘓，用戶使用的功能均正常）、動(dòng)態(tài)增加和減少服務(wù)實(shí)例。

（6）服務(wù)實(shí)現(xiàn)兩套對(duì)外接口便于系統(tǒng)之間的對(duì)接，一是RESTFUL風(fēng)格方便已有非微服務(wù)業(yè)務(wù)程序調(diào)用（即：可以方便其他有相同或類似業(yè)務(wù)需求的人員使用）；二是rpc（遠(yuǎn)程服務(wù)接口過(guò)程調(diào)用）風(fēng)格便于微服務(wù)業(yè)務(wù)擴(kuò)展及相互之間高效率的數(shù)據(jù)交互。

（7）預(yù)警體系，對(duì)服務(wù)內(nèi)出現(xiàn)的報(bào)錯(cuò)、接口請(qǐng)求超時(shí)、數(shù)據(jù)庫(kù)請(qǐng)求超時(shí)等各種異常增加一套預(yù)警系統(tǒng)實(shí)時(shí)監(jiān)控及發(fā)送郵件到相關(guān)負(fù)責(zé)人。

（8）服務(wù)部署，mysql采用多主多從的集群方式部署，根據(jù)業(yè)務(wù)需求對(duì)數(shù)據(jù)進(jìn)行定時(shí)備份；微服務(wù)均使用多實(shí)例部署以達(dá)到7*24小時(shí)不停機(jī)保證高可用。

（9）使用成熟開源的分布式任務(wù)調(diào)度架構(gòu)xxl-job（可實(shí)現(xiàn)瀏覽器界面操作，簡(jiǎn)單，方便，功能強(qiáng)大），以滿足一些調(diào)度業(yè)務(wù)需求。

4 技術(shù)關(guān)鍵點(diǎn)及創(chuàng)新點(diǎn)

（1）技術(shù)關(guān)鍵點(diǎn)。①將人工下發(fā)任務(wù)方式進(jìn)行信息化，系統(tǒng)自動(dòng)匯總查重，消除人工誤操作的風(fēng)險(xiǎn)；②將業(yè)務(wù)信息修改提供數(shù)據(jù)級(jí)審計(jì)，提高數(shù)據(jù)準(zhǔn)確性及可追溯性。

（2）創(chuàng)新點(diǎn)。①改變?cè)匈Y料搜集方式，由系統(tǒng)統(tǒng)一下發(fā)，業(yè)務(wù)高效、準(zhǔn)確；②減少人工匯總時(shí)間，提高工作效率；③對(duì)于資料搜集的數(shù)據(jù)進(jìn)行流程變更把控，提高數(shù)據(jù)準(zhǔn)確性及可追溯性。

5 結(jié)束語(yǔ)

本文實(shí)現(xiàn)對(duì)自動(dòng)化信息收集管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)工作，得到了以下幾點(diǎn)結(jié)論：

（1）實(shí)現(xiàn)系統(tǒng)的需求分析和系統(tǒng)文檔設(shè)計(jì)。

（2）實(shí)現(xiàn)系統(tǒng)功能的優(yōu)化與完善，并適當(dāng)增加系統(tǒng)其他功能。

（3）與通過(guò)郵件或紙質(zhì)形式搜集資料的辦公方式相比，該系統(tǒng)將該流程進(jìn)行信息化，大大縮減了人力物力。

（3）系統(tǒng)會(huì)自動(dòng)進(jìn)行重復(fù)數(shù)據(jù)刪除、匯總，消除了人工EXCEL表格匯總誤操作。

（4）實(shí)現(xiàn)對(duì)自動(dòng)化信息收集管理系統(tǒng)的數(shù)據(jù)操作的審計(jì)。

（5）此系統(tǒng)是針對(duì)普遍管理人員工作方式的痛點(diǎn)，提高工作效率及準(zhǔn)確性，消除人工誤操作，具備通用性及推廣性。