金鑫 于英濤

[摘 ? ?要] 文章以一個(gè)典型的集團(tuán)型企業(yè)為例，介紹了數(shù)據(jù)采集的方案設(shè)計(jì)及工程實(shí)踐。結(jié)合集團(tuán)與下屬單位的特點(diǎn)，進(jìn)行完整的技術(shù)體系設(shè)計(jì)，明確了重點(diǎn)數(shù)據(jù)處理過程，支持全面數(shù)據(jù)采集的實(shí)現(xiàn)。

[關(guān)鍵詞] 數(shù)字采集;數(shù)據(jù)處理過程;企業(yè)管理

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2020. 23. 051

[中圖分類號(hào)] F270.7 ? ?[文獻(xiàn)標(biāo)識(shí)碼] ?A ? ? ?[文章編號(hào)] ?1673 - 0194（2020）23- 0123- 03

1 ? ? ?項(xiàng)目背景

集團(tuán)型企業(yè)是以一個(gè)實(shí)力雄厚的大型企業(yè)為核心，以產(chǎn)權(quán)聯(lián)結(jié)為主要紐帶， 并以產(chǎn)品、技術(shù)、經(jīng)濟(jì)、契約等多種紐帶，把多個(gè)企業(yè)、事業(yè)單位聯(lián)結(jié)在一起，具有多層次結(jié)構(gòu)的以母子公司為主體的多法人經(jīng)濟(jì)聯(lián)合體。集團(tuán)型企業(yè)具有金字塔式垂直分層的組織結(jié)構(gòu)，一般有一個(gè)能起主導(dǎo)作用的核心，這個(gè)核心可以是一個(gè)從事生產(chǎn)經(jīng)營(yíng)的法人企業(yè)，也可以是一個(gè)專門從事經(jīng)營(yíng)的法人企業(yè)，也可以是一個(gè)具有管理職能的機(jī)構(gòu)，處于集團(tuán)型企業(yè)的管理頂端，負(fù)責(zé)管控下屬單位的治理結(jié)構(gòu)、角色定位與職責(zé)、資源管控方式、績(jī)效管理體系等。集團(tuán)型企業(yè)在市場(chǎng)競(jìng)爭(zhēng)中對(duì)于優(yōu)化資源配置和分散風(fēng)險(xiǎn)具有無可比擬的優(yōu)越性。每個(gè)下屬單位又是相對(duì)完整獨(dú)立的經(jīng)營(yíng)企業(yè)法人，接受集團(tuán)的各項(xiàng)管理，又要獨(dú)立開展業(yè)務(wù)。

數(shù)據(jù)采集是支持集團(tuán)化管理的利器。數(shù)據(jù)采集又稱數(shù)據(jù)獲取，是利用一種裝置，從系統(tǒng)外部采集數(shù)據(jù)并輸入到系統(tǒng)內(nèi)部的一個(gè)接口。數(shù)據(jù)采集的方法一般包括軟件接口方式、客戶端采集、網(wǎng)絡(luò)爬蟲、開放數(shù)據(jù)方式等。其中，軟件接口方式數(shù)據(jù)可靠性與價(jià)值較高，但可擴(kuò)展性有局限;客戶端采集兼容性較強(qiáng)，但采集數(shù)據(jù)的實(shí)時(shí)性有一定限制;網(wǎng)絡(luò)爬蟲支持自動(dòng)抓取互聯(lián)網(wǎng)的程序或腳本，但容易受反爬機(jī)制影響;開發(fā)數(shù)據(jù)庫(kù)方式簡(jiǎn)單直接，但安全性方面有局限。多種數(shù)據(jù)采集方式各有優(yōu)勢(shì)，應(yīng)用場(chǎng)景也不相同。如何有效地與集團(tuán)型企業(yè)管理特點(diǎn)結(jié)合，適應(yīng)實(shí)際情況，實(shí)現(xiàn)有效采集，成為集團(tuán)型企業(yè)信息化建設(shè)中的關(guān)鍵問題。

某集團(tuán)型企業(yè)為了加強(qiáng)集團(tuán)管控能力，在信息化建設(shè)方面加大力度，構(gòu)建了較為完善的基礎(chǔ)設(shè)施，具備了集團(tuán)與各下屬單位之間的網(wǎng)絡(luò)聯(lián)通條件，能夠?qū)崿F(xiàn)信息的無障礙傳輸。各下屬單位建設(shè)了主營(yíng)業(yè)務(wù)的支撐系統(tǒng)，能夠支撐本單位業(yè)務(wù)的數(shù)字化開展。為了進(jìn)一步加強(qiáng)宏觀管控，構(gòu)建集團(tuán)一體化的數(shù)據(jù)采集體系需求迫切。

2 ? ? ?系統(tǒng)設(shè)計(jì)方案

2.1 ? 集團(tuán)端設(shè)計(jì)

集團(tuán)端處于管理頂端，是數(shù)據(jù)采集的中樞，結(jié)合戰(zhàn)略導(dǎo)向開展數(shù)據(jù)采集，構(gòu)建統(tǒng)一的數(shù)據(jù)采集交換系統(tǒng)對(duì)各下屬單位提供全面的數(shù)據(jù)采集交換服務(wù)，主要采用軟件接口方式進(jìn)行數(shù)據(jù)采集，具體包括：統(tǒng)一接收服務(wù)、統(tǒng)一驗(yàn)證服務(wù)、統(tǒng)一解析服務(wù)、安全傳輸組件、統(tǒng)一存儲(chǔ)服務(wù)和統(tǒng)一安全審計(jì)服務(wù)，并將上報(bào)數(shù)據(jù)中的元數(shù)據(jù)寫入統(tǒng)一數(shù)據(jù)存儲(chǔ)庫(kù)，如圖1所示。

（1）統(tǒng)一接收服務(wù)：面向各下屬單位提供數(shù)據(jù)接收的接口服務(wù)，各單位的前置服務(wù)區(qū)將通過該接口向集團(tuán)前置匯聚服務(wù)區(qū)提供數(shù)據(jù)。同時(shí)，該服務(wù)提供狀態(tài)反饋，數(shù)據(jù)傳輸狀態(tài)的及時(shí)返回，并針對(duì)傳輸失敗數(shù)據(jù)進(jìn)行及時(shí)的消息提醒。

（2）統(tǒng)一驗(yàn)證服務(wù)：提供數(shù)據(jù)的格式驗(yàn)證、狀態(tài)校驗(yàn)、完整性校驗(yàn)等服務(wù)，確保上報(bào)數(shù)據(jù)符合要求、完整準(zhǔn)確。

（3）統(tǒng)一解析服務(wù)：提供數(shù)據(jù)的解析服務(wù)，解析數(shù)據(jù)包中的元數(shù)據(jù)、受控屬性和版式文件，對(duì)上報(bào)數(shù)據(jù)包進(jìn)行拆包，還原其中的元數(shù)據(jù)、版式文件等內(nèi)容。

（4）統(tǒng)一存儲(chǔ)服務(wù)：提供數(shù)據(jù)的存儲(chǔ)服務(wù)，將解析出的元數(shù)據(jù)寫入到集團(tuán)，將版式文件存儲(chǔ)到數(shù)據(jù)存儲(chǔ)服務(wù)中，數(shù)據(jù)存儲(chǔ)服務(wù)可以為磁盤路徑、FTP、NFS、NAS、SAN等多種文件存儲(chǔ)服務(wù)中。由各下屬單位數(shù)據(jù)加密存儲(chǔ)，未被授權(quán)的用戶或系統(tǒng)管理員也無法獲取數(shù)據(jù)內(nèi)容。

（5）統(tǒng)一安全審計(jì)服務(wù)：對(duì)數(shù)據(jù)進(jìn)行詳細(xì)的日志記錄，記錄數(shù)據(jù)來源、數(shù)據(jù)用途、受控等級(jí)、受控范圍、受控期限等內(nèi)容，通過管理平臺(tái)提供統(tǒng)計(jì)分析、操作追蹤等服務(wù)。

（6）管理平臺(tái)：提供前置匯聚服務(wù)區(qū)的配置和管理維護(hù)，統(tǒng)一配置各下屬單位前置匯聚服務(wù)區(qū)接入信息，配置接入安全策略，防止非授權(quán)單位獲得接入服務(wù)，確保訪問前置匯聚服務(wù)區(qū)的服務(wù)器是可信服務(wù)器。

（7）安全傳輸組件：具體支撐數(shù)據(jù)的接收服務(wù)，并確保上傳數(shù)據(jù)與各下屬單位前置服務(wù)區(qū)上報(bào)數(shù)據(jù)狀態(tài)一致。主要包含兩個(gè)部分：

①同步隊(duì)列：根據(jù)統(tǒng)一策略配置的定時(shí)器服務(wù)可以設(shè)置向各下屬單位前置服務(wù)區(qū)傳送接收數(shù)據(jù)，并建立數(shù)據(jù)同步隊(duì)列。

②同步-阻塞服務(wù)：根據(jù)統(tǒng)一策略配置的文件，對(duì)各下屬單位前置服務(wù)區(qū)建立狀態(tài)反饋服務(wù)，確保上傳數(shù)據(jù)的狀態(tài)一致，只有集團(tuán)前置匯聚服務(wù)區(qū)反饋了數(shù)據(jù)上傳成功的狀態(tài)，各下屬單位的前置服務(wù)區(qū)才能設(shè)置本地狀態(tài)數(shù)據(jù)上傳成功，否則只能重新上傳數(shù)據(jù)。

（8）統(tǒng)一策略控制：在采集數(shù)據(jù)之前，需對(duì)采集的數(shù)據(jù)制訂模板和元數(shù)據(jù)標(biāo)準(zhǔn)，并將相關(guān)模板及元數(shù)據(jù)標(biāo)準(zhǔn)下發(fā)至各下屬單位，各單位按照統(tǒng)一的模板和數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)填裝即可。同時(shí)統(tǒng)一策略控制，在今后業(yè)務(wù)需求發(fā)生變更時(shí)，可根據(jù)變更后的模板，自動(dòng)將模板下發(fā)至各單位，并主動(dòng)進(jìn)行數(shù)據(jù)抓取，確保業(yè)務(wù)采集頻率變化后，能實(shí)現(xiàn)智能快速的數(shù)據(jù)獲取。

（9）申請(qǐng)審批服務(wù)：面向各下屬單位前置服務(wù)區(qū)提供上報(bào)數(shù)據(jù)修改、刪除操作的申請(qǐng)審批服務(wù)，確保修改、刪除操作的集團(tuán)審批，數(shù)據(jù)受控。前置匯聚服務(wù)區(qū)提供審批流程配置引擎，可快速建立上報(bào)數(shù)據(jù)修改、刪除操作申請(qǐng)審批體系。審批流程配置引擎提供：定義多級(jí)審批流程，支持多人審批;可根據(jù)部門、受控等級(jí)創(chuàng)建多種審批流向;支持代理審批，審批處理人員可委托他人代為處理審批事宜;流程監(jiān)控可實(shí)時(shí)呈現(xiàn)每個(gè)流程當(dāng)前處理情況;提供申請(qǐng)審批消息通知。