張建通 李玉頂 張元元
華電國際文檔服務(wù)器系統(tǒng)文檔多年來一直采用集中存儲方式,各單位在訪問時從遠程(專線方式,一般為4Mb)上傳、下載文檔。隨著用戶數(shù)的增加、數(shù)據(jù)量的膨脹,異地用戶在操作較大的文檔時,速度較慢,系統(tǒng)性能成了瓶頸,操作時長時間的等待,造成用戶的體驗不好。通過分布式存儲功能的實現(xiàn),大大提高了文檔上傳下載的速率,提升了用戶體驗; 且文檔存儲在中央服務(wù)器的同時,各單位的文檔還在本單位有一份備份,也大大提高了數(shù)據(jù)的安全性。
(一)文檔服務(wù)器系統(tǒng)現(xiàn)狀
文檔服務(wù)器系統(tǒng)是華電國際為其他業(yè)務(wù)系統(tǒng)提供文檔的上傳、下載等服務(wù),存儲文檔,管理文檔的應(yīng)用系統(tǒng)。使用該系統(tǒng)的業(yè)務(wù)系統(tǒng)主要包括華電國際主數(shù)據(jù)管理系統(tǒng)(MDM)、PM項目管理系統(tǒng)、項目管控系統(tǒng)、華電國際財務(wù)及資產(chǎn)管理系統(tǒng)(FAM)的財務(wù)管理、生產(chǎn)管理、物資管理、合同管理、燃料管理等功能模塊,在華電國際生產(chǎn)經(jīng)營管理所需的應(yīng)用系統(tǒng)中得到了廣泛應(yīng)用。
(二)存在的問題
隨著華電國際的不斷發(fā)展,越來越多的單位上線了相應(yīng)的應(yīng)用管理平臺,用戶及線上業(yè)務(wù)量增長迅速,用戶滿意度是衡量各平臺效果的標準之一,而系統(tǒng)性能與用戶體驗息息相關(guān)。在各平臺與文檔附件相關(guān)的業(yè)務(wù)中,提高文檔服務(wù)器系統(tǒng)性能對于提升用戶體驗起到了重要的作用。但是,傳統(tǒng)方式下存儲服務(wù)器單機部署或集中部署在一地,異地上傳和下載速度低,效率低下,用戶體驗差,頻繁下載影響更甚,一直是困擾信息公司的一大難題,也是用戶應(yīng)用系統(tǒng)中的痛點。
(一)什么是分布式存儲
分布式存儲,是將數(shù)據(jù)分散存儲在多臺獨立的設(shè)備上。傳統(tǒng)的存儲系統(tǒng)采用集中的存儲服務(wù)器存放所有數(shù)據(jù),存儲服務(wù)器成為系統(tǒng)性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規(guī)模存儲應(yīng)用的需要。分布式存儲系統(tǒng)采用可擴展的系統(tǒng)結(jié)構(gòu),利用多臺存儲服務(wù)器分擔存儲負荷,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴展。
基于通用的分布式文件系統(tǒng),結(jié)合華電文檔服務(wù)器系統(tǒng)現(xiàn)狀,設(shè)計的分布式存儲功能,能有效提高文檔服務(wù)器系統(tǒng)可靠性、數(shù)據(jù)安全性,提升用戶體驗。結(jié)合優(yōu)化后的文檔服務(wù)器系統(tǒng),分布式存儲功能適用于華電國際各應(yīng)用管理平臺,如FAM、PM、主數(shù)據(jù)系統(tǒng)等。
(二)為什么要開發(fā)分布式存儲功能
長期以來華電國際飛速發(fā)展,信息化進程不斷推進。新場景新模式不斷出現(xiàn),各應(yīng)用管理平臺也在面臨新的挑戰(zhàn)。探討研發(fā)新技術(shù),比以往任何時候都更加重要,任何的創(chuàng)新研究,都是為了給實施它的企業(yè)、企業(yè)員工及其他利益相關(guān)者提供多方面的價值,亦是為了更高效且低成本的解決用戶當前所面臨的痛點與難點問題,基于文檔服務(wù)器系統(tǒng)的分布式存儲功能亦是如此,迫切需要解決以下問題:
一是新系統(tǒng)、新用戶以及業(yè)務(wù)量的迅速增長,給文檔服務(wù)器的效率及可靠性帶來的巨大壓力。隨著企業(yè)各種新建系統(tǒng)的不斷實施上線運行,公司業(yè)務(wù)規(guī)模的擴張,使用系統(tǒng)的下級單位數(shù)量及用戶量也在暴增,文件作為在線業(yè)務(wù)不可缺少的附加屬性,數(shù)量和容量都在快速增長,現(xiàn)有的存儲方式無法滿足文件急速增長對系統(tǒng)的要求。
二是現(xiàn)有文件存儲方式導(dǎo)致的訪問速度無法滿足用戶需求,用戶滿意度下降。在信息化發(fā)展初期,文檔服務(wù)器部署在一地,信息系統(tǒng)少,用戶少,線上辦理業(yè)務(wù)不頻繁,跨區(qū)域訪問造成的速度慢、效率低問題不明顯。隨著新用戶的增加及業(yè)務(wù)量的增長,這種方式的弊端逐漸顯露。超遠距離文件傳輸造成的速度慢等問題嚴重影響用戶體驗。原有的文件存儲及訪問方式調(diào)整勢在必行。
三是分布式存儲是文件安全方面的另一道保障。隨著數(shù)據(jù)量的飛速增長,且核心業(yè)務(wù)逐漸切換至線上辦理,存儲的規(guī)模越來越龐大,文件的重要性也越來越高,存儲系統(tǒng)本身也越來越復(fù)雜,這給系統(tǒng)的管理、運行帶來了很大的壓力,如果沒有另外的備份方案,所有文件存儲在一臺服務(wù)器上,服務(wù)器可能的突發(fā)情況將給用戶帶來不可估量的損失,分布式存儲在提高系統(tǒng)性能和效率的同時,也通過多地分布存儲的方式,提高了文件的安全性。
因此,我們已清醒地認識到實現(xiàn)文檔的分布式存儲功能的必要性與重要性,開始探索符合華電國際特色的文檔的分布式存儲功能的實現(xiàn)方式。并思考如何進一步通過技術(shù)創(chuàng)新來不斷滿足用戶的需求,提升用戶體驗?;谌A電國際文檔服務(wù)器系統(tǒng)的分布式存儲功能也就應(yīng)運而生。
(一)方案規(guī)劃
結(jié)合華電國際文檔服務(wù)器系統(tǒng)的現(xiàn)狀:提供文件接口服務(wù)及文件存儲功能,一次上傳多次下載的使用模式,因下載次數(shù)多而被放大的下載速度慢問題,且用戶分布在多地,而服務(wù)器集中部署在一地,數(shù)據(jù)訪問均需要使用廣域網(wǎng)遠距離傳輸?shù)龋覀兛偨Y(jié)出了專門針對文檔存儲及下載服務(wù)的分布式存儲方案。
我們通過分布式思想設(shè)計的系統(tǒng)結(jié)構(gòu),在下屬單位搭建小型的用于分布式存儲的服務(wù)器,將原有的存儲在總部服務(wù)器上的文件,根據(jù)文件屬性,在閑時定期備份至相應(yīng)的分布式存儲服務(wù)器,并在本地用戶調(diào)用下載服務(wù)時通過局域網(wǎng)訪問分布式存儲服務(wù)器,實現(xiàn)快速下載的目的。同時分布式存儲服務(wù)器也起到了一定的備份作用。
在提供高效率的同時,還需兼顧低成本的原則,我們目前僅在信息化程度較高的下屬單位進行實施,在本單位已有服務(wù)器上劃分出合理的空間搭建虛擬存儲服務(wù)器,用于分布式存儲和下載服務(wù)。只需較低的人員和物料成本即可完成搭建服務(wù)器和安裝服務(wù)的操作。我們設(shè)計的基于華電國際文檔服務(wù)器系統(tǒng)的分布式存儲功能也就達到了結(jié)合用戶自身特點,實現(xiàn)高效率、低成本的分布式文件系統(tǒng)的目的。
(二)落地實施
1、明確系統(tǒng)架構(gòu)
在科技創(chuàng)新的思想指導(dǎo)下,我們明確了目標。根據(jù)分布式文件系統(tǒng)思路,并結(jié)合我們的具體實際,規(guī)劃設(shè)計了新的文檔服務(wù)器系統(tǒng)技術(shù)架構(gòu),制定了分布式存儲方案。
在滿足條件的下級單位搭建分布式存儲服務(wù)器,并安裝應(yīng)用,提供下載服務(wù),通過額外模塊實現(xiàn)數(shù)據(jù)的跨服務(wù)器存儲,實現(xiàn)異地用戶快速訪問數(shù)據(jù)的目的。
2、多方參與開發(fā)
經(jīng)過充分的技術(shù)討論,明確系統(tǒng)架構(gòu)之后。華電國際山東信息公司借助外部技術(shù)開發(fā)團隊,以項目合作方式啟動了文檔服務(wù)器系統(tǒng)優(yōu)化項目,在分布式存儲功能開發(fā)過程中,除了項目團隊參與,還有試點單位同事的大力支持與配合。
各方分工明確,對項目過程中遇到的問題積極討論,深入分析,確保每項工作都按標準完成。此次探索過程中,雙方總結(jié)出了一套完善的開發(fā)及實施流程,為以后其他單位實施上線規(guī)避風險,提高效率留下了寶貴的經(jīng)驗。
3、實現(xiàn)分布式存儲功能
經(jīng)過項目團隊的努力工作及試點單位的支持配合,于2019年3月份上線了該系統(tǒng),并在多家單位實施了分布式存儲功能,在使用文檔服務(wù)器系統(tǒng)提供的文檔接口服務(wù)的業(yè)務(wù)系統(tǒng)中,以FAM系統(tǒng)合同管理模塊為例,試點單位初步反饋的數(shù)據(jù)顯示效果顯著。另一方面,通過將各實施單位的文檔數(shù)據(jù)分布式存儲至各單位服務(wù)器,也起到了數(shù)據(jù)備份的作用,提高了系統(tǒng)安全性。
通過計算,我們可以獲得兩家單位下載速度的對比情況(見表1,表2),其中章丘公司因為本身網(wǎng)絡(luò)帶寬較高,小于30兆的文件下載速度小于1秒,對下載速度的計算影響較大,數(shù)據(jù)僅供參考。
文件越大,下載速度趨于穩(wěn)定,越接近實際下載速度,所以僅以大于20兆的文件下載速度進行計算,可以獲得在分布式存儲功能實施前后兩家試點單位的平均下載速度分別為鄒縣電廠:0.67M/S、5.65M/S,章丘公司:1.17M/S、25.89M/S,分別提高了8倍與22倍之多,完全達到了項目預(yù)期的效果,能直觀的了解到系統(tǒng)性能的顯著提高。
(三)系統(tǒng)推廣
文檔服務(wù)器系統(tǒng)分布式存儲功能的上線大大提高了與文件相關(guān)業(yè)務(wù)的處理速度,對于提升業(yè)務(wù)系統(tǒng)的用戶滿意度,提高員工工作積極性具有很大的促進作用。在兩家試點單位成功實施,并且獲得良好反響后,我們又緊鑼密鼓的開展了山東區(qū)域其他八家單位的實施工作,目前山東區(qū)域十個單位均已上線。
與同類型的分布式文件系統(tǒng)相比,華電國際文檔服務(wù)器系統(tǒng)保留基本系統(tǒng)結(jié)構(gòu),最大程度的減少對現(xiàn)行業(yè)務(wù)的影響,有針對性地吸收分布式存儲的核心功能,更加符合華電國際自身業(yè)務(wù)及系統(tǒng)特點,屬于為企業(yè)量身定制,且占用系統(tǒng)資源小,可擴展性強,易于推廣實施。
該系統(tǒng)有如下特點:
高性能,主要以系統(tǒng)的響應(yīng)延遲來衡量;
高可靠性,重點指數(shù)據(jù)安全方面,數(shù)據(jù)可靠不丟失;
高安全性,保證服務(wù)器不受惡意訪問和攻擊,保護存儲數(shù)據(jù)不被竊??;
高擴展性,通過擴展集群服務(wù)器規(guī)模從而提高系統(tǒng)存儲容量、計算和性能。
目前使用文檔服務(wù)器系統(tǒng)的應(yīng)用管理平臺超過四個,細分業(yè)務(wù)模塊超過二十個。以FAM系統(tǒng)合同管理模塊為例,華電國際共有超過150個下屬單位上線,其中以合同申請及付款申請業(yè)務(wù)為例,平均每天上傳的附件超過100個,在業(yè)務(wù)流轉(zhuǎn)過程中附件的下載次數(shù)超過500次,僅在下載服務(wù)這一點來說,即使對系統(tǒng)性能1%的提升,所達到的效果也將會被放大數(shù)倍甚至數(shù)十倍。
實施文檔的分布式存儲則可以有效的提升當前文檔服務(wù)器的系統(tǒng)性能,并給企業(yè)帶來如下改變和價值:
節(jié)約時間成本,提高人員效率:在業(yè)務(wù)系統(tǒng)中,每上傳一個附件,都會被下載10-15次,實施分布式存儲功能后,調(diào)用文檔下載服務(wù)的時間將縮短50%-70%,對于處理線上業(yè)務(wù)較多的人員來說,節(jié)約時間成本的效果更加顯著,能有效提升工作效率。
提高文檔存儲安全性:相比原來所有文檔集中存儲在同一臺服務(wù)器上,實施分布式存儲功能后,所有的分布式存儲服務(wù)器都相當于一臺備份服務(wù)器,存儲本單位的文檔,為文檔存儲的安全性增加一道保障。
提升用戶體驗,提高人員積極性: 實施分布式存儲后,調(diào)用下載服務(wù)將通過局域網(wǎng)在本單位服務(wù)器上進行下載,常規(guī)帶寬下也有可能實現(xiàn)百兆文件一秒下載完成,能有效提升人員士氣和滿意度,減少長時間等待所產(chǎn)生的負面情緒,從而提高了員工的工作積極性。
通過文檔服務(wù)器系統(tǒng)的上線以及分布式存儲功能在多家單位的實施,業(yè)務(wù)系統(tǒng)各相關(guān)模塊的性能顯著提升,從用戶的反饋來看,該功能有效的節(jié)約了員工的時間成本,提高了員工的工作效率,用戶滿意度也得到極大的改善與提升。
另外,通過前期的實施工作,我們總結(jié)出了一套完善的實施方案,便捷的實施方式、較低的成本,以及功能實施過程中對現(xiàn)行業(yè)務(wù)系統(tǒng)基本無影響的特點,有利于該功能的推廣與實施,尤其適用于華電國際這種擁有眾多下級單位的大型企業(yè)。
以我們對產(chǎn)品能力的了解,隨著實施單位的增加,用戶口碑的廣泛傳播,有形與無形的收益都在增加,推廣與應(yīng)用前景將會越來越好。
作者單位:華電國際山東信息管理有限公司