李傳冰,李 弘,蘭 婷,鄭江山,秦 宏

(中國科學(xué)技術(shù)大學(xué) 物理學(xué)院 工程與應(yīng)用物理系,合肥 230026)

超級計算機(jī)是通過網(wǎng)絡(luò)將數(shù)量龐大的計算節(jié)點(diǎn)連接起來,以達(dá)到增強(qiáng)計算能力的目的.在全球超級計算機(jī)top 500的榜單上,中美兩國長期交替霸占榜首.2010年10月,天河一號二期(天河-1A)以峰值速度每秒4700萬億次,成為當(dāng)時世界上最快的超級計算機(jī).2013年6月起至2016年6月,最快的超級計算機(jī)是位于廣州的天河二號[1].2018年6月8日,美國橡樹嶺實(shí)驗(yàn)室宣布開發(fā)出全球最快的超級計算機(jī)“頂點(diǎn)”(Summit).理論上計算速度可以達(dá)到每秒20億億次,超過迄今最快的中國超算“神威·太湖之光”,有實(shí)力重奪全球第一.

高性能計算目前在社會的應(yīng)用極其廣泛,航空航天、汽車制造、氣象預(yù)測、芯片制造、軍事情報搜集,這些都需要極強(qiáng)的算力,才能得出準(zhǔn)確的計算結(jié)果[2,3].而這些結(jié)果對工業(yè)設(shè)計,前沿理論的推進(jìn)起著重大作用.在當(dāng)今科研界,主流的三大研究方式,理論、實(shí)驗(yàn)、數(shù)值模擬,三者相輔相成,缺一不可.高性能計算支撐的數(shù)值模擬,完美的再現(xiàn)了無法在現(xiàn)實(shí)中實(shí)現(xiàn)的實(shí)驗(yàn),既節(jié)約了高昂的實(shí)驗(yàn)成本,也避免了破壞環(huán)境生態(tài).目前,在科研界內(nèi)應(yīng)用高性能計算最多的幾個領(lǐng)域是核聚變、生物醫(yī)藥、微電子.尤其是核聚變的研究,在很多實(shí)驗(yàn)條件不成熟的情況下,用計算機(jī)模擬是最好的研究方式,既能夠驗(yàn)證理論,也能夠提供對實(shí)驗(yàn)裝置設(shè)計的指導(dǎo),在科學(xué)研究中能夠提供難以估量的價值,它的作用是理論和實(shí)驗(yàn)無法替代的.

現(xiàn)在,有諸多Tokamak大科學(xué)裝置都使用了超級計算機(jī).2010年8月,在德國的Forschungszentrum Jülich(FZJ)有一個超級計算機(jī)專門為磁約束核聚變服務(wù),耗資1000萬歐元,由歐盟出資50%,德國出資40%,EFDA成員國出資10%組建的,浮點(diǎn)運(yùn)算的峰值可以達(dá)到101 Tflops,可以有效加快ITER的研究進(jìn)展.英國的卡爾漢姆聚變能研究中心(CCFE)為了支持JET和MAST項(xiàng)目也有一個超級計算機(jī)名叫Diego,通過Myrinet的網(wǎng)絡(luò)架構(gòu)將36臺HP的服務(wù)器連接起來.在印度,等離子體研究中心的Aditya托克馬克,有一個用網(wǎng)線和光纖連接的集群,600臺服務(wù)器,提供網(wǎng)絡(luò)、郵箱、域名解析等服務(wù).在日本,于2012年至2016年投入使用一個計算能力強(qiáng)大的集群,名叫HELIOS,包含有4500個計算節(jié)點(diǎn),72 000個核心,總的運(yùn)算峰值可以達(dá)到1.5 Pflops,完全用于核聚變研究領(lǐng)域,一半計算資源給日本使用,另一半資源給歐洲使用.可以清楚的看到,高性能集群在托克馬克中的廣泛應(yīng)用.在科研探索中起著極其重要的作用,強(qiáng)大的計算能力可以飛速推進(jìn)數(shù)值模擬的發(fā)展.

1 KTX裝置對集群的要求

受控核聚變是人類實(shí)現(xiàn)最終能源的夢想,磁約束是目前實(shí)現(xiàn)受控核聚變的主流技術(shù)思路之一.磁約束有三種位形[4-7]: ① 仿星器,② 托克馬克,③ 反場箍縮.反場箍縮[8-11](Reversed Field Pinch,RFP)是β值(等離子體的壓強(qiáng)與磁能的比值)最大的磁約束聚變位形.反場箍縮最主要的優(yōu)點(diǎn)是工程實(shí)施簡單,β值高,能夠通過歐姆加熱直接點(diǎn)火.位于中國科學(xué)技術(shù)大學(xué)的大型反場箍縮磁約束聚變實(shí)驗(yàn)裝置“Keda Torus eXperiment”(KTX)實(shí)驗(yàn)裝置采用的就是反場箍縮位形.

KTX的數(shù)據(jù)先通過采集卡存儲在本地,之后再用網(wǎng)絡(luò)傳輸數(shù)據(jù)至集群.采集卡分為低速采集和高速采集.低速采集250 KB/s,每次采集有900道,高速采集60 MB/s,每次采集有十幾道,放電時長10-20 ms,最多至200 ms.一年的實(shí)驗(yàn)月有6個月,每周有3天實(shí)驗(yàn)日,一天有200炮實(shí)驗(yàn)數(shù)據(jù).按照最大的原則計算,一年高速采集的數(shù)據(jù)至多3.5 TB左右,低速采集的數(shù)據(jù)最多13 TB,兩者合計不會超過20 TB.

KTX對數(shù)據(jù)的存儲有以下一些要求:

(1)容錯性.如果一個存儲單元出現(xiàn)了損壞,可以不間斷的接收新數(shù)據(jù)的存入,還能完成原有數(shù)據(jù)的復(fù)制和轉(zhuǎn)移.

(2)冗余性.將整個文件的兩個或更多副本存儲在不同的服務(wù)器上,或?qū)⒚總€文件分割到多個服務(wù)器上.從多個客戶端并行訪問副本.

(3)有較快的讀寫性能.

(4)兼容性好.

(5)易于安裝和配置.

KTX實(shí)驗(yàn)裝置的數(shù)據(jù)還需要有效的處理,所以需要高性能集群有較高的計算能力.快速做好數(shù)據(jù)的預(yù)處理才能高效的將計算結(jié)果演化為圖像,呈現(xiàn)給研究者面前,用于做更深入的物理分析.由于一炮數(shù)據(jù)具有多通道的特點(diǎn),KTX實(shí)驗(yàn)組對同時處理大批量數(shù)據(jù)具有強(qiáng)烈的需求,所以對集群的并行處理能力有較高要求.

針對上述的KTX實(shí)驗(yàn)裝置的計算和存儲需求,設(shè)計了集群的相關(guān)參數(shù),并做了相關(guān)配置和部署.

2 集群的硬件以及網(wǎng)絡(luò)架構(gòu)

為了滿足核聚變研究領(lǐng)域的需求——可以較快的存儲、讀取、在線處理數(shù)據(jù),在集群的設(shè)計與部署中必須保證足夠的計算性能以及文件系統(tǒng)的讀寫性能.CPU核心數(shù)量多才能同時處理較多的作業(yè),在線同時處理KTX一炮多達(dá)數(shù)百道實(shí)驗(yàn)數(shù)據(jù).CPU的主頻高,運(yùn)算速度快才能快速的計算數(shù)據(jù).文件系統(tǒng)讀寫性能佳,才可以勝任快速存儲實(shí)驗(yàn)數(shù)據(jù),也能夠在需要的時候,快速地將數(shù)據(jù)從集群中讀取出來.

集群平臺為聯(lián)想深騰X8800超算集群平臺.有42個計算刀片,刀片式服務(wù)器的型號均為Lenovo Think System SN550,每個刀片有兩個物理CPU,每個CPU有16個計算核心.處理器都是Intel Xeon 可擴(kuò)展處理器金牌6142,主頻2.6 GHz.集群的理論浮點(diǎn)運(yùn)算峰值可達(dá)110 Tflops.每個刀片有128 GB內(nèi)存外加一塊240 GB的企業(yè)級SSD硬盤.另外還有兩臺機(jī)架式服務(wù)器用作管理和登陸,型號為Lenovo Think System SR550,每臺機(jī)架式服務(wù)器有兩個物理CPU,每個CPU有8個核心,主頻2.1 GHz,處理器是Intel Xeon可擴(kuò)展處理器金牌4110配置.每個機(jī)架式服務(wù)器有64 GB內(nèi)存,4塊600 GB的SAS 2.5寸熱插拔硬盤.最后有6臺IO節(jié)點(diǎn),也是機(jī)架式服務(wù)器,型號與管理節(jié)點(diǎn)相同,用來管理和負(fù)載均衡I/O.

存儲系統(tǒng)是Lenovo Storage D3284,集中式存儲架構(gòu),GPFS并行文件系統(tǒng).總?cè)萘?.12 PB,實(shí)際容量可利用率超過70%.數(shù)據(jù)盤數(shù)量達(dá)到112塊,系統(tǒng)實(shí)測總聚會IO帶寬大于4.0 GB/s.

網(wǎng)絡(luò)系統(tǒng)有兩套,一個是計算網(wǎng)絡(luò),另一個是管理網(wǎng)絡(luò).計算網(wǎng)絡(luò)采用56 Gbps FDR Infiniband 網(wǎng)絡(luò),互連所有節(jié)點(diǎn)(包括計算節(jié)點(diǎn)、管理節(jié)點(diǎn)、IO節(jié)點(diǎn)),保證整個集群計算刀片點(diǎn)對點(diǎn)帶寬56 Gbps.管理網(wǎng)絡(luò)采用1 Gb以太網(wǎng)連接到所有節(jié)點(diǎn),IPMI監(jiān)控管理網(wǎng)絡(luò),能夠?qū)崿F(xiàn)全部服務(wù)器的遠(yuǎn)程監(jiān)控管理.

本系統(tǒng)中最大的優(yōu)勢是采用了Infiniband高速網(wǎng)絡(luò),用作點(diǎn)對點(diǎn)傳輸數(shù)據(jù).Infiniband高速網(wǎng)絡(luò)有效解決了傳統(tǒng)I/O總線造成的系統(tǒng)瓶頸[12].Infiniband 支持的是RDMA協(xié)議,它允許應(yīng)用程序直接讀取或?qū)懭脒h(yuǎn)程內(nèi)存,而無內(nèi)核干預(yù)和內(nèi)存拷貝發(fā)生,故而有很強(qiáng)的讀寫性能[13].

3 使用xCAT軟件一站式部署系統(tǒng)

3.1 xCAT的功能

xCAT是一個高級的集群管理工具,xCAT給高性能集群、云計算、數(shù)據(jù)中心提供了一體化管理服務(wù).xCAT的實(shí)施規(guī)?？梢院艽?可以管理多達(dá)1000多臺節(jié)點(diǎn).xCAT是開源的,可以得到公開的參考資料.xCAT能夠十分方便地遠(yuǎn)程給高性能集群部署系統(tǒng),也能夠批量下發(fā)命令給各從節(jié)點(diǎn),完成各種控制,包括對所有從節(jié)點(diǎn)遠(yuǎn)程開關(guān)機(jī).xCAT能夠?qū)崿F(xiàn)集群的全自動化安裝,也即是基于網(wǎng)絡(luò)的無人看守式的安裝系統(tǒng)[14,15].

3.2 xCAT定義數(shù)據(jù)表

xCAT在做系統(tǒng)部署前會定義一系列數(shù)據(jù)表,存儲在xCAT的數(shù)據(jù)庫中.為了使將來集群工作時,各種網(wǎng)絡(luò)能夠高效、穩(wěn)定地提供服務(wù),設(shè)計和定義好集群的網(wǎng)絡(luò)表是很重要的.xCAT中定義的集群網(wǎng)絡(luò)分兩種,以太管理網(wǎng)絡(luò)和infiniband高速網(wǎng)絡(luò).使用tabedit network命令設(shè)置網(wǎng)絡(luò)配置,定義網(wǎng)段和子網(wǎng)掩碼,以及主服務(wù)器master的IP.使用tabedit hosts命令配置主機(jī)名列表和IP列表.使用tabedit mac命令配置各服務(wù)器的網(wǎng)卡mac地址.

在完成一系列數(shù)據(jù)表的定義后,對服務(wù)器進(jìn)行群組劃分,便于以后分組控制,統(tǒng)一執(zhí)行主服務(wù)器master的遠(yuǎn)程命令.給集群定義了四個組.

(1)all,代表全部服務(wù)器.

(2)computeserver,所有計算刀片構(gòu)成的組.

(3)ioserver,所有IO節(jié)點(diǎn)構(gòu)成的組.

(4)slaves,除了頭節(jié)點(diǎn)master以外的所有服務(wù)器.

待完成數(shù)據(jù)表后,給劃分好群組的服務(wù)器導(dǎo)入相應(yīng)的系統(tǒng)鏡像,給各個備選的系統(tǒng)鏡像配置合適的分區(qū)文件,以及需要安裝的軟件包,還有安裝完系統(tǒng)后需要配置的軟件服務(wù),例如ntp、rsyslog等服務(wù).根據(jù)群組的設(shè)計,集群的服務(wù)器分為三類.第一類是兩臺管理節(jié)點(diǎn),一臺用作集群主服務(wù)器master,同時作為并行作業(yè)調(diào)度器的頭節(jié)點(diǎn);另一臺用作登陸節(jié)點(diǎn).第二類是計算刀片,有42個節(jié)點(diǎn),用來執(zhí)行并行作業(yè)計算任務(wù).第三類是IO節(jié)點(diǎn),有6臺,用作管理和平衡負(fù)載文件系統(tǒng)的讀寫.

最后使用nodeset命令開始無人看管式遠(yuǎn)程部署系統(tǒng),每個服務(wù)器以PXE的方式啟動,推入系統(tǒng)鏡像.

4 存儲的安全設(shè)計

KTX實(shí)驗(yàn)組不僅需要集群可以快速處理、讀取數(shù)據(jù),還需要集群有足夠的安全機(jī)制能夠保障數(shù)據(jù)的安全性.KTX一年當(dāng)中只有一半的時間是實(shí)驗(yàn)期,因此實(shí)驗(yàn)數(shù)據(jù)的產(chǎn)出來之不易,一旦數(shù)據(jù)有損壞或者丟失,對核聚變的研究都會造成不小的損失.所以針對前文中提到的存儲需要具有容錯性、冗余性,對GPFS并行文件系統(tǒng)進(jìn)行了安全設(shè)計.

GPFS文件系統(tǒng)本身具有數(shù)據(jù)安全性.GPFS文件系統(tǒng)是一種日志文件系統(tǒng),為不同節(jié)點(diǎn)建立各自獨(dú)立的日志,日志中記錄metadata的分布,一旦節(jié)點(diǎn)發(fā)生故障后,可以保證快速恢復(fù)數(shù)據(jù).GPFS的fail-over功能通過規(guī)劃,將數(shù)據(jù)分布到不同failure group內(nèi)達(dá)到高可用性,減少單點(diǎn)故障的影響.為了保證數(shù)據(jù)可用性,GPFS在多個failure group內(nèi)為每個數(shù)據(jù)實(shí)例做備份[16].

4.1 GPFS 可用性機(jī)制

GPFS有一套可用性判斷機(jī)制來保證數(shù)據(jù)完整性與系統(tǒng)安全.GPFS 提供三套不同的 quorum 機(jī)制來判斷系統(tǒng)當(dāng)前的狀態(tài),其中File system Descriptor Quorum 是系統(tǒng)內(nèi)置的,不能做配置,另外兩種 Node Quorum 和 Tiebreaker Quorum 方式只能選擇其中一個,根據(jù)系統(tǒng)環(huán)境與可靠性分析來選擇使用哪一種機(jī)制.File system Descriptor Quorum的File system Descriptor描述的是文件系統(tǒng)信息的數(shù)據(jù).在幾個不同的 failuregroup 的磁盤上創(chuàng)建 GPFS 文件系統(tǒng)時,文件系統(tǒng)的配置信息(簡寫為 FD)會被拷貝寫到多個磁盤上,以實(shí)現(xiàn)冗余備份.FD quorum 的機(jī)制是通過判斷含有 FD 磁盤的在線數(shù)量來判斷當(dāng)前系統(tǒng)是否正常,當(dāng)超過半數(shù)的含有 FD 的磁盤掉線時,就判斷為系統(tǒng)故障,文件系統(tǒng)就會自動關(guān)閉.Node Quorum 是通過主機(jī)狀態(tài)來判斷系統(tǒng)可用性的機(jī)制.GPFS 文件系統(tǒng)集群中,可以設(shè)置多個主機(jī)節(jié)點(diǎn)為 quorum node.Node Quorum 的機(jī)制是通過判斷 quorum node 的狀態(tài)來判斷系統(tǒng)是否正常,當(dāng)超過半數(shù)的 quorum node 在線時,判斷系統(tǒng)為正常,反之,將關(guān)閉文件系統(tǒng).Tiebreaker Quorum 是通過磁盤的狀態(tài)來判斷系統(tǒng)的可用性.可以設(shè)置系統(tǒng)通過監(jiān)視指定的一些磁盤作為 Tiebreaker Disk.當(dāng)超過半數(shù)的Tiebreaker Disk 掉線時,則判斷系統(tǒng)故障,文件系統(tǒng)將會自動關(guān)閉.Tiebreaker Quorum最多只能配置兩個用來監(jiān)控磁盤狀態(tài)的 quorum 主機(jī),當(dāng) 2 臺 quorum 主機(jī)都宕機(jī)的話,GPFS 系統(tǒng)也將會關(guān)閉.根據(jù)以上三種判斷機(jī)制,GPFS 自動判斷系統(tǒng)的狀態(tài),當(dāng)異常發(fā)生時自動關(guān)閉系統(tǒng)以保護(hù)系統(tǒng)和數(shù)據(jù)的完整性.

4.2 GPFS 可靠性分析與如何設(shè)計

基于上面闡述的 GPFS 可用性機(jī)制,可以看出GPFS 是通過上述的三種 quorum 機(jī)制來檢查資源是否超過半數(shù)狀態(tài)正常來判斷系統(tǒng)狀態(tài)好壞.在設(shè)計 GPFS文件系統(tǒng)集群的時候需要注意最好保證各種資源數(shù)都為 2N+1 個(N是指數(shù)量),也即數(shù)量為奇數(shù),來獲得系統(tǒng)最大的可用性.根據(jù)FD Quorum的設(shè)計,一般情況下,丟失一個 failure group 的磁盤實(shí)際不影響數(shù)據(jù)的完整性,但是由于FD Quorum 2N+1 的機(jī)制發(fā)揮作用,文件系統(tǒng)仍將會關(guān)閉,所以在創(chuàng)建一個 GPFS 文件系統(tǒng)時,可以通過增加一個很小的本地的磁盤作為第三個failure group.以實(shí)現(xiàn) 2N+1 的冗余設(shè)計.本地的磁盤可以設(shè)置為只保存 GPFS 文件系統(tǒng)信息(FD),實(shí)際不參與數(shù)據(jù)讀寫.Node Quorum機(jī)制如果采用了 2N+1 個quorum node,那么這個系統(tǒng)就能容忍N(yùn)個主機(jī)節(jié)點(diǎn)的離線.Tiebreaker Quorum 機(jī)制只能配置兩個 quorum 主機(jī),但是只要 tiebreaker 磁盤在線,有一個 quorum 主機(jī)狀態(tài)正常,系統(tǒng)也能正常工作,這意味著至少有一臺quorum 主機(jī)在線.如果是主機(jī)節(jié)點(diǎn)數(shù)較多的情況,采用Tiebreaker Quorum機(jī)制其可靠性不如 Node Quorum機(jī)制.

鑒于集群的規(guī)模,采用Node Quorum模式.6臺IO節(jié)點(diǎn)是quorum-manager node,登陸節(jié)點(diǎn)是quorum node,6臺IO節(jié)點(diǎn)作為仲裁管理節(jié)點(diǎn),當(dāng)它們損壞一半時,才會關(guān)閉文件系統(tǒng).登陸節(jié)點(diǎn)則存儲GPFS文件系統(tǒng)信息.按照這種安全機(jī)制,冗余性是很強(qiáng)的,保證了KTX實(shí)驗(yàn)數(shù)據(jù)存儲時的安全要求.使用讀寫測試工具IOzone,對GPFS文件系統(tǒng)進(jìn)行壓力測試,一方面是檢查GPFS文件系統(tǒng)的性能,另一方面,檢驗(yàn)并行文件系統(tǒng)的穩(wěn)定性,從結(jié)果來看,文件系統(tǒng)的讀、寫性能在4.9 GB/S、2.8 GB/s左右.測試結(jié)果放在/gpfs目錄下,下面為測試的結(jié)果:

Iozone命令后接的參數(shù)-i 0 -i 1指的是做write/rewrite和read/re-read測試,-r 1M指定測試塊大小為1 MB,-s 32 g指定測試文件大小為32 GB,-t 4指定測試時使用4線程,-+m nodelist指定節(jié)點(diǎn)列表.根據(jù)結(jié)果代碼所示,四線程總的寫速度是2.8 GB/s,四線程中最快的寫速度是986 MB/s,最慢的寫速度是447 MB/s;四個線程總的讀速度是4.9 GB/s,四個線程中最快的讀速度是1.3 GB/s,最慢的讀速度是1.1 GB/s.驗(yàn)證了GPFS文件系統(tǒng)有相當(dāng)好的讀寫性能,能夠快速讀寫文件.

4.3 GPFS冗余性測試

我們使用6臺IO節(jié)點(diǎn)作為仲裁管理節(jié)點(diǎn),在2N+1的Node Quorum冗余機(jī)制下,應(yīng)該能夠保證在3臺IO節(jié)點(diǎn)離線的情況下,文件系統(tǒng)仍然能正常的工作.為了驗(yàn)證GPFS文件系統(tǒng)的冗余性,我們做了如下測試.分別在有6臺、5臺、4臺、3臺仲裁管理節(jié)點(diǎn)正常工作的情況下,使用IOzone工具測試集群的讀寫速率.測試結(jié)果如圖1所示.

圖1 GPFS文件系統(tǒng)冗余性檢測

從圖1中可以看出仲裁管理節(jié)點(diǎn)的個數(shù)從6臺減少到3臺的過程中,GPFS文件 系統(tǒng)的讀寫速率維持在4.5 GB/s、2.8 GB/s附近.可見2N+1的Node Quorum機(jī)制發(fā)揮了作用,最多在半數(shù)的仲裁管理節(jié)點(diǎn)失效的情況下,GPFS文件系統(tǒng)仍然能夠正常工作,而且讀寫速率不受大的影響.GPFS文件系統(tǒng)的冗余性得到了保證,這樣避免了以后在集群的使用中單點(diǎn)故障的問題,數(shù)據(jù)的安全性得到了大大的增強(qiáng).

5 結(jié)論與展望

為了方便核聚變的研究,安裝并部署了一個高性能集群,考慮到KTX實(shí)驗(yàn)組的需求,一方面是能夠快速的處理、存儲、讀取數(shù)據(jù),另一方面保證數(shù)據(jù)有足夠的安全保障.據(jù)此,對集群的設(shè)計進(jìn)行了優(yōu)化.

集群開啟超線程后一共有2688個邏輯CPU,每個CPU的主頻2.6 GHz,理論峰值浮點(diǎn)運(yùn)算能力達(dá)到110 Tflops,保證了強(qiáng)大的計算能力.在實(shí)際的Linpack測試當(dāng)中發(fā)現(xiàn)浮點(diǎn)運(yùn)算的峰值不理想,經(jīng)過研究發(fā)現(xiàn),是因?yàn)镃PU的內(nèi)存通道沒有占滿,每個物理CPU有6通道,但是只裝了兩根內(nèi)存條.為了提升浮點(diǎn)運(yùn)算性能,每臺刀片加裝8根同類型內(nèi)存條,一共加滿到12根內(nèi)存條.另外集群選用GPFS并行文件系統(tǒng),高達(dá)4.9 GB/s、2.8 GB/s的讀寫速率,提供了優(yōu)秀的讀寫性能.選用infiniband高速網(wǎng)絡(luò),保證了較高的網(wǎng)絡(luò)傳輸速度和較低的延遲率,并使用xCAT管理工具對集群進(jìn)行了有效穩(wěn)定的管理.設(shè)計了KTX實(shí)驗(yàn)數(shù)據(jù)存放于GPFS并行文件系統(tǒng)的安全保障機(jī)制,保證了數(shù)據(jù)的容錯性、冗余性、穩(wěn)定性.

未來KTX實(shí)驗(yàn)室會將實(shí)驗(yàn)數(shù)據(jù)大規(guī)模存入,數(shù)據(jù)都是HDF5格式的,下一步會規(guī)劃與設(shè)計快速讀取基于HDF5數(shù)據(jù)格式的方案,并設(shè)計和完善在線處理數(shù)據(jù)的功能.