朱嘉斌
(蘇州軌道交通有限公司建設(shè)分公司,215006,蘇州∥工程師)
城市軌道交通清分中心是實(shí)現(xiàn)軌道交通網(wǎng)絡(luò)化、提高服務(wù)水平的重要基礎(chǔ)。它具有連接各個(gè)線路售檢票系統(tǒng),處理線網(wǎng)內(nèi)所有交易數(shù)據(jù)的功能。隨著城市軌道交通線路的增多,提高清分中心數(shù)據(jù)處理能力的需求越益迫切。
本文從清分中心系統(tǒng)性能的設(shè)計(jì)需求分析出發(fā),分別對清分中心的軟件、硬件、數(shù)據(jù)庫3個(gè)方面進(jìn)行設(shè)計(jì),以整體提升系統(tǒng)的數(shù)據(jù)處理和線路接入能力。
為能滿足城市軌道交通實(shí)際客流交易數(shù)據(jù)的處理要求,又能夠合理部署、減小過高配置帶來的資源浪費(fèi),以降低投資,各個(gè)城市應(yīng)根據(jù)自身軌道交通的預(yù)測客流,對清分中心系統(tǒng)的軟硬件進(jìn)行針對性設(shè)計(jì)。本文以一般性城市遠(yuǎn)期處理需求為例,按每日處理300萬人次的客流數(shù)據(jù)(750萬筆交易數(shù)據(jù))、2h內(nèi)完成清算批處理、在4h內(nèi)完成累計(jì)2天的最大客流量的交易數(shù)據(jù)清算等幾項(xiàng)重要指標(biāo),對系統(tǒng)軟件、硬件和數(shù)據(jù)庫進(jìn)行針對性的設(shè)計(jì)研究。
根據(jù)關(guān)鍵性能要求,即2h完成750萬筆交易數(shù)據(jù)(300萬人次客流)清分、4h內(nèi)完成累計(jì)2天的交易數(shù)據(jù)清算,進(jìn)行分析、配置相應(yīng)硬件設(shè)備。按經(jīng)驗(yàn),每筆實(shí)際清分交易相當(dāng)于2筆標(biāo)準(zhǔn)TPCC(整體性能計(jì)算單位)交易的處理量。
滿足2h內(nèi)完成對最大次數(shù)交易量處理的清分系統(tǒng)主機(jī)性能要求為:
(750萬筆交易數(shù)據(jù)×2)/(2×60min)=125 000 TPCC/min
滿足4h內(nèi)完成累計(jì)2天的交易數(shù)據(jù)清算處理的清分系統(tǒng)主機(jī)性能要求為:
(750萬筆交易數(shù)據(jù)×2×2)/(4×60min)=125 000TPCC/min
另外,系統(tǒng)還將預(yù)留70%的處理余量,因此選擇相應(yīng)服務(wù)器設(shè)備需達(dá)到125 000TPCC/min的要求。
對清分計(jì)算機(jī)主機(jī)資源進(jìn)行合理的應(yīng)用分配,以期達(dá)到負(fù)載均衡、充分發(fā)揮2臺服務(wù)器的處理能力。
為了預(yù)防單點(diǎn)故障,需要有配置互為備份的2臺主機(jī)。為了充分利用硬件資源,使用2臺主機(jī)同時(shí)參與應(yīng)用處理。在系統(tǒng)繁忙時(shí),可能出現(xiàn)因負(fù)載不均衡導(dǎo)致的系統(tǒng)阻塞和顛簸。為了避免這種情況發(fā)生,隨時(shí)檢測資源的忙閑狀況,將任務(wù)交給相對空閑的主機(jī)去做,以均衡負(fù)載,達(dá)到最優(yōu)化的處理性能。
考慮后期數(shù)據(jù)處理需求的增長,清分中心系統(tǒng)只需通過對硬件設(shè)備的擴(kuò)充,即達(dá)到所需要的性能指標(biāo)處理要求。為保證清分中心系統(tǒng)的可擴(kuò)展性和處理能力,清分中心系統(tǒng)使用了多機(jī)處理方式,以便于實(shí)現(xiàn)對分布于不同主機(jī)上的同類子系統(tǒng)、進(jìn)程的監(jiān)控。這樣既能從業(yè)務(wù)系統(tǒng)的高度,又能從具體主機(jī)上的某個(gè)進(jìn)程的深度來完成具體的管理任務(wù),并可實(shí)現(xiàn)擴(kuò)展相應(yīng)硬件提高處理能力的目標(biāo)。
清分中心系統(tǒng)按業(yè)務(wù)的實(shí)時(shí)性要求,進(jìn)行區(qū)分優(yōu)先級的業(yè)務(wù)處理。
對于實(shí)時(shí)性要求高的數(shù)據(jù)處理,如事件(狀態(tài))、命令、模式切換、參數(shù)同步等,賦予較高的處理優(yōu)先級;而對于實(shí)時(shí)性要求低的數(shù)據(jù)處理,如交易數(shù)據(jù)上傳、寄存器數(shù)據(jù)上傳等,賦予較低的處理優(yōu)先級。
后臺應(yīng)用服務(wù)處理進(jìn)程在其任務(wù)隊(duì)列中取出優(yōu)先級最高的任務(wù)進(jìn)行處理。優(yōu)先級高的任務(wù)總是能被很快地優(yōu)先處理掉,而不會被大量的優(yōu)先級低的任務(wù)所阻塞。這樣,就不會發(fā)生因通信故障恢復(fù)后產(chǎn)生的大量交易數(shù)據(jù)上傳阻塞而導(dǎo)致命令、查詢等得不到及時(shí)響應(yīng)的情況,以滿足快速的響應(yīng)要求。
啟動多組應(yīng)用,采用并行數(shù)據(jù)處理技術(shù)以提高應(yīng)用處理能力。
在一項(xiàng)任務(wù)的處理過程中,主機(jī)內(nèi)部各種硬件資源的使用率是不同的,而每種任務(wù)的硬件資源使用方式又各不相同。所以,同時(shí)進(jìn)行多項(xiàng)任務(wù)處理,可以充分發(fā)揮硬件的處理能力,從而增加數(shù)據(jù)處理的吞吐量。
大量使用內(nèi)存數(shù)據(jù)表和緩存,減少對硬盤的訪問量,可以提升交易的處理速度。
內(nèi)存中處理的速度往往比硬盤訪問快一個(gè)數(shù)量級以上,因此將頻繁使用的數(shù)據(jù)強(qiáng)制放在內(nèi)存中,比每次用時(shí)都要從硬盤中讀出來要高效得多。在操作系統(tǒng)和數(shù)據(jù)庫層面,有很多內(nèi)存緩存的設(shè)計(jì)。在應(yīng)用層面,強(qiáng)制某些常用的數(shù)據(jù)表放在內(nèi)存中,以達(dá)到高效的處理效果。
為了提高硬件使用效率,采用每日分多批次進(jìn)行交易批處理的方式,充分利用在白天運(yùn)營時(shí)的處理能力,而不是將所有批處理都放在晚上運(yùn)營結(jié)束后進(jìn)行。這樣的設(shè)計(jì)在國內(nèi)軌道交通票務(wù)清分應(yīng)急系統(tǒng)中,曾經(jīng)可以達(dá)到在日終1h內(nèi)處理最大1 630萬人次客流/日(4 000萬筆交易/日),完全可以滿足一般地鐵清分系統(tǒng)的要求。
清分中心系統(tǒng)在軟件結(jié)構(gòu)、存儲空間設(shè)計(jì)等方面,能夠保證在2倍的時(shí)間里,處理2倍的交易量。
在清分中心系統(tǒng)運(yùn)行初期,可能會因某些異常數(shù)據(jù)導(dǎo)致批處理異常中斷。若每次異常中斷后都要重做,將會花費(fèi)大量時(shí)間。由于晚間停運(yùn)時(shí)間有限,如果直到第二天早晨仍不能完成日終批處理,將會產(chǎn)生較大影響。為了避免該類情況發(fā)生,可以對日終批處理過程設(shè)計(jì)斷點(diǎn)續(xù)做功能,使得成功完成的每個(gè)步驟(或若干筆交易)保存,當(dāng)發(fā)生異常中斷后,可在人工干預(yù)、排除異常數(shù)據(jù)后,在斷點(diǎn)開始重做,避免了每次都從頭重做的問題。上述的斷點(diǎn)續(xù)做的特性,也保證了清分中心系統(tǒng)能在2倍的時(shí)間里,處理2倍的交易量。
從軟件實(shí)現(xiàn)角度分析,制約性能的瓶頸主要是在對數(shù)據(jù)庫的頻繁讀寫上。針對這一問題,采取以下3種方案提升性能。
1)應(yīng)用數(shù)據(jù)庫分區(qū)技術(shù),充分利用物理硬盤的并行性能,提高數(shù)據(jù)庫服務(wù)器性能。
2)對數(shù)據(jù)庫系統(tǒng)的配置進(jìn)行優(yōu)化,使得數(shù)據(jù)庫的索引、關(guān)鍵表等能存放在內(nèi)存中,從而加快系統(tǒng)處理的速度。
3)建立高效的索引,在應(yīng)用設(shè)計(jì)方面通過盡量減少不必要的表操作等措施來提高處理效率。
以上優(yōu)化設(shè)計(jì)經(jīng)過在模擬平臺上的反復(fù)測試驗(yàn)證表明,可以有效提升城市軌道交通清分中心系統(tǒng)的數(shù)據(jù)處理能力。清分中心系統(tǒng)性能的提升可為今后復(fù)雜線網(wǎng)的正常運(yùn)營提供可靠的保證。
[1]黎江.軌道交通自動售檢票系統(tǒng)RAMS設(shè)計(jì)[J].都市快軌交通,2008,21(2):83.
[2]楊甲,羅欽,徐瑞華.網(wǎng)絡(luò)化運(yùn)營條件下城市軌道交通票務(wù)清分方法研究[J].城市軌道交通研究,2009(5):22.
[3]王富章,李平.關(guān)于網(wǎng)絡(luò)化AFC系統(tǒng)整合方案的研究[J].現(xiàn)代城市軌道交通,2005(5):15.
[4]高朝暉,張寧,夏德傳.軌道交通清結(jié)算系統(tǒng)的分析與設(shè)計(jì)[J].交通運(yùn)輸工程與信息學(xué)報(bào),2008,6(2):31.
[5]牛新奇,潘蔭榮.軌道交通系統(tǒng)中清分算法的研究[J].計(jì)算機(jī)時(shí)代,2005(2):17.
[6]韓宇峰,張嘉玲.實(shí)時(shí)信息技術(shù)在地鐵清分系統(tǒng)中的研究與實(shí)現(xiàn)[J].城市軌道交通研究,2010(1):31.