洪蕾

金稅三期系統(tǒng)采取全國應(yīng)用大集中和數(shù)據(jù)大集中模式建設(shè)，首次實現(xiàn)國、地稅軟件版本統(tǒng)一，是中國最大的電子政務(wù)系統(tǒng)，也是政府行業(yè)最大的交易類生產(chǎn)系統(tǒng)，采取總局、省局兩級部署，其中省級主要承擔(dān)金稅三期大廳、前置、地方特色和省級管理決策等系統(tǒng)與功能部署。

作為國家金稅三期工程全國首家上線試點單位，重慶地稅需在2013年2月22日完成金稅三期單軌試運行切換。面對金稅三期生產(chǎn)環(huán)境部署所需硬件設(shè)備嚴(yán)重滯后，上線時間緊迫與地方設(shè)備采購不到位的困難，重慶地稅結(jié)合自身實際情況，發(fā)揮過去省級大集中積累的實戰(zhàn)經(jīng)驗，大膽探索，勇于創(chuàng)新，在總局金稅三期工程辦領(lǐng)導(dǎo)下，用軟實力彌補硬缺位，經(jīng)過科學(xué)論證與反復(fù)試驗，成功采用高端PC服務(wù)器整體虛擬化完成金稅三期省級大廳前置系統(tǒng)部署并經(jīng)過連續(xù)運行，生產(chǎn)環(huán)境系統(tǒng)穩(wěn)定可靠，性能滿足金稅三期設(shè)計要求。

數(shù)據(jù)庫計算設(shè)備

虛擬化部署

金稅三期數(shù)據(jù)總局大集中后，省級數(shù)據(jù)庫壓力適當(dāng)降低，從架構(gòu)設(shè)計上為了提高處理效率和避免總局出現(xiàn)性能壓力瓶頸現(xiàn)象，省局需求部署前置數(shù)據(jù)庫，因前期應(yīng)用開發(fā)公司多，為避免數(shù)據(jù)庫應(yīng)用相互干擾，部署時出現(xiàn)了數(shù)據(jù)庫系統(tǒng)需求數(shù)量較多，短期內(nèi)又難以整合的現(xiàn)象，其中省級前置數(shù)據(jù)庫和地方特色數(shù)據(jù)庫RAC部署就多達(dá)11套，這些數(shù)據(jù)庫系統(tǒng)中有個別處理性能要求較高，例如省級清分庫、查詢庫等，其它數(shù)據(jù)庫系統(tǒng)則是要求可靠性高、處理性能卻相對適中。重慶地稅作為第一個上線試點省份，還存在各數(shù)據(jù)庫應(yīng)用性能需求難以準(zhǔn)確預(yù)測的難點，鑒于過去采用小機(jī)部署數(shù)據(jù)庫存在運行環(huán)境要求高、運維難度大、采購和運維成本高、小機(jī)技術(shù)人才匱乏等不利因素，重慶地稅結(jié)合實際情況，提出采用高檔PC服務(wù)器做數(shù)據(jù)庫整體虛擬化部署方案，方案經(jīng)過專家論證，技術(shù)經(jīng)過反復(fù)測試，最后采購了16臺高檔PC服務(wù)器實現(xiàn)數(shù)據(jù)庫計算設(shè)備整體虛擬化部署。

當(dāng)時，采用虛擬化部署生產(chǎn)級RAC數(shù)據(jù)庫應(yīng)用案例還比較少，在全國稅務(wù)系統(tǒng)內(nèi)更無可借鑒經(jīng)驗，重慶地稅經(jīng)過反復(fù)摸索，最后總結(jié)出RAC數(shù)據(jù)庫虛擬化連接存儲系統(tǒng)時采用掛載存儲裸設(shè)備工作方式更加穩(wěn)定和高效的經(jīng)驗，金稅三期省級前置數(shù)據(jù)庫性能需求差異較大，通過虛擬化可動態(tài)調(diào)節(jié)數(shù)據(jù)庫硬件資源分配需求，甚至在極端情況下可將一臺硬件主機(jī)全部資源只分配給一個虛擬機(jī)，以運行性能要求較高的RAC節(jié)點，多數(shù)情況下可將一臺物理主機(jī)規(guī)劃為2至5個RAC節(jié)點虛擬機(jī)。因2月22日金稅三期單軌試運行時間緊迫，正式生產(chǎn)環(huán)境所需設(shè)備采購又尚未到位，重慶地稅緊急調(diào)配5臺曙光服務(wù)器（配置為64核、512G）通過虛擬化臨時承載了金稅三期省級前置11套數(shù)據(jù)庫共22個RAC節(jié)點虛擬機(jī)，實踐證明，數(shù)據(jù)庫計算設(shè)備虛擬化運行至今尚未出現(xiàn)任何穩(wěn)定性和安全性問題。

數(shù)據(jù)庫計算設(shè)備采用虛擬化部署后，還可實現(xiàn)當(dāng)數(shù)據(jù)庫性能需求增大時，待性能更高的硬件設(shè)備到位后，通過虛擬化遷移技術(shù)對RAC數(shù)據(jù)庫節(jié)點逐個離線遷移，確保數(shù)據(jù)庫服務(wù)不中斷；當(dāng)主機(jī)硬件出現(xiàn)異常宕機(jī)時或需要維護(hù)升級時，可將其承載的虛擬機(jī)離線遷移到其它備用計算設(shè)備上運行，滿足數(shù)據(jù)庫安全運行需要。

數(shù)據(jù)庫整體虛擬化對計算設(shè)備的配置也有適當(dāng)變化，配置更加注重CPU處理能力，包括主頻、線程、數(shù)量等；虛擬化部署數(shù)據(jù)庫的主機(jī)內(nèi)存原則上越大越好，現(xiàn)有的虛擬化軟件已可支持到至少1T主機(jī)內(nèi)存，每個虛擬機(jī)也能支持64核及1T內(nèi)存（VMware vsphere 5.1版本）；從性能和安全上考慮，HBA卡至少要2塊獨立8GB HBA卡，網(wǎng)卡一般也要求配置1G或10G網(wǎng)卡六塊以上。

負(fù)載均衡連接復(fù)用

發(fā)揮出色

為避免出現(xiàn)應(yīng)用瓶頸現(xiàn)象，金稅三期架構(gòu)規(guī)劃需要部署省級大廳前置系統(tǒng)，將常用的Web頁面和簡單邏輯校驗處理等功能前移到省級作為大廳系統(tǒng)部署，這樣既避免了Web頁面遠(yuǎn)距離重復(fù)加載，又避免了全國上班時間集中訪問總局出現(xiàn)的后臺服務(wù)器瓶頸壓力。

重慶地稅借鑒過去省級大集中經(jīng)驗，發(fā)現(xiàn)基層同時訪問省級相同Web頁面概率比較高，例如征期訪問申報頁面，重慶地稅果斷啟用F5負(fù)載均衡會話連接復(fù)用（One Connect）功能，大大降低了省級前置服務(wù)器會話并發(fā)壓力，將基層的3000多個并發(fā)會話（Session）請求降低至20～40個左右，大大提高了金稅三期省級大廳系統(tǒng)處理性能，總局組織的多次機(jī)器模擬和人海壓力測試均獲通過。

應(yīng)用計算節(jié)點整合部署

重慶地稅作為金稅三期首個上線省份，對省級大廳、前置、地方特色等系統(tǒng)應(yīng)用節(jié)點計算資源無實戰(zhàn)經(jīng)驗參考，前期應(yīng)用開發(fā)公司較多，每個公司都提出了獨立的應(yīng)用計算資源需求計劃，合計起來需求數(shù)量較大。

重慶地稅按照總局架構(gòu)要求，提出應(yīng)用計算資源Weblogic應(yīng)用性能可通過節(jié)點大規(guī)模部署負(fù)載均衡解決，每個Weblogic計算節(jié)點對硬件資源要求不太高，一般為4CPU/4G內(nèi)存，為節(jié)省建設(shè)資金，提高采購效率，重慶地稅提出跟標(biāo)總局64片刀片服務(wù)器的采購需求，采用整體虛化化部署方式來推進(jìn)省級大廳、前置、地方特色等系統(tǒng)應(yīng)用部署，此方案具有性價比高、運行相對穩(wěn)定的特點，刀片服務(wù)器與數(shù)據(jù)庫計算設(shè)備一樣，統(tǒng)一部署VMware虛擬化軟件，實現(xiàn)幾百乃至上千個Weblogic應(yīng)用計算節(jié)點資源池的調(diào)度能力。

經(jīng)驗分享

數(shù)據(jù)庫計算設(shè)備掛載存儲系統(tǒng)時，推薦采用掛載存儲裸設(shè)備方式。如采用VMDK虛擬磁盤部署數(shù)據(jù)庫，在VMware軟件實施時需要多項復(fù)雜操作，不但磁盤I/O性能較低，且長期高負(fù)荷運行時的穩(wěn)定性也存在疑問。

虛擬化分區(qū)部署，金稅三期要求建設(shè)若干安全區(qū)域，重慶地稅主要建立了核心安全區(qū)、公眾服務(wù)區(qū)、橫向交換區(qū)三個虛擬化管理區(qū)，其中核心安全區(qū)需求數(shù)量最大，數(shù)據(jù)庫計算設(shè)備和應(yīng)用計算設(shè)備主要分布在該區(qū)域；公眾服務(wù)區(qū)基于安全考慮，原則上只部署應(yīng)用計算設(shè)備，用于發(fā)布Web應(yīng)用節(jié)點；橫向交換區(qū)計算設(shè)備需求數(shù)量最少，可適當(dāng)部署數(shù)據(jù)庫和應(yīng)用計算設(shè)備。

系統(tǒng)存儲問題，過去存儲系統(tǒng)主要規(guī)劃用于數(shù)據(jù)庫，虛擬化部署方案基于安全遷移等考慮，規(guī)劃上還需要考慮虛擬化系統(tǒng)本身的存儲需要，其容量與數(shù)據(jù)庫大小相當(dāng)，性能適中，安全適中，一般采用Raid 5+熱備盤的配置。

虛擬化部署對硬件設(shè)備資源的變化，采用整體虛擬化部署后，硬件資源配置重點也發(fā)生變化，主要是四項指標(biāo)：CPU處理能力、內(nèi)存容量、網(wǎng)卡能力和存儲卡能力，而對服務(wù)器本機(jī)硬盤配置要求大大降低，一般配置VMware啟動盤即可。