王士成
(中國電子科技集團(tuán)公司第五十四研究所,河北石家莊050081)
遙感技術(shù)的發(fā)展和應(yīng)用已經(jīng)走過了多年艱苦探索與攀登的道路,如今,遙感應(yīng)用技術(shù)已經(jīng)起步并逐漸趨于成熟,遙感數(shù)據(jù)已在數(shù)字測繪、資源調(diào)查、災(zāi)害監(jiān)測、城市規(guī)劃、土地利用、環(huán)境保護(hù)和旅游導(dǎo)航[1]等多個(gè)領(lǐng)域廣泛應(yīng)用。
隨著遙感數(shù)據(jù)時(shí)間分辨率、空間分辨率[2]、輻射分辨率[3]和光譜分辨率[3]的全面提高,遙感數(shù)據(jù)的單位時(shí)間數(shù)據(jù)率和數(shù)據(jù)總量都將迅速擴(kuò)大,為有效支持遙感數(shù)據(jù)的共享與應(yīng)用,必須建設(shè)遙感數(shù)據(jù)服務(wù)系統(tǒng),實(shí)現(xiàn)遙感數(shù)據(jù)高效管理。同時(shí),為節(jié)約成本,滿足遙感數(shù)據(jù)服務(wù)系統(tǒng)建設(shè)規(guī)模適度可用的基本原則,必須對遙感數(shù)據(jù)服務(wù)系統(tǒng)的處理能力需求進(jìn)行估算。
以事務(wù)處理性能委員會(TPC)[4]提供的基準(zhǔn)估算理論為核心,提出了遙感數(shù)據(jù)服務(wù)系統(tǒng)處理能力需求的估算方法,以TPM(Transaction Per Minute)值作為系統(tǒng)處理能力估算的單位。
遙感數(shù)據(jù)服務(wù)系統(tǒng)通常包括數(shù)據(jù)存儲[5]、數(shù)據(jù)服務(wù)[6]和應(yīng)用服務(wù)[7]3個(gè)部分,相應(yīng)的處理能力需求估算也需要從數(shù)據(jù)存儲、數(shù)據(jù)服務(wù)和應(yīng)用服務(wù)等3個(gè)角度進(jìn)行。其中數(shù)據(jù)服務(wù)能力和應(yīng)用服務(wù)能力是2個(gè)不同的概念,數(shù)據(jù)服務(wù)能力偏重于數(shù)據(jù)庫自身的服務(wù)能力,應(yīng)用服務(wù)能力注重于通過業(yè)務(wù)邏輯應(yīng)用的途徑供客戶端應(yīng)用程序使用。在大型遙感數(shù)據(jù)服務(wù)系統(tǒng)中,數(shù)據(jù)服務(wù)和應(yīng)用服務(wù)均采用各自獨(dú)立的服務(wù)器,在降低服務(wù)器壓力的同時(shí)盡可能保障數(shù)據(jù)安全和獨(dú)立。
系統(tǒng)需要配置什么樣的服務(wù)器設(shè)備、能夠達(dá)到哪種性能、能夠滿足多長時(shí)間的應(yīng)用等都是系統(tǒng)方案設(shè)計(jì)階段需要考慮的問題。毋庸置疑,遙感數(shù)據(jù)服務(wù)系統(tǒng)的處理能力需求和用戶的使用需求密切相關(guān),經(jīng)分析,影響因素包括以下幾個(gè)方面:① 系統(tǒng)的設(shè)計(jì)使用年限;②系統(tǒng)平均用戶在線人數(shù);③ 用戶的主要操作行為統(tǒng)計(jì);④軟件開發(fā)商預(yù)測的每個(gè)用戶操作行為所引發(fā)的事務(wù)處理量;⑤數(shù)據(jù)生產(chǎn)部門的生產(chǎn)能力;⑥ 系統(tǒng)采用的操作系統(tǒng)和數(shù)據(jù)庫平臺。
設(shè)定數(shù)據(jù)服務(wù)器在忙時(shí)的數(shù)據(jù)庫訪問峰值X,代表主機(jī)處理峰值應(yīng)能達(dá)到每秒X個(gè)連接;每個(gè)連接平均需要執(zhí)行I個(gè)查詢(SEARCH)操作、J個(gè)插入(INSERT)操作、K個(gè)更新(UPDATE)操作和L個(gè)刪除(DELETE)操作;平均每個(gè)查詢操作需要訪問Y個(gè)數(shù)據(jù)表;每個(gè)查詢操作需要相當(dāng)于M個(gè)TPM、每個(gè)插入操作需要相當(dāng)于N個(gè)TPM、每個(gè)更新操作需要相當(dāng)于O個(gè)TPM、每個(gè)刪除操作需要P個(gè)TPM,設(shè)計(jì)數(shù)據(jù)服務(wù)能力需求估算模型為:
式中,X為用戶最大連接數(shù)(連接/秒);I為平均每個(gè)連接需要執(zhí)行的查詢操作數(shù);M為平均每個(gè)查詢操作需要服務(wù)器能力(TPM),依據(jù)經(jīng)驗(yàn)可取值為3~4;J為平均每個(gè)連接需要執(zhí)行的插入操作數(shù);N為平均每個(gè)插入操作需要服務(wù)器能力(TPM),依據(jù)經(jīng)驗(yàn)可取值為2~3;K為平均每個(gè)連接需要執(zhí)行的更新操作數(shù);O為平均每個(gè)更新操作需要服務(wù)器能力(TPM),依據(jù)經(jīng)驗(yàn)可取值為4~5;L為平均每個(gè)連接需要執(zhí)行的刪除操作數(shù);P為平均每個(gè)刪除操作需要服務(wù)器能力(TPM),依據(jù)經(jīng)驗(yàn)可取值為2~3;β為系統(tǒng)自身消耗值,依據(jù)經(jīng)驗(yàn)可取值為25% ~35%;γ為系統(tǒng)忙時(shí)比例因子,依據(jù)經(jīng)驗(yàn)可取值為60% ~80%。
設(shè)定應(yīng)用服務(wù)支持的并發(fā)用戶數(shù)量為U,代表系統(tǒng)同時(shí)在線用戶數(shù)為U個(gè)人;每個(gè)用戶登錄后每分鐘可發(fā)出N個(gè)業(yè)務(wù)請求;各類業(yè)務(wù)請求平均產(chǎn)生的事務(wù)數(shù)為Ti;則應(yīng)用服務(wù)能力需求估算模型為:
式中,U為系統(tǒng)同時(shí)在線用戶數(shù)(人);N為平均每個(gè)用戶每分鐘發(fā)出業(yè)務(wù)請求次數(shù)(次);Ti為平均每次i業(yè)務(wù)產(chǎn)生的事務(wù)數(shù)(次);C為用戶可提出的業(yè)務(wù)請求類型數(shù);X為一天內(nèi)忙時(shí)的處理量和平均數(shù)的比值;Y為經(jīng)驗(yàn)系數(shù)(實(shí)際量和估算量的比值);Z為服務(wù)器設(shè)計(jì)冗余值。
遙感數(shù)據(jù)服務(wù)系統(tǒng)的存儲容量需求主要來源于4個(gè)方面,包括系統(tǒng)運(yùn)行環(huán)境所需的安裝空間、系統(tǒng)運(yùn)行所需的存儲空間、遙感數(shù)據(jù)以及系統(tǒng)運(yùn)行產(chǎn)生的數(shù)據(jù)。設(shè)計(jì)數(shù)據(jù)存儲容量需求估算模型為:
式中,S為系統(tǒng)運(yùn)行環(huán)境所需的存儲空間,包括操作系統(tǒng)、軟件系統(tǒng)、數(shù)據(jù)庫系統(tǒng)等(GB);P為動(dòng)態(tài)為每個(gè)在線用戶分配的共享空間(GB);U為系統(tǒng)最大同時(shí)在線用戶數(shù);DS為數(shù)據(jù)生產(chǎn)部門每天可生產(chǎn)的數(shù)據(jù)量(TB);DR為系統(tǒng)運(yùn)行每天可產(chǎn)生的數(shù)據(jù)量(GB);Y為系統(tǒng)設(shè)計(jì)年限;Z為存儲容量設(shè)計(jì)裕度,取值范圍為10%~30%。
專家估計(jì)法指多名專家分別對系統(tǒng)處理能力需求進(jìn)行估計(jì),計(jì)算專家估計(jì)結(jié)果的平均值,如各專家估計(jì)結(jié)果與平均值之間的差距比例不大于20%,則取平均值作為系統(tǒng)處理能力需求值;否則由各位專家重新進(jìn)行估計(jì)。專家估計(jì)法是目前比較常用的IT系統(tǒng)處理能力估算方法,這種方法的優(yōu)點(diǎn)在于適用范圍廣、計(jì)算方法簡單;缺點(diǎn)在于絕對依賴于專家的主觀判斷,不具備說服力。
基于擴(kuò)容比例的系統(tǒng)處理能力需求估算方法是指在已知原系統(tǒng)需求、原系統(tǒng)處理能力、原系統(tǒng)裕度以及系統(tǒng)擴(kuò)充需求的前提下,依據(jù)系統(tǒng)擴(kuò)充需求與原系統(tǒng)需求的比例關(guān)系,結(jié)合原系統(tǒng)處理能力和原系統(tǒng)裕度,推算擴(kuò)充系統(tǒng)處理能力需求。這種方法的優(yōu)點(diǎn)在于推算方法簡單,說服力強(qiáng);局限性在于只適用于系統(tǒng)能力擴(kuò)充的情況,且在系統(tǒng)能力大幅度提升時(shí)準(zhǔn)確度明顯下降。
基于代碼量進(jìn)行應(yīng)用服務(wù)處理能力需求估算方法依據(jù)式(4)進(jìn)行應(yīng)用服務(wù)系統(tǒng)處理能力需求的估算,這種方法的主要優(yōu)點(diǎn)是計(jì)算簡便;但缺點(diǎn)也非常明顯,首先,這種方法僅適用于應(yīng)用服務(wù)系統(tǒng),且要求已知數(shù)據(jù)服務(wù)系統(tǒng)的處理能力需求;其次,該方法完全依賴于經(jīng)驗(yàn)系數(shù),缺乏理論與方法上的說服力和準(zhǔn)確性。式中,LA為應(yīng)用服務(wù)處理能力需求;LD為數(shù)據(jù)庫服務(wù)處理能力需求;α為與應(yīng)用服務(wù)代碼量相關(guān)的經(jīng)驗(yàn)系數(shù),取值如表1所示。
表1 應(yīng)用服務(wù)經(jīng)驗(yàn)系數(shù)參考值表
研制建設(shè)一套遙感數(shù)據(jù)服務(wù)系統(tǒng),經(jīng)采集用戶需求并咨詢相關(guān)軟件開發(fā)商和硬件廠商,獲取信息如下:系統(tǒng)設(shè)計(jì)使用年限5年;系統(tǒng)平均在線用戶數(shù)量為500人;數(shù)據(jù)生產(chǎn)能力約為3 TB/天;系統(tǒng)主要采用Linux操作系統(tǒng)和Oracle10g數(shù)據(jù)庫;用戶主要操作行為包括需求提交、需求維護(hù)、數(shù)據(jù)檢索、數(shù)據(jù)下載。
各種操作行為所引發(fā)的事務(wù)處理量如下:①平均每個(gè)需求提交操作所引發(fā)的事務(wù)處理量約為30 TPM;②平均每個(gè)需求維護(hù)操作所引發(fā)的事務(wù)處理量約為50 TPM;③ 每個(gè)數(shù)據(jù)檢索操作所引發(fā)的事務(wù)處理量約為40 TPM;④ 每個(gè)數(shù)據(jù)下載操作所引發(fā)的事務(wù)處理量約為30 TPM。
依據(jù)式(1)、式(2)和式(3)可對本案例所需的遙感數(shù)據(jù)服務(wù)系統(tǒng)的數(shù)據(jù)服務(wù)能力需求、應(yīng)用服務(wù)能力需求和數(shù)據(jù)存儲容量需求進(jìn)行分析。
2.2.1 數(shù)據(jù)服務(wù)能力需求
在數(shù)據(jù)服務(wù)能力需求分析過程中,取用戶最大連接數(shù)X為8 000,即數(shù)據(jù)服務(wù)處理峰值應(yīng)能達(dá)到8 000連接/秒;平均每個(gè)連接需要執(zhí)行的查詢操作數(shù)I、插入操作數(shù)J、更新操作數(shù)K和刪除操作數(shù)L分別為5、4、4、2,對應(yīng)操作所需的服務(wù)器能力 M、N、O、P取值分別為別為3、2、4、2;系統(tǒng)自身消耗 β 取值為30%;系統(tǒng)忙時(shí)比例因子γ取值為70%;則數(shù)據(jù)服務(wù)能力需求LD約為702 041 TPM。
2.2.2 應(yīng)用服務(wù)能力需求
在應(yīng)用服務(wù)能力需求分析過程中,系統(tǒng)同時(shí)在線用戶數(shù)U為500,即最大支持500人同時(shí)在線;平均每個(gè)用戶每分鐘發(fā)出業(yè)務(wù)請求次數(shù)N為8,即平均每個(gè)用戶每分鐘發(fā)出8個(gè)業(yè)務(wù)請求;用戶可提出的業(yè)務(wù)請求類型數(shù)量C取值為4;平均每個(gè)需求提交操作、需求維護(hù)操作和數(shù)據(jù)檢索操作和數(shù)據(jù)下載操作所引發(fā)的事務(wù)處理量 Ti分別為 30、50、40、30;一天內(nèi)忙時(shí)處理量和平均數(shù)的比值X為5;實(shí)際量和估算量的比值Y取值為0.8;服務(wù)器冗余量Z取值為30%;則應(yīng)用服務(wù)能力需求 LA約為857143TPM。
2.2.3 數(shù)據(jù)存儲容量需求
在數(shù)據(jù)存儲容量需求分析中,取系統(tǒng)運(yùn)行環(huán)境所需的存儲空間S為600 GB,包括操作系統(tǒng)、軟件系統(tǒng)和數(shù)據(jù)庫系統(tǒng)等所需的存儲空間;取動(dòng)態(tài)為每個(gè)在線用戶分配的共享空間為200 GB;系統(tǒng)同時(shí)在線用戶數(shù)U為500;取數(shù)據(jù)生產(chǎn)部門每天可生產(chǎn)的數(shù)據(jù)量DS為3 TB;取系統(tǒng)運(yùn)行每天可產(chǎn)生的數(shù)據(jù)量DR為1 GB;取系統(tǒng)設(shè)計(jì)年限Y為5年;存儲容量設(shè)計(jì)裕度Z取值為20%;則數(shù)據(jù)存儲容量需求LS約為6 969 TB。
數(shù)據(jù)服務(wù)能力需求、應(yīng)用服務(wù)能力需求和數(shù)據(jù)存儲容量需求計(jì)算完畢后,通過TPC-C網(wǎng)站可檢索服務(wù)器設(shè)備處理能力,表2列出了部分服務(wù)器設(shè)備的處理能力,可結(jié)合系統(tǒng)的數(shù)據(jù)服務(wù)能力需求以及應(yīng)用服務(wù)能力需求選擇、配置相應(yīng)的服務(wù)器型號、數(shù)量;數(shù)據(jù)存儲設(shè)備可根據(jù)數(shù)據(jù)存儲容量需求進(jìn)行配置。針對本案例中對數(shù)據(jù)服務(wù)能力、應(yīng)用服務(wù)能力和數(shù)據(jù)存儲容量的需求,建議的設(shè)備配置如表3所示。
表2 服務(wù)器處理能力列表
表3 建議的設(shè)備配置表
所述的遙感數(shù)據(jù)服務(wù)系統(tǒng)需求估算方法是一種技術(shù)參數(shù)結(jié)合工程經(jīng)驗(yàn)參數(shù)的服務(wù)設(shè)備需求計(jì)算方法,經(jīng)適當(dāng)?shù)財(cái)U(kuò)展可具備一定的通用性。在工程經(jīng)驗(yàn)豐富的前提下,計(jì)算公式中涉及的經(jīng)驗(yàn)參數(shù)更加準(zhǔn)確,數(shù)據(jù)服務(wù)能力需求估算模型可準(zhǔn)確估算數(shù)據(jù)庫服務(wù)器能力需求,應(yīng)用服務(wù)能力需求估算模型可用于確定計(jì)算服務(wù)器的能力需求,數(shù)據(jù)存儲容量需求可明確系統(tǒng)存儲設(shè)備的需求,各項(xiàng)結(jié)果可為系統(tǒng)配置和選型提供有力的支持。
[1]張兆霞,朱龍文.基于遙感衛(wèi)星的系列正射影像圖制作[J].影像技術(shù),2004(3):39-42.
[2]曠 達(dá),沈 艷,牛 錚,等.衛(wèi)星反演降水產(chǎn)品誤差隨時(shí)空分辨率和雨強(qiáng)的變化特征分析[J].遙感信息,2012,27(4):75-81.
[3]劉 毅,呂達(dá)仁,陳洪濱,等.衛(wèi)星遙感大氣CO2的技術(shù)與方法進(jìn)展綜述[J].遙感技術(shù)與應(yīng)用,2011,26(2):247-254.
[4]王忠華.J2EE應(yīng)用服務(wù)器資源優(yōu)化機(jī)制的研究與實(shí)現(xiàn)[D].長沙:國防科技大學(xué),2008.
[5]許 靜.高效信息收發(fā)軟件系統(tǒng)設(shè)計(jì)分析[J].無線電工程,2011,41(9):7 -10.
[6]馬萬權(quán),王士成,劉建坡.大幅面遙感影像分發(fā)技術(shù)研究[J].無線電工程,2006,36(6):7 -10.
[7]陳 峻.公開情報(bào)信息搜集分析系統(tǒng)總體設(shè)計(jì)[J].無線電通信技術(shù),2008,34(3):38-40.