李阿妮，張 曉，張伯陽，柳春懿，趙曉南

(西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，西安 710129)

公有云存儲(chǔ)系統(tǒng)性能評(píng)測(cè)方法研究

李阿妮*，張 曉，張伯陽，柳春懿，趙曉南

(西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，西安 710129)

(*通信作者電子郵箱liani_1028@163.com)

隨著云存儲(chǔ)系統(tǒng)的迅速發(fā)展和廣泛使用，許多企業(yè)開發(fā)者和個(gè)人用戶將其應(yīng)用從傳統(tǒng)存儲(chǔ)遷移至公有云存儲(chǔ)系統(tǒng)，因此，云存儲(chǔ)系統(tǒng)性能成為企業(yè)開發(fā)者和個(gè)人用戶關(guān)注的焦點(diǎn)。由于傳統(tǒng)測(cè)試難以模擬足夠多的用戶同時(shí)訪問云存儲(chǔ)系統(tǒng)；測(cè)試環(huán)境構(gòu)建復(fù)雜，測(cè)試時(shí)間長，準(zhǔn)備測(cè)試環(huán)境成本高；受網(wǎng)絡(luò)因素及外界其他因素影響，評(píng)測(cè)結(jié)果不穩(wěn)定。針對(duì)以上所述云存儲(chǔ)系統(tǒng)性能評(píng)測(cè)的重點(diǎn)和難點(diǎn)，提出一種“云測(cè)試云”的公有云存儲(chǔ)系統(tǒng)性能評(píng)測(cè)方法，該方法通過在云計(jì)算平臺(tái)動(dòng)態(tài)申請(qǐng)足夠數(shù)量的實(shí)例，對(duì)公有云存儲(chǔ)系統(tǒng)性能進(jìn)行評(píng)測(cè)。首先，構(gòu)建通用的性能評(píng)測(cè)框架，可動(dòng)態(tài)伸縮申請(qǐng)實(shí)例，自動(dòng)化部署評(píng)測(cè)工具及負(fù)載，控制并發(fā)訪問云存儲(chǔ)系統(tǒng)，自動(dòng)釋放實(shí)例及收集并反饋評(píng)測(cè)結(jié)果；其次，提出多維度的性能評(píng)測(cè)指標(biāo)，涵蓋不同典型應(yīng)用、不同云存儲(chǔ)接口；最后，提出一種可擴(kuò)展通用的性能評(píng)測(cè)模型，該模型可以評(píng)測(cè)常見典型應(yīng)用的性能，分析云存儲(chǔ)性能影響因素，可適用于任何的公有云存儲(chǔ)平臺(tái)。為了驗(yàn)證該方法的可行性、合理性、通用性和可擴(kuò)展性，利用所提方法對(duì)Amazon S3云存儲(chǔ)系統(tǒng)進(jìn)行性能評(píng)測(cè)，并使用s3cmd驗(yàn)證評(píng)測(cè)結(jié)果的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明, 評(píng)測(cè)結(jié)果可以為企業(yè)開發(fā)者和個(gè)人用戶提供參考意見。

云測(cè)試云；公有云存儲(chǔ)系統(tǒng)；性能評(píng)測(cè)；Amazon S3；自動(dòng)化評(píng)測(cè)工具

0 引言

全球數(shù)據(jù)量的迅猛增長使得數(shù)據(jù)存儲(chǔ)日益成為各企業(yè)關(guān)注的焦點(diǎn)，持續(xù)增長的數(shù)據(jù)存儲(chǔ)壓力帶動(dòng)了整個(gè)存儲(chǔ)市場的快速發(fā)展，云存儲(chǔ)迅速成為存儲(chǔ)的熱點(diǎn)[1]。許多企業(yè)開發(fā)者和個(gè)人用戶將其應(yīng)用從傳統(tǒng)存儲(chǔ)遷移至公有云存儲(chǔ)系統(tǒng)，為了評(píng)判選擇的公有云存儲(chǔ)系統(tǒng)能否滿足業(yè)務(wù)需求，需要對(duì)公有云存儲(chǔ)系統(tǒng)進(jìn)行性能評(píng)估, 因此，云存儲(chǔ)系統(tǒng)性能成為企業(yè)開發(fā)者和個(gè)人用戶關(guān)注的焦點(diǎn)。傳統(tǒng)的存儲(chǔ)系統(tǒng)性能測(cè)試方法直接用于云存儲(chǔ)系統(tǒng)時(shí)，存在如下問題：第一，由于實(shí)際環(huán)境資源的限制，測(cè)試不具有可擴(kuò)展性，難以評(píng)測(cè)大規(guī)模云存儲(chǔ)系統(tǒng)的性能；第二，難以模擬足夠多的用戶同時(shí)訪問云存儲(chǔ)系統(tǒng)；第三，測(cè)試環(huán)境構(gòu)建復(fù)雜，需要花費(fèi)大量的人力物力，測(cè)試時(shí)間長；第四，準(zhǔn)備測(cè)試環(huán)境，測(cè)試成本投入高；第五，測(cè)試過程受網(wǎng)絡(luò)因素及外界其他因素影響，評(píng)測(cè)結(jié)果不穩(wěn)定。

針對(duì)以上問題，本文提出一種公有云存儲(chǔ)系統(tǒng)性能評(píng)測(cè)方法——“云測(cè)試云”，該方法通過在云計(jì)算平臺(tái)動(dòng)態(tài)申請(qǐng)足夠數(shù)量的實(shí)例，對(duì)公有云存儲(chǔ)系統(tǒng)性能進(jìn)行評(píng)測(cè)。該方法主要針對(duì)公有云存儲(chǔ)系統(tǒng)，因?yàn)樗接性拼鎯?chǔ)系統(tǒng)是針對(duì)特定企業(yè)或高校搭建，供其內(nèi)部人員使用，而公有云存儲(chǔ)系統(tǒng)具有普遍使用性。該方法具有如下優(yōu)點(diǎn)：第一，在云計(jì)算平臺(tái)上動(dòng)態(tài)按需申請(qǐng)實(shí)例，可以模擬足夠數(shù)量的用戶，具有很好的擴(kuò)展性；第二，評(píng)測(cè)過程自動(dòng)化部署，節(jié)約人力物力，使評(píng)測(cè)過程更高效；第三，使用云計(jì)算資源構(gòu)建評(píng)測(cè)環(huán)境，節(jié)約測(cè)試成本；第四，評(píng)測(cè)過程相對(duì)屏蔽網(wǎng)絡(luò)因素的影響，使評(píng)測(cè)過程穩(wěn)定；第五，該方法可以適用于任何公有云存儲(chǔ)平臺(tái)，具有很好的通用性。

本文的主要工作為：第一，提出一種公有云存儲(chǔ)系統(tǒng)性能評(píng)測(cè)方法——“云測(cè)試云”；第二，構(gòu)建通用的性能評(píng)測(cè)框架，可動(dòng)態(tài)伸縮申請(qǐng)實(shí)例，自動(dòng)化部署評(píng)測(cè)工具及負(fù)載，控制并發(fā)訪問云存儲(chǔ)系統(tǒng)，自動(dòng)釋放實(shí)例及收集并反饋評(píng)測(cè)結(jié)果；第三，提出多維度的性能評(píng)測(cè)指標(biāo)，涵蓋不同典型應(yīng)用、不同云存儲(chǔ)接口；第四，提出一種可擴(kuò)展通用的性能評(píng)測(cè)模型，可以適用于任何的公有云存儲(chǔ)平臺(tái)，通過該模型可以評(píng)測(cè)常見典型應(yīng)用的性能，并且可以分析用戶使用機(jī)器類型、用戶訪問文件大小、同時(shí)訪問用戶數(shù)對(duì)云存儲(chǔ)系統(tǒng)性能的影響。

1 相關(guān)研究

目前，在公有云存儲(chǔ)性能評(píng)測(cè)方面，已經(jīng)有大量的研究工作，根據(jù)云存儲(chǔ)接口訪問類型，可以分為塊存儲(chǔ)、對(duì)象存儲(chǔ)、數(shù)據(jù)庫存儲(chǔ)。

文獻(xiàn)[2]研究Windows Azure云平臺(tái)三種主要存儲(chǔ)服務(wù)Blob(塊存儲(chǔ))、Table和Queue(數(shù)據(jù)庫存儲(chǔ))的性能，采用1～192個(gè)客戶端從多維度評(píng)測(cè)指標(biāo)角度進(jìn)行評(píng)測(cè)，比如分析Blob上傳下載的傳輸速率，分析Table常用應(yīng)用程序編程接口(Application Programming Interface, API)操作(Insert、Query、Update、Delete)的次數(shù)。該方法的優(yōu)點(diǎn)是模擬多用戶真實(shí)訪問，分析不同存儲(chǔ)接口的性能；但是該方法的不足是評(píng)測(cè)時(shí)限制用戶所在區(qū)域，而真實(shí)用戶訪問地區(qū)各不相同，沒有真正地做到從用戶角度分析云存儲(chǔ)系統(tǒng)性能；另外，該方法只是分析用戶訪問數(shù)對(duì)云存儲(chǔ)性能影響，而沒有分析其性能的影響因素。文獻(xiàn)[3]針對(duì)Azure云存儲(chǔ)平臺(tái)的性能研究提出一套開源的benchmark——AzureBench，使用多層次指標(biāo)評(píng)測(cè)Blob、Table和Queue三種存儲(chǔ)服務(wù)的性能。該方法分析了不同實(shí)例數(shù)量、不同文件大小對(duì)其存儲(chǔ)性能的影響，但是沒有分析實(shí)例類型對(duì)存儲(chǔ)性能的影響，同時(shí)評(píng)測(cè)過程沒有做到自動(dòng)化部署，評(píng)測(cè)效率低。

文獻(xiàn)[4]從數(shù)據(jù)持久性、數(shù)據(jù)可用性、數(shù)據(jù)訪問性能角度評(píng)測(cè)Amazon S3(Simple Storage Service)存儲(chǔ)服務(wù)的性能。該方法的優(yōu)點(diǎn)是從5個(gè)不同的地區(qū)和Amazon內(nèi)部的EC2角度采用橫向?qū)Ρ仍u(píng)測(cè)Amazon S3性能; 但是在評(píng)測(cè)Amazon S3并發(fā)訪問性能時(shí)，采用不同地區(qū)的EC2單臺(tái)虛擬機(jī)設(shè)置多線程來測(cè)試，這種方法不能模擬真實(shí)的多用戶并發(fā)訪問。文獻(xiàn)[4]調(diào)用Amazon S3提供的REST API采用Java、C++、Python語言實(shí)現(xiàn)評(píng)測(cè)工具，但是該工具不能實(shí)現(xiàn)自動(dòng)化部署。文獻(xiàn)[5-6]采用C++語言調(diào)用Amazon S3 API實(shí)現(xiàn)評(píng)測(cè)工具，從EC2角度評(píng)測(cè)Amazon S3的吞吐量、并發(fā)訪問及可用性。該方法的優(yōu)點(diǎn)是能分析時(shí)間因素和地區(qū)因素對(duì)Amazon S3性能的影響; 但不足是沒有分析不同實(shí)例類型及不同實(shí)例數(shù)量對(duì)Amazon S3性能的影響，并且評(píng)測(cè)方法使用單客戶端進(jìn)行評(píng)測(cè)，使得該評(píng)測(cè)方法不具有可擴(kuò)展性。文獻(xiàn)[7]利用網(wǎng)絡(luò)分析工具iptools獲得云存儲(chǔ)系統(tǒng)在處理用戶訪問請(qǐng)求的各個(gè)階段的時(shí)間開銷，從而建立模型評(píng)測(cè)云存儲(chǔ)的性能，并且以百度云盤和金山快盤為測(cè)試對(duì)象進(jìn)行實(shí)驗(yàn)，驗(yàn)證模型。但是該方法只分析單客戶訪問云存儲(chǔ)的性能，因此評(píng)測(cè)方法不具有擴(kuò)展性。文獻(xiàn)[8]采用網(wǎng)絡(luò)嗅探工具Ethereal，通過捕獲網(wǎng)盤客戶端傳輸文件的數(shù)據(jù)包的方式來確定其傳輸時(shí)間、計(jì)算傳輸速率。該方法的優(yōu)點(diǎn)是采用所提方法橫向?qū)Ρ热N典型網(wǎng)盤的性能，但不足是只分析單用戶訪問的性能，沒有分析多用戶同時(shí)訪問的性能，評(píng)測(cè)方法不具有可擴(kuò)展性。文獻(xiàn)[9]研發(fā)評(píng)測(cè)Openstack Swift應(yīng)用服務(wù)接口層性能工具CSPTS(Cloud Storage Performance Test System)，通過調(diào)用Swift開放的API接口，測(cè)試文件讀寫和元數(shù)據(jù)操作的性能。文獻(xiàn)[10]對(duì)公有云存儲(chǔ)Azure和私有云存儲(chǔ)Nimbus進(jìn)行性能評(píng)價(jià)，使用集成benchmark和負(fù)載應(yīng)用程序?qū)π阅苓M(jìn)行評(píng)價(jià)，主要指標(biāo)有計(jì)算性能、網(wǎng)絡(luò)性能和成本。該方法的優(yōu)點(diǎn)在于將所提性能評(píng)測(cè)方法在公有云存儲(chǔ)Azure和私有云存儲(chǔ)Nimbus上進(jìn)行對(duì)比評(píng)測(cè)，評(píng)測(cè)指標(biāo)多樣化，但沒有具體說明提出的性能評(píng)測(cè)方法。

YCSB(Yahoo Cloud Serving Benchmark)[11]由Yahoo公司開發(fā)，主要是面向key/value云存儲(chǔ)系統(tǒng)的評(píng)估。文獻(xiàn)[11]提出了一個(gè)稱為YCSB的測(cè)試框架，用于云數(shù)據(jù)服務(wù)系統(tǒng)的性能對(duì)比，具有通用性與擴(kuò)展性, 并定義了5個(gè)核心工作負(fù)載，可用于測(cè)試云數(shù)據(jù)服務(wù)系統(tǒng)的基礎(chǔ)性能，也可較容易地基于這些負(fù)載生成新的負(fù)載以對(duì)特定的應(yīng)用進(jìn)行測(cè)試。文獻(xiàn)[12]提出了一個(gè)測(cè)試生成工具，可高效運(yùn)行多個(gè)benchmark進(jìn)行測(cè)試以獲得更高置信度的結(jié)果，該工具與負(fù)載生成器進(jìn)行交互以執(zhí)行每一個(gè)測(cè)試，類似于YCSB的客戶端。

通過分析發(fā)現(xiàn)，現(xiàn)有的研究通過多維度評(píng)測(cè)指標(biāo)，橫向?qū)Ρ瓤梢院芎玫卦u(píng)測(cè)特定公有云存儲(chǔ)系統(tǒng)性能，但是這些方法不具有通用性、可擴(kuò)展性，并且評(píng)測(cè)工具不能自動(dòng)化部署，評(píng)測(cè)效率低，有些方法不能模擬真實(shí)的多用戶同時(shí)訪問，評(píng)測(cè)結(jié)果對(duì)企業(yè)開發(fā)者和個(gè)人用戶不能很好地提供建議。

針對(duì)以上研究工作的不足，本文提出一種公有云存儲(chǔ)系統(tǒng)性能評(píng)測(cè)方法——“云測(cè)試云”，該方法具有很好的通用性和可擴(kuò)展性。通過自動(dòng)化部署和多維度指標(biāo)評(píng)測(cè)，為企業(yè)開發(fā)者和個(gè)人用戶使用云存儲(chǔ)系統(tǒng)提供參考。

2 云測(cè)試云

2.1 評(píng)測(cè)框架

本文構(gòu)建通用的性能評(píng)測(cè)框架，如圖1所示。主要包括4個(gè)模塊：1)控制決策模塊。首先，對(duì)企業(yè)開發(fā)者或個(gè)人用戶提交的需求說明進(jìn)行需求分析；然后，根據(jù)需求分析結(jié)果創(chuàng)建虛擬機(jī)組；接著，給創(chuàng)建的所有虛擬機(jī)發(fā)送工具和負(fù)載信息，并且控制虛擬機(jī)進(jìn)行訪問操作；其次，當(dāng)訪問測(cè)試模塊完成時(shí)，從各個(gè)虛擬機(jī)中收集評(píng)測(cè)結(jié)果；最后，當(dāng)用戶收到評(píng)測(cè)結(jié)果后，釋放虛擬組。2)資源調(diào)度模塊。主要根據(jù)控制決策模塊發(fā)送的請(qǐng)求消息啟動(dòng)虛擬機(jī)組。3)訪問測(cè)試模塊。所有新啟動(dòng)的虛擬機(jī)根據(jù)控制決策模塊的需求分析信息訪問云存儲(chǔ)系統(tǒng)，進(jìn)行元數(shù)據(jù)訪問或者數(shù)據(jù)訪問。4)結(jié)果處理模塊。主要負(fù)責(zé)處理控制決策模塊從各個(gè)虛擬機(jī)收集的評(píng)測(cè)結(jié)果，分為單節(jié)點(diǎn)結(jié)果處理和多節(jié)點(diǎn)結(jié)果處理，并將分析結(jié)果反饋給企業(yè)開發(fā)者或個(gè)人用戶。

圖1 “云測(cè)試云”性能評(píng)測(cè)框架Fig. 1 “Cloud testing cloud” performance evaluation framework

2.2 評(píng)測(cè)指標(biāo)

本地存儲(chǔ)系統(tǒng)的性能評(píng)測(cè)指標(biāo)有IOPS(Input/Output Operations Per Second)、數(shù)據(jù)傳輸率、元數(shù)據(jù)吞吐率和并發(fā)數(shù)等，具體如下：

1)IOPS：測(cè)試本地存儲(chǔ)系統(tǒng)每秒處理的IO請(qǐng)求數(shù)，單位為IO次數(shù)/秒(IOPS)。

2)數(shù)據(jù)傳輸率：測(cè)試本地存儲(chǔ)系統(tǒng)在單位時(shí)間內(nèi)的最大數(shù)據(jù)傳輸率，單位為兆字節(jié)/秒(MB/s)。

3)元數(shù)據(jù)吞吐率：本地存儲(chǔ)系統(tǒng)在單位時(shí)間內(nèi)能夠處理的元數(shù)據(jù)量，單位為次/秒。

4)并發(fā)數(shù)：同一時(shí)間內(nèi)能夠支持的最大用戶訪問數(shù)目。

借鑒本地存儲(chǔ)系統(tǒng)性能評(píng)測(cè)指標(biāo)，本文提出云存儲(chǔ)系統(tǒng)面向不同典型應(yīng)用和不同云存儲(chǔ)接口的多維度性能評(píng)測(cè)指標(biāo)，具體如下：

1)面向不同典型應(yīng)用的評(píng)測(cè)指標(biāo)。

典型應(yīng)用性能：針對(duì)不同用戶機(jī)器類型、不同網(wǎng)絡(luò)環(huán)境、不同測(cè)試時(shí)間點(diǎn)，測(cè)試典型應(yīng)用的完成時(shí)間，單位為秒(s)。

典型應(yīng)用的性能不只與用戶上傳下載的文件大小有關(guān)系，并且和文件的讀寫訪問模式有關(guān)系。如云相冊(cè)，用戶一次寫入，多次進(jìn)行讀訪問，并且用戶一般訪問不是下載單個(gè)照片，而是下載某個(gè)相冊(cè)整體。

常見的云存儲(chǔ)系統(tǒng)典型應(yīng)用如表1所示。因?yàn)槲募?、軟件、視頻等用戶使用時(shí)都會(huì)有大文件和小文件、大軟件和小軟件等之分，所以設(shè)置兩個(gè)參數(shù)值，并且只對(duì)小文件，小軟件、小視頻等作測(cè)試。

表1 常見的云存儲(chǔ)系統(tǒng)典型應(yīng)用Tab. 1 Common typical applications of cloud storage system

2)面向不同云存儲(chǔ)接口的評(píng)測(cè)指標(biāo)。

根據(jù)云存儲(chǔ)系統(tǒng)的不同接口訪問類型，可以分為塊存儲(chǔ)接口、對(duì)象存儲(chǔ)接口、數(shù)據(jù)庫存儲(chǔ)接口，不同接口的具體評(píng)測(cè)指標(biāo)如表2所示。

表2 云存儲(chǔ)系統(tǒng)不同訪問接口的評(píng)測(cè)指標(biāo)Tab. 2 Cloud storage system evaluation index of different access interfaces

2.3 評(píng)測(cè)模型

本文在評(píng)測(cè)指標(biāo)的基礎(chǔ)上提出兩種通用可擴(kuò)展的公有云存儲(chǔ)系統(tǒng)性能評(píng)測(cè)模型：典型應(yīng)用性能評(píng)測(cè)模型和云存儲(chǔ)接口層性能評(píng)測(cè)模型。典型應(yīng)用性能評(píng)測(cè)模型，可以分析用戶使用不同典型應(yīng)用在不同訪問模式、不同機(jī)器類型、不同網(wǎng)絡(luò)環(huán)境和不同測(cè)試時(shí)間點(diǎn)時(shí)完成時(shí)間；云存儲(chǔ)接口層性能評(píng)測(cè)模型可以評(píng)測(cè)用戶使用的機(jī)器類型、用戶訪問的文件大小及同時(shí)訪問的用戶數(shù)對(duì)云存儲(chǔ)系統(tǒng)性能的影響。兩種具體評(píng)測(cè)模型如圖2～3所示。

典型應(yīng)用性能評(píng)測(cè)模型的具體執(zhí)行流程如下：首先將不同的典型應(yīng)用在不同時(shí)間，部署到不同區(qū)域的不同類型機(jī)器上；最后可以評(píng)測(cè)出不同典型應(yīng)用在不同訪問模式、不同時(shí)間、不同區(qū)域、不同類型機(jī)器上的完成時(shí)間。

圖2 典型應(yīng)用性能評(píng)測(cè)模型Fig. 2 Performance evaluation model of typical applications

云存儲(chǔ)系統(tǒng)云存儲(chǔ)接口層性能評(píng)測(cè)模型主要分為兩個(gè)階段，具體執(zhí)行流程如下。

第一階段 因素分析。

1)評(píng)測(cè)云存儲(chǔ)系統(tǒng)性能和實(shí)例類型之間的關(guān)系。固定文件大小(一般設(shè)置小文件)和用戶數(shù)量(一般設(shè)置單用戶)，評(píng)測(cè)實(shí)例類型(即用戶使用的機(jī)器類型)對(duì)云存儲(chǔ)系統(tǒng)性能的影響。

2)確定最優(yōu)文件大小。不同云存儲(chǔ)系統(tǒng)支持的最優(yōu)文件大小不同，固定實(shí)例類型(一般設(shè)置小配置實(shí)例類型)和用戶數(shù)量(單用戶)，尋找評(píng)測(cè)的云存儲(chǔ)系統(tǒng)支持訪問的最優(yōu)文件大小，即用戶上傳、下載時(shí)的最優(yōu)文件大小, 并且分析文件大小和云存儲(chǔ)系統(tǒng)性能之間的關(guān)系。

3)確定云存儲(chǔ)系統(tǒng)支持的最大用戶數(shù)。云存儲(chǔ)系統(tǒng)支持的最大用戶數(shù)，與用戶使用的實(shí)例類型及用戶上傳或下載的文件大小有關(guān)系，所以在評(píng)測(cè)時(shí)，將實(shí)例類型設(shè)置為較優(yōu)實(shí)例配置，將文件大小設(shè)置為小文件，進(jìn)而評(píng)測(cè)云存儲(chǔ)系統(tǒng)同時(shí)支持的最大用戶訪問數(shù)，并且分析用戶數(shù)和云存儲(chǔ)系統(tǒng)性能之間的關(guān)系。

第二階段 當(dāng)用戶使用云存儲(chǔ)系統(tǒng)時(shí)， 通過統(tǒng)籌規(guī)劃動(dòng)態(tài)調(diào)整上述分析的各個(gè)因素，盡可能地為用戶提供較優(yōu)的性能，從而為用戶的使用提供指導(dǎo)建議。

圖3 云存儲(chǔ)接口層性能評(píng)測(cè)模型Fig. 3 Performance evaluation model of cloud storage interface

3 實(shí)驗(yàn)

為了驗(yàn)證本文提出“云測(cè)試云”的公有云存儲(chǔ)系統(tǒng)性能評(píng)測(cè)方法的可行性、合理性、通用性和可擴(kuò)展性，本文在Amazon S3平臺(tái)上進(jìn)行實(shí)驗(yàn)驗(yàn)證。選擇Amazon S3公有云存儲(chǔ)平臺(tái)進(jìn)行驗(yàn)證，是因?yàn)锳mazon在2016年最新的為用戶提供最佳云存儲(chǔ)服務(wù)體驗(yàn)排名[13]中位居榜首；另外，無論是Amazon EC2還是Amazon S3都提供開放的API，這些API發(fā)布時(shí)間長，成熟穩(wěn)定，因此評(píng)測(cè)過程穩(wěn)定。本文使用python語言調(diào)用EC2和Amazon S3的API，使用云測(cè)試云評(píng)測(cè)方法研發(fā)工具進(jìn)行評(píng)測(cè)，工具名稱為：Amazon S3云測(cè)試云工具(S3 Cloud Testing Cloud，S3CTC)。

3.1 評(píng)測(cè)指標(biāo)

1)面向不同典型應(yīng)用的評(píng)測(cè)指標(biāo)。同2.2節(jié)面向不同典型應(yīng)用的評(píng)測(cè)指標(biāo)。

2)面向不同云存儲(chǔ)接口的評(píng)測(cè)指標(biāo)。從2.2節(jié)通用的評(píng)測(cè)指標(biāo)中可得，針對(duì)Amazon S3(對(duì)象存儲(chǔ))的評(píng)測(cè)指標(biāo)如表3所示。

表3 Amazon S3云存儲(chǔ)接口的評(píng)測(cè)指標(biāo)Tab. 3 Evaluation indexes for Amazon S3 cloud storage interfaces’

3.2 實(shí)驗(yàn)環(huán)境

本文的重點(diǎn)在于提出一個(gè)通用的公有云存儲(chǔ)系統(tǒng)性能評(píng)測(cè)框架和評(píng)測(cè)模型，驗(yàn)證該評(píng)測(cè)框架和評(píng)測(cè)模型的可行性和合理性，所以不驗(yàn)證所有評(píng)測(cè)指標(biāo)，只是選具有代表性評(píng)測(cè)指標(biāo)進(jìn)行評(píng)測(cè)。所有的實(shí)驗(yàn)都選擇在Amazon EC2平臺(tái)東京地區(qū)進(jìn)行。評(píng)測(cè)環(huán)境的拓?fù)淙鐖D4所示。

圖4 Amazon S3性能評(píng)測(cè)環(huán)境拓?fù)銯ig. 4 Amazon S3 performance evaluating environment topology

實(shí)驗(yàn)時(shí)選擇不同的虛擬機(jī)實(shí)例類型進(jìn)行實(shí)驗(yàn)對(duì)比,處理器為Intel Xeon E5-2670 v2 2.50 GHz，內(nèi)核版本為3.13.0-48-generic，操作系統(tǒng)為Ubuntu 14.04.2 LTS，實(shí)例存儲(chǔ)為EBS only，不同實(shí)例配置信息如表4所示。

表4 不同實(shí)例配置信息Tab. 4 Configuration information for different instances

3.3 實(shí)驗(yàn)方法

根據(jù)2.3節(jié)提出的通用可擴(kuò)展的評(píng)測(cè)模型，評(píng)測(cè)過程分為兩部分進(jìn)行：

第一部分 評(píng)測(cè)不同典型應(yīng)用的完成時(shí)間。只評(píng)測(cè)不同典型應(yīng)用在同一時(shí)間、相同區(qū)域(Amazon EC2平臺(tái)東京地區(qū))、相同機(jī)器類型(t2.micro)上的完成時(shí)間。

第二部分 評(píng)測(cè)Amazon S3云存儲(chǔ)系統(tǒng)性能影響因素。只評(píng)測(cè)數(shù)據(jù)操作時(shí)的MBPS和API響應(yīng)時(shí)間。

1)判斷Amazon S3云存儲(chǔ)性能和用戶使用機(jī)器類型的關(guān)系， 文件大小固定為100 MB，實(shí)例數(shù)量固定為1臺(tái)，實(shí)例類型分別設(shè)置為：t2.nano、t2.micro、t2.small、t2.medium、t2.large、m4.large。

2)判斷Amazon S3云存儲(chǔ)性能和用戶訪問文件大小的關(guān)系， 實(shí)例類型固定為t2.micro，實(shí)例數(shù)量固定為1臺(tái)，文件大小分別設(shè)置為：1 MB、10 MB、50 MB、100 MB、500 MB、1 GB、1.5 GB、2 GB、3 GB。

3)判斷Amazon S3云存儲(chǔ)性能和同時(shí)訪問用戶數(shù)的關(guān)系， 文件大小固定為100 MB，實(shí)例類型固定為t2.micro，實(shí)例數(shù)量分別設(shè)置為1臺(tái)、2臺(tái)、4臺(tái)、8臺(tái)、16臺(tái)。

3.4 實(shí)驗(yàn)結(jié)果及分析

為了排除異常值的影響，每次測(cè)試進(jìn)行5次實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果去掉一個(gè)最大值和一個(gè)最小值，然后將剩余的3次實(shí)驗(yàn)結(jié)果取平均。

第一部分 評(píng)測(cè)不同典型應(yīng)用的完成時(shí)間。當(dāng)用戶同一時(shí)間使用EC2東京地區(qū)的t2.micro機(jī)器訪問Amazon S3時(shí)，用戶上傳不同典型應(yīng)用的完成時(shí)間如圖5所示。

圖5 不同典型應(yīng)用的完成時(shí)間Fig. 5 Completion time of different typical applications

第二部分 評(píng)測(cè)Amazon S3云存儲(chǔ)系統(tǒng)性能影響因素。

1)評(píng)測(cè)Amazon S3云存儲(chǔ)性能和實(shí)例類型關(guān)系。

不同實(shí)例類型訪問Amazon S3云存儲(chǔ)系統(tǒng)文件傳輸速率對(duì)比如圖6所示，API響應(yīng)時(shí)間對(duì)比如圖7所示。

由圖6和圖7可知: 無論上傳、下載文件，當(dāng)實(shí)例類型為t2.nano、t2.micro、t2.small、t2.medium時(shí)，訪問Amazon S3云存儲(chǔ)系統(tǒng)的文件傳輸速率和API響應(yīng)時(shí)間差異并不大; 但是當(dāng)實(shí)例類型為t2.large和m4.large時(shí)，訪問Amazon S3云存儲(chǔ)系統(tǒng)的文件傳輸速率和API響應(yīng)時(shí)間都比之前4種實(shí)例類型性較優(yōu)。主要原因是t2.large和m4.large的CPU為2個(gè)，內(nèi)存為8 GB，比其他實(shí)例類型配置提升一倍。

圖6 不同實(shí)例類型文件傳輸速率對(duì)比Fig. 6 Comparison of file transfer rate of different instance types

圖7 不同實(shí)例類型API響應(yīng)時(shí)間對(duì)比Fig. 7 Comparison of API response time of different instance types

因此，可得結(jié)論，當(dāng)實(shí)例類型為t2.large和m4.large時(shí)，訪問Amazon S3云存儲(chǔ)系統(tǒng)性能較好。

2)評(píng)測(cè)Amazon S3云存儲(chǔ)性能和文件大小關(guān)系。

不同實(shí)例類型訪問Amazon S3云存儲(chǔ)系統(tǒng)文件傳輸速率對(duì)比如圖8所示，API響應(yīng)時(shí)間對(duì)比如圖9所示。

圖8 不同文件大小文件傳輸速率對(duì)比Fig. 8 Comparison of file transfer rate of different file sizes

圖9 不同文件大小API響應(yīng)時(shí)間對(duì)比Fig. 9 Comparison of API response time of different file sizes

由圖8和圖9可知，當(dāng)文件大小從1 MB到1 GB逐漸增加時(shí)，上傳下載文件的文件傳輸速率和API響應(yīng)時(shí)間也隨著增加。因?yàn)锳mazon S3采用流量計(jì)費(fèi)，所以由于經(jīng)費(fèi)限制，未測(cè)得Amazon S3支持的最優(yōu)上傳下載文件大小。

3)評(píng)測(cè)Amazon S3云存儲(chǔ)性能和實(shí)例個(gè)數(shù)關(guān)系。

不同實(shí)例數(shù)量同時(shí)訪問Amazon S3云存儲(chǔ)系統(tǒng)文件傳輸速率對(duì)比如圖10和圖11所示，API響應(yīng)時(shí)間對(duì)比如圖12所示。

圖10 不同實(shí)例個(gè)數(shù)總的文件傳輸速率對(duì)比Fig. 10 Comparison of total file transfer rate of different instance numbers

圖11 不同實(shí)例個(gè)數(shù)平均文件傳輸速率對(duì)比Fig. 11 Comparison of average file transfer rate of different instance numbers

圖12 不同實(shí)例個(gè)數(shù)API響應(yīng)時(shí)間對(duì)比Fig. 12 Comparison of API response time of different instance numbers

由圖10和圖12可知，當(dāng)實(shí)例個(gè)數(shù)從1增加到16時(shí)，無論上傳、下載文件, 文件傳輸速率和API響應(yīng)時(shí)間都隨著實(shí)例個(gè)數(shù)的增加而增加，成線性關(guān)系。同樣，由于經(jīng)費(fèi)限制，未測(cè)得Amazon S3支持的最大用戶訪問數(shù)。

但是，結(jié)合平均每個(gè)實(shí)例文件傳輸速率分析可得：平均上傳速率隨著實(shí)例數(shù)增加先降低后逐漸增加，并且增長幅度緩慢，因此可得繼續(xù)增加實(shí)例個(gè)數(shù)，平均每個(gè)實(shí)例上傳速率會(huì)趨于穩(wěn)定甚至降低，故上傳100 MB文件的總速率也會(huì)趨于穩(wěn)定。平均下載速率隨著實(shí)例數(shù)增加而逐漸降低，因此可得繼續(xù)增加實(shí)例個(gè)數(shù)，平均每個(gè)實(shí)例下載速率逐漸降低，故下載100 MB文件的總速率會(huì)趨于穩(wěn)定。

綜上所述，當(dāng)實(shí)例個(gè)數(shù)增加到一定值時(shí)，并發(fā)訪問Amazon S3云存儲(chǔ)系統(tǒng)的上傳、下載速率最終會(huì)趨于穩(wěn)定。

4 工具驗(yàn)證

為了驗(yàn)證第3章研發(fā)的Amazon S3性能評(píng)測(cè)工具的準(zhǔn)確性，本文使用開源工具s3cmd進(jìn)行驗(yàn)證。

4.1 驗(yàn)證環(huán)境

使用s3cmd驗(yàn)證S3CTC準(zhǔn)確性的測(cè)試環(huán)境拓?fù)淙鐖D13所示。

圖13 s3cmd驗(yàn)證S3CTC的驗(yàn)證環(huán)境拓?fù)銯ig. 13 Environment topology of s3cmd to validate S3CTC

使用s3cmd驗(yàn)證研發(fā)工具時(shí)，兩種方式的實(shí)例配置相同，具體如下：東京地區(qū)，實(shí)例數(shù)1臺(tái)，實(shí)例類型為t2.micro，操作系統(tǒng)為Ubuntu 14.04.2 LTS。

4.2 驗(yàn)證方法

因?yàn)閟3cmd在上傳下載文件時(shí)，以15 MB進(jìn)行分塊上傳或下載。而S3CTC調(diào)用S3 API，查看API實(shí)現(xiàn)源碼，以8 MB分塊進(jìn)行文件處理。因此，為了避免文件分塊時(shí)間的影響，使s3cmd可以準(zhǔn)確驗(yàn)證研發(fā)工具準(zhǔn)確性，設(shè)置驗(yàn)證測(cè)試的文件大小為1 MB、2 MB、4 MB、6 MB、8 MB。

具體驗(yàn)證方法如下：首先，使用S3CTC測(cè)試1 MB、2 MB、4 MB、6 MB和8 MB文件的上傳和下載速率；其次，使用s3cmd測(cè)試1 MB、2 MB、4 MB、6 MB和8 MB文件的上傳和下載速率；最后，對(duì)比分析兩種工具測(cè)試結(jié)果。

4.3 驗(yàn)證結(jié)果及分析

S3CTC和s3cmd上傳文件速率對(duì)比如圖14所示。

圖14 S3CTC和s3cmd上傳文件速率對(duì)比Fig. 14 Comparison of file upload rate of S3CTC and s3cmd

由圖14可得，S3CTC和s3cmd相對(duì)比，S3CTC測(cè)試的上傳文件速率較低，但是整體誤差不超過0.62 MB/s。

S3CTC和s3cmd下載文件速率對(duì)比如圖15所示。

由圖15可得，S3CTC和s3cmd相對(duì)比，除下載1 MB文件外，下載其他大小文件時(shí)，S3CTC測(cè)試的下載文件速率較低，但是整體誤差不超過0.32 MB/s。

綜上所述，上傳文件時(shí)，S3CTC和s3cmd相比，誤差不超過0.62 MB/s；下載文件時(shí)，S3CTC和s3cmd相比，誤差不超過0.32 MB/s。因此，通過驗(yàn)證可得，S3CTC可以準(zhǔn)確測(cè)試Amazon S3公有云存儲(chǔ)系統(tǒng)性能。

圖15 S3CTC和s3cmd下載文件速率對(duì)比Fig. 15 Comparison of file download rate of S3CTC and s3cmd

5 結(jié)語

針對(duì)云存儲(chǔ)性能評(píng)測(cè)的難點(diǎn)問題，本文提出一種“云測(cè)試云”的公有云存儲(chǔ)系統(tǒng)性能評(píng)測(cè)方法，該方法通過在云計(jì)算平臺(tái)動(dòng)態(tài)申請(qǐng)足夠數(shù)量的實(shí)例，對(duì)公有云存儲(chǔ)系統(tǒng)性能進(jìn)行評(píng)測(cè)。該方法創(chuàng)新在于：第一，構(gòu)建通用的性能評(píng)測(cè)框架，可動(dòng)態(tài)伸縮申請(qǐng)實(shí)例，自動(dòng)化部署評(píng)測(cè)工具及負(fù)載，控制并發(fā)訪問云存儲(chǔ)系統(tǒng)，自動(dòng)釋放實(shí)例及收集并反饋評(píng)測(cè)結(jié)果；第二，提出多維度的性能評(píng)測(cè)指標(biāo)，涵蓋不同典型應(yīng)用，不同云存儲(chǔ)接口；第三，提出一種可擴(kuò)展通用的性能評(píng)測(cè)模型，該模型可以評(píng)測(cè)常見典型應(yīng)用的性能，分析云存儲(chǔ)性能影響因素，可適用于任何的公有云存儲(chǔ)平臺(tái)。為了驗(yàn)證該方法的可行性、合理性、通用性和可擴(kuò)展性，本文利用提出的方法研發(fā)Amazon S3云存儲(chǔ)系統(tǒng)性能評(píng)測(cè)工具S3CTC,使用該工具對(duì)Amazon S3云存儲(chǔ)系統(tǒng)進(jìn)行性能評(píng)測(cè)，并使用s3cmd驗(yàn)證S3CTC工具的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明本文方法具有很好的可行性和合理性，評(píng)測(cè)結(jié)果可以為企業(yè)開發(fā)者和個(gè)人用戶提供參考意見。

未來的研究工作將該方法擴(kuò)展到不同的云存儲(chǔ)接口，如阿里云的OSS(Open Storage Service)、Ceph等，以及擴(kuò)展不同的應(yīng)用，如用戶聊天記錄備份等。

References)

[1] 張龍立.云存儲(chǔ)技術(shù)探討[J].電信科學(xué),2010,26(8A):71-74. (ZHANG L L. Cloud storage technology study[J]. Telecommunications Science, 2010, 26(8A): 71-74.)

[2] HILL Z, LI J, MAO M, et al. Early observations on the performance of Windows Azure[J]. Scientific Programming, 2011, 19(2/3): 121-132.

[3] AGARWAL D, PRASAD S K. AzureBench: Benchmarking the storage services of the Azure cloud platform[C]// Proceedings of the 2012 IEEE 26th International Parallel and Distributed Processing Symposium Workshops & PhD Forum. Washington, DC: IEEE Computer Society, 2012: 1048-1057.

[4] PALANKAR M R, IAMNITCHI A, RIPEANU M, et al. Amazon S3 for science grids: a viable solution?[C]// Proceedings of the 2008 International Workshop on Data-aware Distributed Computing. New York: ACM, 2008: 55-64.

[5] GARFINKEL S L. An evaluation of Amazon’s grid computing services: EC2, S3 and SQS, TR-08-07[R]. Cambridge: Harvard University, School for Engineering and Applied Sciences, 2007.

[6] GARFINKEL S. Commodity grid computing with Amazon’s S3 and EC2[EB/OL].[2016-10-20].http://www.dtic.mil/dtic/tr/fulltext/u2/a486666.pdf.

[7] 周小鵬,張小芳,趙曉南. 云存儲(chǔ)性能評(píng)測(cè)研究[J]. 計(jì)算機(jī)科學(xué), 2014, 41(4): 190-194.(ZHOU X P, ZHANG X F, ZHAO X N. Cloud storage performance evaluation research[J]. Computer Science, 2014, 41(4): 190-194.)

[8] 何思敏,康慕寧,張曉,等. 云存儲(chǔ)性能評(píng)測(cè)技術(shù)與方法研究[J]. 計(jì)算機(jī)與現(xiàn)代化, 2011(12): 1-4. (HE S M, KANG M N, ZHANG X, et al. Cloud storage performance evaluation technology and method research[J].Computer and Modernization, 2011(12): 1-4.)

[9] 齊嬋穎, 李戰(zhàn)懷, 張曉, 等. 云存儲(chǔ)系統(tǒng)性能評(píng)測(cè)技術(shù)研究[J]. 計(jì)算機(jī)研究與發(fā)展, 2014, 51(S1): 223-228. (QI C Y, LI Z H, ZHANG X, et al. The research of cloud storage system performance evaluation[J]. Journal of Computer Research and Development, 2014, 51(S1): 223-228.)

[10] TUDORAN R, COSTAN A, ANTONIU G, et al. A performance evaluation of Azure and Nimbus clouds for scientific applications[C]// Proceedings of the 2nd International Workshop on Cloud Computing Platforms. New York: ACM, 2012: Article No. 4.

[11] COOPER B F, SILBERSTEINS A, TAM E, et al. Benchmarking cloud serving systems with YCSB[C]// Proceedings of the 1st ACM Symposium on Cloud Computing. New York: ACM, 2010: 143-154.

[12] SHIVAM P, MARUPADI V, CHASE J S, et al. Cutting corners: workbench automation for server benchmarking[C]// Proceedings of USENIX 2008 Annual Technical Conference. Berkeley, CA: USENIX Association, 2008: 241-254.

[13] 云存儲(chǔ)[EB/OL]. [2016-05-15]. http://www.hostucan.cn/cloud-storage.(Cloud storage [EB/OL]. [2016-05-15]. http://www.hostucan.cn/cloud-storage.)

This work is partially supported by the National High Technology Research and Development Program (863 Program) of China (2015AA015307), the National Natural Science Foundation of China General Program (61472323), the Fundamental Research Funds for the Central Universities (3102015JSJ0009), the National Natural Science Foundation for Distinguished Young Scholars of China (61502392).

LI Ani, born in 1992, M. S. candidate. Her research interests include cloud computing, cloud storage.

ZHANG Xiao, born in 1978, Ph. D., associate professor. His research interests include cloud computing, cloud storage, mass storage.

ZHANG Boyang, born in 1990, M. S. candidate. His research interests include cloud computing, cloud storage.

LIU Chunyi, born in 1993, M. S. candidate. His research interests include cloud computing, cloud storage.

ZHAO Xiaonan, born in 1979, Ph. D., lecturer. Her research interests include cloud computing, cloud storage, mass storage.

Research on performance evaluation method of public cloud storage system

LI Ani*, ZHANG Xiao, ZHANG Boyang, LIU Chunyi, ZHAO Xiaonan

(SchoolofComputerScience,NorthwesternPolytechnicalUniversity,Xi’anShaanxi710129,China)

With the rapid development and wide application of cloud storage system, many enterprise developers and individual users migrate their applications from traditional storage to public cloud storage system. Therefore, the performance of cloud storage system has become the focus of enterprise developers and individual users. The traditional test is difficult to simulate simultaneous access with enough users to the cloud storage system, complex to build and has a long test time with high cost. Besides, the evaluation results are unstable due to the network and other outside factors. In view of above critical problems, a kind of "cloud testing cloud" performance evaluation method was put forward for public cloud storage system. Public cloud storage system was evaluated by this method through applying a sufficient number of instances on the cloud computing platform. Firstly, a general performance evaluation framework was built with abilities such as dynamic instance application, automated deployment of assessment tools and load, controlling concurrent access to cloud storage system, automated instance release and evaluation results collection and feedback. Secondly, some multi-dimensional performance evaluation indicators were presented, covering different typical applications and different cloud storage interfaces. Finally, an extensible general performance evaluation model was put forward, which could evaluate the performance of typical applications, analyze the factors influencing cloud storage performance and be applied to any public cloud storage platform. In order to verify the feasibility, rationality, universality and expansibility of this method, these presented methods were applied to evaluate Amazon S3 cloud storage system, and then the accuracy of the evaluation results was verified by s3cmd. The results show that the evaluation output can provide reference comments for enterprise developers and individual users.

cloud testing cloud; public cloud storage system; performance evaluation; Amazon S3; automated evaluation tool

2016-07-15;

2016-11-16。 基金項(xiàng)目:國家863計(jì)劃項(xiàng)目(2015AA015307)；國家自然科學(xué)基金面上項(xiàng)目(61472323)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)(3102015JSJ0009)；國家自然科學(xué)基金青年科學(xué)基金資助項(xiàng)目(61502392)。

李阿妮(1992—)，女，陜西咸陽人，碩士研究生，主要研究方向：云計(jì)算、云存儲(chǔ)； 張曉(1978—)，男，河南新鄉(xiāng)人，副教授，博士，CCF會(huì)員，主要研究方向：云計(jì)算、云存儲(chǔ)、海量存儲(chǔ)； 張伯陽(1990—)，男，陜西西安人，碩士研究生，主要研究方向：云計(jì)算、云存儲(chǔ)； 柳春懿(1993—)，男，安徽蚌埠人，碩士研究生，主要研究方向：云計(jì)算、云存儲(chǔ)； 趙曉南(1979—)，女，東北吉林人，講師，博士，CCF會(huì)員，主要研究方向：云計(jì)算、云存儲(chǔ)、海量存儲(chǔ)。

1001-9081(2017)05-1229-07

10.11772/j.issn.1001-9081.2017.05.1229

TP301

A