郭雯 鄭霽 王軍 王輝

摘? ?要：容器技術(shù)在互聯(lián)網(wǎng)時代得到了越來越廣泛的應(yīng)用，高校云數(shù)據(jù)中心作為承載學(xué)校眾多信息系統(tǒng)運(yùn)行的重要載體，需要全面了解并合理使用容器技術(shù)，以提高云平臺運(yùn)行效率，為業(yè)務(wù)系統(tǒng)運(yùn)行提供更加強(qiáng)有力的支撐。文章全面分析高校云數(shù)據(jù)中心建設(shè)需求，構(gòu)建CaaS（Container as a Service）平臺為容器化應(yīng)用提供全方位部署、運(yùn)行、管理的支持。同時開放平臺PaaS（Platform as a Service）功能，結(jié)合DevOps理念構(gòu)建開發(fā)、部署、測試一體化流程。實驗證明基于容器技術(shù)的高校云數(shù)據(jù)中心可以更好地滿足業(yè)務(wù)系統(tǒng)快速部署、升級迭代、彈性伸縮等各方面的需求。

關(guān)鍵詞：云數(shù)據(jù)中心;容器;CaaS;開發(fā)測試一體化

中圖分類號：TP311;TP393 文獻(xiàn)標(biāo)志碼：A 文章編號：1673-8454（2021）03-0092-05

一、引言

隨著云計算技術(shù)的飛速發(fā)展，眾多高校利用虛擬化等技術(shù)將基礎(chǔ)硬件資源池化，建設(shè)私有云平臺，為校內(nèi)的各業(yè)務(wù)系統(tǒng)提供虛擬機(jī)服務(wù)，在基礎(chǔ)設(shè)施層面有力地支撐了學(xué)校的信息化建設(shè)。但是這種IaaS（Infrastructure as a Service）的方式僅僅解決了硬件資源的快速供給與高效利用問題，業(yè)務(wù)系統(tǒng)軟件層面的部署仍然需要手動進(jìn)行，從云平臺管理員提供虛擬機(jī)并配置操作系統(tǒng)，到業(yè)務(wù)系統(tǒng)工程師安裝相關(guān)軟件并調(diào)試，系統(tǒng)部署時間長，重復(fù)工作量大。同時互聯(lián)網(wǎng)時代的應(yīng)用面臨用戶需求頻繁變化和用戶規(guī)?？焖僭鲩L的問題，因此對業(yè)務(wù)快速升級迭代、動態(tài)彈性擴(kuò)展等方面提出了更高的要求。[1]虛擬機(jī)的業(yè)務(wù)系統(tǒng)在升級、擴(kuò)容等方面的靈活性不足，升級速度慢且缺乏彈性等問題給整個運(yùn)維工作帶來巨大挑戰(zhàn)。

以Docker為代表的容器技術(shù)適應(yīng)了互聯(lián)網(wǎng)時代應(yīng)用的特點(diǎn)。[2]Docker作為一種輕量級的虛擬化技術(shù)，啟動快、體量小，可以將應(yīng)用軟件、依賴包和所需環(huán)境打包成鏡像，發(fā)布到任何一臺安裝有Docker引擎的計算機(jī)上運(yùn)行，極大程度地解決了業(yè)務(wù)系統(tǒng)內(nèi)部的軟件依賴問題。很多科研人員研究如何將Docker技術(shù)應(yīng)用于云平臺上，以實現(xiàn)資源的合理利用以及應(yīng)用的快速構(gòu)建、持續(xù)交付、靈活擴(kuò)展、便捷運(yùn)維等。何震葦?shù)萚1]提出了基于Docker技術(shù)的互聯(lián)網(wǎng)應(yīng)用集群自動部署方案，以簡化復(fù)雜互聯(lián)網(wǎng)業(yè)務(wù)平臺的部署過程;楊清波等[3]分析了基于容器的調(diào)控云平臺的業(yè)務(wù)需求，并給出了基于Docker的調(diào)控云平臺的設(shè)計、實現(xiàn)及測試;張琦[4]構(gòu)建了一套銀行系統(tǒng)內(nèi)部的容器管理平臺，以支撐容器化應(yīng)用運(yùn)行管理，并實現(xiàn)DevOps開發(fā)測試一體化流程;文獻(xiàn)[5]-[7]研究了基于Docker技術(shù)的PaaS平臺構(gòu)建;彭勇等[8]設(shè)計了一個基于Docker技術(shù)的云平臺系統(tǒng);應(yīng)毅等[9]嘗試在高校實驗室等環(huán)境中應(yīng)用Docker技術(shù)，但總體而言，高校領(lǐng)域的相關(guān)研究仍處于探索階段。

二、高校云數(shù)據(jù)中心建設(shè)需求分析

在IT技術(shù)飛速發(fā)展的大背景下，高校的信息化建設(shè)如火如荼。云平臺作為承載各大業(yè)務(wù)系統(tǒng)運(yùn)行的基礎(chǔ)架構(gòu)，它的價值最終是要通過業(yè)務(wù)系統(tǒng)來體現(xiàn)的，因此云平臺的建設(shè)要牢牢把握“以業(yè)務(wù)系統(tǒng)為中心”這一基本原則，以滿足業(yè)務(wù)系統(tǒng)在各個階段的需求為目標(biāo)。

1.業(yè)務(wù)系統(tǒng)快速部署的需求

高校云數(shù)據(jù)中心的首要任務(wù)是承載業(yè)務(wù)系統(tǒng)的運(yùn)行。目前，高校業(yè)務(wù)系統(tǒng)建設(shè)呈復(fù)雜化趨勢，單個系統(tǒng)所需的虛機(jī)數(shù)量從過去的1至2臺上升到現(xiàn)在的2至8臺，部分業(yè)務(wù)系統(tǒng)，以合肥工業(yè)大學(xué)信息中心數(shù)據(jù)治理平臺為例，需要的虛擬機(jī)數(shù)目達(dá)到50臺。復(fù)雜的業(yè)務(wù)系統(tǒng)意味著更加復(fù)雜的軟件依賴關(guān)系與組件依賴關(guān)系，從虛擬機(jī)級別開始部署業(yè)務(wù)系統(tǒng)，往往要耗費(fèi)大量的時間安裝、調(diào)試、測試，不符合應(yīng)用快捷交付的需求。容器技術(shù)很好地解決了業(yè)務(wù)系統(tǒng)對軟件運(yùn)行環(huán)境的依賴問題，同時可以很好地描述業(yè)務(wù)系統(tǒng)不同組件之間的依賴關(guān)系，支持業(yè)務(wù)系統(tǒng)一鍵式部署，可以預(yù)見不久的將來會有越來越多的業(yè)務(wù)系統(tǒng)選擇容器的方式發(fā)布。因此高校的云平臺必須開始著手打造高效的、高可用的容器資源池，做好全面支持容器化應(yīng)用的準(zhǔn)備。

2.業(yè)務(wù)系統(tǒng)彈性伸縮的需求

互聯(lián)網(wǎng)時代的應(yīng)用往往面臨著突發(fā)流量的問題，高校內(nèi)的業(yè)務(wù)系統(tǒng)也不例外，學(xué)生選課、視頻點(diǎn)播等都有可能造成業(yè)務(wù)流量的瞬時激增，為業(yè)務(wù)系統(tǒng)帶來極大的壓力。目前常見的解決方案是在負(fù)載均衡設(shè)備后掛載多臺用于分擔(dān)業(yè)務(wù)流量的APP虛擬服務(wù)器。這樣做的缺點(diǎn)是，當(dāng)平時業(yè)務(wù)量小時，造成資源的閑置與浪費(fèi);當(dāng)業(yè)務(wù)量持續(xù)增加超過負(fù)荷時，需要人工增加虛擬機(jī)并添加到負(fù)載均衡系統(tǒng)中，操作復(fù)雜且滯后，無法滿足處理瞬時激增流量的需求。容器技術(shù)區(qū)別于虛擬機(jī)技術(shù)的一大特點(diǎn)是前者實現(xiàn)的是進(jìn)程級別的隔離，容器不需要模擬一套自己單獨(dú)的虛擬硬件和操作系統(tǒng)，因此容器具有體量小啟動快的特點(diǎn)。高校云平臺可以充分利用容器的這個特點(diǎn)，實現(xiàn)業(yè)務(wù)系統(tǒng)服務(wù)器規(guī)模的按需擴(kuò)展與縮減。

3.業(yè)務(wù)系統(tǒng)便捷運(yùn)維的需求

業(yè)務(wù)系統(tǒng)在運(yùn)行過程中經(jīng)常面臨排錯、升級更新等操作。現(xiàn)有的基于虛擬機(jī)的云平臺在處理這些需求時往往顯得比較吃力，例如生產(chǎn)環(huán)境中報的錯難以在開發(fā)測試環(huán)境中重現(xiàn)、升級操作常常需要停機(jī)來進(jìn)行、新版本軟件出現(xiàn)問題很難回滾到上一版本等。容器技術(shù)的使用可以最大限度減少開發(fā)環(huán)境、測試環(huán)境與生產(chǎn)環(huán)境之間的差異，同時支持灰度更新和回滾等操作，為業(yè)務(wù)系統(tǒng)的運(yùn)維提供便捷。

4.業(yè)務(wù)系統(tǒng)開發(fā)測試一體化的需求

隨著信息化建設(shè)的推進(jìn)，高校業(yè)務(wù)系統(tǒng)的建設(shè)也越來越復(fù)雜，很多時候單純購買的軟件已無法滿足需求，很多業(yè)務(wù)系統(tǒng)，如教務(wù)系統(tǒng)、數(shù)據(jù)治理平臺等，都需要結(jié)合學(xué)校的現(xiàn)狀進(jìn)行個性化定制開發(fā)。這會是一個持續(xù)交付的過程，即部分軟件功能先行上線試運(yùn)行，后續(xù)會不斷有新的模塊或功能加入進(jìn)來，整個過程持續(xù)幾個月、一年甚至幾年。DevOps方法是目前軟件工程領(lǐng)域的熱點(diǎn)，與以往的瀑布模型或敏捷模型不同，該方法重視開發(fā)人員、測試人員與運(yùn)維人員之間的緊密溝通合作，通過流程化的部署、測試、反饋等來實現(xiàn)快速的迭代發(fā)布。[10]高校云數(shù)據(jù)中心可結(jié)合DevOps理念，進(jìn)一步發(fā)掘平臺PaaS功能，提供一套應(yīng)用快速開發(fā)、測試、部署、運(yùn)維管理、持續(xù)開發(fā)、持續(xù)集成的支撐環(huán)境。

三、基于容器的高校云數(shù)據(jù)中心設(shè)計

鑒于容器技術(shù)在業(yè)務(wù)系統(tǒng)開發(fā)、部署、運(yùn)行等方面帶來的諸多益處，容器技術(shù)在高校云數(shù)據(jù)中心的應(yīng)用已是勢在必行。基于容器技術(shù)的高校云數(shù)據(jù)中心設(shè)計應(yīng)遵循高可用和易擴(kuò)展的原則，即平臺核心節(jié)點(diǎn)要采用集群架構(gòu)部署，一個實例宕機(jī)整個集群仍會正常運(yùn)行;同時平臺可以輕松地以“搭積木”的方式擴(kuò)充軟硬件等資源。此外容器作為當(dāng)前最為火爆的開源項目，大量相關(guān)的技術(shù)及產(chǎn)品層出不窮。因此平臺建設(shè)者在設(shè)計之初要做充分的調(diào)研，選擇合適的主流技術(shù)作為自己的建設(shè)方案。

1.容器關(guān)鍵技術(shù)

Docker作為主流的容器技術(shù)近年來已經(jīng)得到了充分的驗證與應(yīng)用。同時容器的快速發(fā)展對容器的集群化管理提出了更高的要求。一方面，業(yè)務(wù)系統(tǒng)的體量越來越大，需要集群化的環(huán)境來支持其正常的運(yùn)行和管理。另一方面，集群化的環(huán)境可以更好地滿足高可用等基礎(chǔ)需求。Docker Swarm、Mesos、Kubernetes等都是目前常見的容器集群管理框架。其中，Kubernetes是Google在2014年開源的一個容器集群管理系統(tǒng)，簡稱K8S。K8S提供高可用高冗余的集群化管理模式，同時提供了容器編排、資源調(diào)度、彈性伸縮、部署管理、服務(wù)發(fā)現(xiàn)等一系列功能。K8S是目前運(yùn)用最廣泛、主流的容器集群管理工具，也是本次云平臺設(shè)計中采用的技術(shù)方案。

2.數(shù)據(jù)中心建設(shè)思路

高?？梢越Y(jié)合自身的特點(diǎn)和現(xiàn)有架構(gòu)，按照循序漸進(jìn)的原則，分階段將容器技術(shù)應(yīng)用于自己的云數(shù)據(jù)中心。第一步是要搭建一個高可用的容器集群運(yùn)行平臺。這種方式可以以最低的代價將容器先用起來，積累運(yùn)維經(jīng)驗。CaaS（Container as a Service）以容器為交付物，可方便地部署、運(yùn)行容器化應(yīng)用。隨著越來越多的應(yīng)用以容器的方式開發(fā)和部署，這種CaaS方式的容器集群運(yùn)行環(huán)境將發(fā)揮重要作用。第二步考慮開放平臺PaaS功能，即將平臺相關(guān)的功能作為一種服務(wù)，交付給最終用戶使用。PaaS作為IaaS和SaaS（Service as a Service）中間層面的一個概念，發(fā)展遠(yuǎn)沒有另外兩者普及。容器技術(shù)的出現(xiàn)為PaaS的發(fā)展提供了重大機(jī)遇，容器與微服務(wù)架構(gòu)和DevOps的高度契合使基于Docker容器技術(shù)的PaaS平臺成為可能。Paas平臺能力的開放與提升是一個逐步的過程，高校數(shù)據(jù)中心可結(jié)合自身運(yùn)維平臺的特點(diǎn)，將持續(xù)集成服務(wù)作為目前打造的一個重點(diǎn)。

3.CaaS平臺設(shè)計

將容器技術(shù)應(yīng)用于云數(shù)據(jù)中心的第一步是要打造CaaS（Container as a Service）平臺，其核心是一個高可用的容器資源池。容器資源池的底層硬件資源，可以部署在物理服務(wù)器或云平臺上，建議部署在云平臺上，因為這樣可以充分利用云平臺自身的高可用等特性。CaaS平臺主要由容器資源池、私有鏡像倉庫、可視化管理平臺和管理層幾部分組成，整體架構(gòu)如圖1所示。

（1）容器資源池

容器資源池的技術(shù)層面采用“Docker + Kubernetes”組合。其中，Docker引擎負(fù)責(zé)單機(jī)環(huán)境下容器環(huán)境的建立，Kubernetes通過集群管理技術(shù)對集群中的Docker主機(jī)資源進(jìn)行統(tǒng)一管理和容器的編排調(diào)度。

K8S包括控制節(jié)點(diǎn)（Master Node）和工作節(jié)點(diǎn)（Worker Node）兩種關(guān)鍵組件。Master Node是容器調(diào)度的核心，所有發(fā)往容器集群的請求，如容器的創(chuàng)建、狀態(tài)的更改等，都經(jīng)過Master Node的統(tǒng)一協(xié)調(diào)，集群狀態(tài)信息保存至數(shù)據(jù)庫，具體操作指令發(fā)送至Worker Node執(zhí)行。每個Worker Node都安裝有Docker引擎，并結(jié)合K8S自身的容器管理機(jī)制實現(xiàn)對容器主機(jī)的管理。

容器資源池作為基礎(chǔ)架構(gòu)平臺的核心，通過分布式集群來實現(xiàn)高可用性，關(guān)鍵節(jié)點(diǎn)，如控制節(jié)點(diǎn)、數(shù)據(jù)庫節(jié)點(diǎn)等都會起多個實例，一個實例出問題不會影響整個集群的運(yùn)行;同時可以通過負(fù)載均衡技術(shù)實現(xiàn)流量在集群內(nèi)不同實例之間的均勻分擔(dān)。當(dāng)容器業(yè)務(wù)量逐漸增加，CaaS平臺會面臨需要擴(kuò)容的情況。此時平臺管理員只需要向容器資源池增加Docker主機(jī)節(jié)點(diǎn)，即Worker Node節(jié)點(diǎn)，并納入Kubernetes環(huán)境統(tǒng)一管理。

（2）私有鏡像倉庫

私有鏡像倉庫用于存放各業(yè)務(wù)系統(tǒng)的容器鏡像及一些基礎(chǔ)容器鏡像，是高校云數(shù)據(jù)中心不可或缺的一部分。私有鏡像倉庫位于校園網(wǎng)或者云數(shù)據(jù)中心內(nèi)部環(huán)境中，私密性更好，安全性更強(qiáng)，訪問效率也更高。這里我們采用的是Harbor鏡像倉庫，這是VMware開源提供的一個企業(yè)級鏡像倉庫。Habor在Docker 私有倉庫Registry的基礎(chǔ)上進(jìn)行了企業(yè)級擴(kuò)展，提供了用戶管理界面、基于角色的訪問控制等，能滿足高校云數(shù)據(jù)中心需求。

（3）可視化容器管理組件

Docker和Kubernetes大多通過命令行操作，技術(shù)門檻較高，容易造成誤操作，而且排錯非常困難。通過安裝可視化容器管理組件，如Dashboard，云平臺管理員可以通過網(wǎng)頁的形式來進(jìn)行容器相關(guān)的基本操作，如容器的創(chuàng)建、啟動、關(guān)閉，容器網(wǎng)絡(luò)的配置，容器存儲資源的劃分，容器資源的限制，權(quán)限的分配以及一些簡單的容器運(yùn)行狀況監(jiān)控等等，從而大大降低了管理難度，提高了管理效率。

（4）監(jiān)控與日志組件

監(jiān)控和日志組件是基礎(chǔ)資源平臺的重要組成部分。監(jiān)控組件的部署使管理員可以方便地跟蹤集群、容器乃至業(yè)務(wù)運(yùn)行情況，如主機(jī)節(jié)點(diǎn)資源利用率、容器健康狀況、容器業(yè)務(wù)流量、業(yè)務(wù)系統(tǒng)容器副本數(shù)等各項指標(biāo);而日志的收集便于進(jìn)行故障定位，并為平臺的各項統(tǒng)計分析提供基礎(chǔ)數(shù)據(jù)。常見的監(jiān)控與日志組件包括Prometheus + Grafana、Filebeat + ELK 等。

4.持續(xù)集成服務(wù)功能設(shè)計

基于容器技術(shù)的CaaS平臺為容器化應(yīng)用提供了基礎(chǔ)運(yùn)行環(huán)境，在此平臺的基礎(chǔ)上，以服務(wù)的形式開放更多的平臺功能，如數(shù)據(jù)庫服務(wù)、微服務(wù)治理框架、持續(xù)集成服務(wù)等，構(gòu)成一個基礎(chǔ)的PaaS平臺，如圖2所示。

基于CICD（Continuous Integration，Continuous Deployment，Continuous Delivery）的DevOps方法可以快速響應(yīng)應(yīng)用的各種需求變化，已成為互聯(lián)網(wǎng)時代應(yīng)用開發(fā)和發(fā)布的最佳實踐。結(jié)合之前提到的業(yè)務(wù)系統(tǒng)開發(fā)測試一體化的需求，CICD服務(wù)在高校云數(shù)據(jù)中心會有著廣泛的使用場景?？梢酝ㄟ^部署持續(xù)集成服務(wù)器，并將其與代碼倉庫、鏡像倉庫、容器資源池等組件做相關(guān)集成，來實現(xiàn)讀取代碼、往鏡像倉庫推送或讀取鏡像、部署鏡像至容器資源池等諸多操作，從而方便地協(xié)調(diào)業(yè)務(wù)系統(tǒng)開發(fā)測試相關(guān)流程。

四、測試與驗證

本次測試環(huán)境為合肥工業(yè)大學(xué)私有云平臺上的5臺虛擬機(jī)，用途與配置如表1所示。

其中前3臺虛擬機(jī)組成一個基本的“Docker + Kubernetes”容器集群環(huán)境，第4臺為私有鏡像倉庫，第5臺為開發(fā)測試一體化功能提供服務(wù)。

1.CaaS平臺功能驗證

在容器環(huán)境下，業(yè)務(wù)系統(tǒng)通過一系列yaml文件來描述各組件的部署方式以及相互之間的依賴關(guān)系，這種通過配置文件部署的方式簡單易行，將部署時間由原來的若干天縮短為幾小時，而且部署完成后基本無須調(diào)試，可以直接運(yùn)行，從而實現(xiàn)了項目的快速交付。為應(yīng)用系統(tǒng)提供商節(jié)約了大量的人力成本，也減輕了云平臺管理員的工作量。

同時，在容器環(huán)境下，業(yè)務(wù)系統(tǒng)的運(yùn)維、快速交付等也變得更加便捷。表2記錄了業(yè)務(wù)系統(tǒng)在容器環(huán)境與虛擬機(jī)環(huán)境下各種運(yùn)維項目的對比。

當(dāng)業(yè)務(wù)系統(tǒng)負(fù)載發(fā)生變化時，可通過手動和自動兩種方式調(diào)整業(yè)務(wù)系統(tǒng)中容器數(shù)目。手動方式是通過kubectl scale 命令調(diào)整 replicas 參數(shù)值;本次測試中我們通過調(diào)用Kubernetes HPA （Horizontal Pod Autoscaling）組件的方式動態(tài)調(diào)整，配置信息如圖3所示。

其中最大副本數(shù)為10，最小副本數(shù)為1，當(dāng)平均cpu使用率超過60%時開始擴(kuò)容，反之，當(dāng)cpu使用率小于60%時開始縮容。我們通過Apache ab壓測工具向Web應(yīng)用發(fā)送HTTP請求，圖4記錄了業(yè)務(wù)并發(fā)量變化時容器副本數(shù)的變化。

實驗結(jié)果顯示容器的數(shù)量可隨著業(yè)務(wù)量的變化而自動調(diào)整，從而達(dá)到良好的彈性伸縮的目的。

2.持續(xù)集成服務(wù)功能驗證

為了構(gòu)建持續(xù)集成服務(wù)環(huán)境，我們在容器資源池上建立一套準(zhǔn)生產(chǎn)的測試環(huán)境、一套生產(chǎn)環(huán)境，應(yīng)用在兩套環(huán)境中的部署完全一致;兩套環(huán)境共享容器鏡像倉庫;同時部署一臺Jenkins服務(wù)器。Jenkins的Pipeline是目前持續(xù)集成方案的一個最佳實踐。Jenkins與底層的kubernetes做了集成，從而保證Jenkins服務(wù)器可以在測試或生產(chǎn)環(huán)境中部署應(yīng)用。

CICD服務(wù)流程（見圖5）如下：

（1）對于在云平臺上開發(fā)的應(yīng)用，Jenkins服務(wù)器從代碼庫獲取代碼并自動編譯;對于在云平臺部署的應(yīng)用，Jenkins服務(wù)器從固定位置獲取編譯好的代碼;

（2）Jenkins通過命令將代碼打包成為鏡像，并將鏡像上傳至鏡像倉庫;

（3）準(zhǔn)生產(chǎn)環(huán)境獲取最新的鏡像，測試人員進(jìn)行相關(guān)測試;

（4）測試通過，生產(chǎn)環(huán)境獲取最新的鏡像，業(yè)務(wù)最終上線。

這種流水線的方式，最大限度實現(xiàn)了自動化，縮短應(yīng)用從發(fā)布到上線的時間，實現(xiàn)了快速迭代、持續(xù)交付，大大提高了數(shù)據(jù)中心運(yùn)維的效率。

五、結(jié)束語

本文分析了容器技術(shù)應(yīng)用于高校云數(shù)據(jù)中心的必要性，并結(jié)合主流的Docker、Kubernetes技術(shù)設(shè)計了基于容器技術(shù)的CaaS平臺架構(gòu)和開發(fā)測試一體化架構(gòu)，實現(xiàn)了對平臺上運(yùn)行的業(yè)務(wù)系統(tǒng)快速交付、彈性伸縮、便捷運(yùn)維等的支持，最后通過實驗證明了設(shè)計方案的實用性和高效性。

參考文獻(xiàn)：

[1]何震葦，嚴(yán)麗云，李慧云等.基于開源PaaS技術(shù)的互聯(lián)網(wǎng)業(yè)務(wù)平臺自動部署方案[J].電信科學(xué)，2015，31（10）：179-186.

[2]陸鋼，楊新章，何震葦?shù)?電信運(yùn)營商對容器技術(shù)的探索和思考[J].電信科學(xué)，2016，32（8）：159-163.

[3]楊清波，陳振宇，劉東等.基于容器的調(diào)控云PaaS平臺的設(shè)計與實現(xiàn)[J].電網(wǎng)技術(shù)，2020（6）：2030-2037.

[4]張琦.基于Docker的CaaS管理平臺架構(gòu)研究與設(shè)計[J].計算機(jī)應(yīng)用與軟件，2018（11）：33-41，54.

[5]師德清.基于Docker的PaaS架構(gòu)設(shè)計研究[J].信息與電腦（理論版），2017（8）：35-36.

[6]王亞玲，李春陽，崔蔚等.基于Docker的PaaS平臺建設(shè)[J].計算機(jī)系統(tǒng)應(yīng)用，2016，25（3）：72-77.

[7]張羿，胡永華，黃丁.基于Docker的電網(wǎng)輕量級PaaS平臺構(gòu)建方案[J].信息與電腦（理論版），2017（11）：75-78.

[8]彭勇，謝劍，童遙等.一種基于Docker的數(shù)據(jù)中心云平臺實現(xiàn)方法及系統(tǒng)[J].中興通訊技術(shù)，2017，23（2）：60-62.

[9]應(yīng)毅，劉亞軍，俞琰.利用Docker容器技術(shù)構(gòu)建大數(shù)據(jù)實驗室[J].實驗室研究與探索，2018，37（2）：264-268.

[10]董昕，郭勇，王杰.基于DevOps能力模型的持續(xù)集成方法[J].計算機(jī)工程與設(shè)計，2018，39（7）：1930-1937.

（編輯：王天鵬）