新國脈文旅科技有限公司 朱振武

隨著IT技術(shù)的不斷發(fā)展，新興的基于容器的PaaS云計算技術(shù)憑借自身啟動快、資源損耗小、輕量級的、容器中運(yùn)行的服務(wù)功能相對單一等優(yōu)點迅速被各大企業(yè)接受，越來越多的公司開始部署基于容器的PaaS云平臺并將之應(yīng)用于生產(chǎn)中，本文著重論述大中型企業(yè)如何建設(shè)企業(yè)自己的基于容器的PaaS私有云系統(tǒng)。

1 企業(yè)IT架構(gòu)升級的動力

私有云計算是一種將企業(yè)的計算資源統(tǒng)一管理、統(tǒng)一分配、按需分配的IT服務(wù)模式。目前，多數(shù)大中型企業(yè)在數(shù)字化轉(zhuǎn)型中已實現(xiàn)基于IaaS的云計算，IaaS云技術(shù)在一定程度上提升了計算資源的使用率和運(yùn)維效率。但隨著企業(yè)的發(fā)展，企業(yè)在IT運(yùn)營和管理上遇到了眾多新挑戰(zhàn)，主要是IT系統(tǒng)越來越龐雜、IT資源越來越多、應(yīng)用微服務(wù)化后，IaaS云技術(shù)存在對算力的管理和分配不夠輕便靈活、難于管理海量微服務(wù)、自身較重等諸多問題。

為了解決上述問題，大中企業(yè)紛紛采用最新IT技術(shù)，將企業(yè)IT基礎(chǔ)架構(gòu)從IaaS云逐步升級到PaaS容器云或兩者并存的時代，利用容器云的輕量級、容器化等特點來管理海量微服務(wù)、提高資源的利用率、增強(qiáng)系統(tǒng)可靠性、降低IT運(yùn)營成本。

2 PaaS容器云涉及核心技術(shù)

2.1 LXC內(nèi)核級虛擬化技術(shù)

LXC(Linux Container)是Linux的內(nèi)核虛擬化技術(shù)，LXC通過Namespace實現(xiàn)了進(jìn)程資源的隔離，通過Cgroups（Control Groups）控制每個Namespace中的資源分配。與傳統(tǒng)虛擬化技術(shù)（KVM）相比，LXC與宿主機(jī)使用同一個內(nèi)核，不需要指令級模擬，容器與宿主機(jī)的資源可以共享，具有輕量、性能損耗小等優(yōu)點。

2.2 Docker容器引擎技術(shù)

要構(gòu)建容器云，我們需要選擇一個合適的容器技術(shù)。目前，容器技術(shù)中具有代表性的有Docker技術(shù)和Mesos技術(shù)。從當(dāng)前的容器技術(shù)發(fā)展分析，Docker技術(shù)是業(yè)界容器技術(shù)的主流和事實標(biāo)準(zhǔn)，是容器云的未來。

Docker是一個基于LXC內(nèi)核容器技術(shù)實現(xiàn)的開源應(yīng)用容器引擎[1]，通過對LXC進(jìn)行進(jìn)一步封裝，實現(xiàn)應(yīng)用程序級別的隔離,它的分層結(jié)構(gòu)設(shè)計極大實現(xiàn)了共享資源，降低了系統(tǒng)的資源使用率，啟動非?？欤瑩碛蟹浅８叩男阅?。

2.3 Kubernetes容器編排技術(shù)

容器云架構(gòu)下，一個業(yè)務(wù)較復(fù)雜的應(yīng)用將被拆分成若干功能單一的微服務(wù)并在容器中運(yùn)行，為了滿足IT系統(tǒng)的高可用和高并發(fā)等需求，一個微服務(wù)會有若干副本并行運(yùn)行。故而容器云中將會有成千上萬的微服務(wù)實例，實例之間還進(jìn)行著紛繁復(fù)雜的交互通信，為了高效管理這些微服務(wù)，業(yè)界一般采用容器編排技術(shù)實現(xiàn)海量容器的自動化的管理、監(jiān)控、故障發(fā)現(xiàn)和隔離、故障遷移等工作。

目前成熟的容器編排技術(shù)有Swarm和Kubernetes（以下簡稱K8S）等技術(shù)。其中，K8S提供了豐富的容器編排和管理功能[2]，諸如：服務(wù)注冊與發(fā)現(xiàn)、服務(wù)網(wǎng)關(guān)、服務(wù)自動遷移、灰度部署、服務(wù)治理等，功能涵蓋廣泛，能夠滿足絕大多數(shù)企業(yè)的IT需求。

3 企業(yè)級PaaS容器私有云平臺構(gòu)建

我們以K8S和Docker為核心技術(shù)，探討如何構(gòu)建企業(yè)級PaaS容器云，并從企業(yè)的IT治理等方面進(jìn)一步闡述如何高效的管理和使用容器云。容器云平臺自底向上共分為IT資源層、服務(wù)調(diào)度層、云服務(wù)層、控制層、云接入層等五層。在IT資源層，使用K8S+Docker技術(shù)構(gòu)建容器云基礎(chǔ)環(huán)境，實現(xiàn)對算力的統(tǒng)一管理、按需分配；在服務(wù)調(diào)度層，借助K8S強(qiáng)大的服務(wù)編排能力，實現(xiàn)對服務(wù)的注冊與發(fā)現(xiàn)、服務(wù)所需資源的彈性伸縮、服務(wù)生命周期管理等能力；在云服務(wù)層，通過對開源軟件進(jìn)行集成結(jié)合自研方式，建設(shè)容器云主要支撐系統(tǒng)；在控制層，依托K8S的Ingress網(wǎng)關(guān)服務(wù)，構(gòu)建訪問容器云的云網(wǎng)關(guān)；在云接入層，構(gòu)建云服務(wù)治理系統(tǒng)及用于外部用戶統(tǒng)一接入容器云的能力開放系統(tǒng)。平臺的系統(tǒng)架構(gòu)如圖1所示。

圖1 容器云平臺的系統(tǒng)架構(gòu)Fig.1 System architecture of container cloud platform

容器云采用Master-Slave架構(gòu)來統(tǒng)籌管理算力，管理節(jié)點（Master）及云核心服務(wù)軟件（代碼倉庫、鏡像倉庫等）可采用獨(dú)立服務(wù)器或容器部署，計算（Slave）節(jié)點可采用物理機(jī)或虛擬機(jī)部署（推薦使用物理機(jī)）。本文采用管理節(jié)點（Master）及云核心服務(wù)軟件獨(dú)立服務(wù)器部署方式，網(wǎng)絡(luò)拓?fù)鋱D如圖2所示。

圖2 容器云平臺的網(wǎng)絡(luò)拓?fù)銯ig.2 Network topology of container cloud platform

4 容器云基礎(chǔ)環(huán)境搭建

容器云基礎(chǔ)環(huán)境搭建主要是部署K8S、Docker等容器云核心服務(wù)，搭建容器云平臺對系統(tǒng)的軟硬件環(huán)境有一定的要求和建議，主要有以下幾個方面：(1)宿主機(jī)CPU要支持虛擬化技術(shù)并在BIOS中開啟；(2)宿主機(jī)操作系統(tǒng)基于X86_64架構(gòu)的各種Linux發(fā)行版，Kernel在4.X以上；(3)Master節(jié)點的CPU、內(nèi)存、存儲建議要高于2core、4G、20G；(4)Node節(jié)點的CPU、內(nèi)存、存儲建議要高于4core 8G 40G；(5)核心軟件版本建議：K8S v1.15以上、Docker v1.15以上、Etcd v2.0以上。

4.1 Master節(jié)點部署

生產(chǎn)環(huán)境下，選擇若干臺（一般3臺以上、奇數(shù)臺）高性能服務(wù)器作為Master節(jié)點集群，部署ETCD（有條件的情況下ETCD可以使用獨(dú)立服務(wù)器部署）、API-Server、Controller-Manager、Scheduler等服務(wù)。其中，ETCD作為K8S的運(yùn)行時數(shù)據(jù)庫，存儲K8S集群運(yùn)行時關(guān)鍵數(shù)據(jù)。API-Server負(fù)責(zé)和ETCD交互，并對外提供統(tǒng)一的API調(diào)用入口。Controller-Manager作為K8S集群的管理控制中心，負(fù)責(zé)集群內(nèi)Node、Service、Replication等資源的管理。Scheduler負(fù)責(zé)Node節(jié)點資源管理，將Pod合理分配到相應(yīng)的Node節(jié)點。

為了容器云能夠7×24h的高可用性運(yùn)行，需對ETCD、API-Server等服務(wù)進(jìn)行高可用配置?？刹捎肊TCD和API-Server的原生集群能力，結(jié)合Keepalived、HA-Proxy實現(xiàn)Master節(jié)點的高可用。

4.2 Node節(jié)點部署

Node（Slave）節(jié)點是容器云的算力節(jié)點，眾多的算力節(jié)點形成算力池，在Master統(tǒng)一調(diào)度下對外提供云服務(wù)。Node節(jié)點上需部署Docker、Kubelet、Kuberoute等服務(wù)。其中，Docker提供容器服務(wù)。Kubelet負(fù)責(zé)接收Scheduler的指令，維護(hù)Pod和上報Pod狀態(tài)。Kube-route作為容器云的網(wǎng)絡(luò)服務(wù)，是K8S Service的訪問代理和Pod的負(fù)載均衡器。

在容器云虛擬網(wǎng)絡(luò)選型上，我們選擇使用支持CNI網(wǎng)絡(luò)的Kube-router組件替代了Kube-proxy組件。相比業(yè)界常用的Overlay方式的Flannel網(wǎng)絡(luò)，CNI網(wǎng)絡(luò)的優(yōu)點是網(wǎng)絡(luò)速度相對較快、帶寬損耗小等優(yōu)點。如果企業(yè)對網(wǎng)絡(luò)穩(wěn)定性有非常高的需求，也可以選擇最為穩(wěn)定的Flannel網(wǎng)絡(luò)。

4.3 云核心服務(wù)部署

要使用容器云平臺能夠?qū)ν馓峁┓?wù)，我們還需要部署代碼倉庫、Docker鏡像倉庫、云DNS服務(wù)、接入網(wǎng)關(guān)等容器云配套服務(wù)軟件，主要包括如下軟件服務(wù)：(1)代碼倉庫：采用開源GitLib作為云平臺的代碼倉庫；(2)鏡像倉庫：選擇一臺服務(wù)器并安裝Docker，下載Registry鏡像并配置啟動；(3)容器云DNS：選用Kube-DNS作為云平臺內(nèi)部DNS服務(wù)；(4)服務(wù)網(wǎng)關(guān)：選用Nginx-Ingress組件實現(xiàn)外部系統(tǒng)通過ClusterIP方式對容器云的訪問。

5 云存儲建設(shè)

可利舊現(xiàn)網(wǎng)存儲系統(tǒng)（如：企業(yè)現(xiàn)有IaaS云存儲），如果條件允許，也可通使用NFS或GlusterFS等建設(shè)容器云專用存儲系統(tǒng)。

容器云基礎(chǔ)環(huán)境搭建完成后，平臺的各組件、各模塊的架構(gòu)和調(diào)用關(guān)系如圖3所示。

圖3 容器云主要組件調(diào)用關(guān)系Fig.3 Container cloud's component invocation relationship

6 服務(wù)治理系統(tǒng)建設(shè)

為了進(jìn)一步提升容器云的可用性和自動化程度，還需為容器云配套建設(shè)一系列服務(wù)治理系統(tǒng)，主要包括基于DevOps的CI/CD自動化流水線子系統(tǒng)、云數(shù)據(jù)總線服務(wù)子系統(tǒng)、微服務(wù)日志中心子系統(tǒng)、微服務(wù)配置中心子系統(tǒng)等。

7 容器云下企業(yè)的IT管理和研發(fā)建議

企業(yè)的容器云構(gòu)建完成后，并不代表企業(yè)就此可以高效的使用容器云，為了更好發(fā)揮容器云的優(yōu)勢，企業(yè)需從人力資源管理、IT管理流程和IT研發(fā)等方面制定適合自身的工作標(biāo)準(zhǔn)和制度，并在生產(chǎn)活動中持續(xù)完善和提升IT管理水平和容器云資源利用水平，為企業(yè)生產(chǎn)助力。