◎ 姜代煒，吳昊錚，何敬源，曾晶晶，汪 敏

隨著地理信息技術在自然資源、生態(tài)環(huán)境、農(nóng)業(yè)農(nóng)村等領域的不斷發(fā)展，用戶對地理信息服務的數(shù)據(jù)可靠性、服務可用性和業(yè)務穩(wěn)定性等要求越來越高，互聯(lián)網(wǎng)環(huán)境下的地理信息服務面臨著并發(fā)數(shù)激增、系統(tǒng)響應和容量限制等挑戰(zhàn)。如何為用戶提供穩(wěn)定、可靠的高質(zhì)量地理信息服務，成為穩(wěn)定互聯(lián)網(wǎng)地理信息服務系統(tǒng)建設需要解決的問題之一。集群技術是應對大規(guī)模用戶并發(fā)訪問和海量地理信息數(shù)據(jù)服務的主流技術手段。研究小組以“天地圖·廣西”的建設和應用實踐為例，設計高可用性系統(tǒng)架構(gòu)，超融合軟硬件資源，組建多節(jié)點集群系統(tǒng)，對如何規(guī)避互聯(lián)網(wǎng)地理信息服務應用單點故障和數(shù)據(jù)一致性問題進行初探。

一、“天地圖·廣西”地理信息服務高可用需求

（一）業(yè)務連續(xù)性需求

近年來，廣西逐步建立了自然資源調(diào)查監(jiān)測體系。持續(xù)性的自然資源調(diào)查監(jiān)測要求“天地圖·廣西”提供穩(wěn)定、可靠的基礎底圖服務。“天地圖·廣西”的用戶數(shù)目和服務器訪問量不斷增長，各個功能組件需要保持高可用狀態(tài)，才能避免因基礎平臺停機導致的業(yè)務大面積癱瘓。

（二）高并發(fā)性能需求

在服務負載較大的情況下，“天地圖·廣西”除了要滿足對外提供7 天×24 小時不間斷服務的要求，還應維持較好的服務性能。如“廣西田長巡”APP 裝機數(shù)量為9 萬套，當其終端高并發(fā)調(diào)用“天地圖·廣西”底圖服務時，如果在線地圖服務加載過長，將極大地影響用戶體驗。

二、高可用地理信息服務系統(tǒng)架構(gòu)

（一）整體架構(gòu)

高可用地理信息服務系統(tǒng)架構(gòu)整體采用集群化思路分層構(gòu)建，主要使用IT 基礎設施超融合、空間數(shù)據(jù)庫集群和分布式協(xié)調(diào)地理信息服務設計，按照基礎設施層、空間數(shù)據(jù)庫層和地理信息服務層等進行分層。

（1）基礎設施層?；A設施層采用超融合架構(gòu)，從鏈路、網(wǎng)絡、計算到存儲設備對硬件系統(tǒng)進行冗余設計，利用虛擬化套件將物理設備整合為邏輯集群，以軟件定義的方式將不同平面節(jié)點進行多模式互聯(lián)，在基礎層面實現(xiàn)集群高可用、動態(tài)調(diào)度和故障容錯等功能。

（2）空間數(shù)據(jù)庫層?？臻g數(shù)據(jù)庫層橫向擴展空間數(shù)據(jù)庫，心跳線連接空間數(shù)據(jù)庫節(jié)點，配置各類空間數(shù)據(jù)庫存儲邏輯，確保應用層對數(shù)據(jù)的請求可以合理地分配到不同的集群節(jié)點。

（3）地理信息服務層。地理信息服務層通過應用負載均衡服務，從整體上調(diào)度應用服務器，均衡數(shù)據(jù)訪問請求流量，屏蔽故障節(jié)點，確保系統(tǒng)持續(xù)性提供地理信息數(shù)據(jù)服務。

（二）IT 基礎設施超融合

IT 基礎設施超融合使用虛擬化套件對冗余硬件設施進行虛擬化處理，以軟件定義方式統(tǒng)一計算、網(wǎng)絡和存儲。IT 基礎設施超融合物理網(wǎng)絡、虛擬網(wǎng)絡，多模式互聯(lián)虛擬網(wǎng)絡傳輸總線，劃分數(shù)據(jù)、控制和管理平面，構(gòu)建虛擬計算、分布式網(wǎng)絡和共享存儲集群；提供集群高可用、動態(tài)資源調(diào)度和故障容錯等策略，自動遷移虛擬設備，降低物理故障的損害。

（1）集群高可用。集群高可用由活動、被動和見證節(jié)點組成，活動節(jié)點主動向關聯(lián)節(jié)點發(fā)送心跳信息。當遭遇物理故障時，系統(tǒng)可以在其他物理主機上重新啟動虛擬機。

（2）動態(tài)資源調(diào)度。虛擬機之間共享計算、存儲資源池，系統(tǒng)在承載容量閾值超標時會啟動負載均衡功能，將虛擬機熱遷移到相對空閑的資源池中。

（3）故障容錯。主、備虛擬機之間共享內(nèi)存、數(shù)據(jù)和日志等信息，保持數(shù)據(jù)實時同步。當主機發(fā)生故障時，系統(tǒng)會立即切換到備機運行，保障業(yè)務的連續(xù)性。

（三）空間數(shù)據(jù)庫集群構(gòu)建

“天地圖·廣西”空間數(shù)據(jù)庫集群結(jié)構(gòu)如圖1所示。系統(tǒng)對空間數(shù)據(jù)庫進行多節(jié)點集群設計，為不同子系統(tǒng)配置主備、主從或分庫節(jié)點，從水平方向擴展空間數(shù)據(jù)庫的可用性。心跳線可用于檢測集群健康狀況，當遭遇單點故障時，備用節(jié)點可立即接管業(yè)務。

圖1 “天地圖·廣西”空間數(shù)據(jù)庫集群結(jié)構(gòu)圖

（1）地理要素數(shù)據(jù)庫集群。地理要素數(shù)據(jù)庫集群主要存儲關系型數(shù)據(jù)，如矢量、地名地址、鑲嵌數(shù)據(jù)集索引和網(wǎng)站業(yè)務數(shù)據(jù)等。這類數(shù)據(jù)容量小，使用主備方式來進行數(shù)據(jù)同步，對外提供虛擬IP 服務。主節(jié)點宕機時，虛擬IP 將自動漂移至備用節(jié)點繼續(xù)運行。

（2）地圖瓦片數(shù)據(jù)庫集群。地圖瓦片數(shù)據(jù)庫集群主要存儲瓦片數(shù)據(jù)，這類數(shù)據(jù)容量大，需要對數(shù)據(jù)庫進行分庫處理，提高單張瓦片查詢的響應效率。分庫內(nèi)部包含主從節(jié)點、仲裁節(jié)點。主從節(jié)點數(shù)據(jù)集動態(tài)同步，當主節(jié)點出現(xiàn)故障時，仲裁節(jié)點觸發(fā)投票機制，選出新的節(jié)點作為主節(jié)點對外提供服務；當?shù)乩硇畔⒎掌鳟a(chǎn)生高并發(fā)請求時，瓦片數(shù)據(jù)庫將進行路由輪詢，自動平衡負載壓力。

（四）分布式協(xié)調(diào)地理信息服務

由于各節(jié)點的分散性，集群系統(tǒng)會產(chǎn)生數(shù)據(jù)一致性問題?；赯AB 原子廣播協(xié)議的分布式協(xié)調(diào)服務能夠進行節(jié)點間的相互協(xié)作和系統(tǒng)自治，可以較好地解決地理信息服務集群對外提供服務的數(shù)據(jù)一致性問題，并且可以通過動態(tài)增加服務節(jié)點來應對突然增加的服務負載。

（1）協(xié)調(diào)服務節(jié)點。協(xié)調(diào)服務節(jié)點具有領導者、跟隨者與觀察者3 種角色。領導者負責事務請求和管理調(diào)度集群節(jié)點；跟隨者負責處理非事務請求，參與領導者選舉投票，與觀察者同步領導者信息；觀察者負責監(jiān)控集群狀態(tài)，不參與投票。協(xié)調(diào)服務節(jié)點的數(shù)據(jù)發(fā)布與訂閱使用推拉結(jié)合的方式。當領導者出現(xiàn)故障時，選舉投票機制觸發(fā)，單個節(jié)點自薦為領導者，跟隨者進行投票。當選票超過（總數(shù)/2）+1 張時，新的領導者選出，所有協(xié)調(diào)服務節(jié)點狀態(tài)信息刷新。

協(xié)調(diào)服務節(jié)點綁定地理信息服務節(jié)點，使用命名服務映射實際地址信息并共享配置信息。觀察者負責監(jiān)控地理信息服務節(jié)點狀態(tài)，當狀態(tài)改變時，通知協(xié)調(diào)服務節(jié)點更新信息。

（2）非事務請求和事務請求。在非事務請求方面，協(xié)調(diào)服務節(jié)點能夠搜索、分派地理信息服務存活節(jié)點，從數(shù)據(jù)庫中請求數(shù)據(jù)返回服務代理；在事務請求方面，分布式鎖觸發(fā)后將同步協(xié)調(diào)服務節(jié)點信息，交由領導者處理事務請求，領導者將地址交給分派的地理信息服務器處理，處理完畢后返回服務代理并釋放分布式鎖。

三、實踐分析

在實踐中，研究小組基于“天地圖·廣西”的整體軟硬件環(huán)境，以壓力測試的方式對系統(tǒng)高可用性架構(gòu)進行了能力測試。

在帶寬50 M、服務并發(fā)不少于1 000 個的情況下，研究小組以4 臺地理信息服務器作為被測試對象，對“天地圖·廣西”地圖瓦片（6～18 級）、矢量要素和地名地址服務進行3 輪測試，每輪并發(fā)訪問持續(xù)10 分鐘。在服務持續(xù)運行時，終止其中一臺服務器，觀察服務故障是否轉(zhuǎn)移。

結(jié)果表明，服務器正常運行時，4 臺服務器能較為平均地分配流量；當一臺服務器終止時，訪問量平均轉(zhuǎn)移至其他3 臺服務器上，在線地圖服務平均響應時間小于0.4 秒，地圖服務加載正常。

在實際應用場景中，2022 年上半年“天地圖·廣西”用戶數(shù)目已達4.2 萬，服務器月平均訪問量超過1.5 億次。其間，“天地圖·廣西”地理信息服務均表現(xiàn)良好，未嘗出現(xiàn)服務中斷情況。

研究小組根據(jù)“天地圖·廣西”業(yè)務應用需求，從IT 基礎設施、空間數(shù)據(jù)庫和地理信息服務器層次擴展了軟硬件資源，實現(xiàn)了高可用地理信息服務系統(tǒng)的構(gòu)建，利用故障轉(zhuǎn)移、負載均衡和分布式協(xié)調(diào)服務解決了單點故障、高并發(fā)訪問和數(shù)據(jù)一致性等問題，對增強后的系統(tǒng)負載進行了能力驗證，驗證了系統(tǒng)在故障環(huán)境下依然能夠提供高效服務的能力。鑒于“天地圖·廣西”用戶的多元性、訪問量的不斷激增以及互聯(lián)網(wǎng)環(huán)境的復雜性，“天地圖·廣西”系統(tǒng)后續(xù)還需加強智能監(jiān)控信息服務、同城災備節(jié)點建設等方面的研究。