潘磊 郭曉虎 薛崢 章亮

摘要：在測(cè)繪生產(chǎn)中，由于成果數(shù)據(jù)的不斷積累，數(shù)據(jù)量已經(jīng)由過(guò)去的TB級(jí)發(fā)展至PB級(jí)，使得測(cè)繪成果數(shù)據(jù)面臨著更高的管理要求，因此在云存儲(chǔ)環(huán)境下搭建一套測(cè)繪資料在線管理系統(tǒng)，充分利用云存儲(chǔ)的技術(shù)優(yōu)勢(shì)確保數(shù)據(jù)存儲(chǔ)的安全性、高可擴(kuò)展性和高可靠性，實(shí)現(xiàn)測(cè)繪成果資料在線化管理，提升測(cè)繪資料管理的質(zhì)量和效率，是當(dāng)前測(cè)繪生產(chǎn)發(fā)展的必然趨勢(shì)。本文介紹了云存儲(chǔ)環(huán)境下的測(cè)繪資料在線管理系統(tǒng)的框架設(shè)計(jì)和主要功能，通過(guò)高效的文件快速查詢(xún)檢索，滿足測(cè)繪成果資料在線管理需求。

關(guān)鍵詞：云存儲(chǔ) 測(cè)繪成果資料管理

1、引言

隨著測(cè)繪事業(yè)的不斷發(fā)展，測(cè)繪地理信息成果資料的數(shù)據(jù)量呈逐年快速增長(zhǎng)趨勢(shì)，測(cè)繪成果資料大多以光盤(pán)、磁帶、硬盤(pán)為主要存儲(chǔ)載體進(jìn)行備份，導(dǎo)致存放數(shù)據(jù)的硬盤(pán)不斷增多，其中有些硬盤(pán)存儲(chǔ)量達(dá)到數(shù)百萬(wàn)個(gè)小文件，傳統(tǒng)方式管理起來(lái)日漸乏力，過(guò)去的成果資料管理很大程度依靠人工，采用文檔方式記錄，查詢(xún)檢索效率低，很難快速找到對(duì)應(yīng)的資料數(shù)據(jù)，給日常管理與數(shù)據(jù)檢索傳輸造成很大困擾，不利于測(cè)繪成果資料的管理，這也是目前測(cè)繪資料管理普遍存在的問(wèn)題。[1]

云存儲(chǔ)（Cloud Storage）是在云計(jì)算（Cloud Computing）基礎(chǔ)上延伸和發(fā)展而來(lái)，通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等技術(shù)，將服務(wù)器后端存儲(chǔ)資源虛擬化，將數(shù)據(jù)分布式存儲(chǔ)在眾多的服務(wù)器主機(jī)上，通過(guò)網(wǎng)絡(luò)共享方式提供給用戶(hù)使用。和傳統(tǒng)存儲(chǔ)相比，云存儲(chǔ)具有高性?xún)r(jià)比、高可靠性、高可擴(kuò)展性的特點(diǎn)，同時(shí)支持高并發(fā)、高帶寬、自動(dòng)均衡負(fù)載。相同數(shù)據(jù)在不同存儲(chǔ)節(jié)點(diǎn)存有兩個(gè)或多個(gè)副本，任意節(jié)點(diǎn)發(fā)生故障，系統(tǒng)將自動(dòng)復(fù)制數(shù)據(jù)塊到新的存儲(chǔ)節(jié)點(diǎn)，具有高可靠性，可大規(guī)模橫向擴(kuò)展，足以滿足地理信息數(shù)據(jù)與日俱增的數(shù)據(jù)存儲(chǔ)需求。

本文主要探討云存儲(chǔ)環(huán)境下，設(shè)計(jì)開(kāi)發(fā)一套測(cè)繪資料管理系統(tǒng)，模擬日常測(cè)繪成果資料管理流程，將每個(gè)磁盤(pán)存儲(chǔ)信息與云存儲(chǔ)空間一一對(duì)應(yīng)，將測(cè)繪成果數(shù)據(jù)上傳到云存儲(chǔ)的同時(shí)，建立相關(guān)元數(shù)據(jù)庫(kù)，實(shí)現(xiàn)海量數(shù)據(jù)快速實(shí)時(shí)檢索。

2、系統(tǒng)框架設(shè)計(jì)

測(cè)繪成果資料管理系統(tǒng)符合OAIS開(kāi)放檔案系統(tǒng)（Open Archival Information System）標(biāo)準(zhǔn)[2]，采用B/S架構(gòu)實(shí)現(xiàn)服務(wù)的交互，系統(tǒng)基于底層云存儲(chǔ)服務(wù)，搭建文件檢索和事務(wù)管理數(shù)據(jù)庫(kù)，通過(guò)系統(tǒng)平臺(tái)以WEB頁(yè)面形式將信息提供給用戶(hù)，系統(tǒng)包括資料預(yù)處理模塊、管理模塊、存儲(chǔ)管理模塊、數(shù)據(jù)庫(kù)管理模塊、文件檢索模塊等功能模塊。

2.1資料預(yù)處理模塊

首先對(duì)生產(chǎn)部門(mén)提交的測(cè)繪成果資料，以硬盤(pán)為單位進(jìn)行硬盤(pán)登記和硬盤(pán)健康狀況檢驗(yàn)，對(duì)不滿足健康狀況的硬盤(pán)，及時(shí)進(jìn)行硬盤(pán)數(shù)據(jù)備份。提取硬盤(pán)中相關(guān)元數(shù)據(jù)入數(shù)據(jù)庫(kù)，調(diào)用數(shù)據(jù)上傳功能將測(cè)繪資料數(shù)據(jù)上傳到底層云存儲(chǔ)中。

2.2管理模塊

管理模塊包括任務(wù)功能調(diào)度、平臺(tái)及存儲(chǔ)運(yùn)行狀態(tài)監(jiān)測(cè)、系統(tǒng)日志記錄以及用戶(hù)權(quán)限管理等功能。任務(wù)功能調(diào)度具有分布式功能調(diào)用、動(dòng)態(tài)均衡、存儲(chǔ)資源監(jiān)控等功能。存儲(chǔ)資源監(jiān)控包括獲取集群狀態(tài)、存儲(chǔ)使用率、性能等信息。用戶(hù)權(quán)限管理將不同類(lèi)型的用戶(hù)分配對(duì)應(yīng)的權(quán)限。

2.3存儲(chǔ)管理模塊

存儲(chǔ)管理模塊包括云存儲(chǔ)空間管理和文件共享服務(wù)等功能。云存儲(chǔ)空間管理功能可動(dòng)態(tài)分配和回收存儲(chǔ)空間，并實(shí)時(shí)查看云存儲(chǔ)剩余空間。文件共享服務(wù)功能采用SMB協(xié)議（全稱(chēng)是Server Message Block）搭建基于linux系統(tǒng)的文件共享服務(wù)，建立linux服務(wù)器的數(shù)據(jù)與客戶(hù)端之間的數(shù)據(jù)共享。文件共享服務(wù)將云存儲(chǔ)數(shù)據(jù)以硬盤(pán)掛載的形式提供服務(wù)，掛載后和操作本地磁盤(pán)沒(méi)有區(qū)別，數(shù)據(jù)的訪問(wèn)無(wú)需進(jìn)行下載，可在線實(shí)時(shí)操作。當(dāng)使用部門(mén)申請(qǐng)數(shù)據(jù)獲準(zhǔn)后，可以從云存儲(chǔ)內(nèi)部將數(shù)據(jù)直接傳輸進(jìn)該部門(mén)空間。底層云存儲(chǔ)系統(tǒng)的文件存儲(chǔ)由眾多X86架構(gòu)的存儲(chǔ)節(jié)點(diǎn)組成，利用存儲(chǔ)軟件將網(wǎng)絡(luò)中的存儲(chǔ)節(jié)點(diǎn)資源進(jìn)行整合組織，并提供一套維護(hù)管理云存儲(chǔ)空間的標(biāo)準(zhǔn)接口，通過(guò)接口調(diào)用動(dòng)態(tài)分配云存儲(chǔ)資源、存儲(chǔ)資源回收以及狀態(tài)監(jiān)控等功能。

2.4數(shù)據(jù)庫(kù)管理模塊

數(shù)據(jù)庫(kù)管理模塊建立起系統(tǒng)平臺(tái)與數(shù)據(jù)庫(kù)之間的關(guān)聯(lián)，管理包括元數(shù)據(jù)庫(kù)，事務(wù)管理數(shù)據(jù)庫(kù)。元數(shù)據(jù)存儲(chǔ)在ElasticSearch文件檢索數(shù)據(jù)庫(kù)中，事務(wù)管理數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)MySQL中，支持分布式部署，存儲(chǔ)資料管理系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)。

2.5文件檢索功能模塊

文件檢索功能模塊采用ElasticSearch搭建文件檢索功能，支持分布式部署的全文搜索引擎。無(wú)論是基于時(shí)間檢索還是基于空間檢索，ElasticSearch在大數(shù)據(jù)查詢(xún)方面都表現(xiàn)出比基于數(shù)據(jù)庫(kù)查詢(xún)更高的檢索效率[3]，文件檢索供用戶(hù)按照文件和文件目錄檢索，對(duì)數(shù)據(jù)查詢(xún)時(shí)，可根據(jù)文件名、文件后綴、時(shí)間段進(jìn)行文件檢索，對(duì)于檢索到的文件可手動(dòng)選擇加載對(duì)應(yīng)云存儲(chǔ)空間到本地工作站訪問(wèn)。

3、存儲(chǔ)管理技術(shù)介紹

底層云存儲(chǔ)采用分布式架構(gòu)，可大規(guī)模橫向擴(kuò)展，系統(tǒng)由眾多冗余組件組成，不存在單點(diǎn)故障，且支持對(duì)象存儲(chǔ)、塊存儲(chǔ)、文件系統(tǒng)三種存儲(chǔ)方式。

3.1系統(tǒng)組成

3.1.1管理監(jiān)控模塊

該模塊負(fù)責(zé)整個(gè)存儲(chǔ)集群的配置管理以及狀態(tài)監(jiān)控，當(dāng)系統(tǒng)出現(xiàn)異常時(shí)，通過(guò)指定方式及時(shí)告警。通過(guò)基于web的訪問(wèn)方式進(jìn)行管理和維護(hù)操作，支持智能化管理和配置。

3.1.2 元數(shù)據(jù)服務(wù)模塊

該模塊用來(lái)管理和維護(hù)文件系統(tǒng)中文件的元數(shù)據(jù)信息。當(dāng)客戶(hù)端使用文件系統(tǒng)訪問(wèn)存儲(chǔ)時(shí)，首先與元數(shù)據(jù)服務(wù)進(jìn)程通信，獲得被訪問(wèn)文件的元數(shù)據(jù)信息，根據(jù)元數(shù)據(jù)信息來(lái)訪問(wèn)數(shù)據(jù)。

3.1.3存儲(chǔ)服務(wù)模塊

該模塊負(fù)責(zé)數(shù)據(jù)存儲(chǔ)，處理從客戶(hù)端發(fā)過(guò)來(lái)的數(shù)據(jù)請(qǐng)求。同時(shí)每個(gè)存儲(chǔ)服務(wù)進(jìn)程會(huì)與其相關(guān)的存儲(chǔ)服務(wù)進(jìn)程相關(guān)聯(lián)，保持關(guān)聯(lián)磁盤(pán)之間的一致性，當(dāng)發(fā)現(xiàn)相關(guān)磁盤(pán)異常時(shí)，存儲(chǔ)服務(wù)進(jìn)程會(huì)將其匯報(bào)給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)隨后做出應(yīng)對(duì)，保證系統(tǒng)的正常運(yùn)行及數(shù)據(jù)的恢復(fù)等。

3.1.4對(duì)象存儲(chǔ)網(wǎng)關(guān)

通過(guò)該模塊，云存儲(chǔ)系統(tǒng)可以對(duì)外提供支持RESTful的對(duì)象存儲(chǔ)訪問(wèn)方式，目前兼容亞馬遜S3和Swift等傳統(tǒng)對(duì)象存儲(chǔ)接口。該模塊支持集群化部署，以提供高并發(fā)訪問(wèn)服務(wù)能力。

3.1.5客戶(hù)端模塊

為滿足不同的應(yīng)用需求，系統(tǒng)提供豐富的存儲(chǔ)訪問(wèn)接口，支持通過(guò)iSCSI客戶(hù)端程序?qū)⒃拼鎯?chǔ)映射成本地磁盤(pán)使用，也提供私有的文件系統(tǒng)客戶(hù)端訪問(wèn)方式，同時(shí)支持私有接口訪問(wèn)。

3.2 關(guān)鍵技術(shù)

3.2.1 數(shù)據(jù)分布算法

為滿足系統(tǒng)高可擴(kuò)展性和高并發(fā)性的設(shè)計(jì)要求，該云存儲(chǔ)系統(tǒng)采用無(wú)中心節(jié)點(diǎn)架構(gòu)設(shè)計(jì)，通過(guò)分布式Hash算法計(jì)算的方式來(lái)尋址。保證了數(shù)據(jù)的均勻分布，系統(tǒng)發(fā)生變更時(shí)盡可能少的數(shù)據(jù)在設(shè)備之間的遷移，以及快速定位數(shù)據(jù)。

3.2.2 分層緩存技術(shù)

為提高存儲(chǔ)系統(tǒng)的讀寫(xiě)性能，存儲(chǔ)系統(tǒng)在系統(tǒng)層面采用cache策略和分級(jí)存儲(chǔ)策略，將SSD磁盤(pán)配置成SATA磁盤(pán)cache層，cache模塊負(fù)責(zé)在cache層和存儲(chǔ)層之間進(jìn)行數(shù)據(jù)自動(dòng)遷移，對(duì)于客戶(hù)端而言，數(shù)據(jù)的存儲(chǔ)和訪問(wèn)完全是透明的。

3.2.3 高速并發(fā)訪問(wèn)技術(shù)

采用無(wú)中心節(jié)點(diǎn)架構(gòu)設(shè)計(jì)，避免了由于中心節(jié)點(diǎn)服務(wù)能力的限制造成系統(tǒng)并發(fā)能力的降低;客戶(hù)端與存儲(chǔ)節(jié)點(diǎn)之間通信，不經(jīng)過(guò)任何代理節(jié)點(diǎn)或轉(zhuǎn)發(fā)節(jié)點(diǎn)，系統(tǒng)的整體吞吐率和并發(fā)能力會(huì)隨著存儲(chǔ)節(jié)點(diǎn)的數(shù)量的增加而線性擴(kuò)展;存儲(chǔ)系統(tǒng)的容錯(cuò)由存儲(chǔ)節(jié)點(diǎn)之間自動(dòng)進(jìn)行，可以在高并發(fā)情況下，提高客戶(hù)端的帶寬利用率。

3.2.4其他技術(shù)

為了幫助用戶(hù)更好的保護(hù)數(shù)據(jù)，云存儲(chǔ)系統(tǒng)還支持快照、克隆、遠(yuǎn)程復(fù)制等功能。

4、文件檢索模塊設(shè)計(jì)

4.1 文件檢索數(shù)據(jù)庫(kù)

測(cè)繪成果資料數(shù)據(jù)量巨大，要從海量數(shù)據(jù)中檢索出某一文件，這對(duì)檢索模塊的設(shè)計(jì)提出了較高要求。本管理系統(tǒng)采用ElasticSearch搭建文件檢索模塊，它的倒排索引技術(shù)實(shí)現(xiàn)比關(guān)系型數(shù)據(jù)庫(kù)更快的過(guò)濾，能支持上百億條、PB級(jí)數(shù)據(jù)的搜索。

4.2 ElasticSearch集群

為保證E lasticSearch的高可用性，在本管理系統(tǒng)中，使用三臺(tái)主機(jī)構(gòu)建了一個(gè)ElasticSearch集群。Elasticsearch采用分片技術(shù)，將索引存儲(chǔ)時(shí)分成兩個(gè)分片，每個(gè)分片又有兩個(gè)副本分片，數(shù)據(jù)保存在分片內(nèi)，分片被分配到集群內(nèi)的各個(gè)節(jié)點(diǎn)里。當(dāng)集群規(guī)模擴(kuò)大或者縮小時(shí)，Elasticsearch會(huì)自動(dòng)的在各節(jié)點(diǎn)中遷移分片，使得數(shù)據(jù)均勻分布在集群里。集群結(jié)構(gòu)如圖3所示，P開(kāi)頭的代表Primary分片，即主分片，R開(kāi)頭的代表Replica分片，即副本分片。

根據(jù)節(jié)點(diǎn)的職責(zé)不同，劃分為主節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)、負(fù)載均衡節(jié)點(diǎn)。主節(jié)點(diǎn)即Master節(jié)點(diǎn)，其管理控制整套集群，如創(chuàng)建索引、刪除索引、資源分配、節(jié)點(diǎn)修改等;數(shù)據(jù)節(jié)點(diǎn)，對(duì)文檔進(jìn)行增刪改查操作等;負(fù)載均衡節(jié)點(diǎn)，負(fù)責(zé)處理路由請(qǐng)求、搜索、分發(fā)索引操作等。

5、總結(jié)

在云存儲(chǔ)環(huán)境下，搭建一套測(cè)繪成果資料管理系統(tǒng)，實(shí)現(xiàn)測(cè)繪成果資料管理的在線化、服務(wù)網(wǎng)絡(luò)化，整合更多依賴(lài)分布式存儲(chǔ)和數(shù)據(jù)庫(kù)的資源，提高測(cè)繪成果資料文件檢索和數(shù)據(jù)共享效率，進(jìn)一步提升測(cè)繪成果資料管理的質(zhì)量和能力。

參考文獻(xiàn)：

[1]黃遞全，向娟，吳蕾.測(cè)繪成果資料目錄管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].地理空間信息，2017，15（ 10） ：112-114.

[2]秦高雅.測(cè)繪資料檔案一站式管理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京建筑大學(xué)，2019.

[3]李峰，宋宴，魏廣澤，王永安.基于 ElasticSearch 的海量遙感數(shù)據(jù)檢索技術(shù)研究 [J].計(jì)算機(jī)與網(wǎng)絡(luò)，2021，47（05）：57-61.