邵 軍，陳翠芳，李韶穎，陳 濤

（1. 湖北省測(cè)繪成果檔案館，湖北 武漢 430074）

遙感影像數(shù)據(jù)被廣泛應(yīng)用于地理國情監(jiān)測(cè)、土地、海洋、規(guī)劃、水利、環(huán)境、科研等動(dòng)態(tài)研究，作為其研究重要數(shù)據(jù)源，為快速?zèng)Q策提供了技術(shù)保證[1-2]。面對(duì)數(shù)據(jù)種類多、數(shù)量大、產(chǎn)品多樣化、數(shù)據(jù)量增加迅速的遙感數(shù)據(jù)集合，傳統(tǒng)單純依靠人工進(jìn)行管理、查詢和分發(fā)的影像管理方式已經(jīng)無法滿足服務(wù)要求，如何應(yīng)對(duì)大量用戶同時(shí)訪問影像分發(fā)服務(wù)系統(tǒng)以及自然資源系統(tǒng)內(nèi)部互聯(lián)互通和資源共享客觀需求，提高影像數(shù)據(jù)管理和分發(fā)服務(wù)水平，滿足行業(yè)和社會(huì)對(duì)遙感數(shù)據(jù)的按需獲取，已成為目前亟需解決的問題[3-6]。微服務(wù)架構(gòu)是當(dāng)前系統(tǒng)開發(fā)領(lǐng)域的熱點(diǎn)技術(shù)，可解決單體應(yīng)用部署、配置、維護(hù)的復(fù)雜性[7]，開發(fā)基于微服務(wù)的影像數(shù)據(jù)分發(fā)服務(wù)系統(tǒng)，可提升影像數(shù)據(jù)分發(fā)服務(wù)水平，同時(shí)便于開發(fā)、部署及維護(hù)。本文介紹了該系統(tǒng)的總體架構(gòu)設(shè)計(jì)、系統(tǒng)功能模塊以及系統(tǒng)實(shí)現(xiàn)情況，基于微服務(wù)架構(gòu)的影像數(shù)據(jù)分發(fā)服務(wù)子系統(tǒng)的設(shè)計(jì)和開發(fā)，為多源遙感數(shù)據(jù)的差異化處理、定制化服務(wù)提供系統(tǒng)支撐[8]，同時(shí)也提升了海量多源影像數(shù)據(jù)管理及服務(wù)共享的能力。

1 系統(tǒng)的總體架構(gòu)設(shè)計(jì)

基于微服務(wù)架構(gòu)影像數(shù)據(jù)分發(fā)服務(wù)子系統(tǒng)主要包括基礎(chǔ)層、管理層、應(yīng)用層，其中基礎(chǔ)層提供平臺(tái)的底層構(gòu)架，如Docker 容器發(fā)現(xiàn)及管理、反向代理、負(fù)載均衡等；管理層提供微應(yīng)用的運(yùn)維管理能力，包括應(yīng)用發(fā)布、應(yīng)用管理、日志管理、統(tǒng)計(jì)監(jiān)控等；應(yīng)用層對(duì)外提供各類微應(yīng)用的展示和使用，其主要包括數(shù)據(jù)查詢和數(shù)據(jù)統(tǒng)計(jì)等。系統(tǒng)總體架構(gòu)如圖1所示。

圖1 影像數(shù)據(jù)分發(fā)服務(wù)系統(tǒng)總體架構(gòu)圖

2 系統(tǒng)功能模塊設(shè)計(jì)

系統(tǒng)功能結(jié)構(gòu)主要分為應(yīng)用工具和應(yīng)用市場(chǎng)兩大模塊。應(yīng)用工具主要由應(yīng)用門戶以及各類微應(yīng)用組成，其中應(yīng)用門戶是應(yīng)用的展示和使用入口，微應(yīng)用包括數(shù)據(jù)查詢、數(shù)據(jù)統(tǒng)計(jì)等。應(yīng)用市場(chǎng)模塊由應(yīng)用管理和統(tǒng)計(jì)監(jiān)控組成。應(yīng)用管理提供發(fā)布、編輯、卸載、負(fù)載、日志等運(yùn)維功能；統(tǒng)計(jì)監(jiān)控提供統(tǒng)計(jì)分析和應(yīng)用監(jiān)控等能力。影像數(shù)據(jù)分發(fā)服務(wù)系統(tǒng)功能組成如圖2所示。

圖2 影像數(shù)據(jù)分發(fā)服務(wù)系統(tǒng)功能設(shè)計(jì)

2.1 應(yīng)用工具

2.1.1 應(yīng)用門戶

應(yīng)用門戶是為所有應(yīng)用程序提供對(duì)外使用入口，提供應(yīng)用描述、訪問量、版本信息的顯示，并根據(jù)訪問量默認(rèn)排序。

2.1.2 數(shù)據(jù)查詢

數(shù)據(jù)查詢模塊提供多種便捷查詢方式，支持成果元數(shù)據(jù)的空間范圍查詢、類別查詢、圖幅號(hào)查詢和行政區(qū)劃查詢，同時(shí)可將檢索出的數(shù)據(jù)在地理底圖上顯示空間范圍，多種類型的檢索可配合使用。系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)查詢模塊的微服務(wù)化，微服務(wù)化后將實(shí)現(xiàn)數(shù)據(jù)查詢模塊的解耦，實(shí)現(xiàn)系統(tǒng)的可擴(kuò)展和高復(fù)用性。

2.1.3 數(shù)據(jù)統(tǒng)計(jì)

數(shù)據(jù)統(tǒng)計(jì)模塊主要負(fù)責(zé)對(duì)各類業(yè)務(wù)的辦理情況進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果以圖表形式展現(xiàn)，可將統(tǒng)計(jì)結(jié)果輸出、打印。可根據(jù)行政區(qū)域、申請(qǐng)時(shí)間、辦結(jié)時(shí)間，統(tǒng)計(jì)訂單的申請(qǐng)類型、申請(qǐng)數(shù)、受理數(shù)、辦結(jié)數(shù)、分發(fā)完成數(shù)等，影像數(shù)據(jù)統(tǒng)計(jì)微界面如圖3所示。

圖3 影像數(shù)據(jù)統(tǒng)計(jì)微界面

2.2 應(yīng)用市場(chǎng)

2.2.1 發(fā)布應(yīng)用

通過上傳應(yīng)用包，平臺(tái)解析識(shí)別并共享到應(yīng)用門戶。其中應(yīng)用包解析規(guī)則主要包括可執(zhí)行文件檢索、敏感字檢索、項(xiàng)目目錄及安全證書檢索等。應(yīng)用發(fā)布的流程如圖4所示。

圖4 應(yīng)用發(fā)布流程

2.2.2 編輯應(yīng)用

該功能模塊分兩類，分別是應(yīng)用修改和應(yīng)用升級(jí)。應(yīng)用修改支持修改應(yīng)用基本信息（如應(yīng)用名稱），但不允許修改應(yīng)用包之內(nèi)的內(nèi)容。應(yīng)用升級(jí)如存在需要修改應(yīng)用包里面的內(nèi)容，則整包更新，版本升級(jí)。

修改應(yīng)用僅僅是修改了數(shù)據(jù)庫信息，并沒有對(duì)容器相關(guān)的修改，而只是一次單純的數(shù)據(jù)修改。更新操作更新了應(yīng)用包，所以需要更新應(yīng)用鏡像倉庫以及應(yīng)用的版本號(hào)，但不需要變更容器相關(guān)信息，故只需要重啟容器內(nèi)的Tomcat即可。

2.2.3 卸載應(yīng)用

卸載應(yīng)用主要提供應(yīng)用刪除的能力，其中包含刪除該應(yīng)用在數(shù)據(jù)庫中的數(shù)據(jù)（軟刪除）、卸載該應(yīng)用所屬容器。

流程中必須是先卸載容器，再更新數(shù)據(jù)庫，如果先刪除了數(shù)據(jù)庫就無法找到容器。關(guān)于鏡像庫的應(yīng)用鏡像沒有從這個(gè)流程中刪除，為避免用戶誤操作，鏡像暫時(shí)保留3 個(gè)月，通過定時(shí)任務(wù)3 個(gè)月會(huì)定期清理無效應(yīng)用包。

2.2.4 應(yīng)用負(fù)載

應(yīng)用負(fù)載模塊主要負(fù)責(zé)在有大量的并發(fā)訪問時(shí)，將數(shù)據(jù)流量分擔(dān)到多臺(tái)節(jié)點(diǎn)服務(wù)器上分別處理，減少用戶等待響應(yīng)的時(shí)間。用戶可以新增或取消負(fù)載，也可以對(duì)服務(wù)器進(jìn)行負(fù)載的配置，實(shí)現(xiàn)負(fù)載的管理。應(yīng)用負(fù)載均衡的能力主要是由Nginx 來實(shí)現(xiàn)，創(chuàng)建負(fù)載均衡節(jié)點(diǎn)主要是由Kubentes Server API調(diào)用Docker API實(shí)現(xiàn)容器克隆來實(shí)現(xiàn)。

2.2.5 應(yīng)用日志

應(yīng)用日志主要包括生成日志、操作日志。生成日志是利用代理端通過配置Nginx 的訪問日志的寫入文件路徑、記錄日志格式，當(dāng)有請(qǐng)求進(jìn)來，Nginx 會(huì)自動(dòng)記錄日志到日志文件；Java 項(xiàng)目端通過定時(shí)任務(wù)2 min定時(shí)讀取Nginx的訪問日志文件，解析并按應(yīng)用名稱統(tǒng)計(jì)（僅統(tǒng)計(jì)本次獲取的數(shù)據(jù)），然后保存到數(shù)據(jù)庫。操作日志是通過查詢數(shù)據(jù)庫獲取該應(yīng)用的所有的應(yīng)用日志。日志自動(dòng)備份，備份的時(shí)間可以根據(jù)實(shí)際運(yùn)行情況進(jìn)行設(shè)置。

2.2.6 應(yīng)用監(jiān)控

監(jiān)控需要關(guān)心的指標(biāo)范疇主要集中在主機(jī)、集群、容器、應(yīng)用以及報(bào)警規(guī)則和報(bào)警推送。監(jiān)控的指標(biāo)也大多放在CPU、RAM、NETWORK 3個(gè)緯度上面。

應(yīng)用運(yùn)行在容器中，容器運(yùn)行在Kubernet 的Pod中，應(yīng)用監(jiān)控集中在Kubernets集群的監(jiān)控。而Kuber?net 的監(jiān)控主要集中在Kubernet node(機(jī)器節(jié)點(diǎn))，Ku?bernet apiserver(對(duì)外管理Docker 容器接口)，kubernet adsovisor(Kubernet apiserver 的運(yùn)行進(jìn)程)。應(yīng)用監(jiān)控流程如圖5所示。

圖5 應(yīng)用監(jiān)控流程圖

2.2.7 統(tǒng)計(jì)分析

基于應(yīng)用監(jiān)控的數(shù)據(jù)和應(yīng)用日志的數(shù)據(jù)，進(jìn)行按時(shí)間、主題等多維度數(shù)據(jù)統(tǒng)計(jì)和分析。

統(tǒng)計(jì)分析的數(shù)據(jù)源依賴于應(yīng)用監(jiān)控與應(yīng)用日志生成的數(shù)據(jù)，整個(gè)統(tǒng)計(jì)分析按照不同維度給出不同的統(tǒng)計(jì)視圖，統(tǒng)計(jì)維度包含應(yīng)用主題-應(yīng)用數(shù)量統(tǒng)計(jì)圖、應(yīng)用主題-訪問量統(tǒng)計(jì)圖、應(yīng)用-訪問量統(tǒng)計(jì)圖、應(yīng)用-運(yùn)行狀態(tài)統(tǒng)計(jì)圖、應(yīng)用-訪問狀態(tài)統(tǒng)計(jì)圖等。

3 影像分發(fā)服務(wù)系統(tǒng)的實(shí)現(xiàn)

影像數(shù)據(jù)分發(fā)服務(wù)系統(tǒng)運(yùn)行在涉密網(wǎng)環(huán)境中，基于B/S 模式，采用已建的PostgreSQL 空間數(shù)據(jù)庫和MySQL 業(yè)務(wù)數(shù)據(jù)庫進(jìn)行持久化存儲(chǔ)，同時(shí)基于Redis實(shí)現(xiàn)緩存機(jī)制，實(shí)現(xiàn)了影像數(shù)據(jù)的查詢、統(tǒng)計(jì)、訂購、審批以及服務(wù)和應(yīng)用的發(fā)布、管理及監(jiān)控等功能。尤其針對(duì)影像數(shù)據(jù)查詢和影像數(shù)據(jù)統(tǒng)計(jì)這2 個(gè)高頻業(yè)務(wù)應(yīng)用需求，圍繞其單一業(yè)務(wù)場(chǎng)景構(gòu)建了微應(yīng)用，使得單個(gè)微服務(wù)更容易開發(fā)、理解和維護(hù)。

4 結(jié) 語

本文針對(duì)多源遙感衛(wèi)星影管理和分發(fā)服務(wù)的現(xiàn)狀和問題，采用微服務(wù)架構(gòu)，設(shè)計(jì)并開發(fā)了影像數(shù)據(jù)分發(fā)服務(wù)系統(tǒng)，并對(duì)其總體架構(gòu)、功能模塊和系統(tǒng)實(shí)現(xiàn)進(jìn)行了詳細(xì)的介紹。該系統(tǒng)解決了大量用戶并發(fā)訪問影像分發(fā)服務(wù)系統(tǒng)承載力，提升了多源遙感影像數(shù)據(jù)的管理和分發(fā)服務(wù)效率。