盧萬杰 徐 青 藍朝楨 呂 亮 施群山

(中國人民解放軍戰(zhàn)略支援部隊信息工程大學(xué)地理空間信息學(xué)院鄭州450052)

1 引言

空間目標光學(xué)特性數(shù)據(jù)對國防科技和武器裝備建設(shè)起著至關(guān)重要的作用, 是軍事信息中的重要和基礎(chǔ)資源, 能夠用于空間目標的狀態(tài)估計、輔助識別和提前發(fā)現(xiàn)[1–3]等空間態(tài)勢感知領(lǐng)域, 為贏得戰(zhàn)爭的主動權(quán)提供寶貴的預(yù)警時間.空間目標的光學(xué)特性數(shù)據(jù)包括不同光源和探測角度組成的相位角序列下的光度數(shù)據(jù)和光學(xué)圖像數(shù)據(jù)等, 可以通過光源俯仰角和方位角、探測俯仰角和方位角4個角度的不同序列組合來獲取全角度下的光度數(shù)據(jù)、光學(xué)圖像文件等信息.為了滿足空間目標特性的測試、仿真與實驗對數(shù)據(jù)存儲和檢索的需求, 通常采用數(shù)據(jù)庫對空間目標特性數(shù)據(jù)進行管理[4–5].因此, 構(gòu)建滿足要求的空間目標光學(xué)特性數(shù)據(jù)庫逐漸成為研究的熱點.

空間目標的特性數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù).由于關(guān)系型數(shù)據(jù)庫系統(tǒng)(Relational Database Management System, RDBMS)能夠高效地處理復(fù)雜的數(shù)據(jù)查詢[6], 因此當(dāng)前對空間目標結(jié)構(gòu)化特性數(shù)據(jù)的存儲方案主要是使用成熟的RDBMS, 如Oracle[7–8]、微軟的結(jié)構(gòu)化查詢語言服務(wù)器(Structured Query Language(SQL) Server)[9]等, 并通過數(shù)據(jù)庫提供的應(yīng)用程序編程接口(Application Programming Interface, API)查詢目標在不同參數(shù)下的特性數(shù)據(jù).但是, RDBMS不擅長處理非結(jié)構(gòu)化數(shù)據(jù), 因此對于視頻、圖像、文本等非結(jié)構(gòu)化的特性數(shù)據(jù), 通常進行序列化處理后存儲于本地文件系統(tǒng), 導(dǎo)致非結(jié)構(gòu)化特性數(shù)據(jù)管理不便, 檢索困難, 不易維護與RDBMS中結(jié)構(gòu)化數(shù)據(jù)的關(guān)聯(lián)關(guān)系.針對這種情況, 文獻[6]采用RDBMS存儲海量的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù), 而使用Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS)和Apache Hadoop數(shù)據(jù)庫(Hadoop Database, HBase)分別存儲不同大小的目標特性非結(jié)構(gòu)化數(shù)據(jù)文件.該方案在一定程度上緩解了非結(jié)構(gòu)化數(shù)據(jù)的存儲與管理問題,但是RDBMS無法有效地維護海量空間目標特性數(shù)據(jù)和大尺度數(shù)據(jù), 尤其是千萬級別的數(shù)據(jù)2維表, 并且RDBMS服務(wù)集群的擴展需要更多的數(shù)據(jù)服務(wù)器, 導(dǎo)致系統(tǒng)過于復(fù)雜和昂貴[10–11].因此, 使用RDBMS存儲海量特性數(shù)據(jù)時, 面臨著數(shù)據(jù)入庫效率低、數(shù)據(jù)庫擴展性差、無法滿足云計算和大數(shù)據(jù)計算環(huán)境下多用戶實時數(shù)據(jù)請求等問題[12].

非關(guān)系型數(shù)據(jù)庫(Not Only SQL, NoSQL)的出現(xiàn)則解決了這種難題.NoSQL數(shù)據(jù)庫能夠很好地滿足大事務(wù)量、海量數(shù)據(jù)低延遲訪問和高服務(wù)可用性的需求[13], 并且具有靈活的數(shù)據(jù)模型, 非常適合存儲各種非結(jié)構(gòu)化的數(shù)據(jù).NoSQL數(shù)據(jù)庫可以在不影響現(xiàn)有數(shù)據(jù)結(jié)構(gòu)的情況下進行數(shù)據(jù)結(jié)構(gòu)的更新.基于NoSQL的優(yōu)良特性, 其已經(jīng)在互聯(lián)網(wǎng)領(lǐng)域取得了非常成功的應(yīng)用[14–15].但是, NoSQL數(shù)據(jù)庫不具備復(fù)雜的數(shù)據(jù)查詢能力, 其查詢方式較為有限.

結(jié)合上述分析, 針對現(xiàn)有研究的不足, 為了構(gòu)建能夠提供穩(wěn)定高效的空間目標光學(xué)特性數(shù)據(jù)服務(wù), 本文嘗試對空間目標特性數(shù)據(jù)中結(jié)構(gòu)化的光度數(shù)據(jù)和非結(jié)構(gòu)化的圖像等數(shù)據(jù)進行簡化和建立索引關(guān)系, 并在RDBMS和主流NoSQL數(shù)據(jù)庫特性的基礎(chǔ)上構(gòu)建空間目標光學(xué)特性數(shù)據(jù)混合存儲策略; 同時, 通過構(gòu)建空間目標光學(xué)特性數(shù)據(jù)存儲原型系統(tǒng)對模擬光學(xué)特性數(shù)據(jù)的存儲與檢索效率進行試驗驗證.

2 空間目標特性數(shù)據(jù)混合存儲策略

針對空間目標光學(xué)特性數(shù)據(jù)存儲面臨的問題, 充分利用RDBMS和NoSQL數(shù)據(jù)庫的優(yōu)勢, 本文構(gòu)建了混合數(shù)據(jù)存儲策略, 并以全角度下空間目標模擬光學(xué)特性數(shù)據(jù)為例進行說明.

2.1 特性數(shù)據(jù)簡化與檢索策略

通過設(shè)置不同的光源俯仰角和方位角、探測俯仰角和方位角, 探測器可以獲取光源照射下空間目標的全角度模擬光學(xué)特性數(shù)據(jù).其中, 光源俯仰角、光源方位角、探測俯仰角和探測方位角的定義如圖1所示, 空間目標本體坐標系以空間目標質(zhì)心O為原點,Z軸為空間目標質(zhì)心與地心連線并且背離地心為正, X軸為空間目標軌道面內(nèi)與Z軸正交的向量并且指向衛(wèi)星運動方向為正, Y 軸為X軸與Z軸叉乘獲取.方位角定義為從X軸正方向起, 依順時針方向到空間目標指向光源/探測器的矢量在XOY 面上的夾角, 范圍為0?–360?; 俯仰角定義為空間目標指向光源/探測器矢量與XOY 面夾角, 在Z軸指向一側(cè)為正, 否則為負, 范圍為?90?–90?.

圖1 光源俯仰角和方位角、探測俯仰角和方位角的定義Fig.1 Definition of the pitch and azimuth of the optical source and the detector

光源俯仰角和方位角、探測俯仰角和方位角4個角度下的全角度空間目標模擬光學(xué)特性數(shù)據(jù)結(jié)構(gòu)如表1所示.其中, 4個角度按照探測方位角、探測俯仰角、光源方位角和光源俯仰角的順序, 以2?為間隔, 循環(huán)取值.每組角度數(shù)據(jù)下均存在空間目標光度值、可見光圖像等特性數(shù)據(jù).從表1可以看出, 光源俯仰角和方位角、探測俯仰角和方位角4個角度存在大量重復(fù)數(shù)據(jù).當(dāng)角度間隔為2?時, 單個目標的全角度光學(xué)特性數(shù)據(jù)總量超過2.6億條, 如此龐大的數(shù)據(jù)集在RDBMS數(shù)據(jù)庫中進行入庫和檢索會導(dǎo)致系統(tǒng)性能瓶頸, 甚至崩潰.即使采用分庫分表策略進行存儲, 數(shù)據(jù)的重復(fù)和冗余也導(dǎo)致耗費空間較多.

針對以上問題, 對空間目標模擬光學(xué)特性數(shù)據(jù)進行簡化.根據(jù)4個角度的規(guī)律性變化, 構(gòu)建4個角度之間對應(yīng)關(guān)系的樹形結(jié)構(gòu), 如圖2所示.表1中4個角度之間的關(guān)系轉(zhuǎn)變?yōu)閳D2中光源俯仰角與光源方位角、光源方位角與探測俯仰角、探測俯仰角與探測方位角的一對多關(guān)系.簡化前角度數(shù)據(jù)總量Vpre和簡化后角度數(shù)據(jù)總量Vpost計算公式為:

從(1)–(2)式計算可得, 簡化的光學(xué)特性數(shù)據(jù)中角度的數(shù)據(jù)量為簡化前的25.14%, 有效地降低了光學(xué)特性數(shù)據(jù)的存儲空間.根據(jù)4個角度與特性數(shù)據(jù)的對應(yīng)關(guān)系構(gòu)建數(shù)據(jù)集,重新構(gòu)建后的光學(xué)特性數(shù)據(jù)在進行數(shù)據(jù)檢索時, 可以按照光源俯仰角、光源方位角、探測俯仰角、探測方位角的順序進行數(shù)據(jù)的檢索.

2.2 數(shù)據(jù)混合存儲策略

為實現(xiàn)空間目標模擬光學(xué)特性數(shù)據(jù)的高效存儲, 并為相關(guān)的測試與實驗提供有效的數(shù)據(jù)服務(wù), 數(shù)據(jù)混合存儲策略主要包括了傳統(tǒng)RDBMS、NoSQL數(shù)據(jù)庫和緩存數(shù)據(jù)庫,具體方案如下:

(1)針對空間目標光學(xué)特性數(shù)據(jù)的元數(shù)據(jù), 采用RDBMS中的MySQL數(shù)據(jù)庫進行管理[16], 并在每條元數(shù)據(jù)中增加與光學(xué)特性數(shù)據(jù)對應(yīng)的字段完成數(shù)據(jù)關(guān)系的映射;

表1 全角度空間目標模擬光學(xué)特性數(shù)據(jù)結(jié)構(gòu)Table 1 Data structure of the simulated full angle optical property of space object

圖2 數(shù)據(jù)簡化與檢索策略Fig.2 Data simplification and retrieval strategy

(2)簡化的光學(xué)特性數(shù)據(jù)結(jié)構(gòu)與JavaScript對象簡譜(JavaScript Object Notation,JSON)形式的數(shù)據(jù)結(jié)構(gòu)非常相似, 因此可采用以2進制格式的JavaScript對象簡譜(Binary JSON, BSON)形式存儲非結(jié)構(gòu)化數(shù)據(jù)的NoSQL數(shù)據(jù)庫—MongoDB進行簡化光學(xué)特性數(shù)據(jù)的存儲.MongoDB是一種基于文檔存儲的NoSQL數(shù)據(jù)庫[17], 在諸多方面的性能均優(yōu)于RDBMS[18–20], 適合解決海量大數(shù)據(jù)訪問和存儲效率問題.在MongoDB中,每個空間目標單獨構(gòu)成一個數(shù)據(jù)庫集合(collection).為了便于數(shù)據(jù)存儲與檢索, 本文使用光源俯仰角對光學(xué)特性數(shù)據(jù)集進行分割, 獲取的每份數(shù)據(jù)組成單獨的文檔(document)存儲于對應(yīng)目標的集合中, 每個文檔中數(shù)據(jù)結(jié)構(gòu)如圖3所示;

圖3 Document中的數(shù)據(jù)存儲格式Fig.3 Data storage format in the document

(3)在對空間目標光學(xué)特性進行測試與實驗時, 需要對數(shù)據(jù)庫中的數(shù)據(jù)進行頻繁的訪問, 并希望能夠及時獲取查詢結(jié)果.通過構(gòu)建緩存數(shù)據(jù)服務(wù), 存儲被頻繁請求的數(shù)據(jù),在提供更快的數(shù)據(jù)獲取速度的同時, 也緩解了多用戶訪問下對數(shù)據(jù)服務(wù)中RDBMS和NoSQL數(shù)據(jù)庫的壓力.遠程字典服務(wù)(Remote Dictionary Server, Redis)作為典型的內(nèi)存數(shù)據(jù)庫和緩存數(shù)據(jù)庫, 具有優(yōu)異的性能[21], 因此本文選用Redis作為緩存數(shù)據(jù)庫.

空間目標模擬光學(xué)特性混合存儲策略中, 不同數(shù)據(jù)之間的映射關(guān)系如圖4所示.MongoDB中每個目標數(shù)據(jù)均存儲為一個collection, 目標的每條文檔均以BSON的形式存儲于集合中.MySQL數(shù)據(jù)庫中除目標光學(xué)特性元數(shù)據(jù)外, 通過“Collection Name”字段與MongoDB中對應(yīng)的集合進行數(shù)據(jù)的關(guān)系映射.Redis中的每組數(shù)據(jù)為數(shù)據(jù)請求獲取數(shù)據(jù)的緩存.

圖4 元數(shù)據(jù)與特性數(shù)據(jù)關(guān)聯(lián)關(guān)系Fig.4 Relationship between the metadata and property data

2.3 數(shù)據(jù)混合檢索結(jié)構(gòu)

混合存儲策略下訪問特性數(shù)據(jù)流程如圖5所示.圖5中, 數(shù)據(jù)檢索與集成服務(wù)提供對數(shù)據(jù)服務(wù)進行統(tǒng)一訪問的接口, 用戶無需關(guān)心存儲策略內(nèi)部邏輯.外部請求查詢數(shù)據(jù)的流程如下:

圖5 光學(xué)特性數(shù)據(jù)混合檢索結(jié)構(gòu)Fig.5 Hybrid retrieval structure of the optical property data

步驟1: 數(shù)據(jù)檢索與集成服務(wù)首先通過從緩存數(shù)據(jù)庫中查詢是否存在已經(jīng)緩存的數(shù)據(jù), 如果存在, 執(zhí)行步驟4; 否則, 執(zhí)行步驟2;

步驟2: 數(shù)據(jù)檢索與集成服務(wù)從RDBMS數(shù)據(jù)庫中查詢空間目標光學(xué)特性數(shù)據(jù).查詢結(jié)果在返回數(shù)據(jù)檢索與集成服務(wù)的同時, 在緩存數(shù)據(jù)庫中進行緩存, 為隨后對相同數(shù)據(jù)的重復(fù)使用提供高效的數(shù)據(jù)服務(wù).數(shù)據(jù)檢索與集成服務(wù)通過對外部請求和從RDBMS中返回數(shù)據(jù)的分析, 判斷是否需要從NoSQL數(shù)據(jù)庫中查詢非結(jié)構(gòu)化數(shù)據(jù).如果需要, 則執(zhí)行步驟3; 否則, 執(zhí)行步驟4;

步驟3: 數(shù)據(jù)檢索與集成服務(wù)訪問MongoDB數(shù)據(jù)庫, 獲取非結(jié)構(gòu)化的目標光學(xué)特性數(shù)據(jù).查詢結(jié)果在返回數(shù)據(jù)檢索與集成服務(wù)的同時, 在緩存數(shù)據(jù)庫中進行緩存, 為隨后對相同數(shù)據(jù)的重復(fù)使用提供高效的數(shù)據(jù)服務(wù).當(dāng)數(shù)據(jù)檢索與集成服務(wù)獲取查詢數(shù)據(jù)后,執(zhí)行步驟4;

步驟4: 數(shù)據(jù)檢索與集成服務(wù)整合獲取的數(shù)據(jù), 為外部請求提供格式化后的數(shù)據(jù)結(jié)果.

3 混合存儲策略實踐

本文選取空間目標模擬光學(xué)特性數(shù)據(jù)入庫和檢索兩個場景對混合存儲策略進行測試和驗證.實驗測試數(shù)據(jù)選擇光源俯仰角、光源方位角、探測俯仰角和探測方位角的采樣間隔為2?下的Worldview 1衛(wèi)星的模擬光學(xué)特性數(shù)據(jù).測試數(shù)據(jù)包括180個光度數(shù)據(jù)文件和每組角度下對應(yīng)的光學(xué)圖像文件.其中, 光度數(shù)據(jù)文件數(shù)據(jù)量為5.58 GB,包括約2.6億條光度數(shù)據(jù); 光學(xué)圖像文件數(shù)據(jù)量為1245.6 GB, 約2.6億張圖像.實驗硬件為一臺4核8線程、內(nèi)存32 G的普通計算機, 操作系統(tǒng)為Ubuntu 16.04長期支持版本, 使用MySQL 8.0.15、MongoDB 4.0.6和Redis 4.0.13數(shù)據(jù)庫構(gòu)建混合存儲策略服務(wù).為了更好地測試對非結(jié)構(gòu)化數(shù)據(jù)的存儲, 實驗將數(shù)據(jù)分為兩種: 第1種為僅數(shù)值數(shù)據(jù), 即空間目標光學(xué)特性光度數(shù)據(jù); 第2種為數(shù)值數(shù)據(jù)和圖像文件, 即空間目標光學(xué)特性光度數(shù)據(jù)和圖像文件.

3.1 數(shù)據(jù)入庫實驗與分析

實驗通過設(shè)置不同的單次入庫數(shù)據(jù)量分別對比了兩種數(shù)據(jù)的入庫效率.采用MySQL數(shù)據(jù)庫時, 測試光源俯仰角、光源方位角、探測俯仰角和探測方位角4個角度的特性數(shù)據(jù)全量導(dǎo)入; 采用混合存儲策略時, 測試光源俯仰角、光源方位角、探測俯仰角和探測方位角4個角度的簡化特性數(shù)據(jù)導(dǎo)入, 對比結(jié)果如圖6和圖7所示.對比結(jié)果表明, 在數(shù)據(jù)為數(shù)值數(shù)據(jù)的情況下, 混合存儲策略的入庫效率比MySQL數(shù)據(jù)庫提高超過17倍, 在數(shù)據(jù)為數(shù)值數(shù)據(jù)和圖像文件情況下提高超過34倍.對比結(jié)果說明混合存儲策略在面對海量數(shù)據(jù)入庫時具有優(yōu)異的性能, 尤其是在針對圖像等非結(jié)構(gòu)化數(shù)據(jù)時, 具有比MySQL更好的性能.

3.2 數(shù)據(jù)檢索實驗與分析

空間目標模擬光學(xué)特性數(shù)據(jù)存儲于數(shù)據(jù)庫中的目的是為特性測試、分析和仿真等應(yīng)用場景提供服務(wù), 因此需要滿足用戶對數(shù)據(jù)的實時訪問需求, 尤其是多用戶請求下, 能夠盡快返回用戶請求的數(shù)據(jù).實驗使用壓力測試軟件Apache JMeter設(shè)置不同并發(fā)訪問度來模擬多用戶請求, 測試從MySQL數(shù)據(jù)庫和混合存儲體系結(jié)構(gòu)中請求數(shù)據(jù)的響應(yīng)速度, 對比結(jié)果如圖8和圖9所示.對比結(jié)果表明, 隨著并發(fā)訪問量的上升, MySQL數(shù)據(jù)庫的響應(yīng)時間線性上升, 本文存儲體系結(jié)構(gòu)下混合數(shù)據(jù)存儲策略的響應(yīng)時間緩慢增長, 并總是低于MySQL數(shù)據(jù)庫的響應(yīng)時間, 尤其是用戶請求數(shù)量越大, 本文存儲體系結(jié)構(gòu)下混合數(shù)據(jù)存儲策略的優(yōu)勢越明顯, 證明了混合數(shù)據(jù)存儲策略在提供數(shù)據(jù)服務(wù)方面的高效性和實時性.

圖6 數(shù)值數(shù)據(jù)入庫效率對比Fig.6 Comparison of data input efficiency in case of numerical data only

圖7 數(shù)值數(shù)據(jù)和圖像文件入庫效率對比Fig.7 Comparison of data input efficiency in case of numerical data and image files

圖8 數(shù)值數(shù)據(jù)多用戶實時請求響應(yīng)效率Fig.8 Comparison of the response efficiency of multi-user real-time requests in case of numerical data only

圖9 數(shù)值數(shù)據(jù)和圖像文件多用戶實時請求響應(yīng)效率Fig.9 Comparison of the response efficiency of multi-user real-time requests in case of numerical data and image files

4 結(jié)論

為解決空間目標光學(xué)特性數(shù)據(jù)存儲面臨的挑戰(zhàn), 提出了空間目標光學(xué)特性數(shù)據(jù)混合存儲策略.通過對空間目標光學(xué)特性數(shù)據(jù)中的光源俯仰角、光源方位角、探測俯仰角和探測方位角進行簡化, 設(shè)計了簡化后數(shù)據(jù)的檢索策略; 在分析關(guān)系型數(shù)據(jù)庫和非結(jié)構(gòu)化數(shù)據(jù)庫優(yōu)缺點的基礎(chǔ)上, 構(gòu)建空間目標光學(xué)特性數(shù)據(jù)混合存儲策略和空間目標光學(xué)特性數(shù)據(jù)存儲原型系統(tǒng).使用空間目標模擬光學(xué)特性數(shù)據(jù)對傳統(tǒng)關(guān)系型數(shù)據(jù)庫和混合存儲策略下數(shù)據(jù)的入庫和檢索效率進行測試.結(jié)果表明, 僅存儲數(shù)值數(shù)據(jù)時, 混合存儲策略數(shù)據(jù)入庫效率較傳統(tǒng)關(guān)系型數(shù)據(jù)庫提高超過17倍; 存儲數(shù)值數(shù)據(jù)和圖像文件時, 入庫效率提高超過34倍.多用戶實時請求下混合存儲策略數(shù)據(jù)響應(yīng)效率較傳統(tǒng)關(guān)系型數(shù)據(jù)庫有較大提升, 尤其是在訪問量較大時, 優(yōu)勢更加明顯, 能夠迅速響應(yīng)用戶的請求并返回數(shù)據(jù).文章提出的空間目標光學(xué)特性數(shù)據(jù)混合存儲策略, 能夠為目標光學(xué)特性的管理、測試與仿真實驗提供高效和及時的數(shù)據(jù)服務(wù).