周正　鐘志農(nóng)　李軍　伍江江

摘要：隨著人類對(duì)地觀測(cè)衛(wèi)星系統(tǒng)的發(fā)展，衛(wèi)星遙感數(shù)據(jù)量爆炸性增長(zhǎng)。海量的遙感數(shù)據(jù)對(duì)當(dāng)今存儲(chǔ)系統(tǒng)存儲(chǔ)容量、數(shù)據(jù)可用性以及I/O性能等方面提出了越來越高的要求。針對(duì)需要持久化存儲(chǔ)與高速交換的數(shù)據(jù)，該文設(shè)計(jì)并實(shí)現(xiàn)了一種基于共享文件系統(tǒng)和文件編目消息推送的海量衛(wèi)星數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換方法。實(shí)驗(yàn)測(cè)試表明，該方法針對(duì)海量衛(wèi)星遙感數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)與交換取得了很好的效果。

關(guān)鍵詞：海量；遙感數(shù)據(jù)；消息推送；實(shí)時(shí)存儲(chǔ)；實(shí)時(shí)存儲(chǔ)與交換

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）18-0009-05

1緒論

隨著人類對(duì)地衛(wèi)星觀測(cè)系統(tǒng)的發(fā)展，遙感數(shù)據(jù)逐步呈現(xiàn)多源、多尺度、多時(shí)相、全球覆蓋和高分辨率特征，數(shù)據(jù)量呈爆炸性增長(zhǎng)，數(shù)據(jù)存儲(chǔ)規(guī)模達(dá)到TB級(jí)甚至PB級(jí)，IDC預(yù)計(jì)，到2020年全球數(shù)據(jù)量將達(dá)到40ZB。如何更加有序、更加高效地存儲(chǔ)與管理海量遙感數(shù)據(jù)，實(shí)現(xiàn)遙感信息的快速共享與分發(fā)，已經(jīng)成為空間信息科學(xué)領(lǐng)域研究部門、業(yè)務(wù)應(yīng)用部門和相關(guān)機(jī)構(gòu)重點(diǎn)關(guān)心的問題。

同時(shí)，氣象災(zāi)害實(shí)時(shí)監(jiān)測(cè)預(yù)報(bào)、天基遙感信息實(shí)時(shí)偵察監(jiān)視、軍事情報(bào)數(shù)據(jù)實(shí)時(shí)挖掘等業(yè)務(wù)應(yīng)用對(duì)海量衛(wèi)星遙感數(shù)據(jù)的實(shí)時(shí)分析和處理提出了更高的要求。上述實(shí)時(shí)分析處理業(yè)務(wù)在實(shí)現(xiàn)對(duì)海量衛(wèi)星數(shù)據(jù)高效存儲(chǔ)的同時(shí)，更需要在多個(gè)處理節(jié)點(diǎn)間實(shí)現(xiàn)海量衛(wèi)星數(shù)據(jù)的實(shí)時(shí)共享和更新。針對(duì)此問題，不但需要利用存儲(chǔ)系統(tǒng)在存儲(chǔ)容量、數(shù)據(jù)可用性以及I/O性能等方面提供支持，更亟需對(duì)海量衛(wèi)星遙感數(shù)據(jù)高速實(shí)時(shí)存儲(chǔ)和數(shù)據(jù)交換機(jī)制展開研究。因此，針對(duì)需要持久化存儲(chǔ)與高速交換的數(shù)據(jù)，本文擬基于共享文件系統(tǒng)和消息中間件，研究海量衛(wèi)星數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換機(jī)制。

1.1問題背景及分析

在實(shí)際業(yè)務(wù)應(yīng)用中，衛(wèi)星7×24小時(shí)不斷向地面下傳數(shù)據(jù)，地面數(shù)據(jù)處理系統(tǒng)也必須7×24小時(shí)處于實(shí)時(shí)工作狀態(tài)。地面數(shù)據(jù)處理系統(tǒng)接收衛(wèi)星下傳數(shù)據(jù)后，經(jīng)過一系列預(yù)處理與分析，將接收到的流式數(shù)據(jù)切分成若干不同大小的小文件，以方便進(jìn)行數(shù)據(jù)分析和處理。為了實(shí)現(xiàn)對(duì)海量、高速、持續(xù)衛(wèi)星數(shù)據(jù)流的存儲(chǔ)管理，并保證衛(wèi)星數(shù)據(jù)處理關(guān)鍵業(yè)務(wù)可重現(xiàn)，以及數(shù)據(jù)可查、可審計(jì)，需要對(duì)海量衛(wèi)星數(shù)據(jù)進(jìn)行實(shí)時(shí)存儲(chǔ)。

同時(shí)，在衛(wèi)星遙感數(shù)據(jù)實(shí)時(shí)處理業(yè)務(wù)流程中，當(dāng)數(shù)據(jù)生成節(jié)點(diǎn)（包括Linux節(jié)點(diǎn)和Windows節(jié)點(diǎn)）將各種衛(wèi)星數(shù)據(jù)高速存入共享文件系統(tǒng)之后，其他數(shù)據(jù)處理節(jié)點(diǎn)（Linux節(jié)點(diǎn)和Win-dows節(jié)點(diǎn)）和前端業(yè)務(wù)綜合顯示節(jié)點(diǎn)（Windows工作站）往往需要求對(duì)最新寫入的數(shù)據(jù)文件進(jìn)行實(shí)時(shí)查詢和數(shù)據(jù)讀取操作。對(duì)于跨平臺(tái)進(jìn)程間的數(shù)據(jù)傳輸，直接通過傳統(tǒng)的TCP/IP方式進(jìn)行傳輸顯然由于應(yīng)用的特殊性以及帶寬的限制不能達(dá)到很好的效果。所以要求設(shè)計(jì)一套服務(wù)，能夠滿足跨平臺(tái)的文件交換，能夠進(jìn)行多類型數(shù)據(jù)的分發(fā)和交換，滿足數(shù)據(jù)處理低延遲要求。海量衛(wèi)星數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換流程如圖1所示。

1.2服務(wù)具備特點(diǎn)

海量衛(wèi)星實(shí)時(shí)數(shù)據(jù)存儲(chǔ)服務(wù)是所有需要進(jìn)行數(shù)據(jù)高速寫人的實(shí)時(shí)處理業(yè)務(wù)應(yīng)用的基礎(chǔ)支撐，為此實(shí)時(shí)數(shù)據(jù)存儲(chǔ)服務(wù)需要具備以下特點(diǎn)：

1）海量數(shù)據(jù)存儲(chǔ)管理能力。隨著衛(wèi)星平臺(tái)、衛(wèi)星載荷能力的增長(zhǎng)，地面數(shù)據(jù)分析處理系統(tǒng)每日需要處理的數(shù)據(jù)量日益龐大，數(shù)據(jù)量呈TR級(jí)增長(zhǎng)，如何高效合理的組織如此大量的數(shù)據(jù)并能為后期提供可靠的數(shù)據(jù)查詢服務(wù)，這對(duì)數(shù)據(jù)存儲(chǔ)管理能力提出了很高的要求。

2）7×24小時(shí)持續(xù)運(yùn)行能力。衛(wèi)星遙感數(shù)據(jù)流7×24小時(shí)無(wú)間斷下傳，這要求數(shù)據(jù)實(shí)時(shí)存儲(chǔ)服務(wù)需要時(shí)刻處于高負(fù)荷工作狀態(tài)；同時(shí)，需要面對(duì)存儲(chǔ)過程中可能出現(xiàn)的數(shù)據(jù)量突發(fā)波峰的狀況。這對(duì)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)服務(wù)的可用性提出了非常高的要求，需要具備7×24小時(shí)不間斷、高可靠運(yùn)行的能力。

3）數(shù)據(jù)存儲(chǔ)低延遲要求。數(shù)據(jù)實(shí)時(shí)存儲(chǔ)服務(wù)需要為數(shù)據(jù)分析和處理業(yè)務(wù)提供商性能的數(shù)據(jù)寫人和讀取服務(wù)，以滿足數(shù)據(jù)寫入的低延遲要求。

4）海量小文件快速寫入能力。地面數(shù)據(jù)分析處理系統(tǒng)生成的各級(jí)數(shù)據(jù)產(chǎn)品中包含海量小文件（大小從幾百KB至幾兆字節(jié)不等），而典型的共享文件系統(tǒng)在應(yīng)對(duì)海量小文件持續(xù)寫人方面性能低下，所以需要針對(duì)海量小文件的持續(xù)寫人進(jìn)行優(yōu)化設(shè)計(jì)。

5）快速的消息分發(fā)能力。數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換系統(tǒng)需要實(shí)時(shí)的在數(shù)據(jù)存儲(chǔ)端與數(shù)據(jù)讀取端進(jìn)行數(shù)據(jù)交換，并且有一定的時(shí)延要求。即數(shù)據(jù)寫入節(jié)點(diǎn)在完成數(shù)據(jù)寫入之后，需要將數(shù)據(jù)的文件編目信息和寫入完成標(biāo)志及時(shí)通知數(shù)據(jù)讀取節(jié)點(diǎn)；同時(shí)，數(shù)據(jù)文件編目信息往往需要在多個(gè)數(shù)據(jù)讀取節(jié)點(diǎn)之間進(jìn)行共享，以保證數(shù)據(jù)的一致性，所以需要使用具備發(fā)布/訂閱機(jī)制的消息中間件實(shí)現(xiàn)數(shù)據(jù)文件編目信息的實(shí)時(shí)共享和更新。

2海量衛(wèi)星遙感數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換設(shè)計(jì)

2.1數(shù)據(jù)存儲(chǔ)模式設(shè)計(jì)

1）數(shù)據(jù)存儲(chǔ)模式選擇

存儲(chǔ)系統(tǒng)的存儲(chǔ)模式影響著整個(gè)海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的性能，為了提供高性能的數(shù)據(jù)存儲(chǔ)能力，應(yīng)該考慮選擇良好的海量數(shù)據(jù)存儲(chǔ)模式。適合海量數(shù)據(jù)的理想存儲(chǔ)模式應(yīng)該能夠提供高性能、可伸縮、跨平臺(tái)、安全的數(shù)據(jù)共享能力。為此選擇了網(wǎng)絡(luò)附加存儲(chǔ)（NAS）的網(wǎng)絡(luò)附加存儲(chǔ)產(chǎn)品作為目標(biāo)存儲(chǔ)容器。

2）數(shù)據(jù)庫(kù)存儲(chǔ)選擇

數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS）是數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)的元數(shù)據(jù)管理的核心組成。Oracle在數(shù)據(jù)高性能存儲(chǔ)檢索領(lǐng)域應(yīng)用廣泛，海量數(shù)據(jù)實(shí)時(shí)存儲(chǔ)的元數(shù)據(jù)管理采用Oracle數(shù)據(jù)庫(kù)實(shí)現(xiàn)。

3）數(shù)據(jù)寫入方式設(shè)計(jì)

分布式文件系統(tǒng)對(duì)于大文件的數(shù)據(jù)訪問操作有較好的支持，能夠提供GB級(jí)的數(shù)據(jù)寫人帶寬和數(shù)據(jù)讀取帶寬；但是對(duì)于海量小文件的讀寫支持相對(duì)受限。因此，針對(duì)海量小文件存儲(chǔ)，本文通過多線程、多任務(wù)以及分布式文件系統(tǒng)的高帶寬來提升海量小文件的寫入速度。

4）數(shù)據(jù)實(shí)時(shí)存儲(chǔ)模塊實(shí)現(xiàn)形態(tài)設(shè)計(jì)

API（Application Programming Interface，應(yīng)用程序編程接口）是一類預(yù)先定義的函數(shù)，可以為上層應(yīng)用程序提供標(biāo)準(zhǔn)的調(diào)用方法和接口，上層應(yīng)用程序以透明方式對(duì)API進(jìn)行訪問。因此，數(shù)據(jù)實(shí)時(shí)存儲(chǔ)實(shí)現(xiàn)形態(tài)擬采用API方式進(jìn)行實(shí)現(xiàn)，從而滿足地面數(shù)據(jù)實(shí)時(shí)分析與處理業(yè)務(wù)對(duì)數(shù)據(jù)存儲(chǔ)的時(shí)效性要求。endprint

2.2海量衛(wèi)星遙感數(shù)據(jù)實(shí)時(shí)存儲(chǔ)及消息推送機(jī)制方案設(shè)計(jì)

海量衛(wèi)星數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換主要包含兩個(gè)部分。即數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與數(shù)據(jù)實(shí)時(shí)交換。

對(duì)于實(shí)時(shí)存儲(chǔ)部分。應(yīng)用的壓力在于海量衛(wèi)星數(shù)據(jù)的不間斷下傳，導(dǎo)致數(shù)據(jù)量不斷地增長(zhǎng)。如何快速、高效、低延遲的將海量衛(wèi)星數(shù)據(jù)存入存儲(chǔ)媒介是要解決的首要問題。分布式文件系統(tǒng)由于其可擴(kuò)展性、高可用性、多接口協(xié)議、安全等各種優(yōu)點(diǎn)被納入考量的范圍。同時(shí)由于其多操作系統(tǒng)訪問的無(wú)關(guān)性，使得可以利用這個(gè)特性來實(shí)現(xiàn)不同操作系統(tǒng)之間的數(shù)據(jù)共享。

對(duì)于數(shù)據(jù)的交換部分。分布式文件系統(tǒng)為系統(tǒng)提供了一個(gè)海量數(shù)據(jù)存儲(chǔ)容器。但如此大量的數(shù)據(jù)的管理勢(shì)必成為一個(gè)必須解決的問題，如何快速、安全、高效的將用戶需要的數(shù)據(jù)從分布式文件系統(tǒng)這個(gè)數(shù)據(jù)池中打撈出來。是我們第二個(gè)需要解決的問題。關(guān)系型數(shù)據(jù)庫(kù)通常以行列的方式進(jìn)行數(shù)據(jù)的組織，并配備有高效的查詢算法，可以對(duì)某個(gè)字段進(jìn)行快速的范圍查詢。海量衛(wèi)星數(shù)據(jù)實(shí)時(shí)處理過程中需要進(jìn)行大量的數(shù)據(jù)查詢，關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)能夠滿足大部分的范圍查詢工作。如何實(shí)時(shí)的通知讀取應(yīng)用端進(jìn)行最新數(shù)據(jù)的讀取，消息分發(fā)服務(wù)被用來處理通知的分發(fā)工作。數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換的體系結(jié)構(gòu)如圖1所示：實(shí)時(shí)數(shù)據(jù)寫服務(wù)器調(diào)用SJCC.so（數(shù)據(jù)存儲(chǔ)動(dòng)態(tài)鏈接庫(kù)進(jìn)行文件的快速寫入。當(dāng)文件和數(shù)據(jù)編目分別寫入分布式文件系統(tǒng)與數(shù)據(jù)庫(kù)后，實(shí)時(shí)數(shù)據(jù)寫服務(wù)器將衛(wèi)星數(shù)據(jù)產(chǎn)品文件編目信息以自定義消息格式發(fā)布到消息分發(fā)服務(wù)；實(shí)時(shí)數(shù)據(jù)讀取服務(wù)器，即消息訂閱端從消息分發(fā)服務(wù)接收已訂閱的衛(wèi)星數(shù)據(jù)產(chǎn)品文件編目信息。實(shí)時(shí)數(shù)據(jù)讀取服務(wù)器解析消息格式并獲取最新的衛(wèi)星數(shù)據(jù)產(chǎn)品文件路徑，從分布式文件系統(tǒng)中讀取最新文件數(shù)據(jù)。

3海量衛(wèi)星遙感數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換關(guān)鍵技術(shù)

3.1基于消息中間件的衛(wèi)星數(shù)據(jù)編目傳遞方式

數(shù)據(jù)實(shí)時(shí)存儲(chǔ)服務(wù)器也即消息分發(fā)客戶端作為消息生產(chǎn)者的存在進(jìn)行消息的發(fā)布。在消息分發(fā)客戶端中定義了消息格式為AAAAdata-typemessage-lengthMESSAGEBBBB。其中，開始的AAAA與結(jié)束的BBBB作為統(tǒng)一格式；data-type表示了消息的類型，即當(dāng)前消息屬于哪種消息，以方便訂閱端進(jìn)行數(shù)據(jù)分類；MESSAGE作為消息的載體用來傳輸真正有用的數(shù)據(jù)，實(shí)時(shí)存儲(chǔ)服務(wù)將文件的路徑作為消息（MESSAGE）發(fā)布到消息分發(fā)服務(wù)。前端顯示工作站根據(jù)data-type訂閱相應(yīng)數(shù)據(jù)類型，并從MESSAGE中獲取最新寫入分布式文件系統(tǒng)中文件的路徑，從而讀取到最新的文件，完成一輪實(shí)時(shí)交換。由于省略了文件的直接傳輸發(fā)送，而變成只是進(jìn)行了類似于元數(shù)據(jù)的傳輸，數(shù)據(jù)的實(shí)時(shí)交換效率得到了極大提高。基于消息中間件的衛(wèi)星數(shù)據(jù)編目推送服務(wù)，如圖2所示。

3.2基于消息中間件的衛(wèi)星數(shù)據(jù)編目推送流程

對(duì)于消息分發(fā)客戶端，程序啟動(dòng)過程中會(huì)初始化所有相關(guān)資源。包括初始化連接環(huán)境，設(shè)置消息發(fā)布種類等。初始化成功后消息分發(fā)客戶端將開始連接消息分發(fā)主服務(wù)。若連接成功，消息分發(fā)客戶端程序進(jìn)入服務(wù)就緒狀態(tài)并等待新消息的發(fā)布。若連接失敗，消息分發(fā)客戶端將開始連接消息分發(fā)備服務(wù)。若連接成功，將由消息分發(fā)備服務(wù)提供消息分發(fā)功能。若連接仍然失敗，在兩臺(tái)消息分發(fā)服務(wù)均未連接成功的情況下，消息分發(fā)客戶端啟動(dòng)失敗。

對(duì)于消息接收客戶端，程序流程基本一致，程序啟動(dòng)過程中會(huì)初始化所有相關(guān)資源，包括初始化連接環(huán)境，設(shè)置消息發(fā)布種類等。初始化成功后消息接收客戶端將開始連接消息分發(fā)主服務(wù)。若連接成功，程序進(jìn)人服務(wù)就緒狀態(tài)并等待新消息的發(fā)布。若連接失敗，消息接收客戶端將開始連接消息分發(fā)備服務(wù)。若連接成功，將由消息分發(fā)備服務(wù)提供消息分發(fā)功能。若仍然連接失敗，在兩臺(tái)消息分發(fā)服務(wù)均未連接成功的情況下，消息接收客戶端啟動(dòng)失敗?；谙⒅虚g件的衛(wèi)星數(shù)據(jù)編目推送服務(wù)如圖3所示。

3.3基于消息中間件的海量衛(wèi)星遙感數(shù)據(jù)編目推送類設(shè)計(jì)

基于消息中間件的衛(wèi)星編目推送主要包含消息分發(fā)客戶端，以及消息接收客戶端。消息分發(fā)客戶端的主要任務(wù)是發(fā)布消息到消息分發(fā)服務(wù)，消息接收客戶端的主要功能為訂閱并接收來自消息分發(fā)服務(wù)的消息。下面將做詳細(xì)說明。

1）消息分發(fā)客戶端類詳細(xì)設(shè)計(jì)

消息分發(fā)類主要功能為穩(wěn)定、可靠、完整的發(fā)布消息到消息分發(fā)服務(wù)，設(shè)計(jì)的方法包括構(gòu)造的方法（PublishCli-ent）主要功能為確定消息分發(fā)服務(wù)的網(wǎng)絡(luò)地址，以及當(dāng)前消息分發(fā)客戶端將要發(fā)布的所有消息種類；單點(diǎn)故障切換方法（changeServer），由于消息分發(fā)服務(wù)采用主備用方式提供服務(wù)，當(dāng)某一臺(tái)消息分發(fā)服務(wù)器宕機(jī)時(shí)，將調(diào)用該方法進(jìn)行服務(wù)器主備連接的切換，時(shí)刻保障服務(wù)的可用性；重啟（re-start）對(duì)消息分發(fā)客戶端進(jìn)行重啟操作；關(guān)閉方法（close）將關(guān)閉當(dāng)前與消息分發(fā)服務(wù)端的連接；清理方法（cleanup）負(fù)責(zé)關(guān)閉清理所有與消息分發(fā)連接過程中申請(qǐng)的資源；消息發(fā)送方法（sendTextMessage）負(fù)責(zé)根據(jù)傳遞的參數(shù)（Iype）識(shí)別不同的數(shù)據(jù)類型，以此來發(fā)送對(duì)應(yīng)的消息類型。初始化方法（initialize）負(fù)責(zé)資源的初始化工作；狀態(tài)檢查（stillAlive）負(fù)責(zé)檢測(cè)當(dāng)前與消息分發(fā)服務(wù)的連接是否處于正常連接狀態(tài)，防止由于消息分發(fā)服務(wù)端意外宕機(jī)或服務(wù)關(guān)閉造成的連接失效，當(dāng)檢測(cè)到連接中斷時(shí)，stillAlive方法將進(jìn)行重連操作。詳細(xì)類圖如圖4所示。2）消息接收客戶端類的詳細(xì)設(shè)計(jì)消息接收類（subscription）由于功能相對(duì)簡(jiǎn)單，主要負(fù)責(zé)訂閱接收從消息分發(fā)服務(wù)傳遞過來的消息。其主要方法包括開始方法（start）負(fù)責(zé)初始化消息接收客戶端，包括確定消息分發(fā)服務(wù)的網(wǎng)絡(luò)地址、確定訂閱的消息種類、消息接收模式選擇等；關(guān)閉方法（close）負(fù)責(zé)斷開與消息服務(wù)之間的連接；運(yùn)行方法（run）為實(shí)際數(shù)據(jù)接收方法；消息接收顯示（onMessage）負(fù)責(zé)顯示的將消息呈現(xiàn)到屏幕。資源清理方法（cleanup）負(fù)責(zé)清理所有連接消息服務(wù)過程中使用的資源。詳細(xì)類圖如圖5所示：endprint

4測(cè)試與分析

1）硬件環(huán)境

使用若干臺(tái)掛載了分布式文件系統(tǒng)的高性能計(jì)算服務(wù)器作為測(cè)試主機(jī)，分布式文件存儲(chǔ)使用華為Oceanstor5500，服務(wù)器配置如下：

CPU：Intel（R）Xeon（R）CPU E5-2670 0@2.60GHz×32

內(nèi)存：64G

網(wǎng)卡：Intel Corporation 82599ES萬(wàn)兆網(wǎng)卡

2）軟件環(huán)境

操作系統(tǒng)：Redhat Linux 6.5 64位

文件系統(tǒng)：華為Oceanstor5500分布式文件系統(tǒng)

31測(cè)試

數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換結(jié)構(gòu)化數(shù)據(jù)時(shí)間延遲測(cè)試

本測(cè)試主要用于測(cè)試結(jié)構(gòu)數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)與交換時(shí)間延遲。

測(cè)試方法：

在數(shù)據(jù)庫(kù)中創(chuàng)建字段個(gè)數(shù)不小于20的表結(jié)構(gòu)，其中字段類型為任意的數(shù)據(jù)庫(kù)基礎(chǔ)類型，測(cè)試程序TEST01通過隨機(jī)數(shù)據(jù)方式向數(shù)據(jù)實(shí)時(shí)存儲(chǔ)服務(wù)（SJCCFW）中進(jìn)行結(jié)構(gòu)化數(shù)據(jù)的寫入，在調(diào)用數(shù)據(jù)寫人前進(jìn)行時(shí)刻記錄t0。并通過消息分發(fā)服務(wù)（XXFFServer）進(jìn)行消息的多客戶端分發(fā)。消息接收客戶端（XXJSClient）接收完數(shù)據(jù)進(jìn)行消息的解析與處理并在處理完畢后發(fā)送處理完畢通知給測(cè)試程序TEST01，同時(shí)記錄時(shí)刻t1。則結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)與交換時(shí)間延遲t=tl-t0。調(diào)用時(shí)間間隔為1秒鐘?？傉{(diào)用次數(shù)10000次。

將測(cè)試結(jié)果以圖表的形式進(jìn)行結(jié)果展示，如圖6所示。其中圖表的橫坐標(biāo)代表測(cè)試的延遲區(qū)間，單位為毫秒（ms），延遲總區(qū)間為0～1000毫秒，區(qū)間間隔50毫秒?？v坐標(biāo)表示每個(gè)區(qū)間所占百分比，主縱坐標(biāo)表示占百分比較大數(shù)據(jù)的，副坐標(biāo)表示占百分比較小的數(shù)據(jù)。

數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換結(jié)構(gòu)化數(shù)據(jù)時(shí)間延遲測(cè)試如圖Ⅳ.1所示，從圖中可以看出，對(duì)于結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換的交換延遲區(qū)間超過百分之99都處于0～50毫秒，另外的所有區(qū)間都落在100～150毫秒，測(cè)試結(jié)果很理想。

4）數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換非結(jié)構(gòu)化數(shù)據(jù)時(shí)間延遲測(cè)試

測(cè)試方法：

準(zhǔn)備大小為1MB的測(cè)試文件FILE進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)測(cè)試，測(cè)試程序TEST02通過以FILE為模板的方式向數(shù)據(jù)實(shí)時(shí)存儲(chǔ)服務(wù)（SJCCFW）中進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)的寫入，在調(diào)用數(shù)據(jù)寫入前進(jìn)行時(shí)刻記錄t0。并通過消息分發(fā)服務(wù)（xXFFServer）進(jìn)行消息的多客戶端分發(fā)。消息接收客戶端（xXJSClient）接收完數(shù)據(jù)進(jìn)行消息的解析與處理并在處理完畢后發(fā)送處理完畢通知給測(cè)試程序TEST02，同時(shí)記錄時(shí)刻t1。則非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)與交換時(shí)間延遲t=t1-t0。調(diào)用時(shí)間間隔為1秒鐘。總調(diào)用次數(shù)10000次。

將測(cè)試結(jié)果以圖表的形式進(jìn)行結(jié)果展示，如圖7所示。其中圖表的橫坐標(biāo)代表測(cè)試的延遲區(qū)間，單位為毫秒（ms），延遲總區(qū)間為0～1000毫秒，區(qū)間間隔50毫秒?？v坐標(biāo)表示每個(gè)區(qū)間所占百分比，主縱坐標(biāo)表示占百分比較大數(shù)據(jù)的，副坐標(biāo)表示占百分比較小的數(shù)據(jù)。

數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換結(jié)構(gòu)化數(shù)據(jù)時(shí)間延遲測(cè)試如圖7所示，從圖中可以看出，對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換的交換延遲區(qū)間超過百分之99都處于0～50毫秒，最大區(qū)間為200～250毫秒，但百分比占比很小，測(cè)試結(jié)果很理想。

5）數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換非結(jié)構(gòu)化數(shù)據(jù)帶編目數(shù)據(jù)時(shí)間延遲測(cè)試

在數(shù)據(jù)庫(kù)中創(chuàng)建字段個(gè)數(shù)不小于20的表結(jié)構(gòu)，其中字段類型為任意的數(shù)據(jù)庫(kù)基礎(chǔ)類型，準(zhǔn)備大小為1MB的文件FILE作為非結(jié)構(gòu)化數(shù)據(jù)測(cè)試文件，測(cè)試程序TEST03通過數(shù)據(jù)實(shí)時(shí)存儲(chǔ)服務(wù)（SJCCFW）以隨機(jī)方式向數(shù)據(jù)庫(kù)中寫入結(jié)構(gòu)化數(shù)據(jù)，并以FILE為模板的方式向數(shù)據(jù)實(shí)時(shí)存儲(chǔ)服務(wù)（SJCCFW）中進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)的寫入，在調(diào)用數(shù)據(jù)寫入前進(jìn)行時(shí)刻記錄t0。并通過消息分發(fā)服務(wù)（XXFFServer）進(jìn)行消息的多客戶端分發(fā)。消息接收客戶端（XXJSClient）接收完數(shù)據(jù)進(jìn)行消息的解析與處理并在處理完畢后發(fā)送處理完畢通知給測(cè)試程序TEST02，同時(shí)記錄時(shí)刻t1。則非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)與交換時(shí)間延遲t=t1-t0。調(diào)用時(shí)間間隔為1秒鐘?？傉{(diào)用次數(shù)10000次。

將測(cè)試結(jié)果以圖表的形式進(jìn)行結(jié)果展示，如圖8所示。其中圖表的橫坐標(biāo)代表測(cè)試的延遲區(qū)間，單位為毫秒（ms），延遲總區(qū)間為0～1000毫秒，區(qū)間間隔50毫秒。縱坐標(biāo)表示每個(gè)區(qū)間所占百分比，主縱坐標(biāo)表示占百分比較大數(shù)據(jù)的，副坐標(biāo)表示占百分比較小的數(shù)據(jù)。

數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換非結(jié)構(gòu)化數(shù)據(jù)帶編目時(shí)間延遲測(cè)試如圖8所示，從圖中可以看出，對(duì)于非結(jié)構(gòu)化帶編目數(shù)據(jù)，數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換的交換延遲區(qū)間超過百分之68.833都處于0～50毫秒，另外處于50～100毫秒的占比百分之30.944最大延遲區(qū)間處于300～350毫秒，即使同時(shí)寫結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)，結(jié)果依然很穩(wěn)定。

4總結(jié)

本章通過對(duì)實(shí)際業(yè)務(wù)的具體分析，確定了海量實(shí)時(shí)存儲(chǔ)與交換過程中可能遇到的一些問題，根據(jù)對(duì)問題的具體分析。設(shè)計(jì)并實(shí)現(xiàn)了一套基于共享文件系統(tǒng)與消息推送機(jī)制的數(shù)據(jù)實(shí)時(shí)存儲(chǔ)與交換服務(wù)，通過對(duì)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)帶編目的測(cè)試實(shí)驗(yàn)，測(cè)試結(jié)果取得了令人滿意的效果。endprint