宮永生，呂從民，曹素芝

(1.中國科學(xué)院空間應(yīng)用工程與技術(shù)中心，北京100094；2.中國科學(xué)院大學(xué)，北京100049)

1 引言

隨著太空探索逐步深入，空間應(yīng)用的規(guī)模大幅擴(kuò)展，相應(yīng)地出現(xiàn)了載人空間站等大型飛行器及低軌互聯(lián)網(wǎng)衛(wèi)星星座等空間應(yīng)用形態(tài)，且未來會向著月球基地、火星基地以及更深遠(yuǎn)的太空進(jìn)一步拓展。空間應(yīng)用的擴(kuò)展對空間信息系統(tǒng)的發(fā)展提出了新的要求，空間信息系統(tǒng)的架構(gòu)走向以組網(wǎng)為基礎(chǔ)分布式形態(tài)，包括飛行器內(nèi)部基于有線網(wǎng)絡(luò)的分布式存儲和處理以及多個飛行器間的空間無線網(wǎng)絡(luò)分布式信息存儲和處理。空間信息系統(tǒng)架構(gòu)的演進(jìn)意味著必須考慮如何在空間部署分布式存儲系統(tǒng)，以滿足未來空間應(yīng)用的需求。

對象存儲系統(tǒng)通過創(chuàng)新性的分布式架構(gòu)設(shè)計，解決了資源共享、超高速存儲、海量存儲、高可靠、可擴(kuò)展等數(shù)據(jù)存儲系統(tǒng)面臨的難題，在地面大規(guī)模數(shù)據(jù)存儲系統(tǒng)中獲得廣泛應(yīng)用。國際互聯(lián)網(wǎng)工程任務(wù)組(Internet Engineering Task Force，IETF)于2010年正式發(fā)布了并行文件系統(tǒng)(parallel Network File System，pNFS)標(biāo)準(zhǔn)，在傳統(tǒng)的網(wǎng)絡(luò)文件系統(tǒng)NFS基礎(chǔ)上添加對于分布式存儲系統(tǒng)的支持，同時支持對象存儲、塊存儲和文件存儲設(shè)備3種類型。針對對象存儲設(shè)備，pNFS定義了分布式對象存儲的基本架構(gòu)，但并未詳細(xì)規(guī)定具體的分布式控制協(xié)議、存儲協(xié)議以及系統(tǒng)數(shù)據(jù)備份策略等內(nèi)容。由美國能源部資助開發(fā)的開源對象存儲系統(tǒng)Lustre在超大規(guī)模和超高性能服務(wù)集群中獲得廣泛應(yīng)用，在系統(tǒng)規(guī)模、性能和可靠性方面表現(xiàn)優(yōu)異，但系統(tǒng)設(shè)計復(fù)雜度極高。面向極致性能、可靠性和可擴(kuò)展性而設(shè)計的統(tǒng)一對象存儲系統(tǒng)Ceph則在OpenStack社區(qū)獲得了相當(dāng)廣泛的使用，其采用名為CRUSH(Controlled Replication Under Scalable Hashing)的算法計算數(shù)據(jù)對象的存儲位置，替代傳統(tǒng)元數(shù)據(jù)索引管理方式，提升了元數(shù)據(jù)服務(wù)器性能，以算代存是很巧妙的問題解決思路，但是需要客戶端具有較強(qiáng)計算能力支持。

對象存儲系統(tǒng)能夠解決未來空間應(yīng)用數(shù)據(jù)存儲的大規(guī)模、高可靠、可擴(kuò)展等關(guān)鍵需求，但是也面臨一些設(shè)計挑戰(zhàn)，突出體現(xiàn)在兩方面:①空間設(shè)備的體積、重量、功耗(Size，Weight，and Power，SWaP)約束要遠(yuǎn)遠(yuǎn)比地面嚴(yán)苛，對象存儲系統(tǒng)架構(gòu)及協(xié)議設(shè)計上需充分優(yōu)化，降低系統(tǒng)SwaP，特別是用戶端的協(xié)議設(shè)計應(yīng)盡可能簡單。②空間應(yīng)用數(shù)據(jù)具有特殊性，數(shù)據(jù)的產(chǎn)生、表征、傳輸?shù)燃扔袇f(xié)議需要兼容，數(shù)據(jù)在軌存儲模式與地面互聯(lián)網(wǎng)應(yīng)用相比也有很大的不同，空間數(shù)據(jù)存儲系統(tǒng)設(shè)計需進(jìn)行針對性考慮。

本文針對航天應(yīng)用數(shù)據(jù)存儲的需求，首先研究空間應(yīng)用的數(shù)據(jù)特征及其對象化表征方式；然后在此基礎(chǔ)上綜合考慮空間設(shè)備體積、重量、功耗等特定的約束條件，設(shè)計輕量化空間應(yīng)用對象存儲系統(tǒng)架構(gòu)及相關(guān)協(xié)議，并探討系統(tǒng)中數(shù)據(jù)備份等關(guān)鍵策略設(shè)計；最后給出系統(tǒng)實現(xiàn)及驗證情況，對后續(xù)研究提供借鑒。

2 基于CCSDS航天應(yīng)用數(shù)據(jù)對象化定義

對象存儲系統(tǒng)中的對象是數(shù)據(jù)的一種邏輯組織形式，對象特征通過對象屬性來描述。航天應(yīng)用數(shù)據(jù)對象的建立除了需要表征航天應(yīng)用數(shù)據(jù)的特征之外，還需考慮數(shù)據(jù)對象后續(xù)存儲及處理的使用模式，特別是在基于網(wǎng)絡(luò)的對象存儲系統(tǒng)中，對象數(shù)據(jù)的格式定義對于系統(tǒng)設(shè)計有很大影響。

航天應(yīng)用數(shù)據(jù)一般按照CCSDS(Consultative Committee for Space Data Systems)定義的數(shù)據(jù)格式進(jìn)行描述，本文在不更改CCSDS協(xié)議的前提下，對CCSDS的字段進(jìn)行部分?jǐn)U展，以反映空間應(yīng)用數(shù)據(jù)的特征，同時考慮數(shù)據(jù)對象分布式存儲需求。

CCSDS空間數(shù)據(jù)包協(xié)議(Space Packet Protocol，SPP)定義了空間應(yīng)用的數(shù)據(jù)格式，滿足星間、星地等空間鏈路上的空間用戶數(shù)據(jù)傳輸需求，是傳輸鏈路層和用戶應(yīng)用之間的橋梁性協(xié)議。SPP協(xié)議定義的標(biāo)準(zhǔn)數(shù)據(jù)格式如圖1所示，主要包括主導(dǎo)頭、副導(dǎo)頭和用戶數(shù)據(jù)區(qū)3部分。

圖1 空間數(shù)據(jù)包協(xié)議格式定義Fig.1 Definition of Space Packet Protocol

通過SPP數(shù)據(jù)格式可以看到，主導(dǎo)頭主要用于定義數(shù)據(jù)的產(chǎn)生源頭以及數(shù)據(jù)傳輸方式，而副導(dǎo)頭則預(yù)留了較大的擴(kuò)展空間，可以依據(jù)應(yīng)用進(jìn)行定制。

根據(jù)空間應(yīng)用數(shù)據(jù)的自身特性以及對象存儲系統(tǒng)的特點，在副導(dǎo)頭增加數(shù)據(jù)存儲屬性字段來擴(kuò)展數(shù)據(jù)的表征方式，并添加數(shù)據(jù)的后續(xù)存儲需求，例如數(shù)據(jù)可靠性保證需求、數(shù)據(jù)的保密和壓縮需求等內(nèi)容。數(shù)據(jù)對象的副導(dǎo)頭擴(kuò)展定義如圖2所示。

數(shù)據(jù)存儲屬性字段的第1個要素為任務(wù)號TaskID，由于空間應(yīng)用數(shù)據(jù)的產(chǎn)生和處理與任務(wù)的安排密切相關(guān)，可方便后續(xù)對該任務(wù)數(shù)據(jù)的查詢和檢索操作。

圖2 空間應(yīng)用數(shù)據(jù)對象副導(dǎo)頭擴(kuò)展定義Fig.2 Packet secondary header definition for space app lication data

數(shù)據(jù)存儲屬性字段的第2個要素設(shè)計為子設(shè)備號SubDeviceID，對于某個特定的空間應(yīng)用載荷(具有唯一APID)一般會包括若干個儀器設(shè)備，不同的儀器設(shè)備數(shù)據(jù)特征各不相同，后續(xù)需要的存儲策略也有很大差異，因此加入子設(shè)備號屬性，可對應(yīng)用數(shù)據(jù)進(jìn)一步細(xì)分。

數(shù)據(jù)存儲屬性字段的第3個要素設(shè)計為數(shù)據(jù)類型DataType，對于某個特定的空間應(yīng)用載荷的特定儀器設(shè)備，依然可能產(chǎn)生不同的數(shù)據(jù)類型需要進(jìn)行區(qū)分存儲，數(shù)據(jù)類型字段可以對數(shù)據(jù)進(jìn)一步細(xì)分。

數(shù)據(jù)存儲屬性字段的第4個要素設(shè)計為數(shù)據(jù)段標(biāo)識SegNo，用于對同一類型數(shù)據(jù)的長度進(jìn)行擴(kuò)充。SPP協(xié)議中定義的序列號字段SeqNo僅能表示不超過1 GB的數(shù)據(jù)，對于更大的數(shù)據(jù)長度，序列號SeqNo會重復(fù)。增加數(shù)據(jù)段標(biāo)識SegNo可擴(kuò)展數(shù)據(jù)對象長度。

數(shù)據(jù)存儲屬性字段的第5個要素設(shè)計為QoS字段，QoS字段表征該數(shù)據(jù)對象希望對象存儲系統(tǒng)執(zhí)行的所有特殊需求，主要包括數(shù)據(jù)備份數(shù)目的需求、數(shù)據(jù)加密/壓縮等需求。

綜上，空間應(yīng)用數(shù)據(jù)的CCSDS數(shù)據(jù)包可以采用＜APID，Task ID，SubDeviceID，DataType，SegNo，SeqNo＞六元組進(jìn)行唯一表征，其中APID和Seq-No使用SPP包格式的主導(dǎo)頭信息，而TaskID，SubDeviceID，DataType，SegNo則使用SPP包格式的副導(dǎo)頭擴(kuò)展信息。

3 對象存儲系統(tǒng)架構(gòu)設(shè)計

3.1 系統(tǒng)架構(gòu)

對象存儲系統(tǒng)由3部分構(gòu)成，客戶端(Client)、元數(shù)據(jù)服務(wù)器(Metadata Server，MDS)和對象存儲設(shè)備(Object Storage Device，OSD)，三部分之間通過主要的3個協(xié)議進(jìn)行通信:存儲控制協(xié)議、存儲管理協(xié)議和存儲訪問協(xié)議。系統(tǒng)架構(gòu)如圖3所示。

圖3 對象存儲系統(tǒng)架構(gòu)Fig.3 Framework of object storage system

客戶端與元數(shù)據(jù)服務(wù)器通過存儲控制協(xié)議交換控制信息，例如任務(wù)請求及響應(yīng)等；客戶端與對象存儲設(shè)備通過存儲訪問協(xié)議交換讀寫的數(shù)據(jù)；元數(shù)據(jù)服務(wù)器與對象存儲設(shè)備通過存儲管理協(xié)議進(jìn)行對象存儲設(shè)備狀態(tài)管理等。

3.1.1 客戶端

客戶端是用戶訪問對象存儲系統(tǒng)的入口，將用戶直接的數(shù)據(jù)讀寫轉(zhuǎn)換為對象存儲系統(tǒng)內(nèi)部的數(shù)據(jù)訪問?？蛻舳似帘螌ο蟠鎯ο到y(tǒng)內(nèi)部訪問細(xì)節(jié)，對用戶提供直接的標(biāo)準(zhǔn)數(shù)據(jù)訪問接口。

1)客戶端與元數(shù)據(jù)服務(wù)器交換控制信息，獲得當(dāng)前存儲系統(tǒng)的狀態(tài)；

2)客戶端與對象存儲設(shè)備直接進(jìn)行數(shù)據(jù)讀寫，完成數(shù)據(jù)傳輸。

3.1.2 元數(shù)據(jù)服務(wù)器

元數(shù)據(jù)服務(wù)器負(fù)責(zé)管理整個對象存儲系統(tǒng)，包括所有用戶的元數(shù)據(jù)信息以及對象存儲系統(tǒng)自身的狀態(tài)信息。元數(shù)據(jù)信息描述了數(shù)據(jù)對象是如何分布在對象存儲設(shè)備上的布局信息(LAYOUT信息)，而系統(tǒng)自身狀態(tài)信息則反映了對象存儲設(shè)備本身的工作狀態(tài)。

1)對象存儲設(shè)備管理功能，包括節(jié)點健康狀況監(jiān)控及故障隔離；

2)系統(tǒng)元數(shù)據(jù)管理功能，負(fù)責(zé)所有用戶數(shù)據(jù)的元數(shù)據(jù)信息管理，提供用戶數(shù)據(jù)快速查詢和檢索功能。

3.1.3 對象存儲設(shè)備

對象存儲設(shè)備負(fù)責(zé)具體用戶數(shù)據(jù)的實際存儲功能。

1)智能化數(shù)據(jù)存儲功能，支持按照數(shù)據(jù)對象ID進(jìn)行數(shù)據(jù)訪問；

2)支持按照時間碼、對象屬性等進(jìn)行快速檢索，提供符合要求的對象數(shù)據(jù)；

3)支持智能數(shù)據(jù)備份功能，對于需要進(jìn)行數(shù)據(jù)冗余備份的對象數(shù)據(jù)，自動在多個對象存儲設(shè)備節(jié)點進(jìn)行數(shù)據(jù)備份。

3.2 系統(tǒng)功能設(shè)計

3.2.1 對象顆粒度設(shè)置

按照SPP格式定義，空間應(yīng)用數(shù)據(jù)的基本顆粒度為單個CCSDS數(shù)據(jù)包，通過＜APID，TaskID，SubDeviceID，DataType，SegNo，SeqNo＞六元組進(jìn)行表征，數(shù)據(jù)長度最長為64 kB。

對于對象存儲系統(tǒng)來說，數(shù)據(jù)對象的顆粒度越小，意味著數(shù)據(jù)對象的管理類元數(shù)據(jù)信息越大。假設(shè)對象存儲系統(tǒng)的總?cè)萘繛?28 TB，意味著數(shù)據(jù)對象的個數(shù)不少于2×10個。如果對于每個數(shù)據(jù)對象都建立索引信息，則元數(shù)據(jù)服務(wù)器代價很大。為此可將數(shù)據(jù)對象的管理粒度和實際對象存儲粒度分離設(shè)計，將若干個數(shù)據(jù)對象分組進(jìn)行統(tǒng)一管理。

例如，考慮到空間應(yīng)用任務(wù)執(zhí)行的特點和系統(tǒng)規(guī)模，元數(shù)據(jù)服務(wù)器的索引信息可以只管理到數(shù)據(jù)段號，對于具有相同五元組＜APID，Task ID，SubDeviceID，DataType，SegNo＞的數(shù)據(jù)對象都分布在同一個OSD上，這樣元數(shù)據(jù)服務(wù)器的管理壓力顯著減低。另一方面具有相同五元組的數(shù)據(jù)對象總?cè)萘坎粫^1 GB，方便了用戶應(yīng)用數(shù)據(jù)在多個OSD之間的調(diào)度問題，也簡化了多備份策略下的數(shù)據(jù)遷移問題。

本系統(tǒng)將數(shù)據(jù)對象進(jìn)行組合管理，每個數(shù)據(jù)對象組通過五元組＜APID，Task ID，SubDeviceID，DataType，SegNo＞進(jìn)行表征，而數(shù)據(jù)對象的讀寫訪問則依然使用六元組＜APID，Task ID，SubDeviceID，DataType，SegNo，SeqNo＞，簡化系統(tǒng)管理的同時，滿足用戶細(xì)粒度訪問數(shù)據(jù)的需求。

3.2.2 模塊具體功能設(shè)計

1)元數(shù)據(jù)服務(wù)器模塊。對象存儲系統(tǒng)中OSD設(shè)備狀態(tài)存在上線、下線等狀態(tài)變化，元數(shù)據(jù)服務(wù)器需實時了解各個OSD設(shè)備的可用狀態(tài)。為此設(shè)計心跳機(jī)制，OSD設(shè)備定時向元數(shù)據(jù)服務(wù)器報告自己的狀態(tài)。通過該機(jī)制，元數(shù)據(jù)服務(wù)器可了解系統(tǒng)中所有OSD在線狀態(tài)以及在線OSD的可用存儲容量、執(zhí)行任務(wù)情況等，并在系統(tǒng)中維持該信息(系統(tǒng)狀態(tài)信息)。

元數(shù)據(jù)服務(wù)器另一個重要功能是維護(hù)系統(tǒng)中所有數(shù)據(jù)對象組的映射關(guān)系，即每個數(shù)據(jù)對象組存放在哪些OSD上(LAYOUT信息)。一般情況下，元數(shù)據(jù)服務(wù)器自身持久維護(hù)該信息，由此帶來了多元數(shù)據(jù)服務(wù)器之間、元數(shù)據(jù)服務(wù)器和OSD之間的信息同步問題，需要設(shè)計復(fù)雜的一致性協(xié)議保障數(shù)據(jù)同步。

本文設(shè)計的元數(shù)據(jù)服務(wù)器對LAYOUT信息采用緩存模式，元數(shù)據(jù)服務(wù)器并不會長久保存LAYOUT信息，而是通過非易失OSD設(shè)備的信息進(jìn)行恢復(fù)，所有數(shù)據(jù)以O(shè)SD信息為主，OSD同時保存了對象數(shù)據(jù)和對象元數(shù)據(jù)信息，可以保證數(shù)據(jù)和元數(shù)據(jù)之間的一致性。

同時，緩存更新策略也采用懶更新策略，即系統(tǒng)上電時不會主動詢問OSD來實時更新該信息，只有當(dāng)用戶執(zhí)行某個數(shù)據(jù)對象查詢時，元數(shù)據(jù)服務(wù)器檢查自己的LAYOUT信息，判斷是否有相關(guān)數(shù)據(jù)對象組的記錄，如果有則直接返回記錄信息給用戶；如果沒有，則向系統(tǒng)中所有的OSD進(jìn)行查詢，并將查詢結(jié)果反饋給用戶的同時更新自身的LAYOUT信息。

通過緩存模式設(shè)計和懶更新策略，極大降低了元數(shù)據(jù)服務(wù)器的設(shè)計復(fù)雜度和工作負(fù)載，使得輕量化的元數(shù)據(jù)服務(wù)器實現(xiàn)成為可能。由此帶來的缺點是用戶查詢元數(shù)據(jù)服務(wù)器緩存未命中的情況下，需要等待元數(shù)據(jù)服務(wù)器和OSD之間的信息更新，此時系統(tǒng)的讀取性能會稍微下降。但是對于空間應(yīng)用來說，90%以上的工況為數(shù)據(jù)寫入，該設(shè)計對系統(tǒng)性能幾乎無影響。

2)對象存儲設(shè)備模塊。對象存儲設(shè)備設(shè)計為標(biāo)準(zhǔn)的對象數(shù)據(jù)訪問設(shè)備，每個數(shù)據(jù)對象的ID使用六元組＜APID，TaskID，SubDeviceID，Data-Type，SegNo，SeqNo＞表示，支持對任意數(shù)據(jù)對象的單獨訪問。

3)客戶端模塊。用戶在訪問對象存儲系統(tǒng)之前，需要獲取對象存儲系統(tǒng)的相關(guān)設(shè)備信息。

如果是數(shù)據(jù)對象寫入操作，則首先向元數(shù)據(jù)服務(wù)器請求系統(tǒng)狀態(tài)信息，可以獲知系統(tǒng)中OSD設(shè)備的在線狀態(tài)及工作參數(shù)，由客戶端隨機(jī)選擇滿足要求的OSD進(jìn)行數(shù)據(jù)寫入。

如果是數(shù)據(jù)對象讀取操作，則首先向元數(shù)據(jù)服務(wù)器查詢該數(shù)據(jù)對象的LAYOUT信息，并依據(jù)元數(shù)據(jù)服務(wù)器反饋的LAYOUT信息訪問相應(yīng)的OSD設(shè)備。

3.3 數(shù)據(jù)備份策略

數(shù)據(jù)備份策略從系統(tǒng)層面和數(shù)據(jù)層面2個維度考慮，分別關(guān)注系統(tǒng)元數(shù)據(jù)的備份以及用戶數(shù)據(jù)的備份，以保障系統(tǒng)可靠運行和用戶數(shù)據(jù)可靠存儲。

3.3.1 系統(tǒng)元數(shù)據(jù)備份策略

對象存儲系統(tǒng)的系統(tǒng)元數(shù)據(jù)包含了整個系統(tǒng)運行所需的所有關(guān)鍵信息，包括系統(tǒng)所有節(jié)點的健康狀態(tài)數(shù)據(jù)、系統(tǒng)存儲資源的分配狀況、目前執(zhí)行任務(wù)的用戶信息等。

傳統(tǒng)的對象存儲系統(tǒng)中，系統(tǒng)元數(shù)據(jù)必須實時更新，否則會面臨對象ID沖突等問題，導(dǎo)致數(shù)據(jù)對象寫入的互相覆蓋。因此對于多服務(wù)器組成的元數(shù)據(jù)服務(wù)器集群來說，多個服務(wù)器間的元數(shù)據(jù)必須滿足強(qiáng)一致性同步要求，給設(shè)計帶來了極大的挑戰(zhàn)。為滿足該要求，可以采用Paxos等一致性算法進(jìn)行數(shù)據(jù)同步，由此帶來了頻繁的元數(shù)據(jù)服務(wù)器間數(shù)據(jù)更新操作，極大地影響系統(tǒng)的性能。

本系統(tǒng)設(shè)計的元數(shù)據(jù)服務(wù)器通過以下2個方法解決這一問題:

1)數(shù)據(jù)對象唯一性保證策略。數(shù)據(jù)對象ID的定義與數(shù)據(jù)產(chǎn)生的源頭進(jìn)行綁定，通過唯一六元組＜APID，Task ID，SubDeviceID，DataType，Seg-No，SeqNo＞進(jìn)行表征。通過該種方式保證了系統(tǒng)中不存在同樣的數(shù)據(jù)對象ID，因此即使在元數(shù)據(jù)服務(wù)器發(fā)生網(wǎng)絡(luò)分區(qū)無法通信的情況下，依然各自能夠執(zhí)行正常的任務(wù)。在網(wǎng)絡(luò)分區(qū)狀態(tài)解決后，多個元數(shù)據(jù)服務(wù)器的信息并不會發(fā)生沖突的情況，直接進(jìn)行融合合并即可。

2)OSD數(shù)據(jù)對象組預(yù)分配策略。每個OSD對于接收到的新的數(shù)據(jù)對象寫入請求時，首先判斷本OSD可供分配的剩余存儲空間。由于每個數(shù)據(jù)對象組的大小定義為不超過1 GB，因此OSD可以輕易地根據(jù)當(dāng)前正在執(zhí)行的寫入需求判斷是否能夠接受新的數(shù)據(jù)對象寫入請求。這樣，即使多個用戶獲得的系統(tǒng)元數(shù)據(jù)信息不夠?qū)崟r，也不會發(fā)生用戶數(shù)據(jù)對象寫入錯誤的問題。通過數(shù)據(jù)對象組預(yù)分配策略，避免了數(shù)據(jù)對象組沖突導(dǎo)致的回滾動作。

通過上述方法，解決了傳統(tǒng)對象存儲系統(tǒng)面臨的元數(shù)據(jù)服務(wù)器分區(qū)隔離和數(shù)據(jù)同步的需求，無需實現(xiàn)任何專門的元數(shù)據(jù)備份策略，即可保證系統(tǒng)正常穩(wěn)定運行。

3.3.2 用戶數(shù)據(jù)備份策略

用戶數(shù)據(jù)備份策略重點集中在面向航天應(yīng)用的按需備份策略的實施。按需備份策略需要解決2個問題:首先是用戶的備份需求通過什么樣的方式通知對象存儲系統(tǒng)，其次是對于存在多個備份的數(shù)據(jù)對象，誰來執(zhí)行數(shù)據(jù)備份的操作以及維護(hù)系統(tǒng)中的有效備份數(shù)目。

由于數(shù)據(jù)對象具有自描述的特征，為了簡化用戶與對象存儲系統(tǒng)之間的接口訪問，可以將每個數(shù)據(jù)對象的備份需求直接嵌入到數(shù)據(jù)對象的包格式中，為此為每個數(shù)據(jù)對象定義QoS字段并將其放置在副導(dǎo)頭位置，這樣所有對象存儲系統(tǒng)中的設(shè)備都能夠獲知該數(shù)據(jù)對象的QoS要求，而無需單獨與用戶進(jìn)行協(xié)議交互。

QoS字段表征了該數(shù)據(jù)對象希望對象存儲系統(tǒng)執(zhí)行的所有特殊需求，主要包括數(shù)據(jù)備份數(shù)目的需求、數(shù)據(jù)加密/壓縮等處理的需求。本文定義的QoS數(shù)據(jù)備份字段格式見圖4，通過在數(shù)據(jù)對象格式中定義QoS字段，解決了數(shù)據(jù)備份需求的約定形式。

圖4 QoS數(shù)據(jù)備份字段定義Fig.4 Definition of QoS data backup segment

本文采用由對象存儲設(shè)備主導(dǎo)的用戶數(shù)據(jù)備份方式。在該方式下，用戶只需完成對第1個對象存儲設(shè)備的數(shù)據(jù)寫入即可，第1個對象存儲設(shè)備會依據(jù)數(shù)據(jù)備份的具體需求，適時地將數(shù)據(jù)寫入到其余的備份設(shè)備。

每個對象存儲設(shè)備在接收到有備份需求的數(shù)據(jù)對象時，除了將該數(shù)據(jù)對象保存到本地，還會檢查該對象的當(dāng)前備份編號字段，如果當(dāng)前備份編號小于備份次數(shù)需求，則該設(shè)備將當(dāng)前備份編號加1并發(fā)送給系統(tǒng)中的下1個對象存儲設(shè)備，如果當(dāng)前備份編號大于等于備份次數(shù)需求，則只進(jìn)行數(shù)據(jù)對象保存而不進(jìn)行后續(xù)的備份工作。通過該機(jī)制能夠以簡單的方式實現(xiàn)系統(tǒng)中存儲多個數(shù)據(jù)備份的需求。

在系統(tǒng)運行過程中，如某個備份節(jié)點發(fā)生了損壞，則會導(dǎo)致系統(tǒng)中有效數(shù)據(jù)備份數(shù)目減少。如果需要對象存儲系統(tǒng)中始終存在滿足需求的備份數(shù)目，則需要設(shè)計數(shù)據(jù)遷移策略，在監(jiān)測到數(shù)據(jù)存儲設(shè)備故障導(dǎo)致備份數(shù)目不足的情況下，啟動數(shù)據(jù)遷移。空間數(shù)據(jù)備份策略的需求是為了解決數(shù)據(jù)存儲設(shè)備故障的情況，避免關(guān)鍵數(shù)據(jù)的單點失效不可恢復(fù)，而不是追求系統(tǒng)在長時間運行中始終維持多個備份數(shù)據(jù)的存在。綜合考慮空間應(yīng)用數(shù)據(jù)的使用需求以及數(shù)據(jù)遷移帶來的網(wǎng)絡(luò)傳輸代價，本文不考慮數(shù)據(jù)遷移算法的設(shè)計，即數(shù)據(jù)備份策略只在初次數(shù)據(jù)寫入的時候執(zhí)行，保證系統(tǒng)中存在滿足需求的備份數(shù)目，而后續(xù)設(shè)備故障導(dǎo)致的備份丟失不會觸發(fā)數(shù)據(jù)遷移操作。

4 系統(tǒng)驗證

4.1 驗證系統(tǒng)組成

系統(tǒng)驗證以空間站應(yīng)用系統(tǒng)項目為背景，構(gòu)建模擬地面驗證環(huán)境，對本文提出對象存儲系統(tǒng)進(jìn)行功能和性能驗證。

驗證系統(tǒng)基于FC-AE-1553交換式網(wǎng)絡(luò)進(jìn)行構(gòu)建，在交換網(wǎng)絡(luò)之上實現(xiàn)了對象存儲系統(tǒng)，主要包括元數(shù)據(jù)服務(wù)器、智能存儲節(jié)點和客戶端模擬設(shè)備，驗證系統(tǒng)組成如圖5所示。

在硬件設(shè)計上，元數(shù)據(jù)服務(wù)器和智能存儲節(jié)點均采用自研的嵌入式3U VPX板卡(主芯片為Xilinx XC7Z045)，盡可能模擬將來在軌應(yīng)用的實際使用環(huán)境，地檢則使用多個機(jī)架式服務(wù)器進(jìn)行模擬。

元數(shù)據(jù)服務(wù)器軟件完成對智能存儲節(jié)點的狀態(tài)管理和客戶端存儲任務(wù)的管理，運行在FC-AE-1553網(wǎng)絡(luò)的NC節(jié)點上。智能存儲節(jié)點完成對用戶數(shù)據(jù)的實際存儲，運行在FC-AE-1553網(wǎng)絡(luò)的NT節(jié)點上?？蛻舳斯δ苓\行在地檢上，完成載荷數(shù)據(jù)源模擬及地面數(shù)據(jù)下行通道模擬。三部分共同完成對象存儲系統(tǒng)的資源調(diào)度，實現(xiàn)數(shù)據(jù)的寫入和讀取操作。

圖5 技術(shù)驗證系統(tǒng)組成框圖Fig.5 Block diagram of technical verification system

驗證系統(tǒng)的部分性能指標(biāo)如下:

1)FC-AE-1553交換網(wǎng)絡(luò)物理層速率為4.25 Gbps，去除物理層8 B/10 B編碼開銷，理論上限為3.4 Gbps；

2)單個NT模擬節(jié)點模擬不超過8個載荷，單個載荷的有效數(shù)據(jù)率設(shè)計為不超過600 Mbps，仿真實際的機(jī)柜內(nèi)工作載荷；

3)單個NT智能存儲節(jié)點的內(nèi)部存儲帶寬為4.5～5.8 Gbps。

4.2 驗證結(jié)果

為了驗證對象存儲系統(tǒng)在不同工況下的存儲性能，分別設(shè)計多載荷任務(wù)同時訪問測試和多節(jié)點存儲系統(tǒng)測試，模擬在軌多用戶同時訪問和存儲系統(tǒng)節(jié)點動態(tài)調(diào)整的使用工況。

1)多載荷任務(wù)同時訪問性能測試。單個存儲節(jié)點情況下，載荷任務(wù)分別設(shè)置為(1/2/4/8/16/32/64)，測試系統(tǒng)的存儲總帶寬。多載荷任務(wù)同時存儲性能測試結(jié)果如圖6所示，可以看到，隨著載荷任務(wù)增多，系統(tǒng)總帶寬逐步增加到3.17 Gbps，此后基本維持穩(wěn)定。對象存儲系統(tǒng)能夠支持多任務(wù)并發(fā)執(zhí)行，并在嵌入式環(huán)境下網(wǎng)絡(luò)帶寬利用率達(dá)到91%以上。

2)多存儲節(jié)點系統(tǒng)性能測試。載荷任務(wù)固定為64的情況下，存儲節(jié)點數(shù)目分別設(shè)置為(1/2/4/8)，測試系統(tǒng)的存儲總帶寬。多存儲節(jié)點同時存儲性能測試結(jié)果如圖7所示?？梢钥吹剑谠撔∫?guī)模存儲系統(tǒng)下，隨著存儲節(jié)點數(shù)目增多，對象存儲系統(tǒng)的性能隨著分布式節(jié)點近似線性增加，系統(tǒng)具有良好的橫向擴(kuò)展能力。

圖6 多載荷任務(wù)工況系統(tǒng)存儲帶寬Fig.6 Storage bandw idth ofmulti-task system

圖7 多存儲節(jié)點工況系統(tǒng)存儲帶寬Fig.7 Storage bandw idth of multiple storage nodes system

5 結(jié)論

本文針對空間站空間應(yīng)用場景，設(shè)計了小規(guī)模對象存儲系統(tǒng)，研究了空間數(shù)據(jù)對象格式定義、對象存儲系統(tǒng)架構(gòu)和協(xié)議、系統(tǒng)數(shù)據(jù)備份策略等問題，提出了適應(yīng)場景的設(shè)計方案，并進(jìn)行了系統(tǒng)驗證。驗證結(jié)果表明:在航天專用的嵌入式環(huán)境下，通過對象存儲系統(tǒng)解決資源共享、高速存儲、高可靠、可擴(kuò)展等數(shù)據(jù)存儲系統(tǒng)面臨的難題是一種可行的途徑。