楊宜禥 禹霽陽 蔣帥 李欣 黃丹

(1 空軍工程大學(xué)防空反導(dǎo)學(xué)院,西安 710051)(2 重慶高新區(qū)飛馬創(chuàng)新研究院,重慶 400050)(3 北京空間飛行器總體設(shè)計部,北京 100094)(4 中國兵器科學(xué)研究院, 北京 100089)

隨著衛(wèi)星平臺、載荷系統(tǒng)的快速發(fā)展，需要進(jìn)行存儲管理的數(shù)據(jù)越來越多，文件系統(tǒng)逐漸呈現(xiàn)出碎片化趨勢。如何在保證高可靠、穩(wěn)定運(yùn)行的狀態(tài)下提升碎片式文件的存儲效率及訪問速率，成為當(dāng)前星載存儲系統(tǒng)設(shè)計過程中面臨的難點[1]。星上數(shù)據(jù)存儲，除遙測遙控數(shù)據(jù)外，部分小載荷數(shù)據(jù)以高頻率的小文件形式保存，地面用戶對過往數(shù)據(jù)的判讀，也是以碎片式訪問居多，因此星載高速碎片式文件存儲訪問系統(tǒng)的設(shè)計具有重要意義[2]。

在以NAND Flash為載體的星上數(shù)據(jù)存儲系統(tǒng)中，對于單個大文件，往往建立鏈表，采用多個Flash不同塊切換存儲，以提高數(shù)據(jù)的并行訪問速度[3]。碎片式文件往往小于一個塊的存儲容量，當(dāng)某一時段大量產(chǎn)生碎片式文件時，對NAND Flash的頻繁訪問會造成數(shù)據(jù)通路的極大負(fù)擔(dān)，同時也會造成星上固態(tài)存儲器壽命的快速降低[4]。針對高速碎片式文件系統(tǒng)，文獻(xiàn)[5]中提出一種全程優(yōu)化的垃圾回收(WPO-GC)方法,在數(shù)據(jù)初始放置、垃圾回收、數(shù)據(jù)遷移上考慮文件的優(yōu)化。文獻(xiàn)[6]中提出一種基于邏輯區(qū)間熱度的垃圾回收算法,構(gòu)造一種新的回收代價函數(shù)選擇回收塊。文獻(xiàn)[7]中使用NAND Flash作為存儲介質(zhì)的存儲設(shè)備，常常需要閃存轉(zhuǎn)換層(FTL)對NAND進(jìn)行管理，采用頁置換法把需求的映射表搬移到靜態(tài)隨機(jī)訪問存儲器(SRAM)中，以減少碎片式文件造成的系統(tǒng)損耗。文獻(xiàn)[8]中采用日志文件的方式，以幾千字節(jié)的ROM及100多字節(jié)RAM的代價實現(xiàn)碎片式文件的高效管理。文獻(xiàn)[9]中采用非易失RAM作為日志信息的記錄載體，既提高了碎片式文件的訪問速度，又提高了安全可靠性。文獻(xiàn)[10]中僅采用多片F(xiàn)lash的并行吞吐，沒有考慮文件系統(tǒng)在存儲過程中大小文件混合造成的速率損耗。以往的文獻(xiàn)主要是以額外的緩存區(qū)建立碎片式文件的日志形式，提高小文件的管理效率及訪問速度，這些碎片式文件的大小在幾百到幾千字節(jié)量級。星上存儲系統(tǒng)碎片式文件往往用于存儲突發(fā)性遙測遙控信息，從幾字節(jié)到幾兆字節(jié)大小不等，這也造成了采用外部RAM建立日志文件或者緩存局部信息的方式不可行，因此需要尋找更加高效的方式管理文件系統(tǒng)。

基于文獻(xiàn)[10]中的研究，針對碎片式文件存儲訪問系統(tǒng)現(xiàn)有的局限性及星上存儲應(yīng)用特點，本文從碎片式文件存儲訪問結(jié)構(gòu)和基于NAND Flash的存儲布局策略出發(fā)，提出了一種星載高速碎片式文件存儲訪問(PFSA)系統(tǒng)。通過對平均寫入性能、大批量碎片式文件寫入性能、文件傳輸性能及塊擦除均衡性能等進(jìn)行測試，驗證了設(shè)計的有效性。

1 PFSA系統(tǒng)存儲訪問結(jié)構(gòu)

本文涉及到的星上文件存儲系統(tǒng)主要是應(yīng)用于衛(wèi)星平臺、接收總線的遙測遙控信息及部分小載荷數(shù)據(jù)，生成需要存儲的數(shù)據(jù)幀，進(jìn)行編解碼后存入NAND Flash。傳統(tǒng)的星上文件系統(tǒng)，為了提高訪問速度采用并行Flash存儲，對于單個Flash內(nèi)部數(shù)據(jù)一般采用循環(huán)存儲的方式，如圖1(a)所示。這種設(shè)計結(jié)構(gòu)簡單，邏輯資源占用少，但在碎片式文件重復(fù)訪問較多時訪問速度較低，難以滿足實際應(yīng)用需求。

PFSA系統(tǒng)針對Flash中的塊操作建立數(shù)據(jù)訪問模型，將不同的碎片式文件盡可能存放在不同的Flash基片上，從而提高并發(fā)數(shù)據(jù)的訪問速度；采用磁電存儲器(MRAM)存儲小于百字節(jié)下的碎片式文件模型，當(dāng)MRAM內(nèi)部數(shù)據(jù)達(dá)到閾值時一次性搬入Flash的固定塊內(nèi)，從而減少碎片式文件的讀寫Flash時間，提高查詢效率。PFSA系統(tǒng)的結(jié)構(gòu)如圖1(b)所示，主要包括星上通信總線、遙控遙測數(shù)據(jù)幀生成、外部SRAM管理、數(shù)據(jù)編碼、NAND Flash并行訪問管理、文件信息管理表和MRAM碎片式文件管理7個模塊。

星上通信總線模塊負(fù)責(zé)接收其他外部設(shè)備的輸入數(shù)據(jù)，同時向外部設(shè)備發(fā)送指令等消息，是PFSA系統(tǒng)數(shù)據(jù)輸入的唯一接口。遙控遙測數(shù)據(jù)幀生成模塊負(fù)責(zé)解析通信總線上的遙測遙控信息，并根據(jù)遙控指令生成需要存儲數(shù)據(jù)幀，同時也負(fù)責(zé)管理文件信息的遙測。外部SRAM管理模塊用于數(shù)據(jù)在內(nèi)部和外部緩存之間的通路管理。數(shù)據(jù)編解碼模塊通過對數(shù)據(jù)幀進(jìn)行編解碼，提高NAND Flash中數(shù)據(jù)訪問的可靠性。NAND Flash并行訪問管理模塊通過并行Flash操作提高訪問速度，同時根據(jù)輸入數(shù)據(jù)屬于不同的文件而分配到獨立的Flash基片。文件信息管理表模塊用于所有文件的文件名、起始信息、鏈接信息管理及創(chuàng)建、廢棄標(biāo)志的管理。MRAM碎片式文件管理模塊用于在MRAM中存儲碎片式文件數(shù)據(jù)，包括文件的創(chuàng)建、修改、刪除、回收等操作。

高性能星上文件存儲系統(tǒng)，受制于在軌硬件資源體積、功耗及可用元器件的約束，難以直接照搬地面應(yīng)用設(shè)計，同時，星上碎片化信息存儲及在軌運(yùn)行的高可靠需求也對設(shè)計提出了更高的要求。下文結(jié)合MRAM與Flash訪問特點，給出Flash布局存儲策略及基于MRAM的碎片式文件管理方法。

圖1 傳統(tǒng)星上文件系統(tǒng)和PFSA系統(tǒng)結(jié)構(gòu)

1.1 基于NAND Flash的存儲布局策略

PFSA系統(tǒng)在存儲碎片式文件時采用事先存儲于MRAM的方式，傳統(tǒng)碎片式文件通過搜索最優(yōu)Flash可選塊位置進(jìn)行存儲，當(dāng)MRAM數(shù)據(jù)達(dá)到一定閾值時，轉(zhuǎn)為普通碎片式文件存入Flash。本文涉及的星上應(yīng)用NAND Flash主要采用單塊128頁、每頁4096 byte，一般有4096塊，因此在存儲過程中最小的存儲單位為4096 byte，小于4096 byte的文件存于MRAM中。圖2給出了3個Flash、每個3塊、每塊4頁的文件存儲過程實例。

假設(shè)需要存儲的文件標(biāo)記為aN={a0,a1,…,aN-1}，其中N為文件占用的頁數(shù)。在存儲過程中，希望在?ai∈Fm,?aj∈Fn,i≠j的條件下，都有m≠n成立。其中：Fm和Fn表示第m個和第n個Flash，這樣所有的文件數(shù)據(jù)都可以并行存儲于不同的Flash。

圖2 基于NAND Flash的存儲結(jié)構(gòu)

(1)

式中：bool(·)表示布爾邏輯操作，為真時輸出1，否則輸出0。

在存儲過程的前后，通過搜索式(1)中的最佳解，可以得到最優(yōu)訪問策略形成文件信息管理表，使訪問的并行度和擦除效率最高。

1.2 基于MRAM的碎片式文件存儲

對于碎片式文件，如果直接寫在Flash中，往往會因為寫入及讀取耗時降低訪問效率，而利用外部SRAM緩存的方式可能丟失重要信息；采用MRAM既能在掉電狀態(tài)下恢復(fù)數(shù)據(jù)，又容易合并不同碎片式文件。如圖3所示，MRAM中主要包含壞塊表、碎片式文件信息表、NAND Flash文件重要信息及碎片式文件存儲區(qū)(PFA)。在PFA中，數(shù)據(jù)的存儲按照先后順序依次進(jìn)行，文件的信息存儲在碎片式文件信息表中。當(dāng)寫入PFA的數(shù)據(jù)量大于1頁時，即可考慮傳輸寫入到Flash中，但同時也要考慮寫入過程編程時間的損耗，因此在實際操作中往往在未達(dá)到1頁數(shù)據(jù)量時即開始寫入到Flash頁中，防止超出數(shù)據(jù)較少而又占用1頁的情況發(fā)生。圖4為MRAM碎片式文件區(qū)域與Flash頁映射關(guān)系。

圖3 MRAM內(nèi)部信息結(jié)構(gòu)

注：x為碎片式文件映射偏移地址，P為現(xiàn)有的文件數(shù)量。

圖4 MRAM碎片式文件區(qū)域與Flash頁映射關(guān)系

Fig.4 Map between MRAM patch files and Flash page

考慮本文涉及的MRAM空間較小，碎片式文件存儲區(qū)文件的存活時間越短越好，而每次頁傳輸數(shù)據(jù)越接近極限越好。定義寫入MRAM中文件大小為fi,i∈[0,P-1]，上限為fmax≤8 Kbyte(最大頁容量)。對PFA劃分子區(qū)域，每個大小為1頁數(shù)據(jù)量(4096 byte)，標(biāo)記每個區(qū)域可用的空間為Aj,j∈[0,M-1]，每個區(qū)域的生命周期標(biāo)記為

(2)

式(2)表示，當(dāng)區(qū)域可用空間為滿時，該區(qū)域已經(jīng)被清空過，其數(shù)據(jù)生存時間清零；否則,區(qū)域的生存時間隨系統(tǒng)單位時間Ttick不斷增加。

(3)

式中：δ為設(shè)定的閾值。

(4)

2 PFSA系統(tǒng)設(shè)計與實現(xiàn)

PFSA的核心思想是通過減少碎片式文件在NAND Flash讀寫過程中的數(shù)據(jù)備份、塊的擦除提高整體性能。取消傳統(tǒng)文件體系在Flash中建立日志文件的方法，直接在MRAM中存取碎片式文件，整頁搬移到Flash中。在軟件設(shè)計過程中，主要包括數(shù)據(jù)組織框架和數(shù)據(jù)訪問操作2個部分。

2.1 數(shù)據(jù)組織框架

文件存儲訪問過程中，主要區(qū)分為碎片式文件和普通文件，碎片式文件存儲在PFA，當(dāng)滿足1頁大小時搬移至Flash，普通文件則直接存入Flash。在PFA中，所有文件的數(shù)據(jù)連續(xù)存放?？紤]空間占用效率，在碎片式文件信息表中只記錄PFA的數(shù)據(jù)大小、文件數(shù)量，文件之間采用鏈表形式連接，不再單獨存儲文件起始信息。存入Flash后對碎片式文件的讀取按照格式解析并獲得數(shù)據(jù)信息，碎片式文件信息表中單頁數(shù)據(jù)的結(jié)構(gòu)體和PFA存儲數(shù)據(jù)結(jié)構(gòu)體如圖5所示。

普通文件的存儲訪問數(shù)據(jù)結(jié)構(gòu)體如圖6所示，主要在MRAM中存放文件的重要信息，包括文件大小、起始/結(jié)束地址、創(chuàng)建/更新時間；文件格式和內(nèi)容與碎片式文件格式不同，不再包含前后文件偏移地址，而是增加文件名信息。

圖5 碎片式文件在Flash及PFA中數(shù)據(jù)結(jié)構(gòu)體

圖6 普通文件存儲訪問數(shù)據(jù)結(jié)構(gòu)體

2.2 數(shù)據(jù)訪問操作

PFSA系統(tǒng)的數(shù)據(jù)訪問操作，主要分為普通文件和碎片式文件2種類型。當(dāng)文件輸入時，首先判斷文件的大小。如果是碎片式文件，則更新碎片式文件信息表，判斷單頁內(nèi)是否有足夠空間進(jìn)行存儲，足夠時數(shù)據(jù)存入PFA，否則，當(dāng)前PFA數(shù)據(jù)搬移至NAND Flash，搜索現(xiàn)存存活時間最長區(qū)域并把MRAM數(shù)據(jù)搬移至該區(qū)域；如果是普通文件的寫入，更新Flash的文件重要信息，搜索當(dāng)前最佳文件存儲位置，在搜索成功時文件數(shù)據(jù)搬移至Flash，否則，給出失效警報。圖7為寫入文件數(shù)據(jù)的處理流程。PFSA系統(tǒng)讀取文件數(shù)據(jù)時，首先判斷文件大小。對于碎片式文件，解析文件信息表，如果尚未存入NAND Flash，則讀取MRAM中的相應(yīng)區(qū)域數(shù)據(jù)，否則認(rèn)為已經(jīng)存入NAND Flash，按照普通文件對待；如果讀取的是普通文件，先解析Flash文件重要信息，搜索當(dāng)前讀取文件存儲位置，搜索成功則把文件數(shù)據(jù)由Flash讀出，否則給出失效警報。圖8為讀取文件數(shù)據(jù)的處理流程。

圖8 讀取文件數(shù)據(jù)的處理流程

3 仿真試驗

為了檢驗PFSA系統(tǒng)的實際效果，在實驗室環(huán)境下進(jìn)行大量仿真試驗，主要是驗證和分析文件系統(tǒng)的存儲布局策略及碎片式文件的傳輸效果。試驗環(huán)境采用Xilinx公司的XC2V3000 FPGA，5片3D-Plus公司的NAND Flash 3DFN32G08VS4704，以及1片MRAM MR4A08B，F(xiàn)PGA時鐘執(zhí)行在50 MHz。測試客戶機(jī)通過外接口總線模擬實時發(fā)送碎片式文件數(shù)據(jù)給板卡(見圖9)，同時板卡根據(jù)接收到的指令回放指定的文件，測試客戶機(jī)根據(jù)文件系統(tǒng)的返回遙測計算得到平均寫入性能、大批量碎片式文件寫入性能、文件傳輸性能及塊擦除均衡性能。

圖9 星載文件系統(tǒng)板卡結(jié)構(gòu)

3.1 文件平均寫入性能測試

板卡中5片NAND Flash的接口訪問極限性能達(dá)到1 Gbit/s，在實際應(yīng)用中考慮到寫入編程時間及文件管理時間開銷，極限速度約在0.8 Gbit/s。在測試過程中，測試客戶機(jī)向板卡持續(xù)發(fā)送文件數(shù)據(jù)，文件大小從幾字節(jié)到幾百兆字節(jié)隨機(jī)分布，文件間隔時間為毫秒量級，發(fā)送速率從10 Mbit/s到1 Gbit/s掃描，根據(jù)板卡返回的文件遙測信息測算平均寫入性能。如圖10所示，相比于文獻(xiàn)[10]，PFSA系統(tǒng)平均寫入速率隨著發(fā)送速率的增加而增加，最終達(dá)到680 Mbit/s。

圖10 文件平均寫入速率

3.2 大批量碎片式文件寫入性能測試

在測試過程中，測試客戶機(jī)向板卡持續(xù)發(fā)送碎片式文件數(shù)據(jù)，文件大小從幾字節(jié)到1024 byte隨機(jī)分布，文件間隔為微秒量級，發(fā)送速率從10 Mbit/s到1 Gbit/s掃描，根據(jù)板卡返回的文件遙測信息測算碎片式文件平均寫入性能。如圖11所示，相比于文獻(xiàn)[10]，PFSA系統(tǒng)寫入速率隨著發(fā)送速率的增加而增加，最終達(dá)到650 Mbit/s。

圖11 大批量碎片式文件寫入速率

3.3 文件傳輸性能測試

在測試過程中，測試客戶機(jī)向板卡持續(xù)發(fā)送碎片式文件數(shù)據(jù)，文件大小從幾字節(jié)到幾百兆字節(jié)隨機(jī)分布，文件間隔為毫秒量級，同時通過總線接收板卡回傳的已存儲文件，發(fā)送和接收速率從10 Mbit/s到1 Gbit/s掃描，根據(jù)板卡返回的文件傳輸延時遙測信息測算平均傳輸性能。如圖12所示，當(dāng)發(fā)送速率大于300 Mbit/s時，PFSA系統(tǒng)文件傳輸延遲達(dá)到毫秒級，文獻(xiàn)[10]中文件傳輸延遲平均在20 ms以上。

圖12 文件傳輸延遲測試

3.4 塊擦除均衡性能測試

在測試過程中，全程發(fā)送速率為200 Mbit/s，當(dāng)存滿之后自動擦除存活時間最久的文件，F(xiàn)PGA自動記錄每塊擦除次數(shù)，測試客戶機(jī)對塊擦除遙測進(jìn)行方差統(tǒng)計。如圖13所示，文獻(xiàn)[10]塊擦除方差在10以上，PFSA系統(tǒng)塊擦除方差基本在1以下，表明PFSA系統(tǒng)能有效均衡塊之間擦除操作次數(shù)差異，提高Flash工作壽命。

圖13 塊擦除均衡性能測試

綜上所述，PFSA系統(tǒng)的文件寫入速率相比于以往設(shè)計提高了2倍以上，傳輸延遲降低了80%，存儲芯片塊擦除方差均衡度平均提高了9倍，能有效降低突發(fā)信息文件存儲延遲，在提高訪問效率的同時增加設(shè)備在軌工作壽命。

4 結(jié)束語

傳統(tǒng)星上文件系統(tǒng)在碎片式文件輸入較多時效率較低，無法適應(yīng)星上碎片式文件的實時存儲。本文從碎片式文件存儲訪問結(jié)構(gòu)和基于NAND Flash的存儲布局策略出發(fā)，提出了PFSA系統(tǒng)。針對Flash中的塊操作建立數(shù)據(jù)訪問模型，將不同的碎片式文件盡可能存放在不同的Flash基片上，從而提高并發(fā)數(shù)據(jù)的訪問速度。采用MRAM存儲幾百字節(jié)的碎片式文件，當(dāng)MRAM內(nèi)部數(shù)據(jù)達(dá)到閾值時一次性搬入Flash的固定塊內(nèi)，從而減少碎片式文件的讀寫Flash時間，提高查詢效率。測試客戶機(jī)根據(jù)文件系統(tǒng)的返回遙測計算得到平均寫入性能、大批量碎片式文件寫入性能、文件傳輸性能及塊擦除均衡性能，通過與以往設(shè)計比較，PFSA系統(tǒng)能有效提升碎片式文件的存儲訪問速度，提高NAND Flash在軌使用壽命。