近年來,隨著國家和社會信息化發(fā)展的不斷加速,對信息存儲提出了越來越高的要求.一方面,大數(shù)據(jù)時代,數(shù)據(jù)存儲的規(guī)模和處理需求越來越高,亟需新型存儲系統(tǒng)和技術(shù)以提供更高的性能和更好的可擴(kuò)展性.另一方面,由于各種人工智能系統(tǒng)及相關(guān)技術(shù)的出現(xiàn),現(xiàn)有的存儲技術(shù)和系統(tǒng)難以滿足上層系統(tǒng)和技術(shù)的需求.因此,存儲系統(tǒng)結(jié)構(gòu)技術(shù)研究面臨諸多新的機(jī)遇和挑戰(zhàn).
基于上述背景,為促進(jìn)存儲領(lǐng)域技術(shù)交流,《計(jì)算機(jī)研究與發(fā)展》推出了本期“大數(shù)據(jù)與智能存儲系統(tǒng)前沿技術(shù)”專題.本期專題收錄了8篇論文,分別展示了新型存儲優(yōu)化和大數(shù)據(jù)存儲等存儲領(lǐng)域研究熱點(diǎn)的研究現(xiàn)狀和最新研究成果,希望能為從事相關(guān)工作的讀者提供借鑒和幫助.
張銘等作者的論文“面向非易失內(nèi)存寫優(yōu)化的重計(jì)算方法”深入分析了非易失存儲技術(shù)的優(yōu)缺點(diǎn),并針對其擦寫次數(shù)有限以及寫操作延遲高等缺點(diǎn),研究提出了基于結(jié)點(diǎn)出度的重計(jì)算方法ROD,利用計(jì)算換存儲的方式減少寫NVM 的次數(shù),以實(shí)現(xiàn)性能提升.
蔡濤等作者的論文“基于沖突檢測的高吞吐NVM存儲系統(tǒng)”深入分析了目前影響NVM存儲系統(tǒng)性能的主要因素,將存儲系統(tǒng)訪問請求的管理嵌入到存儲設(shè)備中,利用NVM 存儲設(shè)備自主管理訪問請求,使用基于沖突檢測的方法代替基于文件系統(tǒng)的現(xiàn)有鎖機(jī)制,通過提高操作系統(tǒng)執(zhí)行訪問請求的并發(fā)度,緩解設(shè)備接口帶來的瓶頸問題,從而實(shí)現(xiàn)高吞吐的NVM 存儲系統(tǒng).
何柯文等作者的論文“新型存儲設(shè)備上重復(fù)數(shù)據(jù)刪除指紋查找優(yōu)化”深入研究了重復(fù)數(shù)據(jù)刪除系統(tǒng)的指紋查找問題,針對新型存儲設(shè)備(固態(tài)硬盤和持久性內(nèi)存)的特點(diǎn),給出了指紋查找的優(yōu)化設(shè)計(jì).
陳游旻等作者的論文“一種持久性內(nèi)存文件系統(tǒng)數(shù)據(jù)頁的混合管理機(jī)制”針對持久性內(nèi)存的特點(diǎn),提出了一種文件系統(tǒng)數(shù)據(jù)頁的混合管理機(jī)制,通過選擇性使用寫時復(fù)制機(jī)制和日志結(jié)構(gòu)管理文件數(shù)據(jù),以充分發(fā)揮持久性內(nèi)存字節(jié)可尋址特性,避免傳統(tǒng)單一模式在非對齊寫或者小寫造成的寫放大問題.
包涵等作者的論文“基于生成矩陣變換的跨數(shù)據(jù)中心糾刪碼寫入方法”深入分析了數(shù)據(jù)中心容災(zāi)的現(xiàn)實(shí)需求和糾刪碼存儲的技術(shù)特點(diǎn),針對跨數(shù)據(jù)中心的糾刪碼寫入效率問題,研究提出了一種基于生成矩陣變換的跨數(shù)據(jù)中心糾刪碼寫入方法,有效兼顧糾刪碼的編碼效率和傳輸效率,從而提升跨數(shù)據(jù)中心的糾刪碼寫入速度.
楊洪章等作者的論文“基于‘采集-預(yù)測-遷移-反饋’機(jī)制的主動容錯技術(shù)”針對數(shù)據(jù)中心頻繁出現(xiàn)的硬盤故障問題,采用預(yù)測硬盤故障、提前遷移數(shù)據(jù)的思想,設(shè)計(jì)了“采集-預(yù)測-遷移-反饋”全流程主動容錯機(jī)制,主動避免硬盤故障對數(shù)據(jù)中心系統(tǒng)性能的影響.
申毅杰等作者的論文“基于收益模型的Spark SQL數(shù)據(jù)重用機(jī)制”關(guān)注大數(shù)據(jù)分析中的重復(fù)計(jì)算問題,研究提出了基于收益模型的、細(xì)粒度的自動數(shù)據(jù)重用機(jī)制,以提高查詢效率和緩存空間的利用率,充分發(fā)揮數(shù)據(jù)重用的優(yōu)勢.
趙慧慧等作者的論文“基于地理空間大數(shù)據(jù)的高效索引與檢索算法”深入研究了地理空間大數(shù)據(jù)的特點(diǎn),針對高效檢索的現(xiàn)實(shí)需求,提出了一種對二維地理空間信息數(shù)據(jù)進(jìn)行多層切片遞歸的空間索引樹構(gòu)造算法,為數(shù)據(jù)查詢提供有效支撐.
本專題所錄用的8篇論文中,4篇論文重點(diǎn)關(guān)注如何利用新型存儲設(shè)備的特點(diǎn)優(yōu)化提升存儲系統(tǒng)的性能,另外4篇論文重點(diǎn)關(guān)注基于數(shù)據(jù)中心的大數(shù)據(jù)存儲系統(tǒng)的可靠性和可用性問題.既關(guān)注前沿?zé)狳c(diǎn),又關(guān)注實(shí)用系統(tǒng).由于稿源豐富和專題篇幅有限等原因,本專題無法全面覆蓋存儲領(lǐng)域各方面的最新研究進(jìn)展,不當(dāng)之處請同行學(xué)者批評指正!感謝各位作者、審稿專家和編輯部的全力支持和辛勤付出!