陳 震,劉文潔,張 曉,卜海龍

(西北工業(yè)大學 計算機學院，西安 710129)

基于磁盤和固態(tài)硬盤的混合存儲系統(tǒng)研究綜述

陳 震*,劉文潔,張 曉,卜海龍

(西北工業(yè)大學 計算機學院，西安 710129)

(*通信作者電子郵箱18713211390@163.com)

大數(shù)據(jù)和云計算環(huán)境下海量增長的數(shù)據(jù)對存儲系統(tǒng)的超高容量和體系結(jié)構(gòu)帶來了極大的挑戰(zhàn)。目前存儲系統(tǒng)的發(fā)展趨向于大容量、低成本和高性能，然而任何單一的存儲器件如傳統(tǒng)的機械磁盤(HDD)、固態(tài)硬盤(SSD)、非易失型性隨機存儲器等由于其固有的物理特性的限制，并不能滿足以上的需求。將不同的存儲介質(zhì)混合組合成高效的存儲系統(tǒng)是一個好的解決方法，固態(tài)硬盤作為一種高可靠性、低能耗、高性能的存儲器被越來越廣泛地運用到混合存儲系統(tǒng)。通過將固態(tài)硬盤與傳統(tǒng)磁盤進行組合，利用固態(tài)硬盤的高性能和傳統(tǒng)磁盤低成本大容量的特點, 能夠為用戶提供大容量的存儲空間，保證系統(tǒng)的高性能，同時還能降低成本。通過闡述SSD與HDD混合存儲系統(tǒng)的研究現(xiàn)狀，對不同的SSD與HDD混合存儲系統(tǒng)進行分類總結(jié)；然后針對緩存架構(gòu)和設(shè)備同層架構(gòu)這兩種目前最流行的存儲架構(gòu)中涉及到的關(guān)鍵技術(shù)和不足進行討論；最后對基于SSD和HDD的混合存儲技術(shù)進行概括總結(jié)，并對今后該領(lǐng)域的研究重點和方向進行展望。

固態(tài)硬盤；混合存儲；磁盤；緩存

0 引言

大容量、低成本、高性能的存儲系統(tǒng)設(shè)計一直是存儲領(lǐng)域研究的熱點，隨著大數(shù)據(jù)云存儲時代的到來，數(shù)據(jù)量呈爆炸式的增長對存儲系統(tǒng)提出了更高的要求[1]: 一方面存儲系統(tǒng)既要能夠在低成本前提下實現(xiàn)大容量存儲[2]; 另一方面存儲和計算之間的性能差距不斷擴大[3]，這就需要具有在海量數(shù)據(jù)規(guī)模下與計算性能相匹配的高性能數(shù)據(jù)訪問能力。

然而與之矛盾的是，目前任何一種存儲介質(zhì)所構(gòu)成的存儲系統(tǒng)都不能同時滿足上述的大容量、低成本和高性能等存儲要求, 這主要是由目前的存儲介質(zhì)其固有的物理特性所決定的。本文將容量、成本、順序性能、隨機性能、壽命作為主要指標來觀察不同類型存儲器的性能，如圖1 所示。

從圖1中可以看出目前主流持久存儲介質(zhì)，如固態(tài)硬盤(Solid-State Drives，SSD)、磁盤(Hard Disk Drive，HDD)、非易失性隨機存儲器(Non-Volatile Random Access Memory, NVRAM)在容量、成本、性能、壽命等方面存在的差異， 任何一種單一的存儲介質(zhì)都不能夠覆蓋所有的性能。雖然為內(nèi)存提供緩存或利用磁盤陣列(Redundant Arrays of Independent Disks，RAID)技術(shù)可以在一定程度上使系統(tǒng)性能在各個方面獲得提高，但這種提高是有限的或是有代價的，比如可靠性的損失等。隨著SSD技術(shù)的逐漸成熟與發(fā)展，低成本、性能佳、外形小、耐抗震的SSD[4]與傳統(tǒng)磁盤構(gòu)建成的混合存儲系統(tǒng)收到業(yè)界的追捧,相關(guān)研究逐漸展開。

圖1 幾種存儲介質(zhì)特性差異Fig. 1 Characteristics differences among several storage media

本文將從以下幾個方面展開：首先從混合存儲系統(tǒng)的概念、基于SSD與HDD的混合存儲系統(tǒng)研究現(xiàn)狀進行介紹；接下來以目前主流的基于SSD和HDD的混合存儲系統(tǒng)為例，對其中涉及的關(guān)鍵技術(shù)進行對比分析，重點討論不同的當前主流的設(shè)計方法而不討論實驗平臺、測試集和電路設(shè)計；最后對當前混合存儲系統(tǒng)發(fā)展所存在的問題進行探討，并對今后該領(lǐng)域的研究重點和方向進行展望。

1 混合存儲系統(tǒng)簡介

混合存儲(hybrid storage)是一種數(shù)據(jù)存儲方法[5]，將具有不同特性的存儲設(shè)備進行組合，根據(jù)數(shù)據(jù)訪問特點和系統(tǒng)負載等情況，盡可能將數(shù)據(jù)請求交給最適合處理該請求的設(shè)備，進而提高整個系統(tǒng)的性價比、使用壽命、可靠性、容量等指標。

混合存儲系統(tǒng)存在的原因是由于存取速度與設(shè)備價格成正比。最理想的情況是將所有數(shù)據(jù)都存儲在高速設(shè)備上，但這樣會增加成本?；旌洗鎯ο到y(tǒng)是利用低速設(shè)備大容量的特性將大部分的用戶數(shù)據(jù)都存放在低速設(shè)備上，利用高速設(shè)備的訪問時間短、處理延遲低等特性來接收或者響應數(shù)據(jù)請求。它的主要目標是使存儲的數(shù)據(jù)充分利用不同存儲介質(zhì)的特性，在保證存儲系統(tǒng)容量的同時盡可能地提高性價比?；旌洗鎯λ捎玫慕橘|(zhì)可以是非易失性隨機訪問存儲器(NVRAM)、不同轉(zhuǎn)速的磁盤、SSD、磁帶等。需要說明的是本文主要針對將SSD與HDD進行混合的存儲系統(tǒng)分析。

2 基于HDD和SSD的混合存儲系統(tǒng)研究現(xiàn)狀

SSD作為一種新型存儲介質(zhì)，具有延遲低、體積小、低功耗等諸多優(yōu)點，目前針對SSD的研究在閃存硬件原理[6]、內(nèi)部架構(gòu)[7]、性能[8]等諸多方面都已經(jīng)積累了豐富的研究成果。隨著近年來SSD技術(shù)的日漸成熟，利用SSD良好的性能與傳統(tǒng)磁盤在性能上形成互補，設(shè)計大容量、低成本和高性能的混合存儲系統(tǒng)成為存儲領(lǐng)域當前的熱點和重要方向。許多知名的企業(yè)諸如IBM[9]、NetAPP[10]、EMC[11]等均已經(jīng)生產(chǎn)出了支持SSD的混合存儲產(chǎn)品。目前流行的基于SSD和HDD的混合存儲系統(tǒng)主要分為將SSD作為HDD的緩存的架構(gòu)和將HDD和SSD作為設(shè)備同層架構(gòu)。下文將針對這兩種不同類型的架構(gòu)對其中涉及的關(guān)鍵技術(shù)、應用場景、性能優(yōu)化進行分析。

3 SSD作為磁盤的緩存架構(gòu)

隨著固態(tài)硬盤技術(shù)的迅猛發(fā)展，固態(tài)硬盤因其隨機讀取速度快、功耗低、抗震性好的特點并且容量相較傳統(tǒng)的隨機存取存儲器(Random-Access Memory, RAM)有了不少的提高，因此將固態(tài)硬盤作為磁盤的緩存可以顯著提高存儲系統(tǒng)的訪問性能。其基本原理是將SSD作為磁盤的cache，SSD中存放的數(shù)據(jù)是HDD存放數(shù)據(jù)的子集。其基本架構(gòu)如圖2所示，混合存儲系統(tǒng)的邏輯地址與磁盤中的物理地址是一一對應的，SSD中只是緩存了磁盤中的部分數(shù)據(jù)的拷貝。當有上層訪問請求時，首先會在SSD中進行查找，如果該數(shù)據(jù)在SSD上，則直接返回數(shù)據(jù)；否則再去訪問磁盤。目前國內(nèi)外研究者已經(jīng)對此作了大量的研究, 下面將對這些方法進行詳細的探討。

圖2 SSD作為HDD緩存的存儲構(gòu)架Fig. 2 Storage architecture of using SSD as cache of HDD

文獻[12]提出了一個在Web服務器和客戶端的環(huán)境下使用NAND閃存作為緩存的存儲架構(gòu)，專注降低主存能耗。其主要思想是將閃存作為在磁盤和動態(tài)隨機存取存儲器(Dynamic Random Access Memory,DRAM)之間一個二級的文件緩存，當上層I/O請求到達時，首先去一級緩存DRAM中查找，如果命中則直接返回數(shù)據(jù)，若沒有命中則根據(jù)閃存哈希表判斷該數(shù)據(jù)是否在二級Flash閃存緩存：如果數(shù)據(jù)在二級緩存，則返回數(shù)據(jù)，同時將該數(shù)據(jù)調(diào)進一級緩存；如果沒有在二級緩存命中，則會從Flash緩存中選出一個塊進行替換所缺塊，并同時更新緩存哈希表。相比傳統(tǒng)的僅僅只有DRAM一級的緩存，文獻[12]方法減少了訪問磁盤的次數(shù)，提高了命中率，降低整個主存的能耗以及延遲，從而提高I/O吞吐率，深入分析了在Web應用下讀頻繁操作以及訪問延遲的特點，在不影響網(wǎng)絡(luò)帶寬的前提下降低整個主存的能耗。但是作者并沒有考慮因閃存磨損造成的系統(tǒng)降低的可靠性以及垃圾回收機制[13-15]。

針對這些問題，文獻[16]在前文的研究基礎(chǔ)上同樣提出了一個使用閃存作為HDD的緩存存儲架構(gòu)，如圖3所示(其中PDC(Primary Disk Cache(Page Cache))表示主存緩存、FCHT(FlashCache Hash Table)表示閃存緩存哈希表、FBST(Flash Block Status Table)表示閃存塊狀態(tài)表、FPST(Flash Page Status Table)表示閃存頁狀態(tài)表、FGST(Flash Global Status Table)表示閃存全局狀態(tài)表)。文獻[16]首先深入分析了不能將SSD替代目前磁盤的原因是由于基于閃存的文件系統(tǒng)需要一個專門的軟件層執(zhí)行文件系統(tǒng)原語，而這會導致垃圾回收的負載增加；另一方面如果將SSD整個代替磁盤存儲，頻繁更新的文件系統(tǒng)元數(shù)據(jù)結(jié)構(gòu)將要被存放在緩存DRAM中，這將需要更大空間的DRAM。文獻[16]在文獻[12]的基礎(chǔ)上提出將Flash二級緩存分為讀緩存和寫緩存兩部分，讀緩存基本不受寫前擦除的影響，因此能夠減少因先前擦除帶來的延遲，增加了糾刪碼機制，提高了系統(tǒng)的可靠性。實驗的結(jié)果表明其不僅降低了主存的能耗，還提高了整個系統(tǒng)的性能和可靠性。然而文獻[16]并沒有對數(shù)據(jù)的熱度進行分類，因此這會造成大量的冷數(shù)據(jù)占據(jù)SSD緩存，同時也沒有考慮到Flash緩存的利用率[17]和緩存的命中率[18]。

圖3 閃存作為SDD緩存的存儲構(gòu)架[16]Fig. 3 Storage architecture of using Flash as cache of SSD[16]

目前針對數(shù)據(jù)庫系統(tǒng)中運用SSD作為存儲[19-20]已經(jīng)有大量的研究，文獻[21]提出了一個在數(shù)據(jù)庫系統(tǒng)中使用SSD作為二級緩存的策略，其基本原理是將SSD作為主存一級緩存和磁盤之間的二級緩存，以數(shù)據(jù)塊粒度對數(shù)據(jù)熱度進行判定，提出了一種稱為溫度感知(Temperature-Aware Caching, TAC)的頁面替換策略，TAC追蹤并記錄一個塊中頁的訪問情況作為塊冷熱的判斷依據(jù)。將熱數(shù)據(jù)塊存放在SSD緩存中，將冷數(shù)據(jù)塊存放在磁盤中，文獻[21]深入地分析了以頁為粒度進行對數(shù)據(jù)冷熱程度的劃分的缺點。相較以前的方法首次以數(shù)據(jù)塊粒度對數(shù)據(jù)冷熱進行判斷，使得熱點數(shù)據(jù)的識別更加精準，并由此對數(shù)據(jù)的存放作出更加準確的決定。

文獻[22]首先實現(xiàn)了前文提出的二級緩存框架，并對其作出了改進，其中最主要的改進體現(xiàn)在臟頁替換策略上，文獻[22]提出了三種存在于一級緩存的臟頁處理方法，分別稱為Clean-Write(CW)、Dual-Write(DW)和Lazy-Cleaning(LC)三種寫操作模式。CW模式是當一個臟頁從主存緩存替換出來時僅僅只寫入磁盤；DW模式則是同時將數(shù)據(jù)寫入磁盤和二級緩存,這與TAC模式是相同的；LC模式則是現(xiàn)將數(shù)據(jù)寫入二級緩存，然后在合適的時候?qū)懟卮疟P。文獻[22]與TAC最大的不同體現(xiàn)在兩個方面: 首先當一個命中頁在SSD和緩存中都修改時，TAC不會立馬回收SSD中該頁副本所占的空間，而后者會立馬回收, 因此針對更新密集型的負載，TAC可能會浪費大量的SSD存儲空間; 其次TAC在從磁盤讀取頁后會立馬將該頁寫入SSD中，而這會導致嘗試將頁寫入SSD線程和另外一個事務處理線程的鎖爭用，從而導致獲取鎖的時間提高。文獻[22]在相同的實驗環(huán)境下對比得出針對更新密集型的負載，LC寫操作模式獲得最佳的性能，對于讀密集型負載DW、TAC和LC寫操作模式具有相似的性能。

文獻[23]提出了一個固態(tài)硬盤作為磁盤的兩級存儲架構(gòu)，通過設(shè)置RAM上數(shù)據(jù)dirty和固態(tài)硬盤上的flashdirty標志位來保證多級緩存的數(shù)據(jù)一致性。主要討論了固態(tài)硬盤上的置換算法，比較了近期最少使用算法(Least Recently Used, LRU)和先進先出算法(First Input First Output，F(xiàn)IFO)在固態(tài)硬盤上的優(yōu)劣，指出LRU的棧式管理不能保證數(shù)據(jù)地址的連續(xù)性，會帶來大量的隨機寫，而FIFO可以維持數(shù)據(jù)頁面的連續(xù)性，有利于連續(xù)寫。綜上所述，以固態(tài)硬盤作為磁盤緩存的研究主要是依賴固態(tài)硬盤的高速讀性能來提高存儲系統(tǒng)的訪問速度。這些研究主要都是根據(jù)頁面的訪問熱度或者文件的訪問熱度將其在SSD上進行緩存，必然導致緩存一些價值低的頁面，沒有考慮SSD的磨損。

4 SSD與磁盤設(shè)備同層架構(gòu)

目前將SSD和HDD用作同一級別的存儲設(shè)備更為普遍，其主要原理是將SSD和HDD放在同一存儲架構(gòu)，對其進行統(tǒng)一編址，存儲的總?cè)萘渴荢SD和HDD的容量之和，其存儲架構(gòu)如圖4所示，任何一份數(shù)據(jù)僅僅存儲在SSD和HDD其中之一上。這種存儲模型在數(shù)據(jù)庫、Web應用等系統(tǒng)中運用非常廣泛。

圖4 SSD與HDD設(shè)備同層架構(gòu)Fig. 4 Storage architecture with SSD and HDD at the same layer

文獻[24]首先提出了一個將SSD和HDD作為同級別存儲的在線混合存儲模型，其結(jié)構(gòu)如圖5所示，模型主要聚焦于數(shù)據(jù)庫系統(tǒng)，該模型根據(jù)頁面的工作負載來決定將頁面存放的磁盤類型，并根據(jù)遷移代價來決定是否將頁面在SSD和HDD上進行遷移。具有讀密集型的頁放置在SSD上，而具有寫密集型和頻繁更新的頁則放置在HDD上。因此其充分利用了兩種磁盤各自的優(yōu)勢，相比傳統(tǒng)的存儲模型提升了讀、寫速度，降低了整個I/O開銷。文章提出了一個基于最近的頁面訪問決定頁面放置的算法，并且該算法能夠自適應頁面負載的變化。文章還提出了一個緩沖區(qū)頁面替換算法。每個頁面被放置在閃存讀隊列、閃存寫隊列、磁盤讀隊列、磁盤寫隊列中的一個，并根據(jù)閃存讀隊列、磁盤讀隊列、磁盤寫隊列、磁閃存寫隊列從高到低的優(yōu)先級進行進行頁面的置換。相較傳統(tǒng)的LRU算法提高了I/O性能。文章通過與只有SSD和只有HDD的存儲系統(tǒng)進行比較，性能均比較好。然而在HDD上的隨機寫和連續(xù)寫開銷并沒有被考慮到，且文件內(nèi)部的并行性[25]、芯片的擦除損耗[26]等并沒有考慮在內(nèi)。

圖5 SSD和HDD同層存儲實例[24]Fig. 5 Online hybrid storage model with SSD and HDD at the same layer[24]

文獻[27]在文獻[24]基礎(chǔ)上提出了一種改進的混合存儲模型，其結(jié)構(gòu)如圖6所示，在文獻[24]提到的模型中I/O統(tǒng)計涵蓋了該頁面自生成以來的所有訪問請求，這必然會帶來累積效應，這種累積效應會使得訪問負載變化時不能快速響應。因此文獻[27]引入了一個時間衰減因子，當一個頁面的熱度在冷熱狀態(tài)之間轉(zhuǎn)換或者物理訪問之間的時間間隔過長，那么將會根據(jù)衰減因子降低I/O代價計算的值對頁面分類的影響并重置I/O統(tǒng)計值。這樣就能避免統(tǒng)計的累積效應，對頁面進行更加準確的分類，作出更加準確的判斷。其次，為了能夠得到更加準確的分類頁面，在文獻[24]的基礎(chǔ)上為頁面引入一個處于hot和cold中間的warm狀態(tài)，避免那些偶爾變熱的cold頁面進行遷移，減少了不必要的遷移操作。文獻[27]還將SSD與HDD容量的不同比例組合進行了研究，提出了性價比判別公式，還對HDD與SSD的比例從1∶1、10∶1到 90∶1作了詳細的對比分析，并得出了在不同比例下使用達到最佳性價比的組合。實驗結(jié)果表明，可以實現(xiàn)對數(shù)據(jù)頁更準確的分類， 可以有效地降低頁面遷移代價， 在較少的SSD存儲條件下取得了顯著的性能提升。

圖6 改進的SSD和HDD同層存儲實例[27]Fig. 6 Online hybrid storage model with improved SSD and HDD at the same layer[27]

文獻[28]同樣提出了一種將SSD和HDD作為同級別的混合存儲架構(gòu)模型。首先將SSD分為兩類，一類是低性能的SSD即具有低延遲和低吞吐率，另一類是高性能的SSD具有低延遲和高吞吐率。針對不同類型的SSD給出了兩種完全不同的方法。針對低性能的SSD采用兩種不同的啟發(fā)式優(yōu)化算法：一種是將可執(zhí)行文件和程序放置在SSD上，其余類型的文件則放在HDD上；另一種則是將隨機訪問的文件放置在SSD上而連續(xù)訪問和兼具兩者特點的文件放在HDD上，這是因為低性能SSD具有低吞吐率的特性。針對高性能的SSD則是將頻繁訪問的文件放置在HDD上，其主要原因是高性能SSD與HDD的吞吐率基本沒有差距。其基本原理為以文件為數(shù)據(jù)粒度，根據(jù)文件的訪問熱度來決定將文件放置在SSD或HDD上。然而由于整個文件被放置在SSD或HDD上，因此并沒有充分地考慮到文件內(nèi)部訪問的并行性。

文獻[29]同樣提出了一種將HDD與SSD的混合存儲架構(gòu)，在此基礎(chǔ)上提出了一個文件冷熱管理的算法，也是以文件為數(shù)據(jù)粒度，將訪問頻繁的文件定義為熱文件并存放在SSD上，而訪問頻率低的文件被存儲在HDD上。該系統(tǒng)有一個節(jié)點用于保存相關(guān)文件的信息，hot/cold文件管理系統(tǒng)部分根據(jù)該節(jié)點的信息決定文件存放的位置，文件系統(tǒng)創(chuàng)建一個哈希函數(shù)，哈希函數(shù)也是利用節(jié)點的信息定位文件的位置，并且當系統(tǒng)中的固態(tài)硬盤存儲容量達到其本身容量的80%時，數(shù)據(jù)將會在SSD和HDD上進行遷移。

文獻[30]提出一種以頁為數(shù)據(jù)粒度的HDD和SDD同級別的混合存儲模型，并且假定是在一個SSD容量有限和存儲設(shè)備能夠并行處理請求的情況下。文章主要聚焦頁面分配問題，作者證明了數(shù)據(jù)分配問題是一個NP(Non-deterministic Polynomial)完全問題，并提出了一個近乎最優(yōu)的決定頁面存儲在哪個設(shè)備上的算法。由于是以頁為數(shù)據(jù)粒度，因此文章考慮到了文件內(nèi)部的并行性，其將一個文件內(nèi)部不同的頁面根據(jù)其冷熱程度存放在不同的設(shè)備上實現(xiàn)并行。文獻[30]還提出了一個用于評估存放代價的模型。相較以往的存儲架構(gòu)以更細的頁為數(shù)據(jù)粒度在算法設(shè)計上更加復雜，但卻更加科學,因此在I/O性能上面獲得了很大的提升。

目前大部分的數(shù)據(jù)仍然存儲在磁盤介質(zhì)中來提高事務處理的性能。在發(fā)生故障需要恢復時，有的數(shù)據(jù)庫系統(tǒng)為事務日志、回滾段數(shù)據(jù)和臨時表格配置了分離的存儲空間，當一個事務更新一個數(shù)據(jù)對象時，該事務的日志將被創(chuàng)建并被存儲用以事務恢復。因此這些存儲空間的性能也是數(shù)據(jù)庫中事務處理的一個重要瓶頸，文獻[31]對此提出了一個SSD和HDD混合的離線存儲方案，其基本思想是利用SSD很低的讀寫延遲，將數(shù)據(jù)庫中的事務日志、回滾段數(shù)據(jù)和臨時表格存放在SSD上，從SSD中讀取日志比傳統(tǒng)的從磁盤讀取極大地提高了性能。

5 磁盤作為SSD的緩存架構(gòu)

雖然SSD已具有優(yōu)良的隨機讀性能，然而目前大多數(shù)的中低端的固態(tài)硬盤的隨機寫性能卻低于傳統(tǒng)的磁盤，另外頻繁的寫操作也會給固態(tài)硬盤帶來磨損。因此國內(nèi)外研究者提出使用傳統(tǒng)的磁盤作為SSD的寫緩存。文獻[32]提出將HDD作為SSD的寫緩存，基于以下兩點的觀察：首先許多被更新的塊事實上只是更新了很小的一部分內(nèi)容；其次一旦數(shù)據(jù)被寫入塊中，該塊不會立即被再次讀取?；谝陨蟽牲c，文章提出將SSD上的頁面更新以日志的形式緩存在磁盤上，最后根據(jù)頁面的狀態(tài)如寫操作的閾值等，當達到一定的條件，再將其批量地遷移到SSD上，因此該方法充分利用了傳統(tǒng)磁盤大容量和良好的隨機寫性能以及SSD優(yōu)秀的隨機讀性能，同時降低了SSD的寫操作，減少了SSD的磨損。實驗的結(jié)果也表明，平均的I/O延遲降低了56%。

文獻[33]在前文的基礎(chǔ)上同樣提出了一個將磁盤作為固態(tài)硬盤的寫緩存架構(gòu)，如圖7所示，確保所有的寫操作第一時間發(fā)生在磁盤上，相較文獻[32]提出了一個以頁和塊為數(shù)據(jù)粒度的遷移算法，將頻繁讀的頁面遷移到SSD上以利用SSD良好的讀性能，將寫頻繁的頁存放在HDD上以減少對SSD的磨損。實驗的結(jié)果表明系統(tǒng)降低了整個系統(tǒng)的I/O開銷。

圖7 HDD作為SSD寫緩存實例[33]Fig. 7 Storage architecture of using HDD as write cache of SSD[33]

文獻[34]專注存儲系統(tǒng)的可靠性和高性能，提出了一個嶄新的框架，其系統(tǒng)架構(gòu)如圖8所示，將兩個磁盤組成一個RAID1，并將這個RAID1作為固態(tài)硬盤磁盤陣列RAID4的寫緩存，其中一個HDD作為RAID4的校驗盤，而另外一個HDD則作為RAID4的寫緩存，負責幾乎所有的寫請求，并且還充當了另一個磁盤失效時作為恢復的磁盤。由于HDD作為檢驗盤因此避免了SSD的校驗更新操作。另外，RAID1組成寫緩存又減少了針對SSD的寫操作，同時利用RAID技術(shù)提高了存儲系統(tǒng)的可靠性。

圖8 HPDA架構(gòu)[34]Fig. 8 Architecture of HPDA[34]

使用磁盤作為固態(tài)硬盤的緩存架構(gòu)目前研究相對比較少，主要還是因為固態(tài)硬盤的價格原因，固態(tài)硬盤目前的性價比相對較低，因此還并不能取代傳統(tǒng)的磁盤在存儲系統(tǒng)中作為大容量存儲器。

6 結(jié)語

Flash存儲器的100%半導體兼容技術(shù)使得固態(tài)硬盤的性能和可靠性非常具有競爭力[35]。然而目前SSD還不能完全取代傳統(tǒng)的磁盤，因此結(jié)合傳統(tǒng)的磁盤利用各自性能的優(yōu)勢組合成的高效混合存儲系統(tǒng)是一個很好的選擇。本文分析了目前這類流行混合存儲系統(tǒng)中涉及的關(guān)鍵技術(shù)。然而仍然存在一些有待突破的問題，SSD固有的寫前擦除的特性以及受限制的寫壽命仍然是影響混合存儲系統(tǒng)性能的一個非常關(guān)鍵的因素，雖然對此國內(nèi)外學者提出一些相應的解決方法，但是并沒有獲得很好的突破。其次混合存儲系統(tǒng)中針對數(shù)據(jù)的熱度識別技術(shù)也不夠成熟，雖然在不同的粒度下提出了一系列相應的熱點數(shù)據(jù)識別方法，但對于熱點數(shù)據(jù)的識別仍然不夠精確。這些問題將依舊是今后研究的重點。

另一方面隨著大數(shù)據(jù)、云計算環(huán)境下海量增長的數(shù)據(jù)以及新型存儲器的誕生與發(fā)展，存儲系統(tǒng)迎來了新的挑戰(zhàn)，大量的新型非易失型存儲諸如鐵電存儲器(Ferroelectric RAM，F(xiàn)eRAM)、磁性存儲器(Magnetic RAM，MRAM)、自旋轉(zhuǎn)移力矩存儲器(Spin-Transfer Torque RAM，STT-RAM)、相變存儲器(Phase Change Memory，PCM)、阻變存儲器(ResistIve RAM，RRAM)、賽道存儲器(Domain-Wall Memory，DWM)等[36-37]的出現(xiàn)給未來的混合存儲系統(tǒng)帶來了新的機遇。利用新型存儲器良好的寫性能、固態(tài)硬盤良好的讀性能和傳統(tǒng)磁盤大容量低成本的特性組合成的混合存儲系統(tǒng)可能是未來發(fā)展的方向。利用這些存儲器件各自的性能優(yōu)勢組合成的混合存儲系統(tǒng)將在性能和可靠性方面均有很大提高而成本大幅下降，能夠滿足目前大數(shù)據(jù)、云計算環(huán)境下對存儲系統(tǒng)的需求。

References)

[1] 祝青, 李小勇. 混合存儲綜述[J]. 微型電腦應用, 2013, 29(2): 33-38.(ZHU Q,LI X Y.A review on hybrid storage[J]. Microcomputer Applications, 2013, 29(2): 33-38.)

[2] MEGIDDO N, MODHA D S. ARC: a self-tuning, low overhead replacement cache[C]// Proceedings of the 2nd USENIX Conference on File and Storage Technologies. Berkeley, CA: USENIX Association, 2003: 115-130.

[3] WU X, REDDY A L N. Exploiting concurrency to improve latency and throughput in a hybrid storage system[C]// Proceedings of the 2010 IEEE International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems. Piscataway, NJ: IEEE, 2010: 14-23.

[4] GUPTA A, KIM Y, URGAONKAR B. DFTL: a flash translation layer employing demand-based selective caching of page-level address mappings[J]. ACM Sigplan Notices, 2009, 44(3): 229-240.

[5] LEVY R S. Hybrid storage system: U.S. Patent 8315995[P]. 2012-11-20.

[6] DIRIK C, JACOB B. The performance of PC Solid-State Disks (SSDs) as a function of bandwidth, concurrency, device architecture, and system organization[J]. ACM SIGARCH Computer Architecture News, 2009, 37(3): 279-289.

[7] AGRAWAL N, PRABHAKARAN V, WOBBER T, et al. Design tradeoffs for SSD performance[C]// Proceedings of the 2008 USENIX Annual Technical Conference. Berkeley, CA: USENIX Association, 2008: 57-70.

[8] JIANG S, CHEN F, ZHANG X. CLOCK-Pro: an effective improvement of the CLOCK replacement[C]// Proceedings of the 2005 Annual Conference on USENIX Annual Technical Conference. Berkeley, CA: USENIX Association, 2005: 323-336.

[9] GURUMURTHI S, SIVASUBRAMANIAM A, NATARAJAN V K. Disk drive roadmap from the thermal perspective: a case for dynamic thermal management[J]. ACM SIGARCH Computer Architecture News, 2005, 33(2): 38-49.

[10] LIN L, ZHU Y, YUE J, et al. Hot random off-loading: a hybrid storage system with dynamic data migration[C]// Proceedings of the 2011 IEEE 19th Annual International Symposium on Modelling, Analysis, and Simulation of Computer and Telecommunication Systems. Piscataway, NJ: IEEE, 2011: 318-325.

[11] LALIBERTE B. Automate and optimize a tiered storage environment-FAST![EB/OL].[2016-10-20]. https://wenku.baidu.com/view/1a4d651902768e9951e738af.html.

[12] KGIL T, MUDGE T. FlashCache: a NAND flash memory file cache for low power Web servers[C]// Proceedings of the 2006 International Conference on Compilers, Architecture and Synthesis for Embedded Systems. New York: ACM, 2006: 103-112.

[13] UCHIGAITO H, MIURA S, NITO T. A control scheme for eliminating garbage collection during highspeed analysis of big-graph data stored in NAND flash memory[C]// Proceedings of the 2015 IEEE International Symposium on Circuits and Systems. Piscataway, NJ: IEEE, 2015: 2557-2560.

[14] LIU R S, CHUANG M Y, YANG C L, et al. Improving read performance of NAND flash SSDs by exploiting error locality[J]. IEEE Transactions on Computers, 2016, 65(4): 1090-1102.

[15] SUTARDJA S. Method and apparatus for accessing data stored in a storage system that includes both a final level of cache and a main memory: U.S. Patent 9323688[P]. 2016-04-26.

[16] KGIL T, ROBERTS D, MUDGE T. Improving NAND flash based disk caches[C]// Proceedings of the 35th International Symposium on Computer Architecture. Piscataway, NJ: IEEE, 2008: 327-338.

[17] TAI J, LIU D, YANG Z, et al. Improving flash resource utilization at minimal management cost in virtualized flash-based storage systems[EB/OL].[2016-10-20].http://doi.ieeecomputersociety.org/10.1109/TCC.2015.2424886.

[18] HUANG S, WEI Q, FENG D, et al. Improving flash-based disk cache with lazy adaptive replacement[C]// Proceedings of the 2013 IEEE 29th Symposium on Mass Storage Systems and Technologies. Piscataway, NJ: IEEE, 2016: 1-10.

[19] ATHANASSOULIS M, CHEN S, AILAMAKI A, et al. Online updates on data warehouses via judicious use of solid-state storage[J]. ACM Transactions on Database Systems, 2015, 40(1): Article No. 6.

[20] SADOGHI M, ROSS K A, CANIM M, et al. Exploiting SSDs in operational multiversion databases[J]. The VLDB Journal, 2015,25(5): 651-672.

[21] CANIM M, MIHAILA G A, BHATTACHARJEE B, et al. SSD bufferpool extensions for database systems[J]. Proceedings of the VLDB Endowment, 2010, 3(1/2): 1435-1446.

[22] DO J, ZHANG D, PATEL J M, et al. Turbocharging DBMS buffer pool using SSDs[C]// Proceedings of the 2011 ACM SIGMOD International Conference on Management of Data. New York: ACM, 2011: 1113-1124.

[23] KANG W H, LEE S W, MOON B. Flash-based extended cache for higher throughput and faster recovery[J]. Proceedings of the VLDB Endowment, 2012, 5(11): 1615-1626.

[24] KOLTSIDAS I, VIGLAS S D. Flashing up the storage layer[J]. Proceedings of the VLDB Endowment, 2008, 1(1): 514-525.

[25] CHEN F, HOU B, LEE R.Internal parallelism of flash memory-based solid-state drives[J]. ACM Transactions on Storage, 2016, 12(3): 1-39.

[26] KANZA Y, YAARI H. External sorting on flash storage: reducing cell wearing and increasing efficiency by avoiding intermediate writes[J]. The VLDB Journal, 2016, 25(4): 495-518.

[27] 楊濮源, 金培權(quán), 岳麗華. 一種時間敏感的SSD和HDD高效混合存儲模型[J]. 計算機學報, 2012, 35(11):2294-2305.(YANG P Y,JIN P Q,YUE L H. A time-sensitive and efficient hybrid storage model involving SSD and HDD [J]. Chinese Journal of Computers, 2012, 35(11):2294-2305.)

[28] PAYER H, SANVIDO M A, BANDIC Z Z, et al. Combo drive: optimizing cost and performance in a heterogeneous storage device[EB/OL].[2016-10-20].http://www.cs.uni-salzburg.at/～ck/content/publications/conferences/WISH09-ComboDrive.pdf.

[29] CHEONG S K, JEONG J J, JEONG Y W, et al. Research on the I/O performance advancement of a low speed HDD using DDR-SSD[C]// Proceedings of the 6th International Conference Future Information Technology. Berlin: Springer, 2011: 508-513.

[30] FISHER N, HE Z, MCCARTHY M. A hybrid filesystem for hard disk drives in tandem with flash memory[J]. Computing, 2012, 94(1): 21-68.

[31] LEE S W, MOON B, PARK C, et al. A case for flash memory SSD in enterprise database applications[C]// Proceedings of the 2008 ACM SIGMOD International Conference on Management of Data. New York: ACM, 2008: 1075-1086.

[32] SOUNDARARAJAN G, PRABHAKARAN V, BALAKRISHNAN M, et al. Extending SSD lifetimes with disk-based write caches[C]// Proceedings of the 8th USENIX Conference on File and Storage Technologies. Berkeley, CA: USENIX Association, 2010: 101-114.

[33] YANG P, JIN P, YUE L. Hybrid storage with disk based write cache[C]// Proceedings of the 2011 International Conference on Database Systems for Advanced Applications. Berlin: Springer, 2011: 264-275.

[34] MAO B, JIANG H, WU S, et al. HPDA: A hybrid parity-based disk array for enhanced performance and reliability[J]. ACM Transactions on Storage, 2012, 8(1): 1-12.

[35] HE J, JAGATHEESAN A, GUPTA S, et al. DASH: a recipe for a flash-based data intensive supercomputer[C]// Proceedings of the 2010 ACM/IEEE International Conference for High Performance Computing, Networking, Storage and Analysis. Washington, DC: IEEE Computer Society, 2010: 1-11.

[36] 沈志榮, 薛巍，舒繼武.新型非易失存儲研究[J]. 計算機研究與發(fā)展, 2014, 51(2):445-453.(SHEN Z R, XUE W, SHU J W. Research on new non-volatile storage[J]. Journal of Computer Research and Development, 2014, 51(2):445-453.)

[37] 張鴻斌,范捷,舒繼武,等. 基于相變存儲器的存儲系統(tǒng)與技術(shù)綜述[J]. 計算機研究與發(fā)展, 2014, 51(8):1647-1662.(ZHANG H B, FAN J, SHU J W, et al. Summary of storage system and technology based on phase change memory[J]. Journal of Computer Research and Development, 2014, 51(8):1647-1662.)

This work is partially supported by Science fund for youths (61303037), the National High Technology Research and Development Program (863 Program) of China (2015AA015307), the National Natural Science Foundation of China (61472323), the Fundamental Research Funds for the Central Universities (3102015JSJ0009).

CHEN Zhen，born in 1991， M. S. candidate. His research interests include cloud storage, mass storage.

LIU Wenjie，born in 1976，Ph. D., associate professor. Her research interests include cloud computing, big data processing, massive distributed database.

ZHANG Xiao，born in 1978，Ph. D., associate professor. His research interests include cloud storage, mass storage.

BO Hailong，born in 1989，M. S. candidate. His research interests include cloud storage, mass storage.

Review on HDD-SSD hybrid storage

CHEN Zhen*，LIU Wenjie，ZHANG Xiao，BO Hailong

(SchoolofComputerScience,NorthwesternPolytechnicalUniversity,Xi’anShaanxi710129,China)

The explosion of data in big data environment brings great challenges to the system structure and capacity of storage system. Nowadays, the development of storage systems tends to be large capacity, low-cost, and high performance. Meanwhile, storage devices such as conventional rotated magnetic Hard Disk Drive (HDD), Solid State Drive (SSD) and Non-Volatile Random Access Memory (NVRAM) have limitations caused by their intrinsic characteristics, leading to the fact that a single kind of storage device cannot meet the requirements above. Hybrid storage which utilized different storage medium was a good solution to this problem. SSD, as a kind of memory wiht high reliability, low energy consumption, high performance is more and more widely applied to hybrid storage system. By combining magnetic disk with the solid-state drives, the advantages of the high performance of SSD and the low-cost, high-capacity features of HDD were taken. The hybrid storage could provide users with large capacity of storage space, guarantee the system’s high performance, at the same time reduced the cost. The current research status of the SSD-HDD hybrid storage system was described, different SSD-HDD hybrid storage systems were summarized and classified. In view of two different HDD-SSD hybrid storage architectures, the key technologies and insufficiencies of which were discussed. Prediction of trend and the research focus in the hybrid storage future were discussed at last.

Solid State Drive (SSD); hybrid storage; magnetic disk; cache

2016-07-15;

2016-12-06。 基金項目:國家自然科學基金青年科學基金資助項目(61303037); 國家863計劃項目(2015AA015307)；國家自然科學基金資助項目(61472323)；中央高?；究蒲袠I(yè)務費專項(3102015JSJ0009)。

陳震(1991—)，男，安徽安慶人，碩士研究生，主要研究方向：云存儲、海量存儲； 劉文潔(1976—)，女，陜西西安人，副教授，博士，主要研究方向：云計算、大數(shù)據(jù)處理、海量分布式數(shù)據(jù)庫； 張曉(1978—)，男，陜西西安人，副教授，博士，主要研究方向：云存儲、海量存儲；卜海龍(1989—)，男，陜西韓城人，碩士研究生，主要研究方向：云存儲、海量存儲。

1001-9081(2017)05-1217-06

10.11772/j.issn.1001-9081.2017.05.1217

TP301

A