徐飛+鄭秋生+高艷霞

摘 要： 目前美國、加拿大和澳大利亞等國的Web Archive（網(wǎng)頁歸檔）技術(shù)和方案比較多，有些也比較成熟，部分已經(jīng)成功應(yīng)用。在我國也有網(wǎng)頁歸檔的應(yīng)用，但對(duì)采用的技術(shù)方案和具體工具的研究很少。結(jié)合國外的網(wǎng)頁歸檔技術(shù)和最新的云存儲(chǔ)技術(shù)，提出了一種適合我國的網(wǎng)頁歸檔和存儲(chǔ)的技術(shù)方案。

關(guān)鍵詞： 網(wǎng)頁歸檔； 云存儲(chǔ)； Web采集； Heritrix

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2017）04-21-05

Abstract： At present， the United States， Canada and Australia possess the technology and scenarios of Web Archive， some of them are good enough to be put into practice. While China also has some application projects， which， however， contains very little about the technical scenarios and specific designing. This paper， based on the latest technology of Web Archive and the latest cloud storage technology， puts forward a new scenario suitable for the Web Archive and the storage technology of China.

Key words： Web archive； cloud storage； Web harvesting； Heritrix

0 引言

隨著計(jì)算機(jī)網(wǎng)絡(luò)的普及，網(wǎng)頁成為信息重要的載體，特別是一些重要的歷史性的網(wǎng)頁信息會(huì)隨著網(wǎng)頁的消失而丟失，這些信息一旦消失就難以找回或復(fù)原，這樣就會(huì)給一些部門和機(jī)構(gòu)造成難以估量的損失。因此，研究如何對(duì)網(wǎng)頁歸檔、存儲(chǔ)并回放就具有重要的社會(huì)意義。目前，美國、加拿大、澳大利亞和瑞典等國家的政府、檔案館和圖書館對(duì)網(wǎng)頁歸檔的研究和實(shí)踐應(yīng)用比較多。國內(nèi)對(duì)Web Archive（網(wǎng)頁歸檔）進(jìn)行研究的項(xiàng)目比較少，主要有：中國國家圖書館網(wǎng)絡(luò)信息資源保存實(shí)驗(yàn)（Web Information Collection and Preservation，WICP）和中國Web信息博物館（可訪問http：//www.infomall.cn）兩個(gè)項(xiàng)目，且中國國家圖書館網(wǎng)絡(luò)資源保存實(shí)驗(yàn)不完全針對(duì)網(wǎng)頁歸檔，其主要研究是對(duì)電子資源的一個(gè)保存歸檔，只有“中國Web信息博物館“是在國家973和985項(xiàng)目支持下由北京大學(xué)計(jì)算機(jī)系網(wǎng)絡(luò)與分布式系統(tǒng)實(shí)驗(yàn)室開發(fā)建設(shè)的中國網(wǎng)頁歷史信息存貯與展示系統(tǒng)[1]，國內(nèi)對(duì)網(wǎng)頁歸檔的研究與應(yīng)用與國外差距比較大。而國內(nèi)Web信息的特殊價(jià)值和作用使得國內(nèi)對(duì)這方面的研究和實(shí)踐日益重視。2014年11月國家檔案局局長(zhǎng)楊冬權(quán)在會(huì)見阿里巴巴集團(tuán)副總裁兼“阿里云”總裁胡曉明及其團(tuán)隊(duì)時(shí)，表示將盡快啟動(dòng)為各級(jí)國家政府網(wǎng)站網(wǎng)頁存檔工作，其中阿里介紹了“阿里云”可以為國家電子檔案歸檔做云存儲(chǔ)方面的一些工作[2]。所以，云存儲(chǔ)對(duì)網(wǎng)頁歸檔有著非常重要的作用。

1 國外的網(wǎng)頁歸檔研究

2012年11月，美國國家數(shù)字信息基礎(chǔ)設(shè)施保存計(jì)劃（NDIIPP）發(fā)布了一份《處于危險(xiǎn)中的科學(xué)：構(gòu)建在線科學(xué)內(nèi)容保存的國家戰(zhàn)略》報(bào)告[3]，明確將在線科學(xué)內(nèi)容保存提升成為美國國家戰(zhàn)略。美國進(jìn)行Web Archive（網(wǎng)頁歸檔）最早的項(xiàng)目之一是IA（Internet Archive，因特網(wǎng)檔案館），這個(gè)項(xiàng)目是由一個(gè)非盈利組織領(lǐng)導(dǎo)建設(shè)的，其長(zhǎng)期存儲(chǔ)并對(duì)公眾免費(fèi)公開，所存儲(chǔ)的資源類型比較多，有網(wǎng)頁、音樂、動(dòng)畫和其他電子資源等。1996年其開始保存網(wǎng)頁資源，2001年對(duì)公眾開放，其開發(fā)了網(wǎng)頁回放器（way back machine）。IA是目前美國最大的網(wǎng)頁歸檔的項(xiàng)目，其在國際互聯(lián)網(wǎng)保存聯(lián)盟（International Internet Preservation Consortium，IIPC）的框架下，與許多政府和圖書館等進(jìn)行緊密的合作。美國IA項(xiàng)目的采集策略是廣泛采集，就是使用采集軟件遍歷URL，但有時(shí)它也對(duì)某些突發(fā)問題進(jìn)行專項(xiàng)采集或廣泛采集和專項(xiàng)采集相結(jié)合的方式進(jìn)行[4]。其采用的采集軟件是Heritrix，該軟件是專門的網(wǎng)頁采集歸檔軟件，其采用JAVA語言開發(fā)，并且是開源的，我們可以從其官網(wǎng)下載（http：//sourceforge.net/projects/

archive-crawler/），它有封包好的程序可以直接使用，也可以根據(jù)需要在源代碼的基礎(chǔ)上二次開發(fā)。英國、加拿大和法國等國家的國家圖書館均采用此軟件來采集網(wǎng)頁。IA對(duì)保存的網(wǎng)頁提供了URL的高級(jí)搜索功能，用戶通過網(wǎng)頁回放器（way back machine）可以把要訪問的URL自動(dòng)將結(jié)果顯示出來[5]。IA在存儲(chǔ)方面與SUN合作，采用了SUN的Modular Datacenter。而加拿大國家圖書館與檔案館于1997年開始建立并采集電子資源，加拿大國家圖書和檔案館（LAC）2005年開始采集加拿大政府網(wǎng)頁的資源。其采集的策略是加拿大域名范圍內(nèi)政府的資源，采集軟件是Heritrix和索引查詢的軟件NUTCHWAX都是開源的，使用WAYBACK軟件組織和重現(xiàn)網(wǎng)頁[6]。瑞典皇家圖書館進(jìn)行的網(wǎng)頁歸檔項(xiàng)目是-Kulturarw3（Cultural Heritage Cubed，文化遺產(chǎn)保存）。該項(xiàng)目從1996年開始，其采用選擇式的采集策略，主要采集。se域名的網(wǎng)頁資源。采集軟件是Heritrix，網(wǎng)頁顯示也使用WAYBACK軟件來實(shí)現(xiàn)[7]。

我們分析這些國家的網(wǎng)頁歸檔項(xiàng)目，可以發(fā)現(xiàn)，大多數(shù)國家的圖書館和檔案館都與國際互聯(lián)網(wǎng)保存聯(lián)盟IIPC進(jìn)行合作。IIPC資助開發(fā)的一些開源的網(wǎng)頁篩選、采集、保存和網(wǎng)頁回放工具，這些工具已經(jīng)在一些國家的圖書館和檔案館廣泛應(yīng)用。

由于國內(nèi)開展的Web Archive項(xiàng)目較少，也沒有技術(shù)文獻(xiàn)和文章對(duì)這些開源工具在Web Archive的設(shè)計(jì)方案和應(yīng)用進(jìn)行介紹，目前只有中國國家圖書館和中國Web信息博物館利用開源工具進(jìn)行了大規(guī)模采集、歸檔和服務(wù)的案例，但依舊有許多環(huán)節(jié)和功能需要研究和擴(kuò)展。國內(nèi)對(duì)Heritrix研究應(yīng)用比較多，主要用于網(wǎng)頁進(jìn)行采集和索引，進(jìn)行輿情的監(jiān)控。但對(duì)網(wǎng)頁歸檔方面的應(yīng)用研究比較少。

2 Web Archive過程及工具

根據(jù)國外的項(xiàng)目所提到的技術(shù)和方案，結(jié)合國內(nèi)實(shí)際和計(jì)算機(jī)最新的技術(shù)，在此提出一種比較實(shí)際的網(wǎng)頁歸檔技術(shù)方案。網(wǎng)頁歸檔方案的設(shè)計(jì)和歸檔的過程相結(jié)合。IIPC根據(jù)開放檔案信息系統(tǒng)（Open Archival Information System，OAIS）參考模型將網(wǎng)頁歸檔的工作劃分為攝取、存儲(chǔ)、訪問與檢索四個(gè)階段[8]。

2.1 網(wǎng)頁攝取

網(wǎng)頁歸檔的第一個(gè)任務(wù)是網(wǎng)頁的攝取，有的文章也叫網(wǎng)頁收集或收割。網(wǎng)頁采集要依據(jù)一定的策略和采集軟件工具進(jìn)行。采集策略分為：選擇性采集、批量采集和混合采集，選擇性采集是選定采集對(duì)象和范圍，以一定的頻率進(jìn)行網(wǎng)頁對(duì)象的采集，目前已采用的選擇標(biāo)準(zhǔn)包括主題或資源類型等。加拿大、日本和澳大利亞圖書館的PANDORA項(xiàng)目均采用這種采集策略。批量采集是沒有指定具體的主題或資源類型，對(duì)全球的一些Web網(wǎng)頁進(jìn)行采集，比較有名的有美國的互聯(lián)網(wǎng)檔案館（Internet Archive，IA）[9]?；旌鲜讲杉峭瑫r(shí)使用幾種采集策略。如美國國會(huì)圖書館的MINERVA項(xiàng)目包含選擇性存檔和全域快照的收集方法；丹麥皇家圖書館采取多管齊下的方法，有三種不同類型的采集方法：對(duì)域名為“.DK”的一年四次的全域收割，對(duì)約80%的網(wǎng)站高質(zhì)量的選擇性收割，和每年兩三個(gè)事件的專題性收割[7]。對(duì)于目前國內(nèi)的情況來說，還是采用混合策略比較好。

確定采集策略后，就需確定采集的工具，分析目前國外的網(wǎng)頁歸檔項(xiàng)目可知，主要采用網(wǎng)頁采集工具Heritrix。Heritrix是一個(gè)開源的軟件，可以根據(jù)實(shí)際的需要在源代碼上進(jìn)行定制性的修改，而且這個(gè)軟件經(jīng)過實(shí)踐證明，是比較好的網(wǎng)頁采集軟件。

2.2 網(wǎng)頁歸檔存儲(chǔ)

存儲(chǔ)是網(wǎng)頁歸檔后的首要任務(wù)，是保證Web Archive后，可以現(xiàn)在和未來訪問和使用的基礎(chǔ)，這里最重要的工作就是討論：歸檔后Web內(nèi)容的存儲(chǔ)格式及長(zhǎng)期保存等問題。

2.2.1 Web Archive后保存格式

Web Archive后如何對(duì)文檔進(jìn)行保存和保存為何種格式，這特別重要。Web Archive中的文件存檔格式有多種，如ARC、WARC、CDX等，IIPC推薦使用WARC。WARC格式于2009年6月被正式批準(zhǔn)成為ISO標(biāo)準(zhǔn)（ISO28500：2009。WARC格式將多樣化的網(wǎng)絡(luò)資源采集結(jié)果連同相關(guān)描述信息一并整合到同一存檔文件中。一個(gè)WARC格式的文件（file）由若干條記錄（record）連接而成。每條記錄以頭標(biāo)區(qū)（record header）開頭，后跟內(nèi)容塊（record content block）[10]。WARC存檔格式規(guī)定了一種將多種數(shù)字資源與其相關(guān)信息（如元數(shù)據(jù)）整合為一個(gè)存檔文件的方法，用以更好支持Web Archive的采集、訪問和信息的交換[11]。

WARC（Web ARChive）格式具有以下特點(diǎn)。

⑴ 軟硬件生態(tài)環(huán)境完善。WARC格式用戶較多，發(fā)展時(shí)間比較長(zhǎng)，多種開源軟件均支持WARC格式標(biāo)準(zhǔn)，且其支持網(wǎng)絡(luò)存檔流程中的采集、元數(shù)據(jù)抽取、索引、格式檢查、內(nèi)容回放和管理等各個(gè)環(huán)節(jié)，這樣軟件的支持使得網(wǎng)頁存檔為WARC比較容易，且保存后簡(jiǎn)單好用。

⑵ 記錄信息量大，保存當(dāng)時(shí)環(huán)境。WARC格式本身就是用于存儲(chǔ)網(wǎng)絡(luò)資源的格式，存儲(chǔ)了大量信息。這些信息主要包括：①網(wǎng)絡(luò)資源保存系統(tǒng)環(huán)境，如爬蟲信息、服務(wù)器信息、協(xié)議控制信息及響應(yīng)信息等相關(guān)內(nèi)容；②網(wǎng)絡(luò)資源相互聯(lián)通的信息，即錨信息和URL；③網(wǎng)絡(luò)資源的元數(shù)據(jù)信息，這些信息記錄了當(dāng)時(shí)的網(wǎng)絡(luò)環(huán)境，這些信息有利于網(wǎng)絡(luò)資源的長(zhǎng)期保存和使用。

⑶ 支持?jǐn)?shù)據(jù)打包和壓縮，便于管理和保存網(wǎng)絡(luò)資源。WARC格式支持壓縮和打包操作，可以將所采集下來的零散的文件進(jìn)行打包壓縮并保存，降低了長(zhǎng)期保存的空間開銷和處理小文件的計(jì)算開銷，便于對(duì)資源進(jìn)行管理。

⑷ 支持大容量資源的保存，WARC格式中的continuation 類型的記錄支持將大容量的網(wǎng)絡(luò)資源進(jìn)行分割以便保存，并且可以控制分割塊的大小，使用靈活方便，且可以應(yīng)用于網(wǎng)絡(luò)資源外的其他類型數(shù)字資源的長(zhǎng)期保存。

⑸ 易于擴(kuò)展，WARC標(biāo)準(zhǔn)預(yù)留了擴(kuò)展的空間，如記錄類型、截?cái)嘣虻?，易于在不破壞現(xiàn)有功能的基礎(chǔ)上進(jìn)行擴(kuò)展。所以，建議網(wǎng)頁歸檔保存為WARC格式。

2.2.2 Web Archive后長(zhǎng)期存儲(chǔ)

目前存儲(chǔ)技術(shù)正從原始的紙張、光盤以及磁介質(zhì)和數(shù)據(jù)存儲(chǔ)中心向云存儲(chǔ)發(fā)展，云存儲(chǔ)是綜合運(yùn)用原有的分布式技術(shù)、集群化技術(shù)、網(wǎng)格化技術(shù)和虛擬化技術(shù)等，將網(wǎng)絡(luò)中的不同的異型存儲(chǔ)設(shè)備通過應(yīng)用軟件管理在一起協(xié)同進(jìn)行工作，來對(duì)外提供高擴(kuò)展性的海量存儲(chǔ)和訪問[12]。云存儲(chǔ)分為公有云、私有云和混合云。①公有云存儲(chǔ)。公有云存儲(chǔ)可以由專業(yè)的公司負(fù)責(zé)，以低成本提供大存儲(chǔ)空間。云服務(wù)商可以為每個(gè)客戶劃分單獨(dú)的存儲(chǔ)空間、每個(gè)客戶的應(yīng)用都是私有的、獨(dú)立的，且公有云存儲(chǔ)也可以根據(jù)需要?jiǎng)澇鲆徊糠执鎯?chǔ)空間，用作私有云存儲(chǔ)。②私有云存儲(chǔ)。私有云存儲(chǔ)時(shí)，圖書館或檔案館自身可以擁有或控制基礎(chǔ)架構(gòu)，并可以針對(duì)不同應(yīng)用進(jìn)行部署。私有云存儲(chǔ)時(shí)可以根據(jù)需要，部署在政府部門、圖書館或檔案館數(shù)據(jù)中心等。私有云進(jìn)行存儲(chǔ)管理時(shí)，可以由圖書館或檔案館的技術(shù)部門負(fù)責(zé)，也可以由專業(yè)的云管理服務(wù)商負(fù)責(zé)。③混合云存儲(chǔ)。就是把公有云和私有云相結(jié)合。按客戶需求進(jìn)行訪問，特別應(yīng)用于需要臨時(shí)配置比較大容量的時(shí)候。這時(shí)可以從公共云上劃出一部分容量配置為私有云[13]。

云存儲(chǔ)結(jié)構(gòu)圖如圖1所示，分析圖1可知，云存儲(chǔ)有一系列的優(yōu)勢(shì)。①靈活方便。對(duì)于比較小的圖書館和檔案館，可以將數(shù)據(jù)的創(chuàng)建與維護(hù)委托給專業(yè)的云服務(wù)提供商，而只需要租用云服務(wù)提供商的服務(wù)即可，用戶不必考慮存儲(chǔ)容量、存儲(chǔ)設(shè)備類型和存儲(chǔ)位置，只需要關(guān)注數(shù)據(jù)的可用性、可靠性和安全性等方面即可。避免了購買硬件設(shè)備及技術(shù)維護(hù)而投入大量的的物力和精力，可以把節(jié)省的資源用于更多專業(yè)的業(yè)務(wù)上來。②高度可靠。目前比較專業(yè)的云存儲(chǔ)設(shè)備和云存儲(chǔ)服務(wù)商具有數(shù)據(jù)快照、數(shù)據(jù)鏡像以及數(shù)據(jù)自動(dòng)同步等技術(shù)，這些技術(shù)保障了云存儲(chǔ)服務(wù)的高可靠性，避免了數(shù)據(jù)丟失。為了確保數(shù)據(jù)的安全可靠，可以利用數(shù)字加密等技術(shù)防止數(shù)據(jù)被篡改和被攻擊，所以，采用云存儲(chǔ)技術(shù)比本地存儲(chǔ)更加安全可靠。③存儲(chǔ)容量大。專業(yè)的云存儲(chǔ)服務(wù)商可以根據(jù)需要隨時(shí)提供大容量存儲(chǔ)服務(wù)器，而一般比較大的企業(yè)或圖書館等云存儲(chǔ)也有幾十、上百的存儲(chǔ)服務(wù)器，這些服務(wù)器提供了海量的存儲(chǔ)空間，而且還可以根據(jù)需要快速方便的增加存儲(chǔ)服務(wù)器，用戶不用擔(dān)心存儲(chǔ)空間不足的問題[14]。④成本較低。圖書館或檔案館可將大部分?jǐn)?shù)據(jù)遷移至云存儲(chǔ)上，所有的運(yùn)行維護(hù)工作均由云存儲(chǔ)服務(wù)提供商來完成。因此，可以將數(shù)據(jù)存儲(chǔ)與管理的成本以及人力成本降到最低，同時(shí)，還能獲得良好的數(shù)據(jù)存儲(chǔ)服務(wù)。⑤量身定制。當(dāng)大量歸檔網(wǎng)頁數(shù)據(jù)出現(xiàn)時(shí)，傳統(tǒng)的存儲(chǔ)模式已不再適應(yīng)大數(shù)據(jù)存儲(chǔ)的需要，私有云即可滿足圖書館和檔案館這種個(gè)性化需求。圖書館或檔案館可以部署一套私有云服務(wù)架構(gòu)，這樣不僅量身定做需求，還能在一定程度上降低安全風(fēng)險(xiǎn)。由于云存儲(chǔ)的這些優(yōu)點(diǎn)特別適合對(duì)網(wǎng)頁歸檔的大數(shù)據(jù)進(jìn)行存儲(chǔ)。所以，對(duì)于一般的檔案館和圖書館可以采用云存儲(chǔ)結(jié)構(gòu)來保存網(wǎng)頁歸檔內(nèi)容。

2.3 網(wǎng)頁訪問

網(wǎng)頁歸檔存儲(chǔ)后的最終目地是網(wǎng)頁以后的使用，即網(wǎng)頁的訪問。為了加快對(duì)歸檔后網(wǎng)頁的訪問速度，需要對(duì)歸檔后的網(wǎng)頁建立索引，實(shí)際就是對(duì)歸檔后的WARC文件進(jìn)行索引。Nutch不單可以對(duì)網(wǎng)絡(luò)資源進(jìn)行采集還可以進(jìn)行回放，最新的Nutchwax是在Nutch基礎(chǔ)上增加了對(duì)WARC文檔進(jìn)行全文索引的功能。但Nutch的主要功能還是類似Heritrix主要功能是對(duì)網(wǎng)頁的采集。對(duì)網(wǎng)頁的索引工作主要有solr完成，Apache Solr是基于Lucene開發(fā)的開源企業(yè)級(jí)搜索平臺(tái)，支持全文索引、分面檢索等功能。將Solr 應(yīng)用于網(wǎng)絡(luò)存檔中的工作仍處在初步實(shí)踐階段，但I(xiàn)A 在2011年發(fā)布的一個(gè)報(bào)告中對(duì)比nutchwax和Solr在網(wǎng)絡(luò)存檔資源索引與檢索中的表現(xiàn)，認(rèn)為Solr 的表現(xiàn)相對(duì)于Nutchwax更加優(yōu)異。所以建議使用solr來進(jìn)行所引[15]。國外常用的回放軟件工具是Wayback Machine。Wayback Machine是由IIPC主導(dǎo)開發(fā)并采用Java語言專門開發(fā)的WARC文檔索引和回放軟件。它支持對(duì)WARC文檔中的URL進(jìn)行索引和回放，并提供可視的檢索界面。

2.4 網(wǎng)頁歸檔綜合管理軟件

網(wǎng)頁歸檔綜合管理軟件集成了采集、管理、索引和發(fā)布等主要流程，便于保存機(jī)構(gòu)快速開展網(wǎng)絡(luò)存檔活動(dòng)。其中較知名的軟件是新西蘭圖書館和英國圖書館合作開發(fā)的Web Curator Tools（WCT）[16]和荷蘭圖書館開發(fā)的NetArchiveSuite。WCT是一款基于Java的開源軟件，主要面向圖書館等非技術(shù)型用戶快速開展網(wǎng)絡(luò)存檔工作。WCT集成了Heritrix爬蟲、支持權(quán)限控制、任務(wù)管理、采集、質(zhì)量檢查以及元數(shù)據(jù)編目等主要的網(wǎng)絡(luò)存檔工作流程。NetArchiveSuite是丹麥皇家圖書館和國家與大學(xué)圖書館聯(lián)合開發(fā)的網(wǎng)絡(luò)存檔軟件平臺(tái)。NAS主要的功能是安排、規(guī)劃網(wǎng)絡(luò)存檔任務(wù)，并對(duì)網(wǎng)絡(luò)資源進(jìn)行長(zhǎng)期保存。NAS集成了Heritrix爬蟲，支持比特保存功能，且支持分布式部署和協(xié)同工作。采集管理平臺(tái)WCT雖然有一系列的特點(diǎn)和優(yōu)勢(shì)，但其也有很多的功能限制，滿足不了實(shí)際工作中的很多需求，建議在WCT的基礎(chǔ)，開發(fā)一個(gè)適合實(shí)際需要的采集綜合管理平臺(tái)[3]。

3 具體網(wǎng)頁歸檔方案設(shè)計(jì)

根據(jù)對(duì)國內(nèi)外網(wǎng)頁歸檔方案的分析和研究，結(jié)合國內(nèi)的情況，設(shè)計(jì)出來一個(gè)適合我國國情并具有應(yīng)用價(jià)值的一個(gè)網(wǎng)頁歸檔方案，如圖2所示。

首先通過網(wǎng)頁綜合管理平臺(tái)設(shè)置采集策略和采集任務(wù)等，調(diào)用網(wǎng)頁采集工具Heritrix進(jìn)行網(wǎng)頁采集，網(wǎng)頁采集后存為WARC格式，保存在云存儲(chǔ)服務(wù)器上，然后采用Wayback Machine和Solr對(duì)網(wǎng)頁進(jìn)行索引，最后通過Wayback對(duì)網(wǎng)頁進(jìn)行檢索和回放。

4 結(jié)束語

國內(nèi)對(duì)網(wǎng)頁歸檔的研究較少，隨著網(wǎng)絡(luò)辦公和網(wǎng)絡(luò)管理的日益頻繁，網(wǎng)頁歸檔是一個(gè)刻不容緩的工作，目前國家檔案局等單位已經(jīng)對(duì)此項(xiàng)工作重視起來，但我們的有關(guān)研究還比較薄弱，希望在此方案基礎(chǔ)上，有更多的研究機(jī)構(gòu)對(duì)此進(jìn)行更多的研究和實(shí)踐。從而為我國的網(wǎng)頁歸檔工作提供一些參考和啟示。

參考文獻(xiàn)（References）：

[1] Toward a National Strategy for Preserving Online Science[EB/OL].[2014-08-05].http：//www.digitalpreservation.gov/meetings/documents/othermeetings/science-at-risk-NDIIPP-report-nov-2012.pdf.

[2] http：//www.zjda.gov.cn/jgzw/zwgk/snxx/201412/20141202_325721.html

[3] 吳振新，張智雄，謝靖，胡吉穎.基于IIPC開源軟件拓展構(gòu)建國際重要科研機(jī)構(gòu)Web存檔系統(tǒng)[J].現(xiàn)代圖書情報(bào)技術(shù)，2015.257（4）：1-9

[4] 王芳，史海燕.國外WebArchive研究與實(shí)踐進(jìn)展[J].中國圖書館學(xué)報(bào)，2013.204（39）：36-45

[5] 王爍.美國網(wǎng)頁歸檔項(xiàng)目-InternetArchive發(fā)展研究[J].蘭臺(tái)世界，2012.17：18-19

[6] 王爍，丁宇.加拿大圖書館網(wǎng)頁歸檔項(xiàng)目研究[J].檔案學(xué)研究，2012（6）：83-85

[7] 王爍，丁宇.瑞典皇家圖書館網(wǎng)頁歸檔項(xiàng)目研究[J].辦公室業(yè)務(wù)，2013，24（23）：111-113

[8] 向菁，吳振新.網(wǎng)絡(luò)信息資源保存發(fā)展現(xiàn)狀及趨勢(shì)分析[J].中國圖書館學(xué)報(bào)，2009.180（2）：34-41

[9] Internet Archive[EB/OL].[2012-06-10].http：//archive.org/.

[10] 李睿，韓毅，郭世明.WARC格式對(duì)描述與組織網(wǎng)絡(luò)收割結(jié)果的支持[J].圖書館理論與實(shí)踐，2010.7：38-41

[11] 曲云鵬.網(wǎng)絡(luò)存檔文件格式WARC研究[J].圖書館學(xué)研究，2014.24（24）：20-28

[12] 王偉.存儲(chǔ)的進(jìn)化：云存儲(chǔ)解決方案[J].通訊世界，2012.12（9）：54-55

[13] 王剛.計(jì)算機(jī)網(wǎng)絡(luò)存儲(chǔ)技術(shù)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2015.24（1）：14-20

[14] 劉思得.基于網(wǎng)絡(luò)的云存儲(chǔ)模式的分析探討[J].科技通報(bào)，2012.28（10）：206-209

[15] 蔡學(xué)鋒.基于Solr的搜索引擎核心技術(shù)研究與應(yīng)用[D].武漢理工大學(xué)碩士論文，2013.

[16] The Web Curator Tool Project [EB/OL]. [2014-08-05].http：//Webcurator.sourceforge.net/.