李景文+李國政

關(guān)鍵詞：大數(shù)據(jù)；云計(jì)算；特色數(shù)據(jù)庫；SAP6.0系統(tǒng)

摘 要：文章基于“云計(jì)算”“大數(shù)據(jù)”“互聯(lián)網(wǎng)+”的網(wǎng)絡(luò)大環(huán)境，探討建設(shè)黃河文明文獻(xiàn)資源數(shù)據(jù)庫的現(xiàn)狀和意義，構(gòu)建其建設(shè)方案，選擇其建設(shè)平臺；以跨領(lǐng)域、跨層次、跨類型、跨區(qū)域的資源融合為中心，以學(xué)科服務(wù)和公眾服務(wù)相結(jié)合為著力點(diǎn)，通過數(shù)據(jù)采集、信息挖掘、信息存儲、資源組織等過程，實(shí)現(xiàn)黃河文明文獻(xiàn)資源數(shù)據(jù)庫的高質(zhì)量建設(shè)。

中圖分類號：G250 文獻(xiàn)標(biāo)識碼：A 文章編號：1003-1588（2015）11-0002-03

本文系教育部人文社會(huì)科學(xué)重點(diǎn)研究基地重大項(xiàng)目“黃河文明文獻(xiàn)資源數(shù)據(jù)庫建設(shè)”的階段性研究成果之一，項(xiàng)目編號：13JJD870003。 特色數(shù)據(jù)庫建設(shè)是指高校圖書館利用現(xiàn)代化的互聯(lián)網(wǎng)技術(shù)和信息化手段，以館藏資源為依托，根據(jù)所處的地域優(yōu)勢與讀者特定的需求相結(jié)合，將具有相同特點(diǎn)、種類的海量資源分門歸類，建立具有特色與個(gè)性的數(shù)字化資源體系。河南大學(xué)圖書館課題組2013年申報(bào)并獲批立項(xiàng)的教育部人文社會(huì)科學(xué)重點(diǎn)研究基地重大項(xiàng)目——“黃河文明文獻(xiàn)資源數(shù)據(jù)庫建設(shè)”，即是一項(xiàng)綜合性的特色數(shù)據(jù)庫，它的建設(shè)不僅服務(wù)于河南大學(xué)黃河文明與可持續(xù)發(fā)展及“黃河學(xué)”研究，而且將為建設(shè)華夏歷史文明傳承創(chuàng)新區(qū)提供堅(jiān)實(shí)的文獻(xiàn)基礎(chǔ)和理論依托。

課題組以“實(shí)現(xiàn)中華民族偉大復(fù)興的中國夢”為指導(dǎo)，基于“云計(jì)算”“大數(shù)據(jù)”“互聯(lián)網(wǎng)+”的網(wǎng)絡(luò)大環(huán)境，探討建設(shè)黃河文明文獻(xiàn)資源數(shù)據(jù)庫的現(xiàn)狀和意義，搭建基于海量黃河文明元典文獻(xiàn)和相關(guān)研究文獻(xiàn)的黃河文明文獻(xiàn)資源數(shù)據(jù)庫平臺；根據(jù)黃河文明發(fā)生、發(fā)展、演進(jìn)的歷史意義與文獻(xiàn)價(jià)值，首期建設(shè)“河南方志文獻(xiàn)資源庫”“黃河考古文獻(xiàn)和文明探源文獻(xiàn)資源庫”“黃河流域民俗與非物質(zhì)文化遺產(chǎn)文獻(xiàn)資源庫”三個(gè)子庫；全面梳理黃河文明文獻(xiàn)資源數(shù)據(jù)庫建設(shè)項(xiàng)目的理論脈絡(luò)，廣泛收集相關(guān)文獻(xiàn)著作，優(yōu)化基于黃河文明文獻(xiàn)的SAP6.0平臺性能，建構(gòu)立體型數(shù)據(jù)庫模型。課題組以共建共享為驅(qū)動(dòng)，以跨層次、跨類型、跨時(shí)空、跨區(qū)域的資源融合為中心，以學(xué)科服務(wù)和公眾服務(wù)相結(jié)合為著力點(diǎn)，以數(shù)據(jù)開放為培育點(diǎn)建設(shè)黃河文明文獻(xiàn)資源數(shù)據(jù)庫。

1 黃河文明文獻(xiàn)資源數(shù)據(jù)庫的選題與分類

為了揭示有關(guān)黃河文明數(shù)據(jù)庫建設(shè)的現(xiàn)狀，課題組成員對與黃河有關(guān)的領(lǐng)域進(jìn)行了充分的市場調(diào)研，可查的數(shù)據(jù)庫見表1。

檔案資源數(shù)據(jù)庫 收錄黃河三角洲地區(qū)的民俗、民情及城市建設(shè)等檔案材料

通過表1可以看出，目前已有的關(guān)于黃河的數(shù)據(jù)庫基本上都是用于自然科學(xué)研究與黃河治理的專題數(shù)據(jù)庫，極個(gè)別數(shù)據(jù)庫雖說與黃河文明相關(guān)，但往往局限于某一時(shí)域，缺少文獻(xiàn)信息資源的系統(tǒng)性和完整性，而專門針對黃河文明所建設(shè)的文獻(xiàn)資源數(shù)據(jù)庫尚屬空白。此外，國內(nèi)少數(shù)地方圖書館建立的一些地域文化數(shù)據(jù)庫，如《河洛文化文獻(xiàn)專題數(shù)據(jù)庫》《殷商文化數(shù)據(jù)庫》《敦煌學(xué)數(shù)字圖書館》《二里頭文化數(shù)據(jù)庫》等，在一定程度上涉及黃河文明，但它的地域性、時(shí)段性、專題性就更加明顯。所以，現(xiàn)在迫切需要建設(shè)一個(gè)以黃河文明為主題的綜合性資料庫，為黃河文明研究與可持續(xù)發(fā)展提供更多、更好、更全面的文獻(xiàn)信息資源，在更大范圍內(nèi)實(shí)現(xiàn)文獻(xiàn)資源的共建共享。

1.1 黃河文明文獻(xiàn)資源數(shù)據(jù)庫的選題

黃河文明的形成期大體在公元前4000年至公元前2000年之間，至今已有四五千年的歷史。黃河文明的中心在中原地區(qū)（以今天的河南省為中心），主干在河洛文化圈內(nèi)。所以，黃河文明文獻(xiàn)資源數(shù)據(jù)庫建設(shè)伊始的選題工作顯得非常重要，既要在黃河文明發(fā)展的時(shí)間軸上談古論今，又要在考古挖掘、文獻(xiàn)探尋、朝代更迭、學(xué)術(shù)發(fā)展、社會(huì)民俗、人文景觀、自然風(fēng)光等橫斷面上披沙揀金。鑒于此，課題組最終確定首期黃河文明文獻(xiàn)資源數(shù)據(jù)庫重點(diǎn)建設(shè)“河南方志文獻(xiàn)資源庫”“黃河考古與文明探源文獻(xiàn)資源庫”“黃河民俗及非物質(zhì)文化遺產(chǎn)文獻(xiàn)資源庫”，后期還將建設(shè)“沿黃地區(qū)地方特色文獻(xiàn)資源庫”“黃河勝跡與人文景觀文獻(xiàn)資源庫”“黃河金石與書法藝術(shù)文獻(xiàn)資源庫”“黃河姓氏與人物傳記文獻(xiàn)資源庫”“黃河戲曲與文學(xué)藝術(shù)數(shù)據(jù)庫”“黃河生態(tài)數(shù)據(jù)庫”“黃河經(jīng)濟(jì)數(shù)據(jù)庫”“黃河影音數(shù)據(jù)庫”等。

1.2 黃河文明文獻(xiàn)資源數(shù)據(jù)庫的分類

黃河文明文獻(xiàn)資源數(shù)據(jù)庫要求的數(shù)據(jù)資源類型非常豐富，數(shù)據(jù)格式也復(fù)雜多樣，除去需要遵守Calis、Cadal和國家數(shù)字圖書館資源共享工程的標(biāo)準(zhǔn)體系，選用一套具有普適性高、易拓展、成熟的特色數(shù)據(jù)庫平臺外，數(shù)據(jù)庫如何分類是項(xiàng)目建設(shè)的關(guān)鍵所在。設(shè)計(jì)數(shù)據(jù)庫分類不僅要依據(jù)數(shù)據(jù)對象的特征，還需要囊括所有的數(shù)據(jù)文獻(xiàn)?；谶@種考慮，課題組沒有統(tǒng)一類分，而是根據(jù)各子庫的特點(diǎn)做具體情況的分類構(gòu)建?！昂幽戏街疚墨I(xiàn)資源庫”根據(jù)地方志描述的對象分為區(qū)劃志、非區(qū)劃志和雜志，同時(shí)根據(jù)歷史時(shí)期又分為新志和舊志；“黃河考古與文明探源文獻(xiàn)資源庫”按照考古對象進(jìn)行分類，分為遺物、遺址、遺跡和歷史文化，同時(shí)根據(jù)數(shù)據(jù)對象又分出考古人物和考古學(xué)術(shù)；“黃河民俗及非物質(zhì)文化遺產(chǎn)文獻(xiàn)資源庫”依照《國家非物質(zhì)文化遺產(chǎn)分類辦法》總計(jì)17項(xiàng)進(jìn)行分類，同時(shí)又按照遺產(chǎn)的級別分為世界級、國家級、縣市級、其他。根據(jù)項(xiàng)目需求，“黃河文明文獻(xiàn)資源數(shù)據(jù)庫”將采用中國歷史時(shí)期作為時(shí)間軸、行政區(qū)劃作為地域軸，并根據(jù)每個(gè)數(shù)據(jù)庫數(shù)據(jù)特色進(jìn)行詳細(xì)分類，最終形成由時(shí)間軸、地域軸和特色分類共同組成的三維立體數(shù)據(jù)庫，利用交叉索引和末端聚類技術(shù)，實(shí)現(xiàn)檢索結(jié)果的分類分布、檢索點(diǎn)分布、聚類點(diǎn)分布，一次性呈現(xiàn)檢索結(jié)果，準(zhǔn)確定位文獻(xiàn)位置。

李景文1，李國政2：基于大數(shù)據(jù)環(huán)境的黃河文明文獻(xiàn)資源數(shù)據(jù)庫建設(shè)構(gòu)想*

李景文1，李國政2：基于大數(shù)據(jù)環(huán)境的黃河文明文獻(xiàn)資源數(shù)據(jù)庫建設(shè)構(gòu)想*

2 黃河文明文獻(xiàn)資源數(shù)據(jù)庫的平臺選擇

數(shù)據(jù)庫平臺是黃河文明文獻(xiàn)資源數(shù)據(jù)庫重要的組成部分，數(shù)據(jù)庫平臺的選擇遵循先進(jìn)性與實(shí)用性、可擴(kuò)充與可延展性、開放性與標(biāo)準(zhǔn)化、可靠性與可維護(hù)性、安全性與易用性、經(jīng)濟(jì)性相融合的原則。目前，國內(nèi)專業(yè)的特色數(shù)據(jù)庫建庫平臺有SAP6.0、TPI、TRS、CADAL、麥達(dá)、方正、快威等十余款，經(jīng)過多方考察、比勘、應(yīng)用，課題組選擇了SAP6.0平臺和TPI平臺作為待選平臺。經(jīng)過試操作，尤其考慮到大數(shù)據(jù)環(huán)境下的人機(jī)互動(dòng)、人人互動(dòng)、數(shù)據(jù)互動(dòng)等因素以及操作的便捷性、數(shù)據(jù)的易檢性、功能的開放性，最終確定使用SAP6.0作為黃河文明文獻(xiàn)資源數(shù)據(jù)庫的建設(shè)和發(fā)布平臺。

2.1 SAP6.0特色功能

SAP6.0（SAP6.0數(shù)字資源分布式建設(shè)共享平臺）是一套針對海量數(shù)據(jù)創(chuàng)建、生產(chǎn)、管理、維護(hù)、發(fā)布的綜合性平臺軟件，是國家文化部科技創(chuàng)新項(xiàng)目。SAP6.0平臺的核心是ISP檢索引擎，通過它實(shí)現(xiàn)了數(shù)據(jù)重組、存儲與檢索；獨(dú)立設(shè)計(jì)開發(fā)的倉儲數(shù)據(jù)庫全面優(yōu)化數(shù)據(jù)庫存儲、讀取性能，使其對元數(shù)據(jù)的讀取提升80%；幾乎支持目前所有的文本、圖像、音影格式的數(shù)字化工作；TB級海量數(shù)據(jù)全文檢索毫秒級響應(yīng)速度達(dá)到100%，單次檢索返回?cái)?shù)據(jù)高達(dá)2，000條（百度返回?cái)?shù)據(jù)為1，000條）；平臺支持虛擬VPN跨平臺異構(gòu)數(shù)據(jù)庫檢索功能，可以在同一界面中對多個(gè)異構(gòu)數(shù)據(jù)庫同時(shí)檢索，并同步實(shí)現(xiàn)了檢索結(jié)果的分類分布、檢索點(diǎn)分布、聚類點(diǎn)分布；鏡像授權(quán)與光盤（U盤）授權(quán)工具使用戶可以分別通過網(wǎng)絡(luò)和單機(jī)瀏覽用戶自建數(shù)據(jù)庫；統(tǒng)計(jì)系統(tǒng)可以針對每一個(gè)鏡像數(shù)據(jù)庫、每一條數(shù)據(jù)、每一個(gè)用戶實(shí)施統(tǒng)計(jì)，并自動(dòng)生成圖表信息，及時(shí)了解用戶使用情況；同時(shí)，SAP6.0維護(hù)成本相對低下，無須配置任何系統(tǒng)環(huán)境和安裝第三方數(shù)據(jù)庫，兼容目前所有的64位服務(wù)操作系統(tǒng)，一鍵安裝。

2.2 SAP6.0平臺技術(shù)指標(biāo)

SAP6.0平臺提供中圖分類法、學(xué)科分類法等數(shù)十種跨行業(yè)、多領(lǐng)域的數(shù)據(jù)分類模板；最大支持256個(gè)數(shù)據(jù)庫，實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)跨盤存儲；單庫最大容量254TB；檢索速度1TB/秒；同時(shí)在線檢索支持1，000人以上，提供Json國際通用接口標(biāo)準(zhǔn)，全面支持移動(dòng)端的閱讀使用。

3 基于大數(shù)據(jù)環(huán)境的黃河文明文獻(xiàn)資源數(shù)據(jù)庫建設(shè)

隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，移動(dòng)端應(yīng)用的高速普及，大數(shù)據(jù)的研究已經(jīng)為各行各業(yè)廣泛關(guān)注。大數(shù)據(jù)同時(shí)具備價(jià)值性、多樣性、規(guī)模性和高速性，即大數(shù)據(jù)的4V特性[1]。大數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)復(fù)雜，數(shù)量龐大、分布廣泛[2]，黃河文明文獻(xiàn)資源與大數(shù)據(jù)的數(shù)據(jù)特性有異曲同工之處：大數(shù)據(jù)的服務(wù)是通過對數(shù)據(jù)集的分析來提供服務(wù)，黃河文明文獻(xiàn)資源數(shù)據(jù)庫也是通過各個(gè)數(shù)據(jù)集之間的交換來實(shí)現(xiàn)對用戶的信息化服務(wù)。所以，黃河文明文獻(xiàn)資源數(shù)據(jù)庫的數(shù)據(jù)也同樣具備大數(shù)據(jù)的各種特性。那么，基于大數(shù)據(jù)環(huán)境，黃河文明文獻(xiàn)資源數(shù)據(jù)庫建設(shè)如何實(shí)現(xiàn)數(shù)據(jù)的發(fā)現(xiàn)、數(shù)據(jù)的存儲、數(shù)據(jù)的組織、數(shù)據(jù)的檢索以及搭建基于大數(shù)據(jù)環(huán)境的特色數(shù)據(jù)庫服務(wù)模式成為課題組研究的重要內(nèi)容。

3.1 黃河文明文獻(xiàn)資源數(shù)據(jù)庫的信息挖掘

基于大數(shù)據(jù)環(huán)境的黃河文明文獻(xiàn)資源數(shù)據(jù)庫的信息挖掘工作主要包括三個(gè)方面。

3.1.1 定義目標(biāo)。黃河文明文獻(xiàn)資源庫的資料來源由五個(gè)部分組成：紙質(zhì)資源、數(shù)字資源、電子資源、網(wǎng)絡(luò)資源、用戶資源。黃河文明文獻(xiàn)資源庫建設(shè)應(yīng)注意深挖用戶本身產(chǎn)生的資源與其他資源的潛在關(guān)系，以用戶的需求為導(dǎo)向，提供更好更完善的信息服務(wù)。

3.1.2 定義內(nèi)容。紙質(zhì)資源、數(shù)字資源、電子資源、網(wǎng)絡(luò)資源是數(shù)據(jù)庫的文獻(xiàn)基礎(chǔ)，其表現(xiàn)形式分別是：文本、圖像和影音。而用戶資源則包括用戶需求信息和用戶行為信息，行為信息是指用戶的年齡、職業(yè)、性別、知識結(jié)構(gòu)、發(fā)表的論著等信息，用戶需求信息則需要利用大數(shù)據(jù)挖掘技術(shù)對用戶檢索的痕跡、瀏覽的頁面、分項(xiàng)的評論等信息進(jìn)行發(fā)現(xiàn)和利用。

3.1.3 定義方式。信息資源的發(fā)現(xiàn)主要表現(xiàn)為基于大型倉儲數(shù)據(jù)的發(fā)現(xiàn)，基于大數(shù)據(jù)分析資源的發(fā)現(xiàn)。基于大型倉儲數(shù)據(jù)的發(fā)現(xiàn)，主要通過搭建一個(gè)龐大的數(shù)據(jù)池來實(shí)現(xiàn)，將所有資源的元數(shù)據(jù)匯總在一起，通過大數(shù)據(jù)的技術(shù)實(shí)現(xiàn)知識關(guān)聯(lián)服務(wù)；基于大數(shù)據(jù)分析資源的發(fā)現(xiàn)，則需要擁有一個(gè)龐大的系統(tǒng)詞表和信息記錄機(jī)制，將用戶的檢索記錄、檢索方式、點(diǎn)擊率等信息進(jìn)行堆積、處理、分析，利用大數(shù)據(jù)技術(shù)找出潛在的信息資源。

3.2 黃河文明文獻(xiàn)資源數(shù)據(jù)庫的信息存儲

大數(shù)據(jù)時(shí)代，信息資源的增長呈爆炸性擴(kuò)張，數(shù)據(jù)量也從GB級發(fā)展到TB和PB級別。目前的存儲系統(tǒng)已經(jīng)無法滿足大數(shù)據(jù)的存儲，特別是針對結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析、集成和融合是迫切需要解決的問題。大數(shù)據(jù)時(shí)代下的云計(jì)算和云存儲能很好地解決這一問題。云計(jì)算環(huán)境下不僅它的軟件是信息化，同時(shí)它的硬件也是信息化，硬件資源的動(dòng)態(tài)調(diào)整和擴(kuò)充能很好地解決大數(shù)據(jù)黃河文明文獻(xiàn)資源數(shù)據(jù)庫的信息存儲問題。

3.3 黃河文明文獻(xiàn)資源數(shù)據(jù)庫的資源組織

大數(shù)據(jù)環(huán)境下，數(shù)據(jù)結(jié)構(gòu)分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)[3]。就單一數(shù)據(jù)來說結(jié)構(gòu)化數(shù)據(jù)是最有價(jià)值的，能充分地反映出數(shù)據(jù)對象的各種屬性，但是在利用大數(shù)據(jù)的技術(shù)手段時(shí)，針對半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的整理、分析，更能準(zhǔn)確地反映出用戶的真實(shí)需求，所以，基于大數(shù)據(jù)的黃河文明文獻(xiàn)資源數(shù)據(jù)庫的資源組織就顯得尤為重要。黃河文明文獻(xiàn)資源數(shù)據(jù)庫的數(shù)據(jù)組織不僅要采用傳統(tǒng)的主題法和分類法，同時(shí)還將利用其關(guān)系型數(shù)據(jù)對象分類法所產(chǎn)生的交叉索引進(jìn)行元數(shù)據(jù)資源組織。而針對半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行選擇性搜集，利用科學(xué)方法，經(jīng)過優(yōu)化、加工、歸類后，采用批處理的方法，使數(shù)據(jù)呈現(xiàn)一定規(guī)律。

3.4 基于大數(shù)據(jù)黃河文明文獻(xiàn)資源數(shù)據(jù)庫的資源檢索

黃河文明文獻(xiàn)資源數(shù)據(jù)庫選用的SAP6.0平臺，已經(jīng)具備了大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫資源的檢索功能。用戶可以根據(jù)自己的需求，關(guān)注多種檢索點(diǎn)，選擇對應(yīng)的檢索途徑，實(shí)現(xiàn)全方位的信息檢索。系統(tǒng)還可以依據(jù)用戶查詢時(shí)留下的檢索痕跡進(jìn)行信息追蹤、挖掘和預(yù)測用戶的需求，并能對用戶的需求做出快速的反應(yīng)，主動(dòng)為用戶推送檢索結(jié)果。因?yàn)?，擁有完備、豐富的資源庫，靈活、多樣的分類方法，方便、快捷地利用各種數(shù)據(jù)，是課題組建設(shè)黃河文明資源數(shù)據(jù)庫的初衷。所以，在數(shù)據(jù)庫建設(shè)的頂層設(shè)計(jì)上，課題組就開始考慮對不同的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)對象進(jìn)行收集、整理和歸類，利用智能化的系統(tǒng)詞表、檢索結(jié)果，通過數(shù)據(jù)需求和數(shù)據(jù)價(jià)值進(jìn)行排序，實(shí)時(shí)地優(yōu)化搜索引擎，從而實(shí)現(xiàn)大數(shù)據(jù)環(huán)境下的黃河文明文獻(xiàn)資源數(shù)據(jù)庫的資源檢索服務(wù)。

建設(shè)特色數(shù)據(jù)庫是揭示某一領(lǐng)域、某一地域、某一時(shí)域文獻(xiàn)信息特征的重要表現(xiàn)途徑，其成果既可彰顯資源的價(jià)值，又可使資源最大限度地被利用。但其建設(shè)所涉及的數(shù)據(jù)搜集、數(shù)據(jù)聚合、數(shù)據(jù)分類、數(shù)據(jù)規(guī)范、搜索引擎等是廣泛和復(fù)雜的，特別是在大數(shù)據(jù)時(shí)代，特色數(shù)據(jù)庫建設(shè)對圖書館來說既是機(jī)遇，也是挑戰(zhàn)。只有通過大數(shù)據(jù)、云計(jì)算等現(xiàn)代技術(shù)，認(rèn)真分析不同類型的數(shù)據(jù)，深挖用戶需求，才能最大限度地實(shí)現(xiàn)文獻(xiàn)價(jià)值，確保特色數(shù)據(jù)庫的成功建設(shè)。

參考文獻(xiàn)：

[1] 韓晶.大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D].北京：北京郵電大學(xué)，2013：1-2.

[2] Meng Y，Han J，Song M，et al.A carrier-grade service-oriented file storage architecture for cloud computing[C].Web society（SWS），2011 3rd Symposium on.IEEE，2011：16-20（EI：20120514737769）.

[3] 廖智博.云計(jì)算環(huán)境下的大數(shù)據(jù)分析[J].蘇州大學(xué)學(xué)報(bào)，2014（2）：64-69.

（編校：崔 萌）