■席暢

大數據環(huán)境下未來檔案館建設的新構想★

■席暢

本文從大數據這一概念出發(fā)，探究分析未來檔案館的特征與構建，同時對未來檔案館智能化擴展進行展望。

大數據未來檔案館檔案數據集信息檔案數據檔案

大數據技術作為數據科學時代來臨的代表，是人類推動信息技術的深入發(fā)展和廣泛運用的標志性技術。人們已逐漸認清大數據技術必將給人類帶來無限的生機與活力，它隱含的巨大深度價值，對未來科技、經濟發(fā)展乃至上層建筑必將帶來深遠影響。檔案事業(yè)作為國家機器的重要組成部分，發(fā)揮著不可替代的重要作用。各級檔案館信息化建設水平，直接反映著國家機器運轉水平，重視和加強檔案館信息化建設，是全體檔案工作者和科技人員不可推卸的責任。

一、大數據概念解析與未來檔案館應有特征

（一）何為大數據

Gartner研究機構認為：“大數據是指需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產?！卑俣劝倏浦薪忉尨髷祿辉~為“BigData (大數據)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理，并整理成為幫助企業(yè)經營決策更積極目的的資訊?！薄皝嗰R遜網絡服務（AWS）、大數據科學家JohnRauser提到一個簡單定義：“大數據就是任何超過一臺計算機處理能力的龐大數據量?！本S基百科談大數據含義：“大數據是指無法在一定時間內用常規(guī)軟件工具對其內容進行抓取、管理和處理的數據集合?！?/p>

可見，大數據是一個數據類別繁多、數據真實性極強、數據體積巨大，且建立在掌握所有數據基礎上，采用數據挖掘等技術手段，來檢測數據間相互關系的數據集。

（二）未來檔案館的特征

IT界普遍認為，大數據具備Velocity、Volume、Variety、Value（“4V”）特征，應用于未來檔案信息化建設，未來檔案館應具備以下五個特征：

1.高速度：Velocity（高速度）指的是數據產生的速度快、數據處理的速度快兩個方面。傳統(tǒng)數據挖掘技術與大數據處理技術最本質的區(qū)別就是速度的差異。“1秒定律”是數據處理速度方面最為著名的一個定律，即要在一秒內得出結果，若超出時間數據毫無價值而言。對于未來檔案館，在龐大的檔案信息及數據面前，快速檢索、處理、查詢，是提升檔案利用效率、發(fā)揮檔案館作用必備的重要特征。

2.容量大、資源化：隨著互聯網、云存儲、移動云計算等技術的廣泛運用，未來檔案館檔案信息及檔案數據必將形成巨大數據集。大數據技術的出現，能有效解決Volume（數據容量大）問題，并為未來檔案館提供了無限量的數據容量空間，使檔案資源化成為現實。

3.數據類型、格式、來源多樣性（Variety）：“大數據不僅是處理巨量數據的利器，更為處理不同來源、不同格式的多元化數據提供了可能?！睂τ跀祿裕瑪祿念愋蛷碗s多樣，包括關系型數據和非關系型數據兩種，非關系型數據是指搜索引擎、社交論壇、電子郵件、網頁、互聯網日志、文檔等非結構化、半結構化數據。數據格式和來源的多樣性，那些音頻、文本、視頻、圖片等多種數據格式均來自于某組織的內外部運作的諸多環(huán)節(jié)。未來檔案館存儲檔案，與現行檔案館相較，同樣會擴展到檔案類型、格式、來源的多樣性，這也是未來檔案館必備特征之一。

4.檔案歷史記憶真實、可靠、連續(xù)智能：就大數據技術本身而言，它包括諸多先進技術和手段，如大規(guī)模并行處理（MPP）數據庫、分布式文件系統(tǒng)、數據挖掘電網、分布式數據庫、可擴展的存儲系統(tǒng)、云計算平臺、互聯網等，構成一個超大的數據生態(tài)系統(tǒng)。在這個系統(tǒng)中，檔案工作者在獲取和存儲更多真實、連續(xù)、可靠的檔案信息的同時，通過建立相應的專家決策支持系統(tǒng)，可以實現為人類社會發(fā)展提供準確預測和正確決策，使未來檔案館具有智能化特征。

5.具備數據挖掘特征：技術Value（價值密度低）。從未來發(fā)展趨勢來看，檔案來源渠道必將呈現多樣性。在檔案產生過程中，必將面臨著龐大規(guī)模信息，出現Value（價值密度低）現象，Value（價值密度低）。大數據的數據挖掘技術運用于未來檔案信息化平臺，使未來檔案館同樣具備了數據挖掘特征，為未來檔案存儲帶來無限的想像空間。

二、大數據背景下未來檔案館的模式

（一）未來檔案館應是互聯互通、資源共享

發(fā)揮檔案館作用重要條件是達到現有檔案館互聯互通、資源共享。就技術層面來講，現有技術實現完全可以達到這一要求?；ヂ摼W平臺的搭建，使檔案館（室）的互聯成為現實。國家批準、認定和設置的各級檔案館（室），通過互聯網已形成一個龐大的檔案傳輸和利用平臺，這一平臺的形成，為深化檔案館信息化建設、實現資源共享提供了有利條件，這也是大數據技術應用于未來檔案館信息化建設的重要基礎和前提。

（二）未來檔案館應做到資源分級、有效管理

對未來檔案館而言，在各級檔案館內部，應做到資源分級、有效管理，這是大數據技術運用的必備條件。所以，對現有檔案館（室），應做到統(tǒng)一布置、統(tǒng)一要求，對現有檔案要按著規(guī)范，合理分類、分級管理，并按著要求形成規(guī)范的電子文檔，以備傳輸、查詢和利用。

（三）未來檔案館應設置權限、使使用者合理合法使用檔案資源

對于構建未來檔案館而言，檔案信息平臺上的所有檔案館（室），均處在同一層面上，所有檔案資源被視為同一個數據集，只是分布在不同的存儲器（即檔案館）。（圖1）

圖1 檔案信息平臺

對不同檔案館，檔案級別的數量也有所不同（圖2）。

圖2

在檔案信息平臺使用上，不同級別的檔案館（室）的訪問權限是不同的。權限低的，只能訪問同級檔案館的檔案庫和高級別檔案館中部分同級別的檔案分庫；權限高的訪問權限低的檔案館也應遵循訪問權限，進行合理合法訪問，并非全部。（圖3）

圖3 檔案訪問權限示圖

三、未來檔案館的智能化功能

（一）未來檔案館具備為用戶提供預、決策的智能服務功能。

人工智能的運用和專家決策支持系統(tǒng)的建立，使擁有龐大檔案資源的未來檔案館，根據國家和社會的需要，依據檔案資源，實現進行分析、預測和決策，為客戶提供幫助和支持。（圖4）

圖4 分析、預決策流程圖

（二）未來檔案館具備檔案自動生成的功能

大數據技術的應用，使我們得以解放思想、暢想未來。從檔案資源獲取渠道上來看，未來檔案館的高智能，必將打破以往被動獲取等傳統(tǒng)、固定的檔案來源渠道，擴展到一部分檔案是通過社會信息渠道自動篩選生成，這部分檔案必將成為未來檔案館的重要組成部分，并使檔案真正實現資源化，為檔案館預、決策智能化服務提供支持。

對于檔案通過社會信息渠道自動篩選生成問題，我們探究式地引入“信息檔案”和“數據檔案”兩個概念。

1.信息檔案和數據檔案概念的界定

信息檔案，筆者認為它是指在那些經過國家認定的信息范疇中，通過互聯網等現代技術手段和渠道，進行篩選、提取并加以存儲的、對國家和社會具有保存價值的重要信息。

數據檔案，是指對所存信息檔案的各時期、各重要節(jié)點通過現代技術手段跟蹤、分析并加以存儲的、對國家和社會具有保存價值的重要數據結果。數據檔案應具有為國家和社會提供可靠、可信的預測和決策服務功能。

2.信息檔案庫（館）和數據檔案庫（館）的建立

就檔案存儲而言，信息技術的革命，必將使以往的不可能即將變?yōu)楝F實，傳統(tǒng)的檔案存儲模式也必將發(fā)生跨越式變化。由此我們在探究式地引入“信息檔案”和“數據檔案”概念的前提下，提出“信息檔案庫”和“數據檔案庫”的概念，在未來的檔案庫（館），在堅持保留傳統(tǒng)檔案存儲模式的同時，應存在“信息檔案庫（館）”和“數字檔案庫（館）”兩類現代化庫（館）。

所謂信息檔案庫（館），應是存儲那些經過國家認定的信息范疇中，通過互聯網等現代技術手段和渠道，進行篩選、提取并加以有序存儲的一切重要信息。其功能是準確、有序保存歷史記憶，有效提供重要歷史信息，為社會發(fā)展服務。

數據檔案庫（館），應是存儲那些對信息檔案庫所存的信息檔案，通過現代先進技術，進行各時期、各重要節(jié)點跟蹤、分析、預判和決策，并加以存儲的數據結果。在功能上應具有有序保存歷史數據，為國家和社會提供真實、可靠、可信的預測和決策服務功能。

信息檔案庫和數據檔案庫的建立，一方面，使檔案存儲突破了以往單一的被動存儲模式，向主動收集重要信息和數據、并作為檔案長期保存的主動存儲模式邁進，這種被動與主動并存的存儲方式轉變，使檔案存儲得以有序的無限放大。另一方面，從檔案歷史記憶特質上看，未來資源化的信息檔案為“證”，資源化的數據檔案為“據”，這種“證”“據”，與以往相對比，將使檔案歷史記憶變得更加真實可靠，特別是大數據技術使檔案實現主動為人類社會發(fā)展提供可靠預測和分析決策服務，使未來檔案工作前景無限。（圖5）

圖5 信息檔案庫和數據檔案庫使用流程圖

大數據在檔案信息化建設中的具體應用，使未來檔案館實現質的飛躍成為可能。它不僅使檔案存儲資源化，同時使檔案從被動存儲向主動存儲邁進，達到了互聯互通、資源共享，加快了檔案館智能化建設的步伐等。這一切必將對檔案歷史文化傳承、國家政務公開、深化社會服務、乃至智慧城市建設，發(fā)揮其重要作用。

★項目支持：該文系教育部人文社會科學規(guī)劃基金項目“信息文明視閾下檔案文化范式轉型研究”（項目編號：12YJA870015）；國家社科基金項目“信息文化視閾下檔案價值認知轉型研究”（項目編號：13BTQ066）階段性研究成果。

[1]http://www.docin.com/p-799393759.html數據價值鏈：大數據時代漫談

[2]http://www.xue163.com/listt1589/gartner gw/（Gaertner官網）

[3]http://baike.baidu.com/link?url=wkSdaw2 pKxl5WuW08iWO5EJjCmVZlbmu7GV0pGIpF 8p6VysYN0oKCWrqrAPOMiW1tMtwYaLGPSIk wRpGVg_Qka（百度百科）

[4]http://www.i# cn/article/0Z22H12013.html《一個亞馬遜數據科學家關于大數據時代的職業(yè)分析》.

[5]http://wenku.baidu. com/view/f721ed60cf84b9d528ea7a61.html《大數據介紹》

[6]http://datacenter.ctocio.com. cn/369/13069369.shtml《再談大數據的特征,感受數據之大》

作者單位：黑龍江大學信息管理學院