馬　琳

摘 要:電子郵件是高校信息溝通的最主要方式,由于垃圾郵件導(dǎo)致的郵件安全問題,加上保護數(shù)據(jù)完整性的要求,電子郵件的歸檔問題需要得到有效解決,復(fù)旦大學采用了一款軟硬件集成的解決方案做了相關(guān)測試。本文研究了電子郵件歸檔的關(guān)鍵技術(shù),對存在問題和未來趨勢做了分析,提出郵件歸檔技術(shù)在校園網(wǎng)中的應(yīng)用研究是未來的發(fā)展趨勢。

關(guān)鍵詞:電子郵件 郵件歸檔 郵件存儲

中圖分類號:TP309.3文獻標識碼:A 文章編號:1673-8454(2009)19-0077-03

郵件安全問題最初是由企業(yè)財務(wù)問題引發(fā),發(fā)展至今,可對海量郵件數(shù)據(jù)提供完整性保護、有效存儲和實時查詢的郵件歸檔技術(shù)(Mail Archiving)越來越被業(yè)界關(guān)注。[1]在國內(nèi)高校中,電子郵件也是最主要的交流方式,愈演愈烈的垃圾郵件導(dǎo)致的郵件安全問題,以及保護數(shù)據(jù)完整性的要求,使得郵件歸檔與查詢需及時得到解決。

一、郵件歸檔技術(shù)的定義

郵件歸檔技術(shù)是對電子郵件數(shù)據(jù)進行有效的自動歸檔、備份、管理、數(shù)據(jù)保護和長期的訪問與檢索。[2]這種技術(shù)區(qū)別于單純的郵件存儲,不僅對海量數(shù)據(jù)集中管理和在線存儲,還對不被頻繁使用的數(shù)據(jù)進行有效數(shù)據(jù)遷移,使之存于日常備份窗口之外,從而保證高速搜索和數(shù)據(jù)發(fā)現(xiàn),提供用戶隨時訪問,同時引入了數(shù)據(jù)完整性的保護機制進行郵件恢復(fù)。郵件歸檔技術(shù)在保證固定數(shù)據(jù)、避免數(shù)據(jù)丟失的前提下,更著眼于數(shù)據(jù)的檢索與遷移功能。

二、國內(nèi)外進展研究

1.郵件歸檔技術(shù)的發(fā)展歷程

磁帶備份是早期郵件歸檔的雛形,目的僅僅是為了災(zāi)難恢復(fù),但數(shù)據(jù)恢復(fù)起來比較復(fù)雜,檢索成本高。[3]接下來的文件復(fù)制是基于文件而非應(yīng)用層的,也就是將郵件定期復(fù)制到另一臺離線存儲設(shè)備上。這種方式的缺點是存在重復(fù)拷貝,在兩次拷貝期間刪除的文件可能丟失,無法進行數(shù)據(jù)完整性保護。另外經(jīng)濟成本也頗高,一般都要使用NAS 或SAN 方式存儲。簡單歸檔技術(shù),它實現(xiàn)了從數(shù)據(jù)層到應(yīng)用層的跨越。[4]但由于其功能和策略都比較簡單,不能滿足企業(yè)級用戶任意復(fù)雜的策略管理需求。

目前,基于策略驅(qū)動的歸檔技術(shù)是大家關(guān)注的熱點,它是根據(jù)各種法規(guī)的最大并集設(shè)計的,除基礎(chǔ)歸檔功能之外,更強調(diào)內(nèi)容策略管理,支持正則表達式匹配,以及多條件多優(yōu)先級匹配、超強附件內(nèi)容匹配,可實現(xiàn)復(fù)雜邏輯條件的歸檔策略,控制不同類型郵件的處理動作。能夠根據(jù)用戶策略實現(xiàn)清除垃圾郵件、重復(fù)郵件內(nèi)容以及郵件目錄化,減少了郵件歸檔的成本和復(fù)雜度。

2.國內(nèi)外郵件歸檔技術(shù)現(xiàn)狀分析

國外的郵件歸檔技術(shù)起步較早,2004年10月,在電子交易咨詢和市場調(diào)查方面都享譽極高的美國加州Radicati Group公司,發(fā)布的綜合報告 “E-mail Archiving Corporate Survey,2004-2005” 稱,電子郵件歸檔、安全和存儲廠商之間的合并和收購之后,電子郵件歸檔將成為更大的企業(yè)信息安全的一部分。[5]近年來,隨著數(shù)據(jù)庫索引、存儲等技術(shù)的飛速發(fā)展,郵件歸檔技術(shù)有了很大程度的提升。有研究表明,除了防止垃圾和病毒郵件、手機郵件等問題,郵件歸檔已經(jīng)成為企業(yè)級用戶最關(guān)注的郵件問題之一。[6]

Mirapoint 2006年6月嘗試推出業(yè)界第一個電子郵件歸檔解決方案。國際互聯(lián)網(wǎng)數(shù)據(jù)中心(Internet Data Center,IDC)預(yù)測2011年前的年均增長率將為235%。[7]雖說電子郵件歸檔技術(shù)還處于萌芽期,但是很多跡象表明該行業(yè)正迅猛發(fā)展。[8]

隨著主要廠商相繼介入,如EMC、Symantec、CA等,郵件歸檔技術(shù)的可擴展性功能也進一步增強,例如郵件歸檔技術(shù)向E發(fā)現(xiàn)領(lǐng)域的延伸,不再簡單地關(guān)注電子郵件信息,還能夠跟蹤各種信息源,包括日歷文件、數(shù)據(jù)庫、工作表、音頻文件、動畫文件、網(wǎng)站鏈接以及計算機程序代碼等;其次防病毒功能、垃圾郵件過濾和電子郵件歸檔技術(shù)集成也是另一方向上的功能擴展。在國內(nèi),郵件歸檔技術(shù)還處于起步階段,未見有相關(guān)報道。

目前郵件歸檔技術(shù)大致有兩類,一種是純軟件方案,但是這類系統(tǒng)需要外部存儲設(shè)備支持。另一類是一些郵件廠商或反垃圾郵件廠商提供的軟硬件合一的產(chǎn)品,設(shè)備本身具備大容量磁盤,甚至單臺即可達到TB級的存儲空間。單機歸檔郵件數(shù)量可高達2000萬封以上。對于一般中小企業(yè)來說,可滿足1~3年的歸檔需求,不過,如需存儲更長時間的數(shù)據(jù),就要擴容或外接存儲設(shè)備。而前一種采用了專門的存儲設(shè)備,容量的擴充將更加平滑。[2]

三、郵件歸檔系統(tǒng)的應(yīng)用

復(fù)旦大學采用了一款軟硬件集成的解決方案,在校園網(wǎng)上進行了相關(guān)測試,使授權(quán)用戶能快速地找出所需郵件,并將其還原到該郵箱。我們選擇了部分用戶,分別歸檔所有郵件,包括垃圾郵件和正常郵件,以及僅歸檔正常郵件,測試效果理想,解決了相關(guān)郵件安全問題,滿足了實時查找需求。

1.郵件歸檔系統(tǒng)的體系結(jié)構(gòu)

郵件歸檔系統(tǒng)是與郵件服務(wù)器或者郵件網(wǎng)關(guān)服務(wù)器物理并聯(lián)在網(wǎng)絡(luò)中,利用服務(wù)器中的日志(Journaling)功能,將郵件進行自動歸檔。另外還有許多當前流行的安全技術(shù)被集成在郵件歸檔中,例如內(nèi)建的病毒檢測功能和病毒庫規(guī)則庫實時更新技術(shù),可以幫用戶進行病毒和垃圾攔截后再歸檔。

開啟后臺郵件服務(wù)器的日志(Journaling)功能,定制需要進行歸檔的郵件存儲數(shù)據(jù)庫,建立相應(yīng)的Journaling Account或者啟用Push Mode,用以配合將所有發(fā)送和接收的郵件歸檔。在此過程中推薦開啟Envelope Journaling,這樣可以有效地記錄所有郵件通訊過程中的信息。[9]郵件歸檔系統(tǒng)的體系結(jié)構(gòu)如圖1所示。

2.關(guān)鍵技術(shù)研究

(1)郵件存儲機制

電子郵件的歸檔,首要考慮的是海量數(shù)據(jù)存儲,為了更好解決容量問題,需要對郵件內(nèi)容進行壓縮,這有別于普通的ZIP壓縮技術(shù),是根據(jù)內(nèi)容進行的。首先,郵件歸檔技術(shù)采用單一實例存儲,把相同文件內(nèi)容只保留一個副本,當一個附件發(fā)送給多個用戶時,將只保留一份文件,大大地節(jié)約了存儲空間。其次,使用壓縮存儲功能,在存儲前對郵件進行壓縮,進一步降低了消耗,壓縮存儲功能可以節(jié)約近1/3的存儲空間。

再者,郵件歸檔技術(shù)支持郵件從昂貴的事務(wù)級存儲向相對經(jīng)濟的存儲進行數(shù)據(jù)遷移,如轉(zhuǎn)移到低成本的磁帶上,尤其是長期不用的電子郵件信息,節(jié)省出昂貴的磁盤空間。管理員同樣能夠使用存儲鏡像達到數(shù)據(jù)冗余和增加外部存儲空間從而使存儲容量無限擴大。

(2)索引和查詢的機制

郵件歸檔中采用即時索引(Real-time Index)技術(shù),可快速有效地查詢信息。由于大量郵件存儲使得全文檢索索引不僅費時且會影響在線查詢的效能。所以當儲存于數(shù)據(jù)庫中的郵件、數(shù)據(jù)與檔案,有任何數(shù)據(jù)新增、修改、刪除等異動時,不需重建即可在線異動維護全文檢索索引,確保信息搜尋不會有“時間差”,并且易于數(shù)據(jù)維護。

多國語言的查詢支持包括繁體中文、日文、韓文、泰文等復(fù)雜的東亞語種支持,同時在檢索到的郵件顯示中消除了亂碼,甚至可以實現(xiàn)多種語言共同顯示,從而更好地完成在短時間內(nèi)對海量郵件的關(guān)鍵字檢索。支持模糊匹配和多附件查詢,可以按信頭關(guān)鍵字、主題、收件人、發(fā)件人等檢索,還支持各種格式的正文,以及上百種格式的附件,例如Office文檔、PDF、ZIP等格式。

(3)數(shù)據(jù)保護技術(shù)

郵件歸檔中可以用WORM (Write Once Read Many)機制進行固定數(shù)據(jù)。WORM是指一次寫多次讀技術(shù),硬件設(shè)備的控制使存儲介質(zhì)只能寫入一次數(shù)據(jù),不允許修改,從而保證數(shù)據(jù)的真實性和法律效力。

郵件歸檔技術(shù)為所保存的數(shù)據(jù)規(guī)定了嚴格的保存期限,對于那些已經(jīng)設(shè)定的期限,用戶只可以延長,但無法將其縮短。并且,所有處于生命周期中的數(shù)據(jù)都不允許被刪除或修改,用戶和管理員對于存儲服務(wù)器中的郵件只有讀權(quán)限,這樣避免了郵件被誤操作或意外損壞;對于超出生命周期的數(shù)據(jù)可以做到高達35次的數(shù)據(jù)安全擦除。

郵件歸檔技術(shù)支持整個過程的可審計,允許個人用戶擁有審計訪問權(quán)限。用戶只能對其自己的郵件進行訪問和搜索,支持基于職能的權(quán)限系統(tǒng),審計角色可以對所有用戶的操作進行跟蹤和監(jiān)控,確保系統(tǒng)的使用透明和可控。

3.策略討論

對于歸檔策略的選擇,與各個學校反垃圾郵件網(wǎng)關(guān)策略相關(guān)。對于無人值守的反垃圾郵件網(wǎng)關(guān)來說,可以將垃圾郵件和疑似郵件隊列緩存在垃圾郵件服務(wù)器本身,等生存期一過,自動清除隊列,這種策略情況下,就可以僅歸檔投遞到郵件服務(wù)器上的正常郵件,既節(jié)省了郵件服務(wù)器和歸檔服務(wù)器的空間,又為用戶查詢被過濾策略誤判的郵件提供了一定時間的緩沖期,隊列的生存期可以自定義,也和郵件的流量和本地硬盤空間大小相關(guān)。我們曾經(jīng)把隊列生存期定義為兩到三個月,如果用戶在此期間沒有關(guān)于正常郵件的疑問,一般很少會丟信。網(wǎng)關(guān)的有效攔截率在87%~90%。對于那些郵件網(wǎng)關(guān)放行的正常郵件,已經(jīng)投遞到郵件服務(wù)器的,歸檔系統(tǒng)將自動進行數(shù)據(jù)備份、索引以提供需要時的高效訪問。

另一種情況,就是對于疑似郵件的人工分揀,根據(jù)郵件頭的信息人為地去判斷是否是正常郵件,在這種情況下,就可能產(chǎn)生誤操作,尤其是當通信量非常大的時候。針對這種情況,歸檔郵件的策略可相應(yīng)地調(diào)整為歸檔所有郵件,包括垃圾郵件,可以完全避免各種原因包括誤操作造成的郵件丟失情況。

對于郵件內(nèi)容的歸檔策略,如果是正式的應(yīng)用,不妨將那些非活躍數(shù)據(jù),即隨時間關(guān)系訪問量遞減、若干年之前的歷史數(shù)據(jù),通過數(shù)據(jù)遷移的功能,轉(zhuǎn)移到相對廉價的設(shè)備上作為長期歷史數(shù)據(jù)的備份,這種策略相對高校來說還是比較合適的。具體的時間等參數(shù)要根據(jù)各個學校的情況不同具體設(shè)定。

四、前景展望

在國外,郵件的歸檔行為已經(jīng)被大多數(shù)政府、銀行業(yè)、金融證券機構(gòu)所采納,也是國外一些法律部門取證的來源。只是在國內(nèi),用戶意識尚停留在起步階段,隨著信息化校園的深入,電子郵件信息的地位,在教學科研和日常生活中將會有越來越多的提升,郵件歸檔行為也許會被大多數(shù)高校用戶所接受。

雖然郵件歸檔技術(shù)即將成為未來的潮流和趨勢,但是就目前國內(nèi)高校的環(huán)境而言,當前的產(chǎn)品是否適合高校的環(huán)境,還引來許多爭議。現(xiàn)有電子郵件如何做郵件歸檔時的策略選擇,業(yè)界尚無統(tǒng)一標準,其在校園網(wǎng)中的應(yīng)用可能是未來信息安全方面的發(fā)展趨勢。

參考文獻:

[1]劉啟誠.Mirapoint推出業(yè)界第一個郵件歸檔解決方案[J].通信世界,2006(8).

[2]如何進行郵件歸檔.http://www.searchstorage.com.cn/ShowContent_10612.htm

[3]MIRAPOINT專業(yè)郵件歸檔及郵件審計技術(shù)解決方案.http://www.szfederal.com/UploadSoftPic/

[4]黃昆.郵件歸檔的發(fā)展和變遷[J].中國計算機用戶,2006(31).

[5]E-mail Archiving Corporate Survey,2004-2005.http://www.giichinese.com.cn/chinese/rd24134_e-mail_archiving.html

[6]達實.Mirapoint:幫助企業(yè)實現(xiàn)法規(guī)遵從[J].通信世界,2006(8).

[7]存儲新寵:電子郵件歸檔.http://www.5dmail.net/html/2006-5-23/2006523115120.htm

[8]電子郵件歸檔存儲系統(tǒng)的最大失誤.http://it.enorth.com.cn/system/2007/10/09/002115648.shtml

[9]XADM:How to Enable the “Message Journaling”Function for an Exchange Server Mailbox Store.http://support.microsoft.com/kb/261173

(編輯:金冉)