鮑旭華，曲曉東，鄭新華

1. 360企業(yè)安全集團，北京 100015；

2. 大數(shù)據(jù)協(xié)同安全技術國家工程實驗室，北京 100015

1 引言

大數(shù)據(jù)是一場革命，它將改變人們的生活、工作和思維方式。我國高度重視大數(shù)據(jù)的戰(zhàn)略意義和社會意義，國務院于2015年出臺《促進大數(shù)據(jù)發(fā)展行動綱要》，并將“實施國家大數(shù)據(jù)戰(zhàn)略，推進數(shù)據(jù)資源開放共享”納入“十三五”規(guī)劃?！洞龠M大數(shù)據(jù)發(fā)展行動綱要》提出“加大大數(shù)據(jù)關鍵技術研發(fā)、產業(yè)發(fā)展和人才培養(yǎng)力度，著力推進數(shù)據(jù)匯集和發(fā)掘，深化大數(shù)據(jù)在各行業(yè)創(chuàng)新應用，促進大數(shù)據(jù)產業(yè)健康發(fā)展”，強調“推進基礎研究和核心技術攻關。圍繞數(shù)據(jù)科學理論體系、大數(shù)據(jù)計算系統(tǒng)與分析理論、大數(shù)據(jù)驅動的顛覆性應用模型探索等重大基礎研究進行前瞻布局，開展數(shù)據(jù)科學研究，引導和鼓勵在大數(shù)據(jù)理論、方法及關鍵應用技術等方面展開探索”?！吨腥A人民共和國國民經濟和社會發(fā)展第十三個五年規(guī)劃綱要》提出：實施國家大數(shù)據(jù)戰(zhàn)略，加快海量數(shù)據(jù)采集、存儲、清洗、分析發(fā)掘、可視化、安全與隱私保護等領域關鍵技術攻關；完善大數(shù)據(jù)產業(yè)公共服務支撐體系和生態(tài)體系,加強標準體系和質量技術基礎建設。

大數(shù)據(jù)意味著巨大的挑戰(zhàn)。海量數(shù)據(jù)聚集在帶來巨大價值的同時，也帶來數(shù)據(jù)泄露、黑客入侵等安全風險，一旦發(fā)生危害將導致重大的損失。要化解安全風險，就必須突破大數(shù)據(jù)安全的核心技術，而且必須依靠我國的自主力量。習近平總書記在2016年的網絡安全和信息化工作座談會上指出“核心技術受制于人是我們最大的隱患?！蓖黄茢?shù)據(jù)安全核心技術，要從基礎技術、通用技術、非對稱技術、“殺手锏”技術、前沿技術、顛覆性技術等方面入手，一方面立足自主創(chuàng)新、自立自強；另一方面堅持開放交叉和協(xié)同創(chuàng)新，形成大數(shù)據(jù)安全技術協(xié)同創(chuàng)新平臺。

大數(shù)據(jù)也意味著巨大的機遇。大數(shù)據(jù)為安全技術的發(fā)展提供了新的、強大的驅動力，海量多源異構的數(shù)據(jù)為更深入的安全分析提供了可能。大數(shù)據(jù)為智能化的安全運營提供了基礎，無論是人工協(xié)作還是機器智能，都以此建立了新的模式。大數(shù)據(jù)為安全產業(yè)生態(tài)協(xié)同創(chuàng)造了條件，安全供應商的合作和協(xié)同帶來的收益將遠大于競爭。

2 大數(shù)據(jù)安全隱患和威脅

目前，我國各行業(yè)的大數(shù)據(jù)應用風起云涌，大數(shù)據(jù)在國民經濟發(fā)展中發(fā)揮越來越大的作用，但是，大數(shù)據(jù)的安全問題也日益凸顯，形勢不容樂觀。當前，我國在大數(shù)據(jù)安全領域存在以下幾方面的問題。

一是數(shù)據(jù)泄露事件層出不窮。數(shù)據(jù)是重要資產，大數(shù)據(jù)意味著高價值的財富，容易遭受敵對分子的攻擊和竊取。近年來，我國發(fā)生了多次重大數(shù)據(jù)泄漏事件，近日（2018年4月），餓了么、百度外賣、美團等外賣平臺的個人信息發(fā)生泄露；在2017年，我國就發(fā)生過58同城全部簡歷數(shù)據(jù)泄露、優(yōu)酷1億用戶賬號泄露和浙江省松陽縣警方偵破7億條個人信息案件等重大事件。如果不采取更多措施，可以預計今后還將發(fā)生更多的數(shù)據(jù)泄漏事件。

二是個人信息安全保護形勢嚴峻。隨著“互聯(lián)網+”戰(zhàn)略的推進，越來越多的業(yè)務運營會采集個人信息，并對個人信息進行存儲、處理，甚至共享。個人信息的非法收集、泄露、濫用等已成為社會關注的焦點問題。2018年1月，我國發(fā)生了“支付寶年度賬單事件”，誘導用戶同意收集個人信息并向第三方提供；2017年9月，在10款應用隱私條款評審結果發(fā)布會上，全國信息安全標準化技術委員會秘書處有關負責人指出，長期以來，我國普遍存在隱私條款籠統(tǒng)不清、未給用戶足夠的選擇權、大量收集與所提供服務無直接關聯(lián)的個人信息、私自共享和轉讓個人信息等問題。

三是數(shù)據(jù)跨境流動問題影響信息產業(yè)“走出去”步伐。隨著我國“一帶一路”、企業(yè)“走出去”等戰(zhàn)略的實施，國內電商、社交、游戲、移動互聯(lián)網等優(yōu)勢領域企業(yè)正向境外進行大規(guī)模擴展，由此帶來的個人信息和重要數(shù)據(jù)出境行為也日益頻繁。2018年5月25日，歐盟將正式實施《通用數(shù)據(jù)保護條例（GDPR）》，其目的就是保障歐盟的數(shù)據(jù)安全，對在歐盟開展業(yè)務的境外企業(yè)有很嚴格的管理規(guī)定。美國、澳大利亞、新加坡等國家也頒布了類似的法規(guī)條例。如果數(shù)據(jù)跨境流動的問題處理不好，不僅影響對外業(yè)務的開展，也將影響我國境內數(shù)據(jù)的安全。

四是數(shù)據(jù)濫用成為重大安全隱患。通過大數(shù)據(jù)分析，可以發(fā)掘許多有價值的信息，甚至可能影響國家安全。例如，近期爆發(fā)的Facebook數(shù)據(jù)泄露事件表明，對社交數(shù)據(jù)的分析利用可以操作輿情，從而最終影響國家的選舉結果，這就是數(shù)據(jù)濫用的結果。目前，我國平臺型互聯(lián)網公司掌握著大量數(shù)據(jù)，基于這些數(shù)據(jù)進行挖掘和利用，可以對經營管理乃至社會穩(wěn)定產生重要影響；近期暴露的“大數(shù)據(jù)殺熟”事件就體現(xiàn)了這些公司有濫用數(shù)據(jù)的沖動。

五是大數(shù)據(jù)安全核心技術薄弱。美國禁止對中興通訊股份有限公司供應芯片一事，暴露了我國核心信息技術受制于人的危險情況，在大數(shù)據(jù)領域也是如此。雖然我國許多企業(yè)提出了“去IOE”的口號，但是，大數(shù)據(jù)系統(tǒng)的芯片、操作系統(tǒng)、數(shù)據(jù)庫等核心產品仍是國外壟斷，我國國產系統(tǒng)仍無法替代西方的產品，距離形成完整的生態(tài)鏈則更遙遠。一旦在大數(shù)據(jù)領域發(fā)生類似的事件，我國各大數(shù)據(jù)系統(tǒng)也將被“掐脖子”。

3 保障大數(shù)據(jù)安全

與傳統(tǒng)的保障數(shù)據(jù)安全相比，保障大數(shù)據(jù)安全面臨新的形勢和新的風險。這種形勢的變化來自大數(shù)據(jù)集帶來的更大的安全威脅以及大數(shù)據(jù)生態(tài)復雜化引入的新風險。具體而言，與傳統(tǒng)數(shù)據(jù)安全相比，大數(shù)據(jù)安全需要從兩個維度來考慮：第一是安全防護的對象，包括系統(tǒng)和信息（數(shù)據(jù)）兩類；二是安全需求的來源，包括入侵者和參與者兩類。這兩個維度共同構成了大數(shù)據(jù)安全內涵的4個象限，如圖1所示。

● 信息隱私：在參與者使用合法途徑獲取授權數(shù)據(jù)的前提下，防止其結合外部知識，分析得到隱私信息。

● 信任機制：提供安全機制，使得參與者可以控制自己的哪些數(shù)據(jù)以什么形式被其他參與者獲取。

● 數(shù)據(jù)安全：防止入侵者使用非法途徑，獲取非授權數(shù)據(jù)。

● 系統(tǒng)防護：防止入侵者使用非法途徑獲取系統(tǒng)控制權限或損害系統(tǒng)的正常運行。

大數(shù)據(jù)安全的保障需要4個方面的協(xié)作，任何短板都會帶來隱患。

4 大數(shù)據(jù)技術驅動

長期以來，在信息安全的攻防對抗中，防守一方總處于被動局面，其根本原因是信息的不對稱。攻擊者可以自由選擇入侵的對象、時機和方法，而防守方卻只能時刻保持警惕，隨時迎戰(zhàn)任何可能的威脅。大數(shù)據(jù)帶來的核心驅動力就是描繪出攻擊者的行為模式，為防守方提供情報支持，減少這種信息不對稱的情況。

圖1 大數(shù)據(jù)安全內涵

數(shù)據(jù)量級不同時，處理的方法也不同。傳統(tǒng)的安全檢測以特征和規(guī)則為基礎，需要一個特征提取和規(guī)則編制過程。但隨著攻擊方法的豐富和復雜，這個過程的成本越來越高。大數(shù)據(jù)技術的發(fā)展，使匯集海量數(shù)據(jù)進行協(xié)同分析、省略人工提取過程成了一種新思路，即數(shù)據(jù)量級協(xié)同。例如，360公司的QVM殺毒引擎采用了有窮向量機的機器學習方法，在超過100億個樣本庫的基礎上，不斷進行迭代學習。新出現(xiàn)的惡意樣本會被引擎自動識別，并成為下次迭代學習的基礎。

傳統(tǒng)安全信息和事件管理（security information and event management，SIEM）與安全操作中心（security operation center，SOC）產品通過提供關聯(lián)算法和規(guī)則來檢測高級威脅，同樣需要人工定制的先驗知識。但是以高級持續(xù)性威脅（advanced persistent threat，APT）為代表的外部威脅越來越復雜，隱蔽性也越來越強。對企業(yè)的安全團隊來說，新型攻擊出現(xiàn)太快，使得先驗知識難以獲取。異構數(shù)據(jù)協(xié)同的思路是將多個安全檢測設備同時作為數(shù)據(jù)來源，進行多源數(shù)據(jù)協(xié)同分析，利用部分先驗知識將微小的線索聯(lián)系起來，由點及面，發(fā)現(xiàn)攻擊行為。例如，安全業(yè)界普遍認為，傳統(tǒng)的邊界防御很難徹底抵御入侵者。對邊界和內網中的終端、應用、網絡等各種行為建立畫像和基線，以用戶和實體為核心，使用用戶實體行為分析（user and entity behavior analytics，UEBA），綜合利用統(tǒng)計模型和機器學習等方法，發(fā)現(xiàn)異常行為，將是更為有效的方式。

云地數(shù)據(jù)協(xié)同是指本地安全設備與云端威脅情報進行協(xié)同，以獲取最新的先驗知識。攻擊者也需要考慮成本和收益的問題，一種新的攻擊方法不會只出現(xiàn)一次，而是會被反復使用。對于特定企業(yè)第一次遭受的攻擊，在網絡中可能已經反復出現(xiàn)并被發(fā)現(xiàn)過多次了。因此，對于本地的安全防護系統(tǒng)來說，從云端獲取最新的威脅情報，將成為基本的安全能力之一。

5 安全產業(yè)協(xié)同

數(shù)據(jù)協(xié)同和智能協(xié)同可以帶來安全能力的提升，但最為重要的是，真正的革命將來自產業(yè)協(xié)同。協(xié)同帶來的利益是雙向的，一旦實現(xiàn)這種協(xié)同，安全供應商可以更專注獨有的功能或服務，而用戶可得到更強大的安全能力。產業(yè)協(xié)同可能有以下多種方式。

第一是自發(fā)式協(xié)同，各個廠商提供應用程序編程接口（application programming interface，API），供其他廠商和客戶直接調用，目前多數(shù)國際安全企業(yè)的協(xié)同采用這種方式。這種方式的優(yōu)點是形式靈活，缺點是接口和服務質量的不統(tǒng)一容易造成混亂。

第二是聯(lián)盟式協(xié)同，幾個廠商組成對等的聯(lián)盟，協(xié)商彼此交換的內容，例如PaloAlto Networks等廠商共享威脅情報的網絡威脅聯(lián)盟（Cyber Threat Alliance，CTA）。這種方式的優(yōu)點是接口統(tǒng)一，缺點是同質化和封閉性。

第三是生態(tài)式協(xié)同，不同類型的廠商有組織地形成一個生態(tài)系統(tǒng)，采用開放透明的平臺提供服務。這種方式的優(yōu)點是穩(wěn)定性和包容性強，缺點是需要足夠開放穩(wěn)定的平臺。

Gartner的一份2015年的研究報告①Predicts 2016:IT vendor ecosystems must be re-evaluated based on agility,collaboration and risk認為，“到2019年，全球2 000強企業(yè)50%的對外服務和解決方案花費將通過不到10家組織生態(tài)系統(tǒng)的戰(zhàn)略供應商提供?！辈捎蒙鷳B(tài)系統(tǒng)供應商有諸多優(yōu)點。首先，每類安全產品或服務都會有多家供應商在生態(tài)系統(tǒng)內，彼此良性競爭，可以為用戶提供更多樣化的選擇。其次，安全產品和服務的種類在不斷增加，彼此的聯(lián)動也越來越復雜，生態(tài)供應商負責組織彼此間的協(xié)同，可以大幅提高管理效率。最后，對于不斷涌現(xiàn)的新興廠商提供的先進技術，企業(yè)客戶進行嘗試會面臨較大的風險和代價，由生態(tài)供應商逐步嘗試就可以減少這種風險。

安全技術的復雜性給客戶帶來了諸多懷疑，而生態(tài)供應商想要贏得企業(yè)客戶，就必須提供一個開放、公正的平臺。同一篇Gartner的報告提出：“到2019年，對供應商價值網絡（包括分包商）中的運營和安全活動的透明需要，將使得對供應商安全和風險管理解決方案和服務的需求增加30%?！边@樣才可以形成良性循環(huán)，就像消費者市場中的蘋果生態(tài)系統(tǒng)，最終為消費者提供了高質量的服務，同時使應用開發(fā)商和平臺方提供方獲利。

未來的安全產業(yè)生態(tài)協(xié)同（如圖2所示）至少會包含3種角色：一是安全產品和服務的供應商，與傳統(tǒng)供應商相比，其主要區(qū)別在于提供豐富的接口，能夠與其他產品和服務以及大數(shù)據(jù)平臺連接；二是安全大數(shù)據(jù)平臺的供應商，包括本地平臺和云端平臺，這些平臺可以收集產品和服務的信息，對接外部情報，進行綜合分析，并對產品和服務提供協(xié)同指令，是未來安全生態(tài)的大腦；三是安全大數(shù)據(jù)應用供應商，他們在大數(shù)據(jù)平臺的數(shù)據(jù)和功能基礎上提供專項分析能力，以適應復雜多變的外部威脅和內部需求。三者各司其職，利益分享，為安全能力的提升共創(chuàng)未來。

圖2 安全產業(yè)生態(tài)協(xié)同

6 生態(tài)協(xié)同機制

大數(shù)據(jù)協(xié)同安全技術國家工程實驗室建成后，在技術支撐、產品服務、試點應用、資金數(shù)據(jù)4個方面形成“跨部門、跨區(qū)域、跨行業(yè)的具有全國性示范效應平臺”。以企業(yè)為主體，以市場為導向，推進“產學研用測”的合作（如圖3所示），實現(xiàn)體制機制、合作模式、創(chuàng)新人才培養(yǎng)三大突破，提高自主創(chuàng)新能力，加速產業(yè)結構的轉型升級，整合產學研資源而形成的創(chuàng)新力，搭建大數(shù)據(jù)協(xié)同安全創(chuàng)新服務平臺，提供大數(shù)據(jù)協(xié)同安全共性支持平臺，吸引眾多創(chuàng)新安全企業(yè)進入這個領域并支持它們發(fā)展。

圖3 “產學研用測”合作循環(huán)

該實驗室集中突破23項核心關鍵，形成圖4中覆蓋數(shù)據(jù)、系統(tǒng)、網絡、終端的7類協(xié)同技術（情報協(xié)同、病毒協(xié)同、漏洞協(xié)同、入侵協(xié)同、眾測協(xié)同、應急協(xié)同、溯源協(xié)同）。例如采用終端安全技術發(fā)現(xiàn)泄露的涉密文件，就可以通過溯源協(xié)同關聯(lián)網絡安全、系統(tǒng)安全和數(shù)據(jù)安全，在網絡和系統(tǒng)中追溯涉密文件泄露的途徑和過程，進而對數(shù)據(jù)安全的防護進行針對性的強化，從而達到監(jiān)測與處置的協(xié)同效果。

該實驗室基于云計算和虛擬化技術構建大數(shù)據(jù)協(xié)同安全共性支持平臺，為生態(tài)合作伙伴提供基礎研發(fā)支撐環(huán)境。大數(shù)據(jù)協(xié)同安全共性支持平臺采用云計算和虛擬化技術，搭建標準統(tǒng)一、功能完善、系統(tǒng)穩(wěn)定、安全可靠、集中統(tǒng)一的開放式、可擴展的基礎支撐平臺，以復雜數(shù)據(jù)關聯(lián)分析、大數(shù)據(jù)搜索、大規(guī)模機器學習等技術支撐大數(shù)據(jù)安全分析，為大數(shù)據(jù)協(xié)同安全的各項工作提供流式和批量數(shù)據(jù)接入，非結構化、半結構化和結構化數(shù)據(jù)存儲，批處理計算、迭代計算、流式計算和高性能計算等基礎支持。大數(shù)據(jù)協(xié)同安全共性支持平臺已經對公眾發(fā)布了一系列公開項目，具體如下。

● XLearning人工智能開源平臺：大數(shù)據(jù)與深度學習相融合，基于Hadoop Yarn完成了TensorFlow、MXNet、Caffe、Theano、PyTorch、Keras、XGBoost等常用深度學習框架的集成，是典型的“AI on Hadoop”的實現(xiàn)。XLearning則可以幫助人工智能開發(fā)者實現(xiàn)調度的統(tǒng)一和服務器資源的復用。隨著平臺算法庫的不斷增容和優(yōu)化，開發(fā)者工作難度將大大降低。

圖4 7類協(xié)同技術

● 分布式拒絕服務（distributed denial of service，DDoS）攻擊威脅信息共享系統(tǒng)：是最大的面向整個互聯(lián)網提供DDoS監(jiān)測和告警服務的系統(tǒng)之一。目前，平均每天發(fā)生超過3萬個DDoS攻擊。對于全球大規(guī)模的DDoS事件，該系統(tǒng)能夠在第一時間成功探測出來，在準確度和及時性方面都有非常好的表現(xiàn)。來自不同公司和組織的工程師都在基于該系統(tǒng)進行日常安全維護和研究工作。

● 網絡掃描信息共享系統(tǒng)：是專門記錄網聯(lián)網掃描活動的系統(tǒng)。針對互聯(lián)網中被攻擊者廣泛應用的網絡掃描進行被動監(jiān)測，本系統(tǒng)記錄掃描來源、目的、頻度等信息，平均每天記錄超過1萬個掃描IP地址的活動，供分析使用。

● 威脅情報共享系統(tǒng)：是面向公眾開放的威脅情報數(shù)據(jù)查詢服務系統(tǒng)，于2015年開始對外開放。安全廠商、政企用戶等經線上注冊并審核通過后，都可以在系統(tǒng)對域名、IP地址、樣本信息等進行查詢，系統(tǒng)將反饋云端數(shù)據(jù)查詢結果。技術人員結合這些信息進行分析，可以對定位安全威脅發(fā)揮關鍵作用。系統(tǒng)具有關聯(lián)分析和海量數(shù)據(jù)兩大特色，可以將用戶提交的查詢信息關聯(lián)起來，協(xié)助用戶進行線索拓展，挖掘出在企業(yè)或組織內部分析中無法發(fā)現(xiàn)的更多線索。

7 結束語

本文介紹了大數(shù)據(jù)技術發(fā)展為網絡安全領域帶來的挑戰(zhàn)和機遇，闡述了數(shù)據(jù)泄露、個人隱私風險、數(shù)據(jù)跨境流動、數(shù)據(jù)濫用等一系列安全風險以及應對這些風險的大數(shù)據(jù)安全保障體系。同時，大數(shù)據(jù)技術的發(fā)展也為安全產業(yè)能力提升帶來了機遇，大數(shù)據(jù)協(xié)同安全技術國家工程實驗室會在不同層面開展工作，推動整個安全產業(yè)對這種機遇的把握，包括大數(shù)據(jù)驅動的安全技術發(fā)展、人機智能安全協(xié)作模式、安全產業(yè)生態(tài)協(xié)同等。

[1]馮登國, 張敏, 李昊. 大數(shù)據(jù)安全與隱私保護[J].計算機學報, 2014, 37(1): 246-258.FENG D G, ZHANG M, LI H. Big data security and privacy protection[J]. Chinese Journal of Computers, 2014, 37 (1): 246-258.

[2]王珊, 王會舉, 覃雄派, 等. 架構大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J]. 計算機學報, 2011,34(10): 1741-1752.WANG S, WANG H J, QIN X P, et al.Architecting big data: challenges, studies and forecasts[J]. Chinese Journal of Computers, 2011, 34(10): 1741-1752.

[3]NIST. NIST big data security and privacy subgroup: NIST SP 1500-4[S]. 2015