吳麗杰，竇維江

(1.安徽糧食工程職業(yè)學(xué)院 信息技術(shù)系，安徽 合肥 230011；2．安徽省醫(yī)藥集中采購(gòu)服務(wù)中心 信息科，安徽 合肥 230001)

目前大數(shù)據(jù)技術(shù)已經(jīng)給科學(xué)研究、公共管理、商業(yè)等領(lǐng)域帶來(lái)重大變革[1].我國(guó)政府先后發(fā)布《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》、《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》，將大數(shù)據(jù)納入國(guó)家戰(zhàn)略.大數(shù)據(jù)是不同硬件和軟件技術(shù)的集合，這些技術(shù)具有異構(gòu)的基礎(chǔ)結(jié)構(gòu).在主流大數(shù)據(jù)平臺(tái)中，Hadoop在存儲(chǔ)和處理大數(shù)據(jù)方面起著主導(dǎo)作用.Hadoop是基于分布式計(jì)算模型的開源框架，適用于在商用計(jì)算機(jī)集群上處理和存儲(chǔ)數(shù)據(jù).它為大數(shù)據(jù)提供了快速且經(jīng)濟(jì)高效的解決方案，并被用于醫(yī)療保健，保險(xiǎn)和社交媒體等不同領(lǐng)域[2].

隨著大數(shù)據(jù)技術(shù)的蓬勃發(fā)展，隨之帶來(lái)的安全問題也日益凸顯.由于數(shù)據(jù)來(lái)源的未知，匿名數(shù)據(jù)可以被重新識(shí)別，傳統(tǒng)訪問權(quán)限、防火墻、傳輸層的安全性可以被打破等原因，大數(shù)據(jù)平臺(tái)需要采取更為先進(jìn)的技術(shù)來(lái)保護(hù)、監(jiān)測(cè)和審計(jì)大數(shù)據(jù)過(guò)程的基礎(chǔ)設(shè)施、應(yīng)用程序和數(shù)據(jù)以確保大數(shù)據(jù)平臺(tái)的安全[3].《中華人民共和國(guó)網(wǎng)絡(luò)安全法》第十八條也指出：國(guó)家鼓勵(lì)開發(fā)網(wǎng)絡(luò)數(shù)據(jù)安全保護(hù)和利用技術(shù)，促進(jìn)公共數(shù)據(jù)資源開放，推動(dòng)技術(shù)創(chuàng)新和經(jīng)濟(jì)社會(huì)發(fā)展[4].網(wǎng)絡(luò)安全問題也最終被提升到國(guó)家戰(zhàn)略層面[5].為此，我國(guó)從2019年12月起執(zhí)行網(wǎng)絡(luò)安全等級(jí)保護(hù)2.0制度，實(shí)現(xiàn)了對(duì)移動(dòng)互聯(lián)、云計(jì)算、物聯(lián)網(wǎng)、工業(yè)控制及大數(shù)據(jù)系統(tǒng)的等級(jí)保護(hù)全覆蓋[6].

由于大數(shù)據(jù)平臺(tái)各系統(tǒng)的復(fù)雜性，測(cè)評(píng)公司在執(zhí)行等保測(cè)評(píng)時(shí)，針對(duì)大數(shù)據(jù)各系統(tǒng)的安全配置檢查尤為重要.然而測(cè)評(píng)師往往需要登錄各系統(tǒng)的眾多配置文件中去檢查需要加強(qiáng)的安全配置，這不僅效率低下且容易遺漏重要配置項(xiàng).文章針對(duì)業(yè)界現(xiàn)有狀況，設(shè)計(jì)一種適于Hadoop大數(shù)據(jù)平臺(tái)的安全配置檢測(cè)系統(tǒng)，用于提高測(cè)評(píng)師的工作效率.

1 Hadoop簡(jiǎn)介

Hadoop是由Mahout、Hive、Drill、Pig、Spark等眾多組件構(gòu)成，是一個(gè)完整的大數(shù)據(jù)生態(tài)鏈平臺(tái)，Hadoop2.0框架如圖1所示[7].其中，HDFS是分布式文件存儲(chǔ)系統(tǒng)，Hbase是分布式列式存儲(chǔ)數(shù)據(jù)庫(kù)系統(tǒng)，Spark是數(shù)據(jù)分析集群計(jì)算框架，YARN是集群的資源管理系統(tǒng).

所有Hadoop環(huán)境組件(如Sentry、Flink和Storm)都容易受到各種漏洞的攻擊.由于Hadoop各組件系統(tǒng)的配置較弱，許多默認(rèn)設(shè)置(例如默認(rèn)端口和IP地址)容易受到攻擊，如Hadoop Web界面容易受到XSS腳本攻擊(例如Hue)[2].

圖1 Hadoop框架

2 等級(jí)保護(hù)測(cè)評(píng)要求

根據(jù)《GB/T 28448-2019 信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)測(cè)評(píng)要求》[8]、《GB/T 36627-2018 信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)測(cè)試評(píng)估技術(shù)指南》[9]，等保測(cè)評(píng)過(guò)程中應(yīng)進(jìn)行系統(tǒng)的配置檢查.

配置檢查的主要功能是通過(guò)檢查測(cè)評(píng)對(duì)象的安全策略設(shè)置和安全配置文件，評(píng)價(jià)測(cè)評(píng)對(duì)象安全策略配置的強(qiáng)度.進(jìn)行配置檢查時(shí)，可考慮評(píng)估如下要素：開啟必要的審計(jì)策略；合理設(shè)置文件訪問權(quán)限；依據(jù)安全策略進(jìn)行加固或配置等.

3 安全配置檢測(cè)系統(tǒng)的實(shí)現(xiàn)

3.1 系統(tǒng)設(shè)計(jì)思路

為了提高測(cè)評(píng)師工作效率及準(zhǔn)確率，系統(tǒng)需要根據(jù)知識(shí)庫(kù)自動(dòng)出具檢測(cè)報(bào)告.本系統(tǒng)基于開源系統(tǒng)BDA[10]，實(shí)現(xiàn)了Hadoop各組件的安全配置檢測(cè).系統(tǒng)采用Python編程語(yǔ)言，使用Configparser讀取各系統(tǒng)配置文件，使用時(shí)只需將配置文件拷貝至測(cè)評(píng)設(shè)備或?qū)⒈鞠到y(tǒng)拷貝至大數(shù)據(jù)平臺(tái)服務(wù)器中，具有很強(qiáng)的兼容性及便利性.

3.2 系統(tǒng)實(shí)現(xiàn)

3.2.1 建立安全配置知識(shí)庫(kù)

建立Hadoop常用組件系統(tǒng)的安全配置知識(shí)庫(kù)，是本系統(tǒng)的核心所在.根據(jù)等保測(cè)評(píng)2.0要求，本系統(tǒng)初步建立授權(quán)、認(rèn)證、加密、訪問控制等常用安全知識(shí)庫(kù)，如下所示：

#開啟Hadoop安全授權(quán)機(jī)制

hadoop.security.authorization=true

#安全認(rèn)證機(jī)制設(shè)置為Kerberos

hadoop.security.authentication=Kerberos

#啟用HDFS的權(quán)限檢查及ACL控制

dfs.permissions.enabled=true

dfs.namenode.acls.enabled=true

#當(dāng)讀寫加密空間時(shí)使用密匙進(jìn)行交互

dfs.encryption.key.provider.uri=KeyProvider

#開啟應(yīng)用程序及Spark的ACL

yarn.acl.enable=true

spark.acls.enable=true

#開啟Spark的身份認(rèn)證及SSL

spark.authenticate=true

spark.ssl.enable=true

#記錄Spark的事件日志

spark.eventLog.enabled=true

#開啟HBase安全授權(quán)機(jī)制及安全認(rèn)證機(jī)制

hbase.security.authorization=true

hbase.security.authentication=Kerberos

3.2.2 系統(tǒng)安全配置檢測(cè)

系統(tǒng)分別檢測(cè)了利用Apache Ambari部署的Hadoop平臺(tái)的HDFS、YARN、Hbase及Spark組件.各組件系統(tǒng)的配置文件分別為core-site.xml(Hadoop Core的配置項(xiàng)，如HDFS、MapReduce等常用I/O的配置)、hdfs-site.xml(Hadoop守護(hù)進(jìn)程的配置項(xiàng)，如NameNode、DataNode存放位置的配置)、yarn-site.xml(集群資源管理系統(tǒng)參數(shù)的配置項(xiàng)，如ResourceManager、NodeManager通訊端口的配置)、hbase-site.xml(Hbase集群的相關(guān)配置，如zookeeper集群的URL配置)、spark-defaults.conf(Spark應(yīng)用程序的配置項(xiàng)，如集群master節(jié)點(diǎn)、executor可用內(nèi)存的配置).

測(cè)評(píng)師運(yùn)行系統(tǒng)的Python腳本，指定需要檢測(cè)的平臺(tái)組件及組件配置文件位置，即可檢查測(cè)評(píng)對(duì)象的安全策略設(shè)置及加固建議.Hadoop常用組件檢測(cè)結(jié)果如圖2所示.

圖2 HDFS、YARN檢測(cè)結(jié)果

圖2表示檢測(cè)系統(tǒng)建議開啟HDFS及YARN組件的安全授權(quán)機(jī)制、安全認(rèn)證機(jī)制，啟用HDFS的權(quán)限檢查及ACL控制等.

圖3表示檢測(cè)系統(tǒng)建議將Hbase的安全認(rèn)證機(jī)制設(shè)置為Kerberos.

圖3 Hbase檢測(cè)結(jié)果

圖4表示檢測(cè)系統(tǒng)建議開啟Spark組件的安全認(rèn)證機(jī)制，ACL控制，SSL，事件日志記錄等.

圖4 Spark檢測(cè)結(jié)果

通過(guò)本系統(tǒng)檢測(cè)可知，利用Apache Ambari部署的Hadoop各組件系統(tǒng)的默認(rèn)配置較弱，如hbase.security.authorization=false，需要進(jìn)行安全性調(diào)整.本系統(tǒng)可以根據(jù)知識(shí)庫(kù)，直接出具配置檢查結(jié)果，很大程度上提高了測(cè)評(píng)師工作效率.

4 結(jié) 論

由于大數(shù)據(jù)需要高計(jì)算能力和大存儲(chǔ)量，因此大數(shù)據(jù)平臺(tái)各組件一般使用分布式系統(tǒng).由于這些系統(tǒng)涉及多方，在大數(shù)據(jù)生命周期的各個(gè)階段，即數(shù)據(jù)生成、存儲(chǔ)和處理，都面臨著安全及隱私保護(hù)問題[11].如今，大數(shù)據(jù)的預(yù)測(cè)能力已廣泛用于醫(yī)學(xué)和天文學(xué)，對(duì)大數(shù)據(jù)平臺(tái)各系統(tǒng)的安全保護(hù)也顯得日益重要.文章提出的安全配置檢測(cè)系統(tǒng)可提高測(cè)評(píng)師在等保測(cè)評(píng)過(guò)程中的工作效率.下一步，通過(guò)完善安全配置知識(shí)庫(kù)，將本系統(tǒng)應(yīng)用于大數(shù)據(jù)平臺(tái)各組件系統(tǒng)中，如Storm、Flume、Kafka、MongoDB等.