文／肖子彤

隨著信息技術(shù)的不斷發(fā)展，越來越多的聯(lián)網(wǎng)設(shè)備接入互聯(lián)網(wǎng)，為用戶提供更快捷的訪問。然而，在這海量連接入網(wǎng)設(shè)備所構(gòu)成的全球互聯(lián)網(wǎng)中，越來越多的安全問題被暴露出來。由于制造商安全觀念缺乏、管理者安全意識(shí)不足，大量聯(lián)網(wǎng)設(shè)備都存在或多或少的安全漏洞，威脅著整個(gè)互聯(lián)網(wǎng)的安全。IPv6協(xié)議所帶來的巨大地址空間將使下一代互聯(lián)網(wǎng)的規(guī)模更大，接入網(wǎng)絡(luò)的終端種類和數(shù)量更多，網(wǎng)絡(luò)應(yīng)用更廣泛。而原本發(fā)展已經(jīng)非常迅速的物聯(lián)網(wǎng)，在下一代互聯(lián)網(wǎng)的推動(dòng)下，也會(huì)迎來更加迅猛的發(fā)展。與之相伴的則是海量聯(lián)網(wǎng)設(shè)備的特征數(shù)據(jù)，其中必然包含了大量遠(yuǎn)程訪問信息，尚待挖掘。

本文提出一套同時(shí)支持IPv4和IPv6的下一代互聯(lián)網(wǎng)聯(lián)網(wǎng)設(shè)備基礎(chǔ)數(shù)據(jù)服務(wù)平臺(tái)的設(shè)計(jì)方案，可做到通過對所有接入互聯(lián)網(wǎng)的設(shè)備進(jìn)行深度掃描，大規(guī)模收集網(wǎng)絡(luò)基準(zhǔn)數(shù)據(jù)，包括多種網(wǎng)絡(luò)應(yīng)用相關(guān)信息、網(wǎng)站內(nèi)容等，并進(jìn)行深度分析和挖掘，感知整個(gè)互聯(lián)網(wǎng)的網(wǎng)絡(luò)安全態(tài)勢，提供從宏觀到微觀的全方位數(shù)據(jù)支持。

基本概念

IPv6技術(shù)

IPv6（ 全 稱 為“Internet Protocol version 6”）是最新版IP協(xié)議，作用于網(wǎng)絡(luò)層。其目的是取代IPv4以解決IPv4存在的地址匱乏問題，并對IPv4其他方面存在的不足進(jìn)行改進(jìn)。

具體而言，和IPv4相比，IPv6的改進(jìn)包括報(bào)頭處理更加簡化、擴(kuò)展更加靈活、地址結(jié)構(gòu)更加層次化、支持無狀態(tài)自動(dòng)配置、支持綜合Qos服務(wù)、安全性更佳以及實(shí)現(xiàn)IP的移動(dòng)性等等。

隨著IPv6在全球范圍內(nèi)不斷推廣，對IPv6網(wǎng)絡(luò)中安全問題的發(fā)現(xiàn)和安全技術(shù)的研究也越來越受到重視。如面向IPv6的網(wǎng)絡(luò)安全評估技術(shù)和面向IPv6的入侵檢測技術(shù)等方面，都已有一系列研究。此外在IPv6網(wǎng)絡(luò)中，快速掃描和探測海量網(wǎng)絡(luò)節(jié)點(diǎn)的基本信息以及可能存在的安全問題，也同樣是一個(gè)需要研究的重要課題。

端口掃描技術(shù)

端口掃描技術(shù)是一種利用互聯(lián)網(wǎng)協(xié)議的特性，探測主機(jī)的特定端口是否開放和運(yùn)行網(wǎng)絡(luò)服務(wù)的技術(shù)，通常是檢測系統(tǒng)漏洞時(shí)必須進(jìn)行的第一步工作。而根據(jù)掃描方法的不同，該技術(shù)可分為全開式掃描、半開式掃描、隱密掃描等類別。

其中半開式掃描是目前最常用的掃描方法，主流的端口掃描工具如Nmap、Zmap等默認(rèn)的掃描方式都是半開式掃描。這里“半開式”是指客戶端在TCP三次握手還未完成時(shí)就發(fā)送RST包中止連接。這種掃描往往不會(huì)被服務(wù)器記錄，隱蔽性較好，而且無需保存服務(wù)器狀態(tài)，掃描速度較快。但是該掃描方式可能被特意針對本方法進(jìn)行防御的入侵檢測系統(tǒng)所攔截。

設(shè)計(jì)方案

端口掃描與初步應(yīng)用識(shí)別

對于端口掃描，目前已有的開源工具zmap通過半開式TCP端口掃描可快速完成全網(wǎng)特定端口的開放性掃描。由于zmap對一個(gè)IP只發(fā)送一個(gè)包進(jìn)行探測，能夠以超過nmap 近千倍的速度掃描全網(wǎng)絡(luò)IPv4地址。它在千兆網(wǎng)卡狀態(tài)下完成全網(wǎng)IPv4地址掃描僅需45分鐘。因此對IPv4地址的端口掃描通過引入zmap并對其進(jìn)行封裝和輸出的自動(dòng)化解析而完成。zmap對IPv6的端口掃描需參考相關(guān)掃描原理手動(dòng)實(shí)現(xiàn)，通過嘗試連接IPv6節(jié)點(diǎn)的指定端口判斷其是否開放。

在確認(rèn)一個(gè)端口處于開放狀態(tài)后，還需要確認(rèn)該端口關(guān)聯(lián)的網(wǎng)絡(luò)服務(wù)類別，zmap關(guān)注的是掃描速度，并不具備識(shí)別復(fù)雜服務(wù)類型的功能。而這可由開源工具nmap完成。nmap經(jīng)多年發(fā)展維護(hù)，擁有成熟且豐富的服務(wù)識(shí)別指紋庫，可對多種網(wǎng)絡(luò)服務(wù)進(jìn)行較為準(zhǔn)確的版本識(shí)別，功能極為強(qiáng)大。并且nmap支持IPv6，故初步服務(wù)識(shí)別可完全由nmap完成。

端口掃描與初步服務(wù)識(shí)別作為后續(xù)所有工作的基礎(chǔ)，必須做到高效完成。而為提升開發(fā)效率和避免重復(fù)工作，可根據(jù)zmap和nmap二者各自的特點(diǎn)各盡其長，結(jié)合使用，完成掃描任務(wù)。

深度指紋探測

由于各類網(wǎng)絡(luò)服務(wù)根據(jù)其功能的差異，皆具備不同的指紋特征，因此為了能夠充分滿足對各類服務(wù)特定特征的探測需求，并考慮功能的可擴(kuò)展性，我們對所要掃描的各類服務(wù)逐一編寫定制化探測腳本，根據(jù)需求確定需掃描的特征。探測腳本需結(jié)合已知協(xié)議細(xì)節(jié)、技術(shù)知識(shí)和交互流量數(shù)據(jù)對所針對的網(wǎng)絡(luò)服務(wù)的應(yīng)用指紋特征進(jìn)行分析，以獲得具有豐富價(jià)值的數(shù)據(jù)。

在各類服務(wù)中，HTTP服務(wù)尤其需要重點(diǎn)分析，如利用爬蟲抓取網(wǎng)頁內(nèi)容，運(yùn)用正則表達(dá)式匹配等手段尋找標(biāo)志性關(guān)鍵詞，從而分析其所用到的Web組件和網(wǎng)站運(yùn)營信息等等。因?yàn)閃eb服務(wù)在互聯(lián)網(wǎng)各類服務(wù)中所占比例極大，且使用極為頻繁，也最容易因存在漏洞而遭受攻擊；所以收集其特征意義重大，如識(shí)別各網(wǎng)站所使用的Web組件類型和版本有利于了解其是否存在漏洞，進(jìn)而更好地把握整個(gè)互聯(lián)網(wǎng)的安全形勢。此外，從網(wǎng)站主頁內(nèi)容等數(shù)據(jù)中也可挖掘出與互聯(lián)網(wǎng)發(fā)展動(dòng)態(tài)和趨勢等相關(guān)的有價(jià)值的信息，故需通過較為完備的Web組件指紋庫對Web服務(wù)進(jìn)行分析，盡可能多地獲取其特征信息。

分布式架構(gòu)

由于數(shù)據(jù)搜集和處理量大，掃描和探測過程采用分布式架構(gòu)完成。對于十億量級(jí)IP節(jié)點(diǎn)的掃描和探測等任務(wù)，若采用傳統(tǒng)集中式系統(tǒng)，那么中心主機(jī)資源緊張和響應(yīng)瓶頸的缺陷將會(huì)顯著降低工作效率；而利用分布式使得數(shù)據(jù)和程序不位于一臺(tái)服務(wù)器上，而是分散到多個(gè)節(jié)點(diǎn)服務(wù)器上來完成任務(wù)，把不同的進(jìn)程放在最適合的服務(wù)器上完成。具體而言，這里的分布式架構(gòu)包括一個(gè)master服務(wù)器和多個(gè)worker服務(wù)器。master服務(wù)器根據(jù)探測對象IP和端口的不同，快速生成端口掃描、初步應(yīng)用識(shí)別、深度指紋探測等多個(gè)任務(wù)并放入數(shù)據(jù)庫中，等待worker領(lǐng)取和完成。worker服務(wù)器通過與master通信從數(shù)據(jù)庫中獲取任務(wù)，并在本地完成任務(wù)后將收集到的數(shù)據(jù)返回給master，存入其數(shù)據(jù)庫中。由于每個(gè)掃描任務(wù)需要的時(shí)間皆較長，因此單個(gè)master服務(wù)器不會(huì)成為系統(tǒng)瓶頸。

通過分布式計(jì)算在多臺(tái)服務(wù)器上平衡負(fù)載，有利于任務(wù)的分配和優(yōu)化，提高工作效率。通過合理的架構(gòu)設(shè)置和調(diào)度邏輯，在時(shí)間和空間上保證對各計(jì)算節(jié)點(diǎn)的充分利用，高效完成任務(wù)；且為便于管理分布式架構(gòu)的工作狀況，還實(shí)現(xiàn)了Web界面用于查看各工作節(jié)點(diǎn)的掃描日志。

數(shù)據(jù)存儲(chǔ)

在掃描和探測的過程中，由于不同IP節(jié)點(diǎn)所提供的網(wǎng)絡(luò)服務(wù)類型差異，所得到的數(shù)據(jù)類型也會(huì)存在較大差異。而常用的關(guān)系型數(shù)據(jù)庫是在表中存儲(chǔ)相關(guān)聯(lián)的數(shù)據(jù)，因此擴(kuò)展性也較差，對于處理非結(jié)構(gòu)化數(shù)據(jù)顯得力不從心。測試在利用分表分庫緩解讀寫壓力和數(shù)據(jù)增長的擴(kuò)展問題上，也表現(xiàn)得不盡人意，故不適用于本應(yīng)用場景。

非關(guān)系型數(shù)據(jù)庫將相關(guān)聯(lián)的數(shù)據(jù)以類似JSON格式的“key-value”格式存儲(chǔ)。數(shù)據(jù)之間無關(guān)系使它易于擴(kuò)展，簡單的數(shù)據(jù)結(jié)構(gòu)使它即使在大數(shù)據(jù)量下讀寫性能依然很高，并且靈活的數(shù)據(jù)模型使得對海量數(shù)據(jù)的維護(hù)變得簡單易行。而服務(wù)平臺(tái)中所要處理的海量數(shù)據(jù)來源極為廣泛，對于不同類型的服務(wù)其基本信息千差萬別，一個(gè)網(wǎng)站可以提供從Web組件到運(yùn)營信息等豐富的數(shù)據(jù)，而從一個(gè)SSH服務(wù)上可獲得的信息則極為有限，它們難以統(tǒng)一整理為結(jié)構(gòu)化數(shù)據(jù)。因此本平臺(tái)選擇使用更適合處理大量非結(jié)構(gòu)化數(shù)據(jù)的非關(guān)系型數(shù)據(jù)庫。

測試結(jié)果

測試環(huán)境

測試中平臺(tái)運(yùn)行所需的Web服務(wù)器、掃描服務(wù)器和數(shù)據(jù)庫服務(wù)器均運(yùn)行于Ubuntu 16.04系統(tǒng)中，依賴的應(yīng)用軟件包括zmap、nmap、python、MongoDB和rabbitmq-server等。硬件環(huán)境包括四核Intel處理器、8GB內(nèi)存等。

運(yùn)行情況

如前所述，本平臺(tái)中數(shù)據(jù)均以非關(guān)系型數(shù)據(jù)格式存儲(chǔ)，如圖1所示，為數(shù)據(jù)庫中SSH服務(wù)深度探測所得的部分結(jié)果。

圖1 ssh服務(wù)深度探測結(jié)果

在開發(fā)的Web頁面中可便捷查詢到探測結(jié)果，如圖2和圖3所示。

圖2 搜索界面

圖3 數(shù)據(jù)展示界面

總結(jié)

本文提出了一個(gè)對聯(lián)網(wǎng)設(shè)備基礎(chǔ)數(shù)據(jù)進(jìn)行掃描探測與整合管理，且支持IPv6地址掃描的數(shù)據(jù)服務(wù)平臺(tái)的設(shè)計(jì)方案。該數(shù)據(jù)服務(wù)平臺(tái)基于擴(kuò)展性良好的分布式框架，具備對十億量級(jí)地址空間進(jìn)行快速探索的能力；可深度探測不低于十種常見網(wǎng)絡(luò)服務(wù)的指紋特征；具備探測百萬量級(jí)網(wǎng)站的能力，且具有可擴(kuò)展性；提供XML和json格式的數(shù)據(jù)接口供第三方調(diào)用。

本平臺(tái)有待改進(jìn)的地方主要在于支持深度探測的網(wǎng)絡(luò)服務(wù)種類還不夠全面，分布式架構(gòu)的運(yùn)行效率有待提升，可供用戶檢索的Web界面的可視化方面有待完善。未來可展開的下一步工作包括可增加深度指紋探測腳本以求覆蓋更多的常見網(wǎng)絡(luò)服務(wù)；根據(jù)各項(xiàng)掃描任務(wù)相互間依賴關(guān)系對分布式架構(gòu)中的任務(wù)調(diào)度進(jìn)行隊(duì)列優(yōu)化，以提升其效率；在Web界面中，當(dāng)用戶一次性檢索大量數(shù)據(jù)時(shí)，用圖表等可視化形式更加直觀地展現(xiàn)檢索結(jié)果，以期有助于對入網(wǎng)設(shè)備基礎(chǔ)數(shù)據(jù)進(jìn)行分析和挖掘等等。