楊毅

摘 要：針對(duì)傳統(tǒng)網(wǎng)絡(luò)負(fù)載異常監(jiān)測(cè)方法中精準(zhǔn)度較差、有效性較低等問(wèn)題，本文提出一種基于爬蟲(chóng)大數(shù)據(jù)的網(wǎng)絡(luò)負(fù)載異常監(jiān)測(cè)方法。為了驗(yàn)證該方法的有效性，將其與傳統(tǒng)監(jiān)測(cè)方法進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該方法實(shí)用性和精準(zhǔn)度更高，更適用于對(duì)網(wǎng)絡(luò)負(fù)載異常的監(jiān)測(cè)。

關(guān)鍵詞：爬蟲(chóng)大數(shù)據(jù);網(wǎng)絡(luò)負(fù)載;異常監(jiān)測(cè)

中圖分類(lèi)號(hào)：TP393.08;TN915.02 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-5168（2019）34-0033-03

Network Load Anomaly Monitoring Method Based on Crawler Big Data

YANG Yi

（School of Information Engineering， Henan University of Animal Husbandry and Economy，Zhengzhou Henan 450018）

Abstract： Aiming at the problems of poor accuracy and low effectiveness in traditional network load anomaly monitoring methods， this paper proposed a network load anomaly monitoring method based on crawler big data. In order to verify the effectiveness of this method， it was compared with the traditional monitoring method. Experimental results show that this method is more practical and accurate， and more suitable for monitoring network load anomalies.

Keywords： crawler big data;network load;abnormal monitoring

隨著網(wǎng)絡(luò)信息技術(shù)的快速發(fā)展，網(wǎng)絡(luò)中接入的負(fù)載量成倍增長(zhǎng)，而這些網(wǎng)絡(luò)負(fù)載產(chǎn)生的數(shù)據(jù)信息成為目前網(wǎng)絡(luò)環(huán)境中數(shù)據(jù)分析的來(lái)源[1]。因此，負(fù)載數(shù)據(jù)成為網(wǎng)絡(luò)信息中最重要的、最具價(jià)值的數(shù)據(jù)源。理論上，網(wǎng)絡(luò)負(fù)載越多，對(duì)采集到的數(shù)據(jù)樣本分析越有價(jià)值，但實(shí)際上，大量的負(fù)載連接到網(wǎng)絡(luò)中，會(huì)嚴(yán)重影響整個(gè)網(wǎng)絡(luò)環(huán)境的穩(wěn)定性和功能性。在實(shí)際網(wǎng)絡(luò)環(huán)境中，在線(xiàn)負(fù)載量會(huì)受大數(shù)據(jù)平臺(tái)中接入網(wǎng)絡(luò)的負(fù)載總量、計(jì)算能力、相應(yīng)時(shí)間及數(shù)據(jù)所能承載的上限限制，因此網(wǎng)絡(luò)負(fù)載與大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)交換時(shí)必須與其建立起相應(yīng)的有效連接[2]。為了避免因未進(jìn)行有效通信的負(fù)載而占用通道的問(wèn)題產(chǎn)生，提出一種網(wǎng)絡(luò)負(fù)載異常監(jiān)測(cè)方法，提高網(wǎng)絡(luò)資源的利用效率。傳統(tǒng)監(jiān)測(cè)方法是以服務(wù)器與負(fù)載是否產(chǎn)生通信為判定標(biāo)準(zhǔn)，但這種方法存在一定的局限性，需要占用較多的資源。本文提出一種基于爬蟲(chóng)大數(shù)據(jù)的網(wǎng)絡(luò)負(fù)載異常監(jiān)測(cè)方法，以判斷網(wǎng)絡(luò)負(fù)載的連接情況。

1 基于爬蟲(chóng)大數(shù)據(jù)的網(wǎng)絡(luò)負(fù)載異常監(jiān)測(cè)方法

1.1 網(wǎng)絡(luò)負(fù)載異常監(jiān)測(cè)流程設(shè)計(jì)

網(wǎng)絡(luò)爬蟲(chóng)，又被稱(chēng)為網(wǎng)頁(yè)蜘蛛、網(wǎng)絡(luò)機(jī)器人，是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本[3]。對(duì)網(wǎng)絡(luò)負(fù)載異常進(jìn)行監(jiān)測(cè)需要各類(lèi)相關(guān)數(shù)據(jù)，而爬蟲(chóng)大數(shù)據(jù)對(duì)獲取負(fù)載異常監(jiān)測(cè)的相關(guān)數(shù)據(jù)具有一定程度的幫助。圖1為基于爬蟲(chóng)大數(shù)據(jù)的網(wǎng)絡(luò)負(fù)載異常監(jiān)測(cè)方法的監(jiān)測(cè)流程設(shè)計(jì)。

基于爬蟲(chóng)大數(shù)據(jù)的網(wǎng)絡(luò)負(fù)載異常監(jiān)測(cè)方法是利用被監(jiān)測(cè)的網(wǎng)絡(luò)負(fù)載數(shù)據(jù)，將采集到的數(shù)據(jù)信息與未出現(xiàn)異常的數(shù)據(jù)信息進(jìn)行比較分析，找出負(fù)載異常情況。與傳統(tǒng)監(jiān)測(cè)方法相比，該監(jiān)測(cè)方法更能有效找出網(wǎng)絡(luò)負(fù)載異常的線(xiàn)索[4]。該方法的具體流程如下。

第一步：確定網(wǎng)絡(luò)負(fù)載異常目標(biāo)。在對(duì)數(shù)據(jù)進(jìn)行監(jiān)測(cè)前，要確定需要被監(jiān)測(cè)的具體網(wǎng)絡(luò)環(huán)境及其中的相關(guān)數(shù)據(jù)。

第二步：分析負(fù)載異常整體結(jié)構(gòu)。為了獲取上述數(shù)據(jù)信息，需要對(duì)相應(yīng)的網(wǎng)絡(luò)負(fù)載進(jìn)行分析。

第三步：實(shí)現(xiàn)爬蟲(chóng)大數(shù)據(jù)，采集所需異常數(shù)據(jù)。利用爬蟲(chóng)大數(shù)據(jù)實(shí)現(xiàn)對(duì)上述數(shù)據(jù)信息的獲取。

第四步：對(duì)采集到的負(fù)載異常數(shù)據(jù)進(jìn)行計(jì)算和分析。針對(duì)上述采集到的數(shù)據(jù)信息，在對(duì)大數(shù)據(jù)集成及預(yù)處理的基礎(chǔ)上，根據(jù)集中分析和分散核查的監(jiān)測(cè)思路，利用大數(shù)據(jù)可視化的相應(yīng)工具對(duì)數(shù)據(jù)進(jìn)行分析，通過(guò)可視化的分析結(jié)果進(jìn)行觀測(cè)，并快速?gòu)拇髷?shù)據(jù)信息中找出異常數(shù)據(jù)，獲取負(fù)載異常線(xiàn)索[5]。監(jiān)測(cè)人員對(duì)負(fù)載異常進(jìn)行監(jiān)測(cè)的過(guò)程中，需要對(duì)異常數(shù)據(jù)進(jìn)行細(xì)化處理，并全面分析被監(jiān)測(cè)數(shù)據(jù)。在可視化分析結(jié)果的基礎(chǔ)上，監(jiān)測(cè)人員可借助相應(yīng)的查詢(xún)方法或監(jiān)測(cè)軟件對(duì)被監(jiān)測(cè)的數(shù)據(jù)信息進(jìn)行建?；蚍治?，從而進(jìn)一步獲取相關(guān)異常證據(jù)。在此基礎(chǔ)上，通過(guò)對(duì)數(shù)據(jù)信息進(jìn)行異常確定，獲取到最終的網(wǎng)絡(luò)負(fù)載異常結(jié)果。

1.2 基于爬蟲(chóng)大數(shù)據(jù)的異常數(shù)據(jù)采集

網(wǎng)絡(luò)負(fù)載異常數(shù)據(jù)的采集是獲取相應(yīng)網(wǎng)絡(luò)負(fù)載數(shù)據(jù)的重要環(huán)節(jié)。網(wǎng)絡(luò)負(fù)載異常數(shù)據(jù)采集主要分為四部分：Web爬蟲(chóng)、數(shù)據(jù)處理、爬取隊(duì)列及數(shù)據(jù)庫(kù)。四個(gè)部分的主要功能分別為：從網(wǎng)絡(luò)中獲取相應(yīng)的負(fù)載數(shù)據(jù)信息，并從中抽取需要的屬性數(shù)據(jù)信息;對(duì)爬蟲(chóng)獲取的數(shù)據(jù)信息進(jìn)行處理;為爬蟲(chóng)提供需要獲取異常數(shù)據(jù)的隊(duì)列;數(shù)據(jù)庫(kù)中主要包括需要獲取的異常數(shù)據(jù)信息、從網(wǎng)絡(luò)中抽出的數(shù)據(jù)及經(jīng)過(guò)處理后的數(shù)據(jù)。

Web爬蟲(chóng)獲取數(shù)據(jù)的過(guò)程為：網(wǎng)絡(luò)→鏈接獲取→異常鏈接過(guò)濾→內(nèi)容獲取→異常內(nèi)容過(guò)濾→爬取隊(duì)列→異常數(shù)據(jù)采集。具體過(guò)程為：在網(wǎng)絡(luò)中獲取相應(yīng)的鏈接;從內(nèi)容中抽取相應(yīng)的正文內(nèi)容和鏈接;進(jìn)一步判斷鏈接地址時(shí)已經(jīng)是被獲取過(guò)的;從中提取所需利用價(jià)值的數(shù)據(jù);為爬蟲(chóng)提供所需異常數(shù)據(jù)的隊(duì)列;最后將所有數(shù)據(jù)信息存儲(chǔ)在數(shù)據(jù)庫(kù)當(dāng)中。

利用爬蟲(chóng)抓取網(wǎng)絡(luò)中負(fù)載數(shù)據(jù)的方法可分為三種。第一種方法是以廣度優(yōu)先，由根節(jié)點(diǎn)開(kāi)始，對(duì)當(dāng)前被監(jiān)測(cè)的負(fù)載進(jìn)行搜索，再對(duì)下一層進(jìn)行搜索，以此類(lèi)推，逐層搜索，從而完成對(duì)負(fù)載數(shù)據(jù)的獲取[6]。第二種方法是以深度優(yōu)先，從根節(jié)點(diǎn)出發(fā)，找出其葉子節(jié)點(diǎn)，以此類(lèi)推。在一個(gè)網(wǎng)絡(luò)環(huán)境當(dāng)中，選擇一個(gè)鏈接，被鏈接的網(wǎng)頁(yè)將指向深度優(yōu)先的搜索策略，以此形成單獨(dú)存在的一條搜索鏈，當(dāng)搜索到?jīng)]有其他鏈接存在時(shí)，完成對(duì)網(wǎng)絡(luò)負(fù)載數(shù)據(jù)的獲取。第三種方法是最佳優(yōu)先，通過(guò)計(jì)算得出預(yù)測(cè)模型與實(shí)際網(wǎng)絡(luò)的相似程度或相關(guān)性，根據(jù)事先設(shè)定的閾值進(jìn)行選擇，從而完成對(duì)網(wǎng)絡(luò)負(fù)載數(shù)據(jù)的獲取。可根據(jù)實(shí)際要求，選擇不同的爬蟲(chóng)大數(shù)據(jù)獲取方法。

在進(jìn)行爬蟲(chóng)大數(shù)據(jù)采集過(guò)程中，需要增加過(guò)濾設(shè)備，用于判斷獲取到的數(shù)據(jù)信息是否存在于未出現(xiàn)異常的數(shù)據(jù)集合中。過(guò)濾設(shè)備的基本思路為：當(dāng)由爬蟲(chóng)大數(shù)據(jù)獲取到的數(shù)據(jù)信息進(jìn)入集合中，利用散列函數(shù)對(duì)每個(gè)數(shù)據(jù)元素映射成為一個(gè)位數(shù)組中的某一個(gè)點(diǎn)，并將其設(shè)置為0。在檢索過(guò)程中，只需要判斷該點(diǎn)是否為0即可得知該數(shù)據(jù)是否在未出現(xiàn)異常的數(shù)據(jù)集合中。若集合中出現(xiàn)任何不為0的子集，則表示集合中存在負(fù)載異常數(shù)據(jù)，將這一部分集合過(guò)濾出來(lái);若集合中的數(shù)據(jù)均為0，則表示該集合中所有的數(shù)據(jù)均為未出現(xiàn)異常的負(fù)載數(shù)據(jù)[7]。由于過(guò)濾設(shè)備中的存儲(chǔ)空間及插入、查詢(xún)的時(shí)間均為常數(shù)，因此，對(duì)監(jiān)測(cè)人員來(lái)說(shuō)，監(jiān)測(cè)復(fù)雜程度更低。加之散列函數(shù)相互之間不具有一定的關(guān)聯(lián)關(guān)系，因此更有利于硬件設(shè)施方面的并行實(shí)現(xiàn)。由于過(guò)濾設(shè)備不具有存儲(chǔ)數(shù)據(jù)信息的功能，因此，對(duì)某些保密性要求更高的數(shù)據(jù)信息而言，安全性更高。

1.3 網(wǎng)絡(luò)負(fù)載異常數(shù)據(jù)計(jì)算

假設(shè)網(wǎng)絡(luò)負(fù)載的數(shù)量為[m]個(gè)，在某一時(shí)間段[s]中，構(gòu)建相應(yīng)的負(fù)載監(jiān)測(cè)模型，網(wǎng)絡(luò)負(fù)載的變化從時(shí)間軸上看是沒(méi)有規(guī)律可言的，因此分析接入大數(shù)據(jù)平臺(tái)的負(fù)載可以用時(shí)間序列對(duì)負(fù)載數(shù)量進(jìn)行預(yù)判[8]。結(jié)合爬蟲(chóng)大數(shù)據(jù)的采集，根據(jù)上一時(shí)間段中的負(fù)載實(shí)際數(shù)量和預(yù)測(cè)的負(fù)載數(shù)量建立當(dāng)前時(shí)間段內(nèi)的網(wǎng)絡(luò)負(fù)載異常預(yù)測(cè)模型，通過(guò)對(duì)數(shù)據(jù)進(jìn)行不斷修正，使其無(wú)限逼近于真實(shí)的負(fù)載數(shù)量。

假設(shè)在某一時(shí)間段[s]中的負(fù)載數(shù)量的預(yù)測(cè)數(shù)值為[Fs]，則[fs]表示在時(shí)間段[s]內(nèi)的實(shí)際負(fù)載數(shù)量，則可得出相應(yīng)的計(jì)算網(wǎng)絡(luò)負(fù)載數(shù)量預(yù)測(cè)值公式為：

[Fs+1=Fs+λ（fs-Fs）]? ? ? ? ? ? ? ? ? ? ?（1）

公式（1）中，[λ]表示為權(quán)重因子。

通過(guò)公式（1）可得出相鄰兩次負(fù)載數(shù)量的預(yù)測(cè)變化值為：

[ε=Fs-Fs-1]? ? ? ? ? ? ? ? ? ? ? ? ? ?（2）

公式（2）中，[ε]表示變化值。

為了使監(jiān)測(cè)方法的準(zhǔn)確性更高，對(duì)于每次在計(jì)算過(guò)程中產(chǎn)生的誤差，應(yīng)采用對(duì)多次預(yù)測(cè)數(shù)值求取平均數(shù)[F]的方式提升監(jiān)測(cè)方法的精準(zhǔn)度。

根據(jù)[ε]和[F]相差的數(shù)值判斷出最終的網(wǎng)絡(luò)負(fù)載數(shù)量變化情況。若計(jì)算出的結(jié)構(gòu)[ε]≥[F]，則表示在當(dāng)前時(shí)間段內(nèi)，負(fù)載數(shù)量的變化情況明顯，此時(shí)可能出現(xiàn)了網(wǎng)絡(luò)負(fù)載異常現(xiàn)象，應(yīng)采取相應(yīng)的措施，對(duì)當(dāng)前接入網(wǎng)絡(luò)中的負(fù)載進(jìn)行重新監(jiān)測(cè)，并判斷此時(shí)監(jiān)測(cè)情況及負(fù)載的類(lèi)別;[ε]<[F]，則表示在當(dāng)前時(shí)間段內(nèi)，負(fù)載數(shù)量的變化情況不明顯，未出現(xiàn)網(wǎng)絡(luò)負(fù)載異?，F(xiàn)象，因此保持原有監(jiān)測(cè)方法和相關(guān)參數(shù)不變。

通常情況下，網(wǎng)絡(luò)負(fù)載還會(huì)出現(xiàn)偽在線(xiàn)負(fù)載的現(xiàn)象，造成網(wǎng)絡(luò)中的資源浪費(fèi)。針對(duì)這一問(wèn)題，還需要驗(yàn)證負(fù)載是否在線(xiàn)。利用爬蟲(chóng)大數(shù)據(jù)對(duì)在線(xiàn)的負(fù)載狀態(tài)進(jìn)行判別，用于判斷在線(xiàn)用戶(hù)的真實(shí)情況。根據(jù)上述構(gòu)建的預(yù)測(cè)模型計(jì)算出負(fù)載數(shù)量的輸入量，而網(wǎng)絡(luò)負(fù)載在當(dāng)前監(jiān)測(cè)時(shí)間段內(nèi)的通信看作是網(wǎng)絡(luò)輸出。將公式（1）中獲取到的負(fù)載預(yù)測(cè)值作為研究對(duì)象，以網(wǎng)絡(luò)負(fù)載的實(shí)際個(gè)數(shù)作為輸出，假設(shè)[m]個(gè)負(fù)載的通信時(shí)間為[ai（i=1，2，…，m）]，根據(jù)輸出量，判斷此時(shí)負(fù)載的連接情況及負(fù)載的通信情況。通過(guò)正向運(yùn)算可得出：

[Hj=g（i=1mωa-T），j=1，2，…，l]? ? ? ? ? ? ? ? （3）

公式（3）中，[Hj]為正向運(yùn)算的結(jié)果;[ω]表示為權(quán)重;[T]表示為閾值;[l]表示為負(fù)載數(shù)量;[g]表示為傳遞關(guān)系。通過(guò)（3）計(jì)算出的結(jié)果與實(shí)際結(jié)果進(jìn)行比較可得出兩者之間存在的誤差值，再通過(guò)反向運(yùn)算將權(quán)重與閾值更新，以此可以不斷減小負(fù)載異常監(jiān)測(cè)的結(jié)果誤差，從而獲取實(shí)際負(fù)載數(shù)量的在線(xiàn)情況。若通過(guò)本文上述方法利用爬蟲(chóng)大數(shù)據(jù)獲取到的數(shù)據(jù)信息在設(shè)定的數(shù)據(jù)量閾值范圍內(nèi)，則表示此時(shí)網(wǎng)絡(luò)負(fù)載處于正常的連接狀態(tài)及正常的通信狀態(tài);若數(shù)據(jù)信息不在設(shè)定范圍內(nèi)，則表示此時(shí)網(wǎng)絡(luò)負(fù)載的連接為無(wú)效連接，負(fù)載處于異常狀態(tài)。

2 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文提出的基于爬蟲(chóng)大數(shù)據(jù)的網(wǎng)絡(luò)負(fù)載異常監(jiān)測(cè)方法的有效性，將該方法與傳統(tǒng)監(jiān)測(cè)方法進(jìn)行對(duì)比，實(shí)驗(yàn)設(shè)計(jì)如下。

2.1 實(shí)驗(yàn)準(zhǔn)備

首先構(gòu)建實(shí)驗(yàn)平臺(tái)，設(shè)置網(wǎng)絡(luò)負(fù)載的數(shù)據(jù)樣本為2 000個(gè)。將2 000個(gè)樣本建立成一個(gè)樣本集合，并將數(shù)據(jù)全部接入平臺(tái)中。設(shè)置本文提出的監(jiān)測(cè)方法為實(shí)驗(yàn)組，傳統(tǒng)監(jiān)測(cè)方法為對(duì)照組。將樣本分為兩組，每組1 000個(gè)，對(duì)其負(fù)載分別進(jìn)行60min的不間斷調(diào)整，加入人工手段，讓部分負(fù)載失去連接，分別利用兩組方法對(duì)其網(wǎng)絡(luò)負(fù)載異常進(jìn)行監(jiān)測(cè)，比較對(duì)照組和實(shí)驗(yàn)組的監(jiān)測(cè)性能。

2.2 實(shí)驗(yàn)結(jié)果及分析

為了保證實(shí)驗(yàn)的客觀性，在保證其他外界影響因素均相同的情況下，完成實(shí)驗(yàn)。對(duì)實(shí)驗(yàn)過(guò)程中的相關(guān)數(shù)據(jù)進(jìn)行記錄，并通過(guò)計(jì)算得出兩組方法監(jiān)測(cè)結(jié)果的精確度，如表1所示。

通過(guò)本文構(gòu)建的實(shí)驗(yàn)及表1可以得出，經(jīng)過(guò)60min的監(jiān)測(cè)與實(shí)際的負(fù)載異常數(shù)量相比，實(shí)驗(yàn)組的監(jiān)測(cè)精確度明顯高于對(duì)照組的監(jiān)測(cè)精確度。雖然表1中對(duì)照組的監(jiān)測(cè)精度能夠達(dá)到91%以上，但從整體實(shí)驗(yàn)過(guò)程來(lái)看，監(jiān)測(cè)精度的穩(wěn)定性不強(qiáng)，精確度在70%～91%波動(dòng)過(guò)大。這主要是因?yàn)?，傳統(tǒng)監(jiān)測(cè)方法是利用服務(wù)器定時(shí)對(duì)每個(gè)負(fù)載發(fā)送信號(hào)，再對(duì)發(fā)送信號(hào)的時(shí)間及接受反饋的相應(yīng)參數(shù)進(jìn)行記錄，根據(jù)時(shí)間差判斷負(fù)載的異常情況，這種方法浪費(fèi)網(wǎng)絡(luò)資源，對(duì)大數(shù)據(jù)平臺(tái)的適用性較差。實(shí)驗(yàn)組的監(jiān)測(cè)方法在獲取網(wǎng)絡(luò)負(fù)載數(shù)據(jù)的過(guò)程中，避免了傳統(tǒng)方法運(yùn)用過(guò)程中出現(xiàn)的問(wèn)題，因此平均精確度可高達(dá)95%以上，且擬合性更高，精確度的誤差波動(dòng)范圍較小?？梢?jiàn)，本文提出的基于爬蟲(chóng)大數(shù)據(jù)的網(wǎng)絡(luò)負(fù)載異常監(jiān)測(cè)方法的監(jiān)測(cè)精確度更高、適應(yīng)性更強(qiáng)，更適用于對(duì)網(wǎng)絡(luò)負(fù)載進(jìn)行異常監(jiān)測(cè)。

3 結(jié)語(yǔ)

本文提出一種基于爬蟲(chóng)大數(shù)據(jù)的網(wǎng)絡(luò)負(fù)載異常監(jiān)測(cè)方法，在提高監(jiān)測(cè)精確度的同時(shí)，提高了大數(shù)據(jù)平臺(tái)中資源的使用效率。實(shí)驗(yàn)證明，本文設(shè)計(jì)的網(wǎng)絡(luò)負(fù)載異常監(jiān)測(cè)方法具有更強(qiáng)的適用性。在后續(xù)的研究中還將針對(duì)爬蟲(chóng)大數(shù)據(jù)采集進(jìn)行更加深入的研究，找出最適用于網(wǎng)絡(luò)負(fù)載異常監(jiān)測(cè)的網(wǎng)絡(luò)爬蟲(chóng)類(lèi)型，方便相關(guān)人員的監(jiān)測(cè)，提高監(jiān)測(cè)的運(yùn)行效率及性能，為日后對(duì)結(jié)構(gòu)更加復(fù)雜的網(wǎng)絡(luò)環(huán)境的負(fù)載異常監(jiān)測(cè)提供理論基礎(chǔ)。

參考文獻(xiàn)：

[1]李星.基于小波神經(jīng)網(wǎng)絡(luò)的大數(shù)據(jù)在線(xiàn)負(fù)載異常監(jiān)測(cè)技術(shù)研究[J].現(xiàn)代電子技術(shù)，2019（11）：95-97.

[2]章昭輝，崔君.大規(guī)模網(wǎng)絡(luò)服務(wù)系統(tǒng)行為異常的敏捷感知方法[J].計(jì)算機(jī)學(xué)報(bào)，2017（2）：505-519.

[3]劉江，劉國(guó)璽，張雁，等.基于多線(xiàn)程和翻譯的網(wǎng)絡(luò)爬蟲(chóng)鳥(niǎo)類(lèi)音頻數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代計(jì)算機(jī)（專(zhuān)業(yè)版），2018（30）：85-92.

[4]高峰，劉震，高輝.結(jié)合有監(jiān)督廣度優(yōu)先搜索策略的通用垂直爬蟲(chóng)方法[J].計(jì)算機(jī)工程，2018（11）：289-299.

[5]石恩名，肖曉軍，盧宇.基于云平臺(tái)的分布式高性能網(wǎng)絡(luò)爬蟲(chóng)的研究與設(shè)計(jì)[J].電信科學(xué)，2017（8）：180-186.

[6]劉順程，岳思穎.大數(shù)據(jù)時(shí)代下基于Python的網(wǎng)絡(luò)信息爬取技術(shù)[J].電子技術(shù)與軟件工程，2017（21）：160-161.

[7]郭二強(qiáng)，李博.大數(shù)據(jù)環(huán)境下基于Python的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)[J].計(jì)算機(jī)產(chǎn)品與流通，2017（12）：82-83.

[8]曾健榮，張仰森，鄭佳，等.面向多數(shù)據(jù)源的網(wǎng)絡(luò)爬蟲(chóng)實(shí)現(xiàn)技術(shù)及應(yīng)用[J].計(jì)算機(jī)科學(xué)，2019（5）：304-309.