（海南師范大學(xué)，海南 海口 571158）

0 引言

網(wǎng)絡(luò)爬蟲技術(shù)在當(dāng)前的互聯(lián)網(wǎng)環(huán)境中普遍存在，雖然在一定程度上滿足了數(shù)據(jù)資源的供給需要，但違規(guī)的網(wǎng)站信息抓取工作在一定程度上影響了信息安全[1]。因此，結(jié)合大數(shù)據(jù)時代的互聯(lián)網(wǎng)環(huán)境特點，制定反爬蟲技術(shù)的應(yīng)用策略，是很多互聯(lián)網(wǎng)專業(yè)人員重點關(guān)注的問題。

1 大數(shù)據(jù)時代反爬蟲技術(shù)應(yīng)用存在的問題

1.1 前端限制方案不夠完善

部分反爬蟲技術(shù)的設(shè)置對于前端限制方案的重要性認知存在不足，CSS或HTML標(biāo)簽的應(yīng)用不夠充分，技術(shù)人員缺乏對元素錯位等問題的有效整治，造成干擾大數(shù)據(jù)技術(shù)正常應(yīng)用的因素?zé)o法充分明確自身價值，不利于數(shù)據(jù)安全的有效維護。

（1）一些前端設(shè)置方案的制定對于關(guān)鍵性信息安全的管控措施缺乏必要的關(guān)注，CSS技術(shù)的應(yīng)用未能實現(xiàn)對數(shù)據(jù)偏移量的有效顯現(xiàn)，無法在關(guān)鍵性數(shù)據(jù)混淆問題管控方面取得突出進展，不利于前端限制方案價值的充分開發(fā)[2]。

（2）一些前端設(shè)置方案的設(shè)計工作對于不同類型網(wǎng)站信息的構(gòu)成情況缺乏必要關(guān)注，尤其對于網(wǎng)頁信息的抽樣分析工作價值缺乏完整的總結(jié)，難以實現(xiàn)對反爬蟲機制有效性測試，不利于前端限制方案的進一步完善。

（3）一些前端限制方案在具體制定過程中，對于網(wǎng)頁之中的文件類型缺乏有效的研究，在進行技術(shù)資源的偏移量控制過程中，缺乏對反爬蟲策略基礎(chǔ)性組成因素的關(guān)注，導(dǎo)致文件類型和基礎(chǔ)信息形式的特征難以得到有效的價值認定，無法為網(wǎng)頁文字渲染等工作實施過程中，充分實現(xiàn)前端限制方案價值開發(fā)，不利于反爬蟲技術(shù)的進一步改良。

1.2 請求規(guī)則制定缺乏合理性

第一，部分反爬蟲技術(shù)應(yīng)用方案在制定過程中，對于請求規(guī)則的設(shè)計情況考察不夠充分，未能實現(xiàn)對服務(wù)器端請求信息的有效識別，導(dǎo)致反爬蟲技術(shù)方案在具體設(shè)計過程中，無法實現(xiàn)對相關(guān)數(shù)據(jù)請求價值的有效認定，難以從源頭出發(fā)，充分滿足惡意數(shù)據(jù)獲取問題的控制需要。

第二，部分請求規(guī)則在制定過程中，對于網(wǎng)絡(luò)服務(wù)器所需的服務(wù)請求信息考察不夠全面，尤其對于信息資源的屬性及配置情況缺乏必要的價值研究，難以在信息請求的主要類型得到明確的基礎(chǔ)上，更好地滿足請求規(guī)則的創(chuàng)新制定需要。一些請求規(guī)則的具體設(shè)計工作缺乏對網(wǎng)站運維所需基礎(chǔ)條件的關(guān)注，未能實現(xiàn)數(shù)據(jù)包應(yīng)用價值的完整開發(fā)，在處理網(wǎng)站訪問相關(guān)工作過程中，缺乏對爬蟲任務(wù)特征的精準(zhǔn)掌握，難以在網(wǎng)站模擬信息得到明確的情況下，更加有效地滿足請求方案的創(chuàng)新需要。

第三，部分請求規(guī)則在制定過程中，對于常規(guī)訪問屬性的考察與認知存在不足，缺乏對屬性設(shè)置參數(shù)價值的有效評估，最終導(dǎo)致通用搜索引擎無法充分開發(fā)出自身價值，難以在瀏覽器請求主體任務(wù)得到明確的基礎(chǔ)上，充分滿足反爬蟲技術(shù)的改良應(yīng)用需要[3]。

1.3 流量管控措施存在不足

實現(xiàn)流量的管控可以為反爬蟲技術(shù)的高質(zhì)量實施提供有利支持。但是，現(xiàn)有的部分流量管控措施在創(chuàng)新設(shè)計過程中，對于網(wǎng)站當(dāng)前的監(jiān)控管理措施缺乏必要的價值分析，在進行表單提交管理過程中，無法實現(xiàn)對網(wǎng)站之中交互性信息構(gòu)成情況的有效分析，不利于流量管控相關(guān)措施的創(chuàng)新改良。

（1）一些流量管控措施雖然得到了探索設(shè)計，但對于現(xiàn)有的IP地址設(shè)計合理性重視程度較低，請求延遲問題的管控舉措未能得到有效改進，導(dǎo)致反爬蟲技術(shù)在具體創(chuàng)新的過程中，無法在請求限制問題的有效應(yīng)對之下，充分滿足反爬蟲技術(shù)的具體應(yīng)用需要。

（2）一些流量管控措施的設(shè)計缺乏對目標(biāo)網(wǎng)站構(gòu)成情況的合理研究，在進行信息延遲問題影響力考察過程中，缺乏對網(wǎng)頁加載速度等關(guān)鍵性信息的掌控，最終導(dǎo)致不同類型的信息獲取渠道難以得到完整的合理性評估，不利于流量管控工作方案的創(chuàng)新改良。

（3）一些流量管控措施的設(shè)計對于信息的分布式特征缺乏足夠重視，專業(yè)代理相關(guān)購置方案的制定存在嚴(yán)重的質(zhì)量缺陷，導(dǎo)致流量管控等措施的實施無法在專業(yè)代理購買過程中得到改進，無法在網(wǎng)絡(luò)反爬蟲技術(shù)創(chuàng)新中，更好的實現(xiàn)網(wǎng)站技術(shù)問題的規(guī)避。

1.4 數(shù)據(jù)加密技術(shù)的應(yīng)用不夠成熟

部分反爬蟲策略在具體制定過程中，對于數(shù)據(jù)加密相關(guān)措施的價值認知存在不足，在制定參數(shù)加密管理的具體方案過程中，未能實現(xiàn)對數(shù)據(jù)請求實際構(gòu)建價值的有效分析，導(dǎo)致大數(shù)據(jù)技術(shù)在普及過程中，無法為反爬蟲技術(shù)的充分有效使用提供必要支持，不利于反爬蟲技術(shù)應(yīng)用價值的全面開發(fā)。

2 大數(shù)據(jù)時代反爬蟲技術(shù)的改進策略

2.1 加快完善前端限制方案

反爬蟲技術(shù)方案的設(shè)置過程中，一定要對前端限制的重要性加以總結(jié)，并靈活使用CSS或HTML標(biāo)簽進行信息構(gòu)成形式的合理設(shè)計，借此提升前端設(shè)置相關(guān)技術(shù)資源的配置合理性。要加強對元素錯位等因素負面效應(yīng)的關(guān)注，并對相關(guān)的自定義字體進行合理應(yīng)用，使反爬蟲技術(shù)方案的構(gòu)建可以在前端限制方面發(fā)揮重要積極影響，進一步滿足反爬蟲技術(shù)的創(chuàng)新性應(yīng)用要求。

在制定反爬蟲策略干擾因素的過程中，務(wù)必加強對圖片偏移量等關(guān)鍵信息的研究，尤其要對關(guān)鍵性數(shù)據(jù)混淆問題的負面影響加以管控，為前端限制方案更好的發(fā)揮作用提供幫助。前端限制方案的建設(shè)需要對反爬蟲技術(shù)應(yīng)用過程中的通用手段進行作用分析，并對相關(guān)網(wǎng)頁進行有效的抽樣研究，使影響反爬蟲技術(shù)應(yīng)用質(zhì)量的測試手段可以得到逐步改進，以便前端限制方案的應(yīng)用能夠在數(shù)據(jù)替換方面發(fā)揮更加積極的影響，為初始網(wǎng)頁之中相應(yīng)數(shù)據(jù)信息價值的改進提供支持。

前端限制方案的設(shè)計還需要對自定義字體等因素具備足夠重視，尤其要對網(wǎng)站之上的源碼特征進行研究，使CSS文件相關(guān)的數(shù)據(jù)偏移量可以得到更加精準(zhǔn)的認知，以此實現(xiàn)對網(wǎng)頁文字渲染工作的創(chuàng)新調(diào)整。前端限制方案的設(shè)計還必須實現(xiàn)對TTF文件應(yīng)用情況的關(guān)注，并對網(wǎng)頁源代碼復(fù)制所得信息的真實性進行考察，使反爬蟲技術(shù)的應(yīng)用能夠在源代碼狀態(tài)得到明確認知的基礎(chǔ)上，充分滿足隱藏字體控制需求，為字體文件導(dǎo)入技術(shù)的靈活應(yīng)用提供幫助，并保證前端限制方案可以在開發(fā)大數(shù)據(jù)技術(shù)應(yīng)用價值方面發(fā)揮更大積極影響[4]。

2.2 提升請求規(guī)則的制定合理性

在反爬蟲技術(shù)設(shè)計過程中，要加強對服務(wù)器端特征的關(guān)注，并將請求限制設(shè)定作為主要關(guān)注的內(nèi)容，借此提升請求規(guī)則的價值開發(fā)需求，為惡意數(shù)據(jù)獲取方案的改進提供必要支持。請求規(guī)則在具體制定過程中，務(wù)必實現(xiàn)對反爬蟲策略構(gòu)成特征的有效研究，尤其要對網(wǎng)絡(luò)服務(wù)器所需的各類請求性信息進行有效的價值認定，借此提升反爬蟲技術(shù)的創(chuàng)新性應(yīng)用需要。

在進行屬性和配置信息分析過程中，一定要對當(dāng)前的請求規(guī)則所發(fā)揮的作用加以研究，尤其要對pythonrequests、User-Agent等容易被察覺的信息進行有效價值考察，為數(shù)據(jù)包等關(guān)鍵性資源價值的充分開發(fā)提供充分保障，進而實現(xiàn)對爬蟲任務(wù)的成熟有效改進。在請求規(guī)則的創(chuàng)新設(shè)計過程中，務(wù)必加強對爬蟲任務(wù)調(diào)整的重視，在發(fā)現(xiàn)網(wǎng)站出現(xiàn)模擬請求頭設(shè)計質(zhì)量不足問題的情況下，需要實現(xiàn)對請求頭屬性的充分認知，以此實現(xiàn)對常規(guī)訪問管理措施相關(guān)規(guī)則的有效制定，為屬性設(shè)置等主體業(yè)務(wù)的創(chuàng)新開展提供幫助。

請求規(guī)則的具體制定還需要實現(xiàn)對現(xiàn)有反爬蟲技術(shù)相關(guān)字段設(shè)計情況的關(guān)注，尤其要對就自定義字段的校驗碼設(shè)置情況進行考察分析，以便反爬蟲技術(shù)在具體應(yīng)用過程中，可以更加有效的滿足請求者主體身份的分析需要，并保證反爬蟲策略的設(shè)置可以在簽名請求規(guī)則的幫助之下，更加充分的滿足反爬蟲技術(shù)的創(chuàng)新設(shè)計需求。

2.3 提升流量管控措施的設(shè)計水平

反爬蟲技術(shù)方案在制定過程中，需要對流量管控的價值進行多方面的分析，并對網(wǎng)站技術(shù)的監(jiān)控性需求進行深入考察，使流量管控措施的制定能夠更加完整的滿足反爬蟲策略的創(chuàng)新應(yīng)用需要，進而提升網(wǎng)站監(jiān)控相關(guān)技術(shù)的應(yīng)用質(zhì)量。

在進行信息下載管理方案設(shè)計過程中，務(wù)必加強對IP地址訪問情況的關(guān)注，尤其要對網(wǎng)站交互管理的相關(guān)舉措進行價值評估，使?jié)M足流量控制工作實際推進需求的措施能夠得到創(chuàng)新改良，并保證反爬蟲技術(shù)可以在網(wǎng)站運維管理方案得到改進的情況下，更好的發(fā)揮自身價值。

在流量管控相關(guān)措施具體設(shè)計過程中，務(wù)必實現(xiàn)對反爬蟲技術(shù)應(yīng)用主體成員需求的關(guān)注，尤其要對延時加載技術(shù)的實際應(yīng)用特征進行考察分析，使?jié)M足異步更新技術(shù)具體應(yīng)用需求的舉措可以得到創(chuàng)新改進，并保證流量管控措施所需條件能夠借此得到滿足[5]。

2.4 提升數(shù)據(jù)加密技術(shù)的應(yīng)用成熟度

在進行數(shù)據(jù)加密技術(shù)探索應(yīng)用過程中，要對反爬蟲技術(shù)所需的基礎(chǔ)條件進行創(chuàng)新考察，尤其要對網(wǎng)站之中的信息加密需求加以研究，使各方面的數(shù)據(jù)請求狀況可以得到充分明確，進而滿足數(shù)據(jù)資源的應(yīng)用價值開發(fā)需要。

3 結(jié)論

反爬蟲技術(shù)的創(chuàng)新應(yīng)用有助于大數(shù)據(jù)資源突出應(yīng)用價值的開發(fā)。因此，在當(dāng)前大數(shù)據(jù)技術(shù)的發(fā)展速度較快背景下，對反爬蟲技術(shù)的應(yīng)用現(xiàn)狀加以研究，并制定符合實際情況的改進策略，對提升反爬蟲技術(shù)的總體應(yīng)用質(zhì)量，具有十分重要的意義。