■劉晴

梭子魚(yú)Web應(yīng)用防火墻助力網(wǎng)站數(shù)據(jù)采集管理

■劉晴

網(wǎng)站數(shù)據(jù)持續(xù)地被腳本、bots病毒和其它一些自動(dòng)執(zhí)行的程序采集，這有時(shí)候是件好事，有時(shí)候卻并非如此，通常介于兩者之間。

對(duì)不熟悉的人來(lái)說(shuō)，采集就是從網(wǎng)站復(fù)制或提取信息，那些提供比價(jià)購(gòu)物服務(wù)以及數(shù)據(jù)監(jiān)控的應(yīng)用往往需要通過(guò)信息的抓取來(lái)實(shí)現(xiàn)。這通常被認(rèn)為是合法的采集，遵守了內(nèi)容提供商的服務(wù)條款。而惡意的采集形式是在未經(jīng)許可的情況下把一個(gè)網(wǎng)站上的內(nèi)容轉(zhuǎn)發(fā)到另外一個(gè)網(wǎng)站，完全不考慮版權(quán)和服務(wù)條款。

梭子魚(yú)Web應(yīng)用防火墻可以幫助您管理對(duì)您網(wǎng)站數(shù)據(jù)的采集行為，保護(hù)服務(wù)器、應(yīng)用和數(shù)據(jù)不受Web以及其他攻擊的威脅。主要功能有以下幾點(diǎn)：

啟發(fā)式指紋和IP信譽(yù)：可以根據(jù)IP地址的歸屬地以及梭子魚(yú)IP信譽(yù)庫(kù)的查詢結(jié)果來(lái)限制訪問(wèn)的IP。然后管理員可以設(shè)定對(duì)這些受限制的IP的訪問(wèn)策略，比如直接阻斷來(lái)自梭子魚(yú)黑名單的連接，也可以限制嘗試訪問(wèn)的次數(shù)，或者通過(guò)要求輸入驗(yàn)證碼來(lái)驗(yàn)證疑似鏈接的身份。

拒絕指定用戶客戶端的訪問(wèn)。如果一個(gè)信息采集者以及它的客戶端信息已經(jīng)被甄別，那么就可以設(shè)定梭子魚(yú)WEB應(yīng)用網(wǎng)關(guān)拒絕來(lái)自此類(lèi)連接的流量。

防止強(qiáng)制瀏覽：強(qiáng)制瀏覽即試圖訪問(wèn)網(wǎng)站上未鏈接的內(nèi)容。比如，公司網(wǎng)站有一些頁(yè)面只有員工可以訪問(wèn)，訪問(wèn)這些頁(yè)面需要在瀏覽器的地址欄直接輸入U(xiǎn)RL。強(qiáng)制瀏覽發(fā)現(xiàn)這些網(wǎng)頁(yè)并搜索一些有價(jià)值的內(nèi)容或其它數(shù)據(jù)，從而導(dǎo)致信息的泄露。

利用這些主要功能，您可以基于各種策略來(lái)保護(hù)網(wǎng)站的數(shù)據(jù)。通過(guò)部署梭子魚(yú)Web應(yīng)用防火墻，您可以禁止未授權(quán)的數(shù)據(jù)被采集，同時(shí)也可以只允許采集有鏈接的資源。