陳陽

摘要：本系統(tǒng)對網(wǎng)絡(luò)爬蟲獲得的數(shù)據(jù)進行分析，實現(xiàn)對淘寶某商品銷量的監(jiān)控功能，從而達到更深入的了解消費者對于某種商品的喜好程度，以此來判斷和決定以后的商品的銷售。了解淘寶網(wǎng)的網(wǎng)頁架構(gòu)和一些特定的規(guī)則，并依據(jù)此來編寫相關(guān)的代碼和特定的規(guī)則，編寫JAVA代碼并使用了網(wǎng)頁渲染工具以及瀏覽器工具。利用編寫好的程序下載我們所需要的特定的網(wǎng)頁數(shù)據(jù)，通過DOM解析分析并提取我們所需要的信息，將獲取到的信息存入數(shù)據(jù)庫中，最終通過Web展示在網(wǎng)頁上。

關(guān)鍵詞：網(wǎng)絡(luò)爬蟲；淘寶；銷售量

0.引言

伴隨著電子商務(wù)的迅猛發(fā)展，越來越多的人喜歡和趨向于網(wǎng)絡(luò)購物?；诰W(wǎng)絡(luò)購物成功的典型案例淘寶網(wǎng)來說，在淘寶網(wǎng)進行銷售的總經(jīng)銷商來說，能及時的掌握分銷商的銷售量信息，這樣不僅可以幫助他們更好的生產(chǎn)和合理的分配自己的產(chǎn)品分配，還有助于提高企業(yè)的效率和利潤。目前經(jīng)銷商對于分銷商的淘寶商戶的數(shù)據(jù)監(jiān)控是有需求的，但淘寶卻只提供淘寶客戶對自己的數(shù)據(jù)管理和查看，并不允許他人獲得這些商業(yè)信息。傳統(tǒng)的方式是利用人來手動輸入網(wǎng)址和查看各個淘寶商戶的數(shù)據(jù)并記錄。這就需要大量的人力和時間，還存在效率低出錯率高得缺點?；谔詫毶唐返谋O(jiān)控系統(tǒng)能夠幫助經(jīng)銷商系統(tǒng)的、全面的、更加直接的監(jiān)控分銷商的銷售信息。系統(tǒng)可以幫助任何一個經(jīng)銷商對自己在淘寶網(wǎng)的各個分銷商的銷售量進行監(jiān)控，在功能方面主要可以獲取某個商品在淘寶網(wǎng)所有商家的網(wǎng)絡(luò)地址和每個商家的每月的銷售量的展示和查詢。

1.需求分析

對于淘寶網(wǎng)的總經(jīng)銷商來說，如何生產(chǎn)和分配自己的產(chǎn)品無疑是重中之重。某知名商品的總經(jīng)銷商為了監(jiān)控自己淘寶網(wǎng)下的各個分銷商的銷售量情況，利用人工的手段實時的蹲守在電腦旁查看和記錄每個分銷商的銷售情況，這樣的手段太消耗人力和時間，而且沒有效率。如果可以利用程序自動的去獲得沒一家分銷商的商家地址，已經(jīng)他們每個月的銷售記錄，并對商品的銷售量進行實時監(jiān)控。這樣不僅可以幫助他們更好的生產(chǎn)和合理的分配自己的產(chǎn)品分配，還有助于提高經(jīng)銷商的效率和利潤。

2.系統(tǒng)設(shè)計

（1）功能設(shè)計

系統(tǒng)包含的功能有兩部分，商家地址的獲取功能和網(wǎng)頁內(nèi)容的獲取功能。商家地址的獲取功能主要是實現(xiàn)商家網(wǎng)址獲取的功能。首先由用戶鍵入要監(jiān)控的產(chǎn)品的名字即關(guān)鍵字。然后由應(yīng)用端程序獲取關(guān)鍵字并在淘寶中搜索關(guān)鍵字，將得到的結(jié)果頁面進行分析，并按照特定的規(guī)則去篩選，符合條件的網(wǎng)址即為商家店鋪網(wǎng)址，不符合的則舍棄。網(wǎng)頁內(nèi)容的獲取功能主要是首先將保存網(wǎng)頁地址的文件讀入，將得到的網(wǎng)頁地址進行解析，并獲取網(wǎng)頁內(nèi)容，利用網(wǎng)頁內(nèi)容生成DOM樹。按照之前找好的網(wǎng)頁規(guī)則，輸入要查找的內(nèi)容所在的節(jié)點即唯一的ID。通過ID查找DOM樹種是否含有此ID，如果有則提取ID內(nèi)容并存入數(shù)據(jù)庫中，如果沒有則返回null并退出程序。

（2）數(shù)據(jù)的抓取和存儲

系統(tǒng)對數(shù)據(jù)的抓取和存儲使用了兩種方式，分別是商家地址的抓取和存儲和商家銷售量信息的獲取和存儲。對于商家地址的抓取和存儲為外部文件，當(dāng)用戶在服務(wù)器端鍵入關(guān)鍵字的時候，應(yīng)用服務(wù)器端會搜索關(guān)鍵字并將得到的搜索結(jié)果頁面進行解析。按照特定的規(guī)則分析其中包含的網(wǎng)頁地址，經(jīng)過篩選和提取獲得我們所需要的商家的地址，將這些商家的地址一一保存在外部文件URL.txt中。對商家銷售量信息的獲取和存儲首先從外部文件URL.txt中獲取網(wǎng)頁地址，然后在應(yīng)用服務(wù)器端解析地址并獲得其內(nèi)容，服務(wù)器端會根據(jù)內(nèi)容生成DOM樹，根據(jù)之前所給定的ID節(jié)點查找DOM樹，找到ID之后提取其內(nèi)容并將提取出來的內(nèi)容保存如數(shù)據(jù)庫表taobao中。

3.系統(tǒng)實現(xiàn)

（1）商家地址的提取、存儲成文件、網(wǎng)頁內(nèi)容的獲取。

其中商家地址的提取使用了ItemDemo，Java，是一個實現(xiàn)獲取所有商家地址的類。其中main方法是想parseListDocument方法傳人商品名參數(shù)，和調(diào)用SaveUrlToFile類中的writeLinesToFile方法來將得到的結(jié)果輸出成外部文件。parseListDocument方法是通過處理parseProductUrl返回的參數(shù)以此獲得所有商家地址。parseProductUrl方法是將getPmductListDocument方法中所獲得的所有地址進行解析和分解并進行組裝，獲得我們所需要的地址。