王春芳+高永兵

【摘要】 本文介紹了基于ASP.NET的煉鐵廠鐵水鐵量網(wǎng)頁數(shù)據(jù)獲取系統(tǒng)的設計與實現(xiàn)，包括系統(tǒng)的分析、設計與實現(xiàn)。系統(tǒng)應用于企業(yè)管理的數(shù)據(jù)統(tǒng)計分析中，提高了工作效率，增強了數(shù)據(jù)的及時性、可靠性，效果良好。

【關鍵詞】 網(wǎng)絡爬蟲 數(shù)據(jù)獲取 統(tǒng)計分析

互聯(lián)網(wǎng)是一個龐大的非結構化的數(shù)據(jù)庫，將數(shù)據(jù)有效的檢索并組織呈現(xiàn)出來有著巨大的應用前景。檢索網(wǎng)頁所返回的結果并不是用戶心中理想的數(shù)據(jù)，為了解決這個問題，一個靈活的爬蟲有著無可替代的重要意義[1]。

一、系統(tǒng)分析

煉鐵廠生產(chǎn)鐵水經(jīng)過計量處過重后運往其他單位，記錄員將過重情況記錄到磅單返回到煉鐵廠，相關人員錄入到管理程序中。存在的問題：及時性差，勞動量大，中間環(huán)節(jié)多增加數(shù)據(jù)不一致性的風險；通過開發(fā)煉鐵廠鐵量網(wǎng)頁數(shù)據(jù)獲取系統(tǒng)可以解決此問題。

煉鐵廠經(jīng)過多年的信息化建設，已建成覆蓋全廠的局域網(wǎng)絡，各車間部門辦公電腦普及。煉鐵廠在用數(shù)據(jù)庫SQL Server 2005，并且搭建了數(shù)據(jù)庫群集服務器，每天晚上進行差異備份，每周進行一次完全備份，數(shù)據(jù)安全性得到保障。此系統(tǒng)在開發(fā)過程中幾乎無費用產(chǎn)生，具備開發(fā)條件，方案切實可行！

二、系統(tǒng)設計與實現(xiàn)

前臺通過Visual Studio 2008開發(fā)環(huán)境（編程語言C#），后臺數(shù)據(jù)庫SQL Server 2005，開發(fā)煉鐵廠鐵量網(wǎng)頁數(shù)據(jù)獲取系統(tǒng)，開發(fā)架構C/S模式。通過Visual Studio 2008中WebBrowser控件使用戶在窗體中導航網(wǎng)頁并獲取html源碼；遍歷table元素行、列得到表格數(shù)據(jù)；插入到數(shù)據(jù)庫中[2～4]。

經(jīng)過研究計量處物資計量網(wǎng)鐵水數(shù)據(jù)查詢網(wǎng)頁，設計表結構如圖1。

三、系統(tǒng)功能

煉鐵廠鐵量網(wǎng)頁數(shù)據(jù)獲取系統(tǒng)主要完成功能：從系統(tǒng)界面中導航鐵水鐵量查詢網(wǎng)頁、將鐵量相關數(shù)據(jù)導入到煉鐵廠SQL Server數(shù)據(jù)庫中；可以從管理程序中查詢原始數(shù)據(jù)，面向局域網(wǎng)用戶；經(jīng)過后臺處理與鐵水成份關聯(lián)為原始數(shù)據(jù)、經(jīng)過統(tǒng)計分析然后生成報表，面向生產(chǎn)統(tǒng)計人員；經(jīng)過后臺處理，運用到動力費統(tǒng)計、生產(chǎn)查詢等多個管理程序中。操作界面如圖2。

四、結束語

基于ASP.NET的煉鐵廠鐵量網(wǎng)頁數(shù)據(jù)獲取系統(tǒng)，通過計量處物資計量網(wǎng)鐵水數(shù)據(jù)查詢頁面，抓取煉鐵廠鐵水鐵量數(shù)據(jù)到煉鐵SQL Server數(shù)據(jù)庫中。提高了數(shù)據(jù)統(tǒng)計分析的靈活性；降低了相關人員的工作量、提高了工作效率；確保了數(shù)據(jù)的及時性、準確性、安全性；進而達到了節(jié)約成本的目的。

參 考 文 獻

[1]黃延煒，劉嘉勇.新浪微博數(shù)據(jù)獲取技術研究[J].信息安全與通信保密，2013，06：71-73+76.

[2]張紅云.基于頁面分析的主題網(wǎng)絡爬蟲的研究[D].武漢理工大學，2010.

[3]于成龍，于洪波.網(wǎng)絡爬蟲技術研究[J].東莞理工學院學報，2011，03：25-29.

[4]焦賽美.網(wǎng)絡爬蟲技術的研究[J].瓊州學院學報，2011，05：28-30.