甘文壇

(湖北工業(yè)大學(xué)，湖北 武漢 430068)

?

基金信息采集系統(tǒng)的相關(guān)技術(shù)研究

甘文壇

(湖北工業(yè)大學(xué)，湖北 武漢 430068)

隨著計算機技術(shù)的不斷發(fā)展和改進，基金信息資源的增長速度也不斷提高，搜索引擎能夠有效地解決用戶對大量信息快速搜索困難的問題。但是這種方式無法為用戶提供具有全面性和針對性的基金信息。雖然目前網(wǎng)絡(luò)中存在許多金融信息網(wǎng)站，其中也包括了基金信息，但是它們都存在一定的不足，比如信息缺乏權(quán)威性、真實性。因此基金信息采集系統(tǒng)的設(shè)計應(yīng)用，能夠非常有效地滿足投資者對基金信息的需求。雖然目前已經(jīng)有許多成熟的基金信息采集系統(tǒng)，但是由于這種系統(tǒng)屬于公司的商業(yè)機密范疇，其設(shè)計和開發(fā)的關(guān)鍵技術(shù)無法公布，從而影響到基金采集系統(tǒng)的普及和發(fā)展。

基金信息；采集；技術(shù)研究

1 信息采集系統(tǒng)概述

信息采集系統(tǒng)的主要作用是將所需網(wǎng)頁中的大量非結(jié)構(gòu)化數(shù)據(jù)提取出來，并將其轉(zhuǎn)換到數(shù)據(jù)庫進行保存。

信息采集系統(tǒng)最重要的功能就是能夠?qū)Υ罅烤W(wǎng)頁中的信息進行采集，并且根據(jù)用戶需求，從中挑選出與之相符合的數(shù)據(jù)并將其轉(zhuǎn)換到數(shù)據(jù)庫進行保存，與此同時此系統(tǒng)還能夠滿足用戶檢索的需求[1]。

目前采用最多的信息采集系統(tǒng)的運作流程基本相同，具體步驟如下：(1)根據(jù)用戶需求確定采集目的；(2)根據(jù)采集目的對系統(tǒng)進行設(shè)置，使之能夠根據(jù)用戶需求進行數(shù)據(jù)采集；(3)在采集的過程中，對系統(tǒng)進行控制，當(dāng)檢測到網(wǎng)頁內(nèi)容產(chǎn)生更新時，系統(tǒng)的采集設(shè)置也要隨之更新；(4)在對采集完成后的數(shù)據(jù)進行分析后，將數(shù)據(jù)轉(zhuǎn)換到能夠保存到數(shù)據(jù)庫中的格式；(5)將轉(zhuǎn)換后的數(shù)據(jù)發(fā)布到系統(tǒng)軟件上。

2 增量式信息采集系統(tǒng)

2.1 增量式web信息采集系統(tǒng)基本概念

增量采集系統(tǒng)面向的領(lǐng)域就是需要定期更新的網(wǎng)頁數(shù)據(jù)采集模式。這種采集方式的過程為：首先進行正常的數(shù)據(jù)采集，而在接下來的采集過程中只去更新當(dāng)前網(wǎng)頁中產(chǎn)生變化的數(shù)據(jù)信息，以及新增的網(wǎng)頁信息，而對沒有發(fā)生數(shù)據(jù)信息變化的網(wǎng)頁則不進行采集。增量的頻率也與網(wǎng)頁數(shù)據(jù)更新的頻率相關(guān)[2]。

這種增量Web信息采集系統(tǒng)的實現(xiàn)方式主要由以下幾種：(1)以網(wǎng)頁數(shù)據(jù)更新的頻率為標(biāo)準(zhǔn)設(shè)置采集頻率；(2)通過查看對應(yīng)網(wǎng)頁最后更新日期進行數(shù)據(jù)更新；(3)以RSS協(xié)議為標(biāo)準(zhǔn)為用戶提供數(shù)據(jù)更新；(4)利用非線性方法改進爬蟲的數(shù)據(jù)更新效果。

2.2 增量式web信息采集系統(tǒng)運作流程

增量式web信息采集系統(tǒng)主要包含四個功能模塊，分別為網(wǎng)頁頁面采集、頁面解析、URL去重以及數(shù)據(jù)更新檢測。

增量式web信息采集系統(tǒng)在運作過程中，首先要將系統(tǒng)服務(wù)器中的網(wǎng)頁信息與互聯(lián)網(wǎng)中需要檢測的網(wǎng)頁信息進行對比，當(dāng)檢測到網(wǎng)頁信息發(fā)生變化，或者在服務(wù)器中沒有相對應(yīng)的網(wǎng)頁時，就對服務(wù)器中的信息進行更新操作[3]。

3 增量式web信息采集系統(tǒng)研究現(xiàn)狀

目前比較知名的增量采集系統(tǒng)之一是Web Fountain Crawler，它的主要運作步驟和原理如下：(1)首先根據(jù)所需收集信息的網(wǎng)頁更新頻率不同，將其進行適當(dāng)分組；(2)將整個數(shù)據(jù)采集過程分割成多個階段，每個階段進行任務(wù)分配，同時各個階段的任務(wù)不能相同。

另一種較為著名的增量采集系統(tǒng)是由智利大學(xué)的研究學(xué)者研究出來的，名為Univ.Chile Crawler[4]，該系統(tǒng)的采集判斷依據(jù)是對應(yīng)網(wǎng)頁索引的時新性。在采集的過程中，該系統(tǒng)首先是對評估價值較高的網(wǎng)頁進行數(shù)據(jù)采集，這種評估價值是通過對網(wǎng)頁多種因素綜合考察得到的結(jié)果，在對不同網(wǎng)頁的價值進行排序后，分析該網(wǎng)頁是否需要進行數(shù)據(jù)采集操作。

國內(nèi)開發(fā)的天網(wǎng)增量搜集系統(tǒng)同樣具有較高的性能，該系統(tǒng)的主要作用是對國內(nèi)網(wǎng)頁數(shù)據(jù)進行采集。這三種采集系統(tǒng)能夠在實際中進行應(yīng)用，屬于大型的采集系統(tǒng)。

4 中國資本市場電子信息化批露系統(tǒng)

在對基金相關(guān)數(shù)據(jù)信息進行采集之前，我們應(yīng)當(dāng)明確數(shù)據(jù)采集的主要來源網(wǎng)站，對網(wǎng)站信息進行評估之后，我們發(fā)現(xiàn)專業(yè)權(quán)威的網(wǎng)站采集得到的結(jié)果更能夠提供準(zhǔn)確的基金信息，其中首要選擇的就是各大基金公司的官方網(wǎng)站。而互聯(lián)網(wǎng)上此類網(wǎng)站種類繁多，采用的信息發(fā)布方式也有所區(qū)別，在系統(tǒng)解析階段應(yīng)當(dāng)針對不同的基金網(wǎng)站指定對應(yīng)的解析方案。證監(jiān)會于2009年建立了對資金交易市場信息統(tǒng)一的標(biāo)準(zhǔn)化信息披露平臺，此平臺將XBRL技術(shù)作為基礎(chǔ)支撐交媾，能夠?qū)?shù)據(jù)資源進行交互，發(fā)布準(zhǔn)確可靠的市場信息，為證監(jiān)會管理資本市場提供輔助依據(jù)，同時還為投資者提供了標(biāo)準(zhǔn)化信息查詢平臺，便于投資者及時了解市場信息。在本系統(tǒng)中我們對此披露平臺中的信息進行采集和解析，能夠得到標(biāo)準(zhǔn)化統(tǒng)一格式的基金信息，省去了對不同網(wǎng)站類型和內(nèi)容的方案制定過程。

基金電子化信息披露平臺的建立對整個基金市場的監(jiān)管和維護舉足輕重的作用。主要變現(xiàn)為以下四個方面：首先此平臺系統(tǒng)內(nèi)能夠為各大基金管理機構(gòu)提供統(tǒng)一的技術(shù)平臺，有助于各大基金管理機構(gòu)根據(jù)平臺上的標(biāo)準(zhǔn)化信息提升自身信息質(zhì)量，提高公司的誠信度，使得公司能夠從內(nèi)部進行整頓；其次此平臺為投資者提供了標(biāo)準(zhǔn)化信息查詢平臺，便于投資者及時了解市場信息；再次采用此種方式提供標(biāo)準(zhǔn)化的基金市場信息，有助于各大機構(gòu)提高對自身信息發(fā)布的科學(xué)性和標(biāo)準(zhǔn)性；最后此種披露系統(tǒng)能夠根據(jù)基金行業(yè)情況及時有效地發(fā)布信息，使得基金信息更加全面準(zhǔn)確。

[1] 李甫英.證券投資基金在我國發(fā)展的歷史和現(xiàn)狀[J].黨史文苑,2004年06期

[2] 王敬,馮新力.中國證券投資基金的需求細分與供給創(chuàng)新[J].財經(jīng)科學(xué),2004年06期

[3] 陸娜.我國證券投資基金業(yè)發(fā)展中的主要問題及對策研究[碩士學(xué)位論文].西南財經(jīng)大學(xué)，2009

[4] 京華時報.證監(jiān)會發(fā)放首批第三方基金銷售牌照-基金銷售迎來新力量[EB/OL].http://epaper.jinghua.cn/html/2012-02/23/content_763785.htm

甘文壇(1985.10-)，男，廣東韶關(guān)人，本科，助理工程，研究方向：計算機應(yīng)用。

TP3

A

1671-1602(2016)20-0008-01