孟慶軒

摘 要： 在調(diào)研和分析相關(guān)管理部門需求的基礎(chǔ)上，采用數(shù)據(jù)倉(cāng)庫(kù)、OLAP分析、GIS等技術(shù)，設(shè)計(jì)和完成了一個(gè)基于B/S結(jié)構(gòu)的科技資源調(diào)查系統(tǒng)，實(shí)現(xiàn)了對(duì)科技資源調(diào)查數(shù)據(jù)的多維度統(tǒng)計(jì)分析、查詢，以及基于地圖、圖表的數(shù)據(jù)展示。借助這個(gè)系統(tǒng)，可以使我國(guó)相關(guān)科技管理部門深入地掌握我國(guó)科技資源的現(xiàn)狀、動(dòng)態(tài)變化、分布和利用情況，為我國(guó)科技條件建設(shè)投入提供決策參考的依據(jù)。

關(guān)鍵詞： 科技資源； 數(shù)據(jù)倉(cāng)庫(kù)； OLAP； 地理信息展示

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2013）06-74-04

Design and implementation of a survey system of science and technology resources based on J2EE

Meng Qingxuan

（Beijing Modern Vocational and Technical College， Beijing 101300， China）

Abstract： A survey system of scientific and technological resources based on B / S structure is designed and completed with usage of data warehouse， OLAP analysis and GIS technology after research and analysis of the needs of the relevant administrative departments. The survey system is able to make a multidimensional statistical analysis， query and data expression based on the maps and charts for the survey data of scientific and technological resources. With the help of the system， technology management departments are able to get more information about the status， dynamic changes and the utilization of scientific and technological resources， and to provide a reference for decision-making on the national science and technology infrastructure platform construction.

Key words： scientific and technological resources； data warehouse； OLAP； geographical information display

0 引言

科技資源調(diào)查系統(tǒng)自2008年啟動(dòng)以來，在全國(guó)范圍內(nèi)收集到了大量的科技數(shù)據(jù)。這些數(shù)據(jù)信息量大，價(jià)值高，對(duì)于摸清我國(guó)科技資源家底具有重要的意義。雖然開發(fā)了科技資源調(diào)查系統(tǒng)，但目前該系統(tǒng)主要用于填報(bào)，很少或基本上沒有涉及到?jīng)Q策分析，所獲得的這些海量數(shù)據(jù)在原有的作業(yè)系統(tǒng)中無法提煉并升華為有用的信息及時(shí)提供給分析人員與管理決策者，從而不能幫助相關(guān)管理人員從全局上對(duì)現(xiàn)有科技資源進(jìn)行把握。現(xiàn)階段我國(guó)還沒有建立起一個(gè)完善的以國(guó)家為單位的科技資源調(diào)查系統(tǒng)，用于對(duì)我國(guó)的科技資源進(jìn)行整體把握和考量。為此，筆者在北航攻讀工程碩士期間所在的小組設(shè)計(jì)并開發(fā)了一個(gè)基于Web的科技資源調(diào)查系統(tǒng)的地理信息統(tǒng)計(jì)分析功能。

1 系統(tǒng)設(shè)計(jì)

本系統(tǒng)是一個(gè)基于B/S結(jié)構(gòu)的Web系統(tǒng)，主要用于對(duì)現(xiàn)有的科技資源進(jìn)行基于地理信息的概要展示、檢索、比較和分析。系統(tǒng)采取分層的方式來簡(jiǎn)化系統(tǒng)設(shè)計(jì)與開發(fā)。

本系統(tǒng)的重點(diǎn)在于數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)。為了按照科技資源類型快速進(jìn)行基于地理信息的科技資源匯總信息的展示，并按照統(tǒng)計(jì)指標(biāo)和統(tǒng)計(jì)維度進(jìn)行科技資源匯總信息的查詢與分析，系統(tǒng)采用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)。系統(tǒng)按照用戶需求和科技資源類型設(shè)計(jì)了八個(gè)主題，每一個(gè)主題設(shè)計(jì)了相應(yīng)的度量值和維度對(duì)多維數(shù)據(jù)集進(jìn)行展示。

對(duì)于本系統(tǒng)而言，開發(fā)語言采用Java，數(shù)據(jù)倉(cāng)庫(kù)采用SQL Server，就存在Java語言如何訪問SQL Server分析服務(wù)中多維數(shù)據(jù)集實(shí)例的問題。為了解決這個(gè)問題，本系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)比較特殊，需要采用兩個(gè)服務(wù)器，其中tomcat服務(wù)器用于編譯執(zhí)行J2EE代碼，IIS服務(wù)器作為橋梁采用純Java類庫(kù)OLAP4J連接SQL Server的分析服務(wù)進(jìn)行多維數(shù)據(jù)集實(shí)例的訪問[1-2]。

1.1 系統(tǒng)層次結(jié)構(gòu)設(shè)計(jì)

為了簡(jiǎn)化系統(tǒng)的設(shè)計(jì)與開發(fā)，以及便于以后的維護(hù)和升級(jí)，把系統(tǒng)劃分為如圖1所示的邏輯層次。

展示層：按照設(shè)計(jì)好的主題對(duì)科技數(shù)據(jù)采用多種形式進(jìn)行展示與查詢，便于用戶的決策。

業(yè)務(wù)層：對(duì)于展示層的數(shù)據(jù)展示提供支持，涉及的主要模塊有多維統(tǒng)計(jì)分析、信息關(guān)聯(lián)、數(shù)據(jù)查詢、報(bào)表展示、地圖展示、數(shù)據(jù)比較、報(bào)表打印、圖形展示。OLAP、百度地圖、統(tǒng)計(jì)圖形、報(bào)表服務(wù)為這些模塊提供了支持，并為連接和訪問統(tǒng)一數(shù)據(jù)倉(cāng)庫(kù)層提供了支持。

統(tǒng)一數(shù)據(jù)倉(cāng)庫(kù)：按照主題設(shè)計(jì)好的數(shù)據(jù)倉(cāng)庫(kù)，對(duì)業(yè)務(wù)層提供多維數(shù)據(jù)支持。

數(shù)據(jù)預(yù)處理：采用數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)分類、數(shù)據(jù)整合操作對(duì)已經(jīng)存在的科技資源數(shù)據(jù)形成本系統(tǒng)所需要的統(tǒng)一數(shù)據(jù)格式進(jìn)行存儲(chǔ)。

科技資源調(diào)查數(shù)據(jù)：采用關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)本系統(tǒng)所用到的科技資源詳細(xì)數(shù)據(jù)。

1.2 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)

本系統(tǒng)的統(tǒng)計(jì)分析功能主要通過數(shù)據(jù)倉(cāng)庫(kù)和聯(lián)機(jī)分析處理（OLAP）操作完成。所以數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)至關(guān)重要。

數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的組織是面向主題的。可以說，主題定義的過程就是數(shù)據(jù)倉(cāng)庫(kù)模型建立的過程[3]。按照需求分析和用戶的要求，本系統(tǒng)按照科技資源的種類不同確定了八個(gè)主題，分別是大型儀器、人員狀況、資金狀況、單位信息、實(shí)驗(yàn)基地、保存機(jī)構(gòu)、課題信息和成果信息。

本系統(tǒng)多維立方體中的絕大多數(shù)查詢都是基于一定程度的綜合數(shù)據(jù)之上的，只有少數(shù)查詢涉及到細(xì)節(jié)，為了兼顧細(xì)節(jié)查詢和快速響應(yīng)的要求，該系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行了不同程度的聚合，將聚合后的數(shù)據(jù)按MOLAP結(jié)構(gòu)存儲(chǔ)于數(shù)據(jù)多維立方體中，而葉子級(jí)的數(shù)據(jù)則仍存放在OLTP數(shù)據(jù)庫(kù)中，從而形成了一個(gè)多重粒度的數(shù)據(jù)組織結(jié)構(gòu)[4]。

對(duì)于每一主題分別設(shè)計(jì)了相關(guān)的度量值與維度，其中大型儀器主題的星型模型圖如圖2所示。其中，在主管部門、地理位置、儀器分類三個(gè)維度存在嚴(yán)格的層次關(guān)系。本系統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)采用SQL Server 分析服務(wù)實(shí)現(xiàn)。

2 系統(tǒng)功能詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)

按照用戶對(duì)數(shù)據(jù)的查看要求進(jìn)行分析，本系統(tǒng)的主要功能需求包括科技信息統(tǒng)計(jì)、科技信息檢索、關(guān)聯(lián)檢索、科技信息比較、科技信息地理分布查看、科技信息圖表查看、科技信息報(bào)表查看、打印服務(wù)等。每個(gè)功能完成各自不同的工作。按照各自設(shè)計(jì)要求和功能特點(diǎn)，結(jié)合系統(tǒng)的實(shí)際運(yùn)行來滿足客戶的要求。本系統(tǒng)現(xiàn)在只有管理員一種角色，系統(tǒng)用例圖如圖3所示。

圖2 大型儀器星型模型圖

2.1 科技信息統(tǒng)計(jì)

科技信息統(tǒng)計(jì)功能是系統(tǒng)的核心，根據(jù)各級(jí)管理部門的需求，針對(duì)不同的分析主題，設(shè)計(jì)多種查詢維度（如地理位置、時(shí)間、單位等）即統(tǒng)計(jì)指標(biāo)和度量指標(biāo)（如人員、經(jīng)費(fèi)等）即統(tǒng)計(jì)項(xiàng)，支持多種靈活的科技信息統(tǒng)計(jì)方式，如上卷、下鉆、維度組合等，便于用戶從多個(gè)維度、條件和匯總粒度對(duì)不同的度量指標(biāo)進(jìn)行統(tǒng)計(jì)分析。

圖3 系統(tǒng)用例圖

實(shí)現(xiàn)上，需從SQL Server分析服務(wù)中讀取相應(yīng)的匯總信息，為地理信息展示、報(bào)表服務(wù)、信息比較、圖表展示提供需要展示的多維數(shù)據(jù)。本系統(tǒng)是基于J2EE開發(fā)的，對(duì)于如何通過Java代碼訪問SQL Server分析服務(wù)是本系統(tǒng)的一個(gè)重點(diǎn)。在此，我們利用了OLAP4J這個(gè)純Java API。

使用OLAP4J進(jìn)行MDX查詢時(shí)，在初始化階段初始化連接和主題，主題指的是大型儀器、人員狀況、資金狀況、單位信息、實(shí)驗(yàn)基地、保存機(jī)構(gòu)、課題信息和成果信息八個(gè)主題中的一個(gè)。在構(gòu)建MDX查詢語句時(shí)，采用構(gòu)建字符串的方式進(jìn)行。最后的結(jié)果返回采用相應(yīng)實(shí)體類存儲(chǔ)。最后關(guān)閉連接[5-6]。

2.2 科技信息檢索

用戶填寫查詢條件，可以快速地找到所需要的科技資源信息。在統(tǒng)一的信息檢索框架下，針對(duì)某一特定主題提供相應(yīng)的查詢目標(biāo)與對(duì)應(yīng)的查詢條件，用戶可以填寫一個(gè)或多個(gè)檢索科技信息的條件進(jìn)行信息檢索，并可以方便地對(duì)檢索到的科技信息進(jìn)行查看。

對(duì)于科技信息搜索流程而言，首先裝載和顯示地圖，對(duì)于用戶輸入的用戶條件，從后臺(tái)進(jìn)行搜索，搜索到的信息按照其地理位置在地圖上進(jìn)行標(biāo)注，當(dāng)用戶單擊某一標(biāo)注時(shí)，顯示這一地理位置所包含的搜索到的信息。具體流程如圖4所示。其中，對(duì)于維度匯總信息的查詢通過生成MDX查詢來完成，對(duì)于具體信息的查詢通過生成SQL查詢來完成。

2.3 關(guān)聯(lián)檢索

關(guān)聯(lián)檢索功能用于支持各種科技資源信息的智能關(guān)聯(lián)，如：允許用戶從一種類型的信息（如單位）出發(fā)，靈活地查看與之相關(guān)的其他類型的數(shù)據(jù)（如大型儀器、人員狀況等），從而使用戶能方便地瀏覽相關(guān)的信息而不必重新統(tǒng)計(jì)或者查詢，花費(fèi)最小的時(shí)間代價(jià)獲取所需要的信息。

對(duì)于系統(tǒng)存在的八個(gè)分析主題都有地理位置維度，所以不同種類的科技資源通過地理位置進(jìn)行自動(dòng)關(guān)聯(lián)，即可完成關(guān)聯(lián)檢索的功能。

圖4 科技信息搜索流程圖

2.4 科技信息比較

用戶應(yīng)該能夠進(jìn)行在同一地理級(jí)別多個(gè)地理位置的科技資信息比較，以了解不同地理位置的科技資源的分布情況、發(fā)展水平、科技投入情況等等。

實(shí)現(xiàn)上，當(dāng)用戶打開總體信息所在的頁(yè)面時(shí)，在加載地圖之后，會(huì)從后臺(tái)通過AJAX技術(shù)讀取默認(rèn)數(shù)據(jù)來源的匯總信息和地理位置經(jīng)緯度信息。讀取完成后，會(huì)自動(dòng)將地理位置經(jīng)緯度信息和地理位置名稱放在一個(gè)數(shù)組里，作為拉框選擇的一個(gè)搜索參數(shù)傳給拉框選擇函數(shù)。

當(dāng)用戶選擇拉框選擇功能時(shí)，會(huì)初始化拉框選擇函數(shù)，并將當(dāng)前地圖的地理位置經(jīng)緯度信息和地理名稱及當(dāng)前地理級(jí)別（省、市、區(qū)）作為參數(shù)傳入。在拉框選擇的鼠標(biāo)拖動(dòng)過程中，會(huì)獲取拖動(dòng)的起點(diǎn)和終點(diǎn)位置，之后根據(jù)這兩個(gè)位置在地圖上繪制矩形選擇框。還需要根據(jù)這兩個(gè)位置，計(jì)算當(dāng)前矩形選擇框所包含的經(jīng)緯度區(qū)域。之后通過一個(gè)循環(huán)，判斷當(dāng)前地理級(jí)別所有地理位置的經(jīng)緯度信息是否在當(dāng)前矩形選擇框的經(jīng)緯度區(qū)域內(nèi)，如果在的話就將經(jīng)緯度對(duì)應(yīng)的地理位置名稱和當(dāng)前地理級(jí)別傳入數(shù)據(jù)比較框中。在數(shù)據(jù)比較框中會(huì)展示現(xiàn)在要比較的地理位置的名稱，并且可以進(jìn)行自由添加與刪除，之后單擊確定按鈕，從后臺(tái)根據(jù)地理位置名稱和當(dāng)前地理級(jí)別讀取相應(yīng)的匯總信息，之后在前臺(tái)進(jìn)行比較結(jié)果的展示。

2.5 科技信息地理分布查看

用戶能夠基于地理位置查看科技資源信息的概要信息和詳細(xì)信息，以了解科技信息的地理分布情況。地理信息可分為：全國(guó)、地區(qū)、省、市、區(qū)、單位六個(gè)級(jí)別。系統(tǒng)首次登錄時(shí)默認(rèn)的是省級(jí)級(jí)別，并且按照每個(gè)主題默認(rèn)的統(tǒng)計(jì)指標(biāo)和統(tǒng)計(jì)項(xiàng)進(jìn)行科技資源的匯總展示。

在實(shí)現(xiàn)上采用百度地圖API進(jìn)行開發(fā)。當(dāng)用戶通過鼠標(biāo)縮放地圖時(shí)，需從后臺(tái)通過AJAX技術(shù)重新讀取相應(yīng)地理級(jí)別的概要信息與經(jīng)緯度信息，進(jìn)行地圖標(biāo)注的重新繪制[7-8]；當(dāng)用戶通過鼠標(biāo)移動(dòng)地圖時(shí)，地圖上的標(biāo)注也會(huì)重新繪制；當(dāng)用戶點(diǎn)擊地圖上的標(biāo)注時(shí)，進(jìn)行相應(yīng)概要信息的展示；當(dāng)用戶設(shè)置信息的數(shù)據(jù)來源、統(tǒng)計(jì)項(xiàng)、統(tǒng)計(jì)指標(biāo)時(shí)，從后臺(tái)重新讀取相應(yīng)的概要信息，并進(jìn)行地理標(biāo)注的重新繪制。為了加快地圖標(biāo)注的繪制速度，每次只繪制當(dāng)前地圖顯示區(qū)所包含的地理標(biāo)注。具體流程如圖5所示。

圖5 地理信息分布查看流程圖

2.6 科技信息圖表查看

用戶可以通過柱形圖、餅形圖等直觀的圖表方式對(duì)各個(gè)地理級(jí)別匯總的科技信息進(jìn)行查看。用戶也可以通過圖表的方式查看科技信息比較功能中同一級(jí)別的多個(gè)地理位置的科技信息對(duì)比結(jié)果。用戶通過這種立體、直接和生動(dòng)的方式對(duì)科技信息進(jìn)行查看，便于決策與分析。

本系統(tǒng)采用JfreeChart這個(gè)Java平臺(tái)上的一個(gè)開放圖表繪制類庫(kù)來完成。對(duì)于從多維數(shù)據(jù)集中讀取的多維數(shù)據(jù)賦給Jfreechart圖表的數(shù)據(jù)對(duì)象，設(shè)置圖表類型，之后進(jìn)行圖表外觀的定制，最后生成相應(yīng)的圖表文件并在前臺(tái)進(jìn)行展示。

2.7 科技信息報(bào)表查看

用戶可以通過報(bào)表服務(wù)對(duì)某一地理位置的特定類型的科技資源信息按照一個(gè)或多個(gè)某一特定維度進(jìn)行查看，并且還可以根據(jù)選擇維度的順序不同進(jìn)行排序，對(duì)于從后臺(tái)數(shù)據(jù)庫(kù)中得到的多維信息可以進(jìn)行切片、切塊、旋轉(zhuǎn)、上卷、下鉆等查看方式，用戶可以方便地對(duì)科技信息從各個(gè)維度進(jìn)行查看與分析。具體流程如圖6所示。

圖6 報(bào)表服務(wù)流程圖

2.8 打印服務(wù)

用戶通過打印服務(wù)可以對(duì)檢索到或者查看到的科技資源信息進(jìn)行打印，采用Javascript即可實(shí)現(xiàn)。

3 結(jié)束語

本文從系統(tǒng)設(shè)計(jì)和數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)出發(fā)實(shí)現(xiàn)了一個(gè)基于B/S結(jié)構(gòu)的科技資源調(diào)查系統(tǒng)。在實(shí)現(xiàn)過程中運(yùn)用了數(shù)據(jù)倉(cāng)庫(kù)、OLAP分析、地理信息展示、圖表展示等多種技術(shù)，提供了科技資源查看的多角度視圖和直觀展示。對(duì)于本系統(tǒng)而言，將數(shù)據(jù)挖掘技術(shù)引入該系統(tǒng)中，進(jìn)而發(fā)現(xiàn)潛在的信息和資源將成為下一步研究的重點(diǎn)。

參考文獻(xiàn)：

[1] 李剛.輕量級(jí)Java EE企業(yè)應(yīng)用實(shí)戰(zhàn)（第3版）——Struts 2+Spring

3+Hibernate整合開發(fā)[M].電子工業(yè)出版社，2011.

[2] Reed Jacobson，Stacia Misner.SOL Server 2005分析服務(wù)從入門到

精通[M].清華大學(xué)出版社，2007.

[3] 蘇新寧.數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘[M].清華大學(xué)出版社，2006.

[4] 甄磊.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在銀行客戶管理系統(tǒng)中的研究與實(shí)現(xiàn)[D].南京理

工大學(xué)，2010.

[5] 張芳寧.海洋數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)及接口規(guī)范的設(shè)計(jì)與實(shí)現(xiàn)[D].青島大學(xué)，2011.

[6] 胡瑞娟.OLAP和數(shù)據(jù)挖掘技術(shù)在醫(yī)院信息系統(tǒng)中的研究與應(yīng)用[D].

長(zhǎng)春理工大學(xué)，2009.

[7] 李剛.瘋狂Ajax講義——Prototype/jQuery+DWR+Spring+

Hibernate整合開發(fā)[M].電子工業(yè)出版社，2012.

[8] 白學(xué)文，楊紅，楊韜.基于百度地圖API發(fā)布鄉(xiāng)鎮(zhèn)精細(xì)化天氣預(yù)報(bào)[J].

云南科技管理，2012.1：461-448