朱宇華
摘要:建設資源節(jié)約型、環(huán)境友好型社會是中央的一項重要任務,高校作為社會構成中的重要組成部分,資源占有量大,能源消耗量大,因此“節(jié)約型校園”建設勢在必行。該文以蘇州工藝美術職業(yè)技術學院校園一卡通系統(tǒng)的歷史流水為樣本,通過大數據技術對其進行清洗、轉換等操作,并最終加載到數據倉庫中,找出學院水能源損耗規(guī)律,發(fā)現平時未留意的問題,將學院“節(jié)約型校園”建設工作提升到一個新的臺階。
關鍵詞:節(jié)約型校園;數據倉庫;OLAP
中圖分類號:TP274 文獻標識碼:A 文章編號:1009-3044(2015)24-0013-03
中國是一個自然資源總量大國,又是一個人均資源小國,各類主要資源的人均占有量遠低于世界平均水平。長期以來,中國經濟飛速發(fā)展,粗獷型的經濟增長方式導致資源利用率低,浪費破壞現象嚴重,環(huán)境逐步惡化,資源的供需矛盾不斷加劇。為了有效緩解這種矛盾,中央將構建“節(jié)約型社會”列為一項重要任務。中國的高校不僅是社會資源占有大戶,而且是能源消耗大戶,更是傳播節(jié)約理念,創(chuàng)造節(jié)約節(jié)能技術的基地,因此節(jié)約型校園的建設對整個國家的和諧發(fā)展具有非常重要的意義。
校園一卡通系統(tǒng)學院的各項工作中都起著重要的作用,每天都產生數以萬計的歷史數據,這些數據均具有時效性,在報表完成后,其就變成了垃圾數據,每到一定時間系統(tǒng)就將其自動覆蓋掉,但隨著大數據技術的發(fā)展和應用,如果將歷史數據變廢為寶,使其能夠為學院的輔助決策提供依據成為亟需解決的問題。本文以蘇州工藝美術職業(yè)技術學院的校園一卡通系統(tǒng)的歷史數據為樣本,通過大數據技術的綜合使用,找出學院水能消耗規(guī)律,為學院的水能調配工作提供事實依據,從而將學院的節(jié)約型校園工作提升到一個新的臺階。
1 數據倉庫技術簡介
1.1 數據倉庫簡介
到底什么叫數據倉庫?這可能是每一個技術人員剛剛接觸數據倉庫時都會問的問題,有人說它是一個特別大的數據庫,也有人說它是一種數據管理和分析的技術,其實這些都從側面反映了數據倉庫的概念。
目前,業(yè)內公認的數據倉庫概念的概念是由美國著名信息工程學家 W. H. Inmon 在他的《Building the Data Warehouse》一書中定義的,即數據倉庫是集成的反映歷史變化的(Time-variant)、(Integrated)、穩(wěn)定的(Non-volatile)、面向主題的(Subject-oriented)數據集合,用于決策支持。正如Inmon所說的,數據倉庫具有以下特點:
(1) 面向主題的
與OLTP事務性數據庫相比,數據倉庫中的數據是面向主題進行組織的。主題就是指將信息系統(tǒng)中的數據綜合歸類并進行分析利用的抽象。
(2) 數據倉庫的數據是集成的
為了更易于訪問和減少用戶的查詢相應時間,應把數據從數據源中提取到數據倉庫中,而這些被提取的屬于應該進過數據預處理,將原始數據做出又應用層面到面相主題層面的轉變。
(3) 不可更新的
數據倉庫的數據主要是為了決策分析之用,一般情況下并不進行修改操作。數據倉庫的數據相對數據庫管理系統(tǒng)要簡單很多,可以最大限度地對數據倉庫進行性能優(yōu)化。
(4) 隨時間不斷變化的
數據倉庫中的數據雖穩(wěn)定,數據倉庫隨著時間的積累,其中也會不斷增加新的數據內容和去除過去的數據內容。
1.2 數據倉庫和數據庫的比較
傳統(tǒng)數據庫是為特定的應用服務,它的相應時間、數據安全性和完整性是人們主要關心的方面。因此,數據庫提供完善的數據鎖、事務日志和并發(fā)控制等機制,可以安全可靠的處理業(yè)務。而數據倉庫雖然是又數據基礎上發(fā)展而來,但是它更多的作用是為復雜的數據分析和高層決策提供支持。盡管目前的數據倉庫還是采用關系數據庫來實現,但是他們面相的應用已是不同,無論是在數據模型的設計還是數據的物理組織上都存在很大的差異如表1所示:
2 數據倉庫工具簡介
隨著大數據技術越來越被人所重視,各大軟件廠商積極投入到數據倉庫解決方案的競爭中,形成了諸侯紛爭的局面,但截至目前為止,還沒有形成某一家廠商的產品壟斷的局面。本文選用Microsoft的SQL server 2005作為數據倉庫工具。
Microsoft SQL server 2005有兩大體系,一是關于數據庫管理的,一是關于商業(yè)智能應用的。其中商業(yè)智能方面SQL Server 2005提供了三大服務,分別是:SQL Server 2005 Analysis Services(SSAS)、SQL Server 2005 Integration Services(SSIS)、SQL Server 2005 Reporting Services(SSRS),其體系結構如圖1所示:
本文通過使用SSIS服務從各種異構數據源中整合業(yè)務數據,構建能耗分析數據倉庫,再使用SSAS服務構建數據立方(Cube),也就是多維數據集,最后進行OLAP分析。
3 項目具體實施步驟
能耗分析數據倉庫的構建工作主要分為以下幾個步驟:
3.1 校園一卡通系統(tǒng)數據理解建立數據倉庫模型
首先,需要對校園一卡通的業(yè)務數據進行詳盡的了解,進而確定分析主題。經了解,校園一卡通包含了學生消費、圖書借閱、考勤等多種數據,此次目的是對學院的水能消耗情況進行一個宏觀觀察,因此選取學生消費信息中的水能消費流水為基礎,建立能耗分析主題,抽取相關數據,建立數據倉庫模型,模型如圖2所示:
3.2 校園一卡通數據預處理
因為現實中的數據或多或少的都會存在數據不完整,數據不一致和包含不需要的成分等各種問題,而這些問題會給分析結果帶來干擾,因此為了提高數據分析結果的準確性,數據預處理非常的重要。
經查詢發(fā)現,校園一卡通數據庫中由于賬戶的異動、讀卡錯誤、流水丟失等問題,也產生了部分噪聲數據,需要通過數據清理、數據集成、數據變換、數據歸約等技術對校園一卡通數據庫內的噪聲數據進行預處理,其主要過程如圖3所示:
3.3維度的設計與建立
根據E-R模型,分別建立學生維度表、商戶維度表、時間維度表和事實表,在此只展示商戶維度表(如表2)和事實維度表(如表3),其他類似。
鑒于時間維度表的特殊性,不能夠從校園一卡通數據庫中直接抽取,因此需要使用SQL對其進行轉換,其部分代碼如下:
SELECT @addday = 1
SELECT @dDate = '08/31/2013' --開始日期
WHILE @dDate < '08/31/2014' --結束日期
BEGIN
SELECT @Month = DATENAME( mm, @dDate )
SELECT @DayOfMonth = DATENAME ( dd, @dDate )
SELECT @ WeekString = DATENAME ( dw, @dDate )
SELECT @Year = DATENAME ( yy, @dDate )
SELECT @MonthOfYea r = DATEPART( month, @dDate )
SELECT @WeekOfYea = DATENAME ( week, @dDate )
SELECT @Quarter = 'Q' + CAST (DATENAME ( quarter, @dDate ) as varchar(1))
End
3.4 使用OLAP進行分析處理
接下來通過SQL Server數據倉庫工具對數據源和維度表進行設置即可形成數據立方體,然后通過OLAP聯機分析處理技術對其進行鉆取、切片、旋轉對學院的水能消耗情況進行一個全方位立體分析,將分析結果通過excel透析表方式進行呈現,結果如圖4所示:
從上圖可以看出,有的月份用水量較高,而有的月份用水量偏少,結合學院的自身情況和天氣規(guī)律,就很容易找到學院水能消耗規(guī)律,從而有針對性的調配水資源。
4 結論和展望
通過對數據倉庫技術和OLAP聯機分析處理技術的綜合運用,對校園一卡通數據庫內的歷史數據完成了篩選,清洗,加載等操作,建立了水能消耗數據倉庫,找到了學院水能消耗規(guī)律,為學院后勤對水能的供應調配,提供了事實依據,既滿足了學生的用水,又防止了盲目供熱,浪費能源,最大限度地節(jié)約了學院能源損耗。
落實科學發(fā)展觀、建設生態(tài)文明是全社會的一項重要舉措,節(jié)約型校園的建設對全社會有著重要的現實意義。水資源作為我國珍貴的稀缺資源,本文通過先進的技術手段,對學院的水資源的合理調配,最大限度地節(jié)約了水能消耗,既滿足了學院廣大師生的需求,又切實地將節(jié)約型校園工作落到了實處。同樣,依照此方法,也可以對學院的其他能源做出相應的處理,最終形成學院能耗檢測平臺,使學院的節(jié)能減排工作上升到一個新的臺階。
參考文獻:
[1] 中華人民共和國住房和城鄉(xiāng)建設部、教育部.高等學校節(jié)約型校園建設管理與技術導則(試行)[S],2008.
[2] 張福麟.高校節(jié)約型校園建設示范進展及工作要求[Z].
[3] 建科[2008]90號.中華人民共和國住房和城鄉(xiāng)建設部、教育部關于推進高等學校節(jié)約型校園建設進一步加強高等學校節(jié)能節(jié)水工作的意見[S].