国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

構(gòu)建基于大數(shù)據(jù)的智能高校信息化管理服務(wù)系統(tǒng)

2013-03-22 03:53:32來天平王春霞
中國(guó)科技資源導(dǎo)刊 2013年6期
關(guān)鍵詞:數(shù)據(jù)倉庫智能信息化

來天平王春霞

(1.北京大學(xué)計(jì)算中心,北京 100871;2.北京萬方數(shù)據(jù)股份有限公司,北京 100038)

構(gòu)建基于大數(shù)據(jù)的智能高校信息化管理服務(wù)系統(tǒng)

來天平1王春霞2

(1.北京大學(xué)計(jì)算中心,北京 100871;2.北京萬方數(shù)據(jù)股份有限公司,北京 100038)

在大數(shù)據(jù)的背景下,結(jié)合對(duì)高校信息化中服務(wù)發(fā)展的需求,提出建立智能高校信息化管理服務(wù)系統(tǒng)的思路。依據(jù)大數(shù)據(jù)的基本思想,首先提出高校大數(shù)據(jù)的概念并分析其基本特征。對(duì)智能高校信息化服務(wù)具體體現(xiàn)方式進(jìn)行研究,詳細(xì)闡述建設(shè)智能高校信息化管理服務(wù)系統(tǒng)的原則和構(gòu)架設(shè)計(jì)的邏輯框架,進(jìn)一步探討在實(shí)踐中ETL、數(shù)據(jù)倉庫建模等關(guān)鍵技術(shù),以實(shí)例說明智能信息化管理中的數(shù)據(jù)應(yīng)用服務(wù)和決策支持,為全面建立智能化的高校信息化管理服務(wù)系統(tǒng)提供探索和實(shí)踐基礎(chǔ)。

大數(shù)據(jù);智能服務(wù);高校信息化;數(shù)據(jù)挖掘;決策支持

1 引 言

“大數(shù)據(jù)”作為一個(gè)較新的概念,還沒有特別明確的定義。比較通用的表述是指所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具在合理時(shí)間內(nèi)擷取、管理、處理并整理成有助于實(shí)現(xiàn)企業(yè)經(jīng)營(yíng)決策更積極目的的資訊[1]。

英國(guó)維克多·邁爾-舍恩伯格所著《大數(shù)據(jù)時(shí)代》[2]中的描述則更為實(shí)用。書中對(duì)大數(shù)據(jù)的總體情況進(jìn)行了詳細(xì)描述,很難用幾句話高度概括??偨Y(jié)大數(shù)據(jù)的幾個(gè)鮮明特征如下。

第一,它不是隨機(jī)樣本而是全體數(shù)據(jù)。這是與樣本調(diào)查模式的數(shù)據(jù)分析的顯著區(qū)別。隨機(jī)樣本是希望通過盡可能少的樣本獲得盡可能多的信息。但其受限于樣本選擇的算法,往往會(huì)有遺漏。大數(shù)據(jù)不是樣本,而是全部數(shù)據(jù)。

第二,全數(shù)據(jù)模式。在這一點(diǎn)中強(qiáng)調(diào)大數(shù)據(jù)的大不是指絕對(duì)數(shù)值上的大,而是所有數(shù)據(jù)(如果高校學(xué)生招生20年,那么擁有20年學(xué)生數(shù)據(jù)的所有就可以稱之為大數(shù)據(jù))。

第三,強(qiáng)調(diào)了不是因果關(guān)系而是相關(guān)關(guān)系,這種關(guān)系導(dǎo)致大數(shù)據(jù)的最終關(guān)鍵點(diǎn)是“預(yù)測(cè)”。

大數(shù)據(jù)的發(fā)展對(duì)高校信息化產(chǎn)生了巨大影響。北京大學(xué)自20世紀(jì)90年代開始進(jìn)行高校信息化系統(tǒng)建設(shè),覆蓋學(xué)生、人事、資產(chǎn)等多方面業(yè)務(wù)。隨著社交網(wǎng)絡(luò)在生活學(xué)習(xí)中的滲入,學(xué)生、老師、中高層管理者對(duì)于信息化系統(tǒng)服務(wù)的需求不再局限于填報(bào)信息、統(tǒng)計(jì)數(shù)據(jù)等基本功能,對(duì)于直接面對(duì)消費(fèi)者的服務(wù)產(chǎn)生了更高的期望——智能化的高校信息化管理服務(wù)系統(tǒng)。一方面,高校具備了大量的歷史數(shù)據(jù);另一方面,基于大數(shù)據(jù)的數(shù)據(jù)分析使得智能服務(wù)的實(shí)現(xiàn)成為可能。這種大數(shù)據(jù)不妨稱之為“高校大數(shù)據(jù)”。構(gòu)建基于大數(shù)據(jù)的智能高校信息化系統(tǒng)是大數(shù)據(jù)在高校信息化中的進(jìn)一步發(fā)展,必將對(duì)涉及決策支持、智能自助、個(gè)性化服務(wù)、預(yù)警服務(wù)及預(yù)測(cè)等領(lǐng)域的業(yè)務(wù)產(chǎn)生巨大的推動(dòng)作用。

2 高校大數(shù)據(jù)與智能服務(wù)

雖然高校數(shù)據(jù)量絕對(duì)值并不大,但同樣是大數(shù)據(jù)。這里以北京大學(xué)為例,該校從20世紀(jì)90年代開始高校信息化建設(shè),經(jīng)過了萌芽期、基礎(chǔ)建設(shè)期和成熟期三大階段,將業(yè)務(wù)全局規(guī)劃為學(xué)生、人事、財(cái)務(wù)、辦公、科研等主線[3]。表1是摘錄學(xué)生主要相關(guān)的數(shù)據(jù)統(tǒng)計(jì)(僅結(jié)構(gòu)化數(shù)據(jù))。

(1)高校信息化的時(shí)間跨度大約有20年,每個(gè)學(xué)校每年招生數(shù)量比較固定,所以對(duì)于某一個(gè)高校而言,其數(shù)據(jù)量是比較有限的。但從大數(shù)據(jù)含義出發(fā),如果這些數(shù)據(jù)對(duì)于此高校而言就是全部的數(shù)據(jù)了,那么這些數(shù)據(jù)即使數(shù)據(jù)量不大,也可以稱為大數(shù)據(jù),其特點(diǎn)是:時(shí)間跨度不一。由于信息系統(tǒng)建設(shè)周期不同,像北京大學(xué)這樣的高校,其有效的數(shù)據(jù)庫存儲(chǔ)數(shù)據(jù)時(shí)間從最初的1991年到2010年都存在樣本分布。

(2)數(shù)據(jù)項(xiàng)目噪點(diǎn)多。分析研究生成績(jī)數(shù)據(jù),不同時(shí)期,同一個(gè)字段所代表的含義并不一致。雖然有統(tǒng)一的代碼標(biāo)準(zhǔn),但標(biāo)準(zhǔn)(比如專業(yè))也在周期性變更。這種情況的存在給數(shù)據(jù)的梳理帶來了極大的困難。

(3)待結(jié)構(gòu)化的數(shù)據(jù)多。一方面,類似就業(yè)數(shù)據(jù),業(yè)務(wù)部門其實(shí)擁有多年的就業(yè)信息,但都沒有數(shù)據(jù)化。對(duì)于數(shù)據(jù)分析而言,需要將紙質(zhì)文檔統(tǒng)一規(guī)劃整理為結(jié)構(gòu)化的數(shù)據(jù)庫數(shù)據(jù)。另一方面,非結(jié)構(gòu)化的數(shù)據(jù)文件、影音、日志等信息對(duì)于數(shù)據(jù)預(yù)測(cè)同樣具有重要的作用。

(4)數(shù)據(jù)分散,信息關(guān)聯(lián)性弱。信息化建設(shè)初期并沒有考慮到統(tǒng)一的數(shù)據(jù)分析,其目標(biāo)主要是為業(yè)務(wù)服務(wù),每個(gè)業(yè)務(wù)系統(tǒng)相對(duì)比較獨(dú)立,沒有形成按照某種線索形成的數(shù)據(jù)集。即使建立了部分的主題數(shù)據(jù)庫,但其目的大多局限于數(shù)據(jù)共享,與大數(shù)據(jù)的可分析性差距比較大。

總之,高校的大數(shù)據(jù)固有的一些特點(diǎn)為大數(shù)據(jù)分析帶來了巨大的挑戰(zhàn)。

高校信息化開始建設(shè)時(shí)期主要是滿足業(yè)務(wù)單位管理需要,后逐漸發(fā)展演變?yōu)閷W(xué)生、教師的科研、學(xué)習(xí)服務(wù)。信息化系統(tǒng)建立從根本上沒有脫離實(shí)際管理業(yè)務(wù)本身,結(jié)果是圍繞管理業(yè)務(wù)實(shí)現(xiàn)了數(shù)字化的教學(xué)管理。直接面對(duì)信息化系統(tǒng)消費(fèi)者(學(xué)生、教師、管理者)的主動(dòng)服務(wù)少之又少。

智能服務(wù)[4]是指能夠自動(dòng)辨識(shí)用戶的顯性和隱性需求,并且主動(dòng)、高效、安全、綠色地滿足其需求的服務(wù)。智能服務(wù)是信息化后一個(gè)主流的發(fā)展方向。高校智能服務(wù)主要體現(xiàn)在以下幾個(gè)方面。

(1)智能化自助應(yīng)答。學(xué)生如果要辦理“學(xué)籍異動(dòng)”,可以在學(xué)校網(wǎng)站中查詢“學(xué)籍異動(dòng)”,可以看到有關(guān)學(xué)籍異動(dòng)辦理的流程說明、辦理注意事項(xiàng)、辦理的具體地點(diǎn)等信息。同時(shí),根據(jù)不同的辦理流程,可以逐步細(xì)化辦理操作。

(2)個(gè)性化服務(wù)推薦。對(duì)于學(xué)生、教師、科研工作者等不同類別的用戶,在校內(nèi)信息門戶提供服務(wù)推薦。不再是拘泥于菜單的機(jī)械擺放,而是有針對(duì)性地提供服務(wù)推薦。比如,在選課期間,選課是推薦服務(wù);在出成績(jī)時(shí),成績(jī)查詢作為推薦服務(wù)。

表1 北京大學(xué)學(xué)生數(shù)據(jù)統(tǒng)計(jì)

(3)個(gè)性化學(xué)習(xí)指導(dǎo)。新生剛?cè)胄r(shí)候,對(duì)于選什么樣的課程是比較迷茫的。通過智能服務(wù),系統(tǒng)可以自動(dòng)判斷學(xué)生是新生,在學(xué)生進(jìn)行選課操作時(shí),依據(jù)大數(shù)據(jù)的預(yù)測(cè)結(jié)果,自動(dòng)為學(xué)生推薦其專業(yè)可以修訂的課程信息、教師信息及成績(jī)分布等。

(4)預(yù)測(cè)式服務(wù)。教師開課往往對(duì)于擬定的選課學(xué)生數(shù)量沒有準(zhǔn)確估計(jì)而不得不在后期調(diào)整教室。系統(tǒng)在教師申請(qǐng)教室時(shí)可以提供預(yù)測(cè)數(shù)量,盡可能避免類似情況發(fā)生。

(5)預(yù)警服務(wù)。通過學(xué)生的消費(fèi)記錄、上課記錄、成績(jī)數(shù)據(jù)、上網(wǎng)記錄等信息,查詢或者定位到在心理方面存在問題的學(xué)生,及時(shí)進(jìn)行心理輔導(dǎo),防止事態(tài)進(jìn)一步惡性發(fā)展。

(6)決策支持。為學(xué)校領(lǐng)導(dǎo)提供決策所需的動(dòng)態(tài)多維數(shù)據(jù)、信息和背景資料,除了滿足日常簡(jiǎn)單的查詢、統(tǒng)計(jì)和維護(hù)、全局統(tǒng)籌規(guī)劃管理外,為高校決策者提供有關(guān)教育形勢(shì)的瞬時(shí)變化、發(fā)展趨勢(shì),提取隱含在其中的事先未知的、潛在的、深層次的、有價(jià)值的信息。例如科研成果及論文統(tǒng)計(jì)分析、招生情況綜合分析比較、教學(xué)科研專項(xiàng)經(jīng)費(fèi)計(jì)劃及完成情況、教師構(gòu)成及年度分析比較等。

大數(shù)據(jù)分析為高校智能服務(wù)提供了技術(shù)基礎(chǔ)。智能服務(wù)中的主動(dòng)服務(wù)、預(yù)測(cè)式服務(wù)等都需要?dú)v史數(shù)據(jù)或者綜合全數(shù)據(jù)分析,尤其是決策支持,可以說,如果沒有大數(shù)據(jù)支持就無法實(shí)現(xiàn)真正的智能高校服務(wù)。

3 大數(shù)據(jù)智能服務(wù)系統(tǒng)構(gòu)建

3.1 建設(shè)原則

構(gòu)建基于大數(shù)據(jù)的智能高校信息化管理服務(wù)系統(tǒng),不是要推翻現(xiàn)有的系統(tǒng)建設(shè)模式,而是將大數(shù)據(jù)思想融入到建設(shè)的方方面面。

(1)基于原有的總體規(guī)劃建立智能信息化管理服務(wù)系統(tǒng)子規(guī)劃。依據(jù)大數(shù)據(jù)的背景和已建成信息化系統(tǒng),充分了解目前學(xué)生、教師、業(yè)務(wù)單位的需求,結(jié)合目前IT發(fā)展的狀況,充分考慮大數(shù)據(jù)挖掘的需求,有針對(duì)性地建立關(guān)于智能信息化管理服務(wù)系統(tǒng)的子規(guī)劃。規(guī)劃要管理人員與技術(shù)人員共同參與。一方面大數(shù)據(jù)的挖掘與IT技術(shù)結(jié)合非常緊密,另一方面,數(shù)據(jù)挖掘的最終目標(biāo)“預(yù)測(cè)”需求需要管理人員提出。這樣保障了規(guī)劃和IT技術(shù)發(fā)展的統(tǒng)一。

(2)分步驟、分層次實(shí)施項(xiàng)目。智能信息化系統(tǒng)依靠的IT技術(shù)對(duì)于硬件環(huán)境(網(wǎng)絡(luò)和服務(wù)器)要求較高,充分考慮人力與財(cái)力,有步驟地實(shí)施短期目標(biāo)和長(zhǎng)期目標(biāo)。

(3)數(shù)據(jù)條件成熟的先進(jìn)行實(shí)施。學(xué)生是高校的主體,其信息一般比較全面,作為大數(shù)據(jù)挖掘的條件比較成熟,可以先進(jìn)行實(shí)施。

(4)建設(shè)示范工程?;诖髷?shù)據(jù)的智能信息化系統(tǒng)作為新生事物,必定要經(jīng)過一定的摸索階段,為避免走彎路,可以先擬定幾個(gè)典型應(yīng)用的試范工程。從實(shí)踐中掌握建設(shè)的思路和方法,總結(jié)經(jīng)驗(yàn)。

(5)處理數(shù)據(jù)為基礎(chǔ)。高校數(shù)據(jù)具有數(shù)據(jù)噪點(diǎn)多、存在非結(jié)構(gòu)化數(shù)據(jù)、數(shù)據(jù)結(jié)構(gòu)不一致與來源分散等特性,要實(shí)現(xiàn)科學(xué)的信息挖掘與分析,必須先對(duì)數(shù)據(jù)進(jìn)行處理。

3.2 平臺(tái)邏輯框架

以學(xué)生信息舉例,圖1為智能系統(tǒng)的數(shù)據(jù)邏輯框架。

(1)原系統(tǒng)信息。原系統(tǒng)信息指信息的最初來源。學(xué)生信息的原系統(tǒng)包括招生、學(xué)籍、教學(xué)、培養(yǎng)、成績(jī)、就業(yè)等資源。北京大學(xué)從2007年開始,統(tǒng)一規(guī)劃建立“學(xué)生綜合信息管理系統(tǒng)”,依據(jù)學(xué)生從入校到離校的全流程,梳理老系統(tǒng)業(yè)務(wù),建立全信息管理系統(tǒng)。系統(tǒng)目前還在建設(shè)中。新老系統(tǒng)的并存導(dǎo)致資源存在建設(shè)周期不同,數(shù)據(jù)庫、數(shù)據(jù)結(jié)構(gòu)可能存在較大的差異,數(shù)據(jù)異構(gòu)性和不一致性比較嚴(yán)重等問題。

(2)數(shù)據(jù)抽?。‥TL)。ETL負(fù)責(zé)將分散、異構(gòu)數(shù)據(jù)庫中的數(shù)據(jù)抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成,最后加載到數(shù)據(jù)倉庫或者數(shù)據(jù)集市。ETL是實(shí)施數(shù)據(jù)倉庫的核心和靈魂。其工作占數(shù)據(jù)倉庫工作量的60%~80%[5]。

(3)數(shù)據(jù)倉庫。根據(jù)業(yè)務(wù)需求,將學(xué)生總體數(shù)據(jù)劃分為4部分。①學(xué)生信息庫:主要是學(xué)生的基本信息,如學(xué)號(hào)、姓名、院系、專業(yè)等。②教學(xué)資源庫:主要是課程信息,如課程名、課程任課教師、學(xué)生選課、學(xué)生培養(yǎng)方案、個(gè)人培養(yǎng)計(jì)劃、教室資源等。③學(xué)習(xí)成果庫:主要包括學(xué)生成績(jī)、發(fā)表文章、科研成果等信息。④學(xué)習(xí)經(jīng)歷庫:主要包括學(xué)生的異動(dòng)、社團(tuán)資源、社會(huì)活動(dòng)、學(xué)習(xí)經(jīng)歷、工作經(jīng)歷等信息。

圖1 智能系統(tǒng)學(xué)生業(yè)務(wù)邏輯框架

3.3 ETL

北京大學(xué)學(xué)生庫建設(shè)中,ETL主要包括數(shù)據(jù)的初始化和數(shù)據(jù)刷洗。

數(shù)據(jù)的初始化關(guān)注建立維表與事實(shí)表,并且存儲(chǔ)相應(yīng)的數(shù)據(jù)。在數(shù)據(jù)倉庫建模小節(jié)中將詳細(xì)介紹。

數(shù)據(jù)刷新關(guān)注當(dāng)源數(shù)據(jù)發(fā)生變化后,如何在數(shù)據(jù)倉庫中建立某種機(jī)制保持?jǐn)?shù)據(jù)的一致性。在數(shù)據(jù)源的前端建立SSA層(復(fù)制層)[5]:在源數(shù)據(jù)基上插入時(shí)間戳,形成具有歷史信息的實(shí)時(shí)數(shù)據(jù)。在SSA層上的表中建立insert、delete、update觸發(fā)器。每當(dāng)源數(shù)據(jù)發(fā)生變化時(shí),SSA的數(shù)據(jù)進(jìn)行相應(yīng)的變化。變化數(shù)據(jù)寫入臨時(shí)表。同時(shí)在數(shù)據(jù)庫層面定義作業(yè)和存儲(chǔ)過程,規(guī)定每種數(shù)據(jù)的刷新頻率和變化情況,按照時(shí)間順序產(chǎn)生任務(wù)調(diào)度,調(diào)用相應(yīng)的存儲(chǔ)過程完成數(shù)據(jù)的變更和抽取。存儲(chǔ)過程中可以定義較復(fù)雜的業(yè)務(wù)邏輯和數(shù)據(jù)規(guī)范。如果存儲(chǔ)過程無法滿足實(shí)際業(yè)務(wù)需求,可以在業(yè)務(wù)層定義WebService,利用業(yè)務(wù)邏輯實(shí)現(xiàn)更為復(fù)雜的業(yè)務(wù)數(shù)據(jù)變更。

觸發(fā)器模式對(duì)于高校的大數(shù)據(jù)抽取具有性能高、規(guī)則簡(jiǎn)單、實(shí)現(xiàn)方便等特點(diǎn)。隨著數(shù)據(jù)倉庫的復(fù)雜程度升級(jí)和數(shù)據(jù)量的海量化,可以采用DataX[6]技術(shù)。DataX是在異構(gòu)的數(shù)據(jù)庫/文件系統(tǒng)之間高速交換數(shù)據(jù)的工具,實(shí)現(xiàn)在任意的數(shù)據(jù)處理系統(tǒng)(RDBMS/Hdfs/Local f le system)之間交換數(shù)據(jù)。

3.4 數(shù)據(jù)倉庫建模

經(jīng)過多年實(shí)踐,高校中采用Kimball[7]提倡的維度建模法。通過對(duì)各個(gè)維度大量的預(yù)處理,極大提高數(shù)據(jù)倉庫的處理能力。對(duì)于另外一種范式建模法而言,維度建模更加貼近實(shí)際業(yè)務(wù)模型,直觀地反映業(yè)務(wù)數(shù)據(jù)。

(1)確定業(yè)務(wù)主題。結(jié)合學(xué)生的信息,將學(xué)生信息劃分為一個(gè)維度主題和4個(gè)業(yè)務(wù)主題:學(xué)生基本信息、教學(xué)資源、學(xué)習(xí)成果、學(xué)習(xí)經(jīng)歷。維度主題包括時(shí)間、地理、校標(biāo)、教標(biāo)等。學(xué)生基本信息關(guān)注個(gè)人屬性信息,如學(xué)號(hào)、姓名、院系、專業(yè)等;教學(xué)資源是課程、執(zhí)行計(jì)劃、選課、培養(yǎng)計(jì)劃等;學(xué)習(xí)成果關(guān)注成績(jī)、論文、科研、實(shí)踐等;學(xué)習(xí)經(jīng)歷包括社團(tuán)活動(dòng)、組織關(guān)系、學(xué)習(xí)經(jīng)歷、工作經(jīng)歷。

(2)確定分析粒度。記錄每個(gè)學(xué)生的明細(xì)情況。在大數(shù)據(jù)時(shí)代背景下,詳細(xì)的明細(xì)記錄對(duì)于將來的分析具有很強(qiáng)的參考依據(jù)。比如選課信息,不僅記錄了每次選課的明細(xì),對(duì)于選課的IP地址,選課退課記錄等信息都涵蓋在內(nèi)。

(3)設(shè)計(jì)維度。統(tǒng)計(jì)和分析數(shù)據(jù)的角度,與統(tǒng)計(jì)分析的參數(shù)對(duì)應(yīng)。特別對(duì)于特別屬性,要獨(dú)立提出作為一個(gè)維度。

(4)建立事實(shí)表。為了跟蹤具有生命周期的活動(dòng)數(shù)據(jù)的變化過程以保留歷史信息,設(shè)計(jì)事實(shí)表時(shí)使用緩慢變化維的方法以捕獲變化數(shù)據(jù)[8]。

4 智能服務(wù)案例

4.1 數(shù)據(jù)應(yīng)用與服務(wù)

(1)學(xué)業(yè)預(yù)警

學(xué)業(yè)預(yù)警,是指通過對(duì)學(xué)生在校期間的學(xué)習(xí)生活數(shù)據(jù)進(jìn)行分析,提前發(fā)現(xiàn)學(xué)生潛在的學(xué)業(yè)問題,告之本人和相關(guān)的管理人員,幫助學(xué)生順利完成學(xué)業(yè)。例如個(gè)人培養(yǎng)計(jì)劃預(yù)警。個(gè)人培養(yǎng)計(jì)劃是學(xué)生根據(jù)學(xué)校制定的學(xué)科培養(yǎng)方案在每學(xué)期擬定的學(xué)習(xí)計(jì)劃。個(gè)人培養(yǎng)計(jì)劃包括課程學(xué)習(xí)計(jì)劃和學(xué)位論文計(jì)劃,是導(dǎo)師指導(dǎo)研究生學(xué)習(xí)、開展研究工作的依據(jù),也是研究生院對(duì)研究生進(jìn)行畢業(yè)資格審核及授予學(xué)位的依據(jù)。預(yù)警系統(tǒng)的主要功能是核查個(gè)人培養(yǎng)計(jì)劃是否滿足相應(yīng)培養(yǎng)方案的要求,對(duì)于不合格的個(gè)人培養(yǎng)計(jì)劃適時(shí)給予提醒。

學(xué)科培養(yǎng)方案要求見表2。

研究生個(gè)人培養(yǎng)計(jì)劃學(xué)分匯總(表3)。

預(yù)警根據(jù)業(yè)務(wù)部門進(jìn)行規(guī)定可以包括多個(gè)級(jí)別。比如一級(jí)預(yù)警定義為:新生在第一學(xué)期、第二學(xué)期選課之后(選課期間可制訂或修改個(gè)人培養(yǎng)計(jì)劃),個(gè)人培養(yǎng)計(jì)劃不符合相應(yīng)培養(yǎng)方案的要求。

(2)個(gè)性化服務(wù)推薦

個(gè)性化服務(wù)推薦,是將個(gè)人數(shù)據(jù)整理分析,預(yù)測(cè)式、主動(dòng)性地向用戶提供服務(wù)推薦。

在選課系統(tǒng)中,為新生選課進(jìn)行課程推薦。新生入學(xué)后,一般對(duì)將要上什么課程比較迷茫。對(duì)近10年選課數(shù)據(jù),根據(jù)同一院系、同一專業(yè)、成績(jī)合格率等維度進(jìn)行分析整理,列出課程選課人數(shù)、成績(jī)狀況等信息,排序(例如前10名)后,推薦新生選課。

4.2 決策支持

以公派出國(guó)業(yè)務(wù)舉例。通過院系開設(shè)的全英文課程的學(xué)生統(tǒng)計(jì),可以發(fā)現(xiàn)公派出國(guó)的學(xué)生占全部選課學(xué)生的比例情況。實(shí)際上,數(shù)據(jù)表明,全英文課程的開設(shè),使學(xué)生在校內(nèi)即可了解到學(xué)術(shù)領(lǐng)域的最新國(guó)際前沿動(dòng)態(tài),開拓了學(xué)生的國(guó)際視野,使得學(xué)生有可能與國(guó)際同行進(jìn)行交流和學(xué)習(xí),有力地促進(jìn)了學(xué)生的學(xué)術(shù)研究水平的提高和國(guó)際競(jìng)爭(zhēng)力的提升,可以為學(xué)校管理層在課程建設(shè)方面提供決策依據(jù)。

5 結(jié)語

目前,參與高校智能服務(wù)的大數(shù)據(jù)在絕對(duì)數(shù)量值和計(jì)算量都不是很高,為了應(yīng)對(duì)將來可能產(chǎn)生的海量數(shù)據(jù)和高負(fù)荷計(jì)算,需要部署實(shí)施MapReduce[9]和Hadoop[10]。

MapReduce將傳統(tǒng)的查詢、分解及數(shù)據(jù)分析進(jìn)行分布式處理,將處理任務(wù)分配到不同的處理節(jié)點(diǎn)。本質(zhì)上,MapReduce是一套軟件框架,包括Map(映射)和Reduce(化簡(jiǎn)),對(duì)海量數(shù)據(jù)進(jìn)行分割、任務(wù)分解與結(jié)果匯總后完成海量數(shù)據(jù)的并行處理。

Hadoop是由Apache基金會(huì)開發(fā)的一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu),利用集群的高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)了分布式文件系統(tǒng)(Hadoop Distributed File System),簡(jiǎn)稱HDFS。HDFS具有高容錯(cuò)性的特點(diǎn),特別適合部署在低廉的硬件上,比較適合高校中輕量級(jí)的高速運(yùn)算。

建立基于大數(shù)據(jù)的智能高校信息化管理服務(wù)系統(tǒng)對(duì)于高校信息化建設(shè)是一個(gè)機(jī)遇也是一種挑戰(zhàn)。文中提出的建設(shè)思路方法與設(shè)計(jì)還不成熟,實(shí)踐案例覆蓋范圍較小,需要在實(shí)踐中檢驗(yàn)和完善,特別對(duì)于高運(yùn)算量下如何利用mapreduce和hadoop工具還在探索之中。改變信息化建設(shè)模式,高度重視基礎(chǔ)數(shù)據(jù)的收集與整理,為大數(shù)據(jù)分析奠定基礎(chǔ),是建設(shè)智能化高校系統(tǒng)的基礎(chǔ)工作。

[1] 張意軒,于洋.大數(shù)據(jù)時(shí)代的大媒體[N].人民日?qǐng)?bào), 2013-01-17(14).

[2] 維克多,邁爾-舍恩伯格,肯尼思,等.大數(shù)據(jù)時(shí)代[M].杭州:浙江人民出版社,2012.

[3] 來天平,種連榮,王倩宜,等.高校信息化橫向建設(shè)模式的探索與實(shí)踐[J].武漢大學(xué)學(xué)報(bào):理學(xué)版,2012(Z1): 136-139.

[4] 智能服務(wù)服務(wù)中國(guó)[EB/OL].[2013-09-11].http://www. ccw research.com.cn/white_book_detail.htm?id=16.

[5] 王亦然.數(shù)據(jù)倉庫技術(shù)基于業(yè)務(wù)報(bào)表數(shù)據(jù)的應(yīng)用研究[D].北京:中國(guó)地質(zhì)大學(xué)(北京),2010.

[6] Bazhen Datax[EB/OL]. [2013-09-11]. http://code.taobao.org/p/datax/w iki.

[7] Kimball R, Ross M. The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling[M]. New York: John Wiley and Sons, 2002.

[8] 高亮.高校數(shù)據(jù)倉庫建設(shè)研究[J].武漢大學(xué)學(xué)報(bào):理學(xué)版,2012,58(Z1):179-184.

[9] Jeffrey Dean, Sanjay Ghemawat. MapReduce: Simpleied Data Processing on Large Clusters[J]. Communications of the Acm, 2008,51(1):107-111.

[10] Scobinz. Hadoop[EB/OL]. [2013-09-11]. http://baike. baidu.com/view/908354.htm.

Building Intelligence University Information M anagement Service System Based on Big Data

Lai Tianping1, Wang Chunxia2
(1. Computer Center, Peking University, Beijing 100871; 2. Wanfang Data CO., LTD., Beijing 100038)

In large data background and the demand of information of colleges and universities, this paper proposed the establishment of university information management system of intelligent service idea. Based on the basic idea of big data, put forward the concept of the big data in university and analyze their basic features. After Studying the intelligence services of the college information specif c implementations, Elaborate building it’s system architecture design principles and the logical framework; Explore ETL, data warehouse modeling and other key technologies. W ith examples, how to build intelligent information management and decision support data application services. For the full establishment of the University of intelligent inform ation management service system provides exploration and practical basis.

big data, intelligence service, university informatization, data m ining, decision support

表2 培養(yǎng)方案要求

表3 個(gè)人培養(yǎng)計(jì)劃擬定情況

TP393

:ADOI:10.3772/j.issn.1674-1544.2013.06.017

來天平(1977- ),男,北京大學(xué)計(jì)算中心工程師,主要研究方向:高校信息化、計(jì)算機(jī)應(yīng)用技術(shù)。

2013年11月14日。

猜你喜歡
數(shù)據(jù)倉庫智能信息化
月“睹”教育信息化
幼兒教育信息化策略初探
甘肅教育(2020年18期)2020-10-28 09:06:02
基于數(shù)據(jù)倉庫的住房城鄉(xiāng)建設(shè)信息系統(tǒng)整合研究
智能前沿
文苑(2018年23期)2018-12-14 01:06:06
智能前沿
文苑(2018年19期)2018-11-09 01:30:14
智能前沿
文苑(2018年17期)2018-11-09 01:29:26
智能前沿
文苑(2018年21期)2018-11-09 01:22:32
分布式存儲(chǔ)系統(tǒng)在液晶面板制造數(shù)據(jù)倉庫中的設(shè)計(jì)
電子制作(2016年15期)2017-01-15 13:39:15
探析電力系統(tǒng)調(diào)度中數(shù)據(jù)倉庫技術(shù)的應(yīng)用
基于數(shù)據(jù)倉庫的數(shù)據(jù)分析探索與實(shí)踐
仲巴县| 忻州市| 长春市| 萝北县| 高雄县| 凯里市| 阳新县| 乌兰浩特市| 玉龙| 珠海市| 旅游| 辽宁省| 嘉荫县| 偃师市| 那曲县| 军事| 武宁县| 嘉善县| 杭锦后旗| 滦平县| 玉树县| 阳城县| 油尖旺区| 无极县| 宕昌县| 琼海市| 旌德县| 迁安市| 永胜县| 太仆寺旗| 宜州市| 揭西县| 全椒县| 武鸣县| 武功县| 二连浩特市| 宜君县| 霸州市| 玛纳斯县| 淅川县| 广饶县|