劉中宇　劉海良

【摘要】大數(shù)據(jù)是近年來IT界廣泛關(guān)注的焦點，在數(shù)據(jù)量龐大、種類繁多、信息多樣化的大數(shù)據(jù)背景下，高校教學(xué)服務(wù)和數(shù)據(jù)利用方式將發(fā)生顯著的變化，并因此帶來新的機會。云計算和大數(shù)據(jù)技術(shù)的完美結(jié)合，使得高?？梢詫ζ鋽?shù)據(jù)資源采取完全數(shù)據(jù)篩選的方式來進行分析、挖掘隱藏在數(shù)據(jù)背后的規(guī)律，對未來進行預(yù)測，以便教師、學(xué)生和管理者改變自己的教學(xué)、學(xué)習(xí)和管理決策，最終真正實現(xiàn)學(xué)生做到心中有數(shù)的學(xué)習(xí)。

【關(guān)鍵字】大數(shù)據(jù)；云計算；教育資源；數(shù)據(jù)處理

【中圖分類號】G40-057 【文獻(xiàn)標(biāo)識碼】A 【論文編號】1009-8097（2013）07-0059-04

引言

“大數(shù)據(jù)”（Big data）是IT界繼“Web2.0”、“數(shù)據(jù)挖掘”和“云計算”之后近兩年最流行的詞。大數(shù)據(jù)革命也正以Apache Hardtop為中心如火如荼地進行著，IBM、EMC、Oracle、VMware和MicrosoR等商業(yè)機構(gòu)已看到了在這場革命中蘊含的商業(yè)價值，都爭相投入到研究大數(shù)據(jù)的領(lǐng)域，都希望能搶先占有市場的主動權(quán)，并基于云計算等平臺開發(fā)了諸如Biglnsights等產(chǎn)品，大數(shù)據(jù)技術(shù)能夠幫助用戶在茫茫的數(shù)據(jù)海洋里快速找到所需的資源。面對大數(shù)據(jù)的這些優(yōu)勢，教育界也掀起了對大數(shù)據(jù)的研究熱潮，在《2013NMC地平線報告（高教版）》中非常有預(yù)見性的認(rèn)為“大數(shù)據(jù)和學(xué)習(xí)分析”將在未來2至3年成為主流技術(shù)。在“大數(shù)據(jù)”時代如何提高對日益增長的教育資源的處理能力，尋找新的數(shù)據(jù)計算策略是當(dāng)今教育界所關(guān)注的焦點，而要解決以上的幾個問題，我們就必須理性地認(rèn)識大數(shù)據(jù)。

一 大數(shù)據(jù)概述

2011年5月，全球知名咨詢公司麥肯錫（MckinseyandCompany）發(fā)布了《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個前沿領(lǐng)域》報告，首次提出了“大數(shù)據(jù)”的概念，并在報告中指出“數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素；而人們對于海量數(shù)據(jù)的運用將預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來”。但到目前為止對大數(shù)據(jù)的定義還沒有一個明確的界定，但各種表達(dá)均存在一個共同點，即：大數(shù)據(jù)不是傳統(tǒng)意義上的海量數(shù)據(jù)，而是一種具有數(shù)據(jù)量龐大、數(shù)據(jù)種類繁多、數(shù)據(jù)信息多樣化的特點。據(jù)DCCI互聯(lián)網(wǎng)數(shù)據(jù)中心在2012年7月26日舉辦的“Adworld2012互動營銷世界”上給出的數(shù)據(jù)顯示：2010年，全球數(shù)據(jù)量已達(dá)1.2ZB，而在如此龐大的數(shù)據(jù)中，只有10%的數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)，其余的則是由郵件、視頻、微博等大量的半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)它還具有市場價值高，預(yù)測速度快等特點。如日本大地震發(fā)生后僅9分鐘，美國國家海洋和大氣管理局（NOAA）就發(fā)布了詳細(xì)的海嘯預(yù)警。

二 大數(shù)據(jù)與云計算的結(jié)合，給高校教育資源的應(yīng)用帶來新機會

云計算的出現(xiàn)打破了以前高校信息化建設(shè)中的“信息孤島”現(xiàn)象，它成為了各種分散教育資源集中應(yīng)用的平臺，這使得各種教育資源得到充分的應(yīng)用，同時，云計算的出現(xiàn)讓教師與學(xué)生有了真正的互動，并且它與各種終端設(shè)備的無縫連接，為移動學(xué)習(xí)提供了有力的技術(shù)支撐。然而大數(shù)據(jù)的出現(xiàn)更是讓云計算的應(yīng)用有了真正的用武之地，它們的有力結(jié)合將會釋放出巨大的能量，它幾乎會波及各行各業(yè)，對于教育領(lǐng)域而言，他們的結(jié)合也將會給高校的教育資源的應(yīng)用帶來更多的機會。

1 給數(shù)字圖書館帶來新變革

對于圖書館行業(yè)來說，云計算的出現(xiàn)也改變了傳統(tǒng)圖書館的服務(wù)模式，應(yīng)用云計算的存儲、管理等相關(guān)技術(shù)為讀者提供網(wǎng)絡(luò)化應(yīng)用，這在很大程度上改變了傳統(tǒng)圖書館的窗口服務(wù)模式，因此各省高校都紛紛以云為基礎(chǔ)建立起高校圖書館聯(lián)盟以更快、更好地發(fā)展圖書館行業(yè)，如江西省高校圖書館聯(lián)盟平臺應(yīng)用云技術(shù)真正實現(xiàn)了資源共享一體化、服務(wù)一體化、管理一體化。然而在大數(shù)據(jù)時代下的圖書館行業(yè)更將面臨新的變革，大數(shù)據(jù)可應(yīng)用數(shù)據(jù)分析、挖掘等技術(shù)對存儲在云服務(wù)端的各種分散的關(guān)系化、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行分析和挖掘，掌握讀者的借閱行為、愛好、知識應(yīng)用能力等以預(yù)測讀者對知識服務(wù)的需求，使圖書館管理人員能根據(jù)預(yù)測進行決策；也可應(yīng)用大數(shù)據(jù)技術(shù)對讀者的科研創(chuàng)新合作過程及合作交互型知識服務(wù)過程將要發(fā)生什么進行分析和預(yù)測，從而應(yīng)對圖書館未來所面對的生存危機，同時也可通過應(yīng)用大數(shù)據(jù)的分析，預(yù)測以及智能決策等技術(shù)為圖書館建立科學(xué)及實用的風(fēng)險評估模型，如數(shù)據(jù)圖書館館藏信息安全評估模型。

2 讓數(shù)據(jù)更能引導(dǎo)用戶學(xué)習(xí)

對于教育界而言，大數(shù)據(jù)與云技術(shù)的結(jié)合使得教育資源的應(yīng)用突破了原有意義上的應(yīng)用格局，使教師與學(xué)生不僅僅是能夠共享存儲在云服務(wù)端的教育資源，并且能夠通過大數(shù)據(jù)的數(shù)據(jù)分析、數(shù)據(jù)挖掘等技術(shù)對各種類型多樣的數(shù)據(jù)進行分析和挖掘，以得出隱藏在其背后的數(shù)據(jù)信息，并為師生提供最合理的策略和方案。教師可以通過大數(shù)據(jù)技術(shù)對學(xué)生學(xué)習(xí)行為、學(xué)習(xí)愛好等非結(jié)構(gòu)化數(shù)據(jù)進行分析及挖掘，讓教師做出預(yù)測并及時做出決策，更好地引導(dǎo)學(xué)生學(xué)習(xí)，同時也可應(yīng)用大數(shù)據(jù)的分析技術(shù)對開設(shè)的課程進行效果評估，以及時調(diào)整培養(yǎng)方案；大數(shù)據(jù)技術(shù)也可對學(xué)生某一段時間以來的各種表現(xiàn)，如上網(wǎng)、業(yè)余學(xué)習(xí)等非結(jié)構(gòu)化數(shù)據(jù)的進行分析，預(yù)測出下一個時期將會發(fā)生的事情，以便盡早通過這些預(yù)測做出最適合學(xué)生健康發(fā)展的決策，并且基于大數(shù)據(jù)的數(shù)據(jù)分析技術(shù)為學(xué)生推薦學(xué)習(xí)軌跡，開展適應(yīng)性學(xué)習(xí)，自我導(dǎo)向?qū)W習(xí)。

3 讓高校教育決策者在掌握更多數(shù)據(jù)后做出更正確抉擇

早期的關(guān)系化數(shù)據(jù)時代，對數(shù)據(jù)分析基本上是采用抽樣的方法，推及所有人群，其準(zhǔn)確性會大打折扣。而在當(dāng)今大數(shù)據(jù)時代，利用大數(shù)據(jù)的分析能力，IT能夠提供給企業(yè)決策層的將會是一個從各個領(lǐng)域進行了全面篩選的信息，這能夠讓企業(yè)的領(lǐng)導(dǎo)層更準(zhǔn)確地了解市場、客戶以及自己的產(chǎn)品。同樣高校云存儲中心為大數(shù)據(jù)的應(yīng)用提供了更多關(guān)于師生客觀而又真實的行為記錄的數(shù)據(jù)基礎(chǔ)，數(shù)據(jù)處理中心對這些零散而又無特定結(jié)構(gòu)的數(shù)據(jù)應(yīng)用大數(shù)據(jù)的數(shù)據(jù)分析、數(shù)據(jù)挖掘等技術(shù)處理后將會給決策者預(yù)示出做出某一決策后未來的發(fā)展趨勢，使決策者在了解其發(fā)展趨勢之后決定是否做出某一決策，這樣，使得決策者能在低風(fēng)險下做出正確的決策，真正實現(xiàn)基于數(shù)據(jù)進行決策。其次，大數(shù)據(jù)技術(shù)也可幫助高校提高教學(xué)質(zhì)量，促進教育公平。高?？蓮臄?shù)據(jù)中心獲取關(guān)于高校內(nèi)正常教學(xué)活動所產(chǎn)生的各項教學(xué)數(shù)據(jù)并在信息部門的協(xié)同下應(yīng)用大數(shù)據(jù)的數(shù)據(jù)分析、挖掘技術(shù)實現(xiàn)自上而下的開展教學(xué)管理優(yōu)化，促使高校教學(xué)管理體變革。

三 大數(shù)據(jù)時代云資源數(shù)據(jù)處理及服務(wù)

從存儲在云服務(wù)端的資源中發(fā)現(xiàn)數(shù)據(jù)并加以利用，再提出相應(yīng)的策略以指導(dǎo)師生學(xué)習(xí)是大數(shù)據(jù)對數(shù)據(jù)分析、挖掘的最終目標(biāo)，然而關(guān)系數(shù)據(jù)庫生成的簡單報表遠(yuǎn)不能達(dá)到此目標(biāo)，這就需要對數(shù)據(jù)進行更加深入的分析，這些分析需要依賴復(fù)雜的分析模型。運用這些模型人們不僅可以通過數(shù)據(jù)了解現(xiàn)在發(fā)生了什么，而且可以對將要發(fā)生什么進行預(yù)測，以便在行動上做出一些主動的準(zhǔn)備。對于高校師生更是如此，他們不僅希望通過數(shù)據(jù)了解發(fā)生了什么，更是希望通過數(shù)據(jù)對未來進行預(yù)測，以便讓他們做出相應(yīng)的方案，這樣他們就可以在信息化時代處于主動的狀態(tài)而不是被動狀態(tài)。

1 大數(shù)據(jù)時代數(shù)據(jù)處理

云計算的出現(xiàn)在很大程度上解決了數(shù)據(jù)存儲以及計算等問題，因此各高校紛紛投入資金以建設(shè)以云為中心的教學(xué)環(huán)境，以提高教育資源的利用率。但對于數(shù)據(jù)的分析仍然是依賴于簡單的關(guān)系數(shù)據(jù)庫，這種簡單的分析方法對數(shù)據(jù)的分析，查詢往往耗費大量的時間、人力、物力并且效率不高。面對這些問題，大數(shù)據(jù)時代提出利用Hadoop技術(shù)包括內(nèi)存檢索技術(shù)，數(shù)據(jù)實時反應(yīng)技術(shù)對大量的教育資源進行分析的方法，這個方法通過構(gòu)建一個基于云計算的大數(shù)據(jù)資源處理平臺，并通過Map Reduce編程模型對數(shù)據(jù)進行管理，以提高對數(shù)據(jù)分析的速度以及效率。該數(shù)據(jù)處理平臺首先是對各種碎片數(shù)據(jù)進行收集，其主要的數(shù)據(jù)來源是存儲在遠(yuǎn)程云服務(wù)端的教育資源，包括學(xué)生信息云、教室信息云等教育信息資源，在完成數(shù)據(jù)收集之后，便可對這些碎片數(shù)據(jù)進行過濾，以提煉出連續(xù)的、低信息粒度的數(shù)據(jù)，而后將提煉出的優(yōu)質(zhì)數(shù)據(jù)交于上層以進行數(shù)據(jù)分析，利用這個數(shù)據(jù)處理平臺對幾百甚至是幾千個數(shù)據(jù)節(jié)點進行分析。數(shù)據(jù)挖掘是利用數(shù)據(jù)挖掘算法，包括分類算法，回歸算法，聚合算法和降維算法等挖掘算法，對數(shù)據(jù)分析之后的數(shù)據(jù)進行數(shù)據(jù)挖掘，以挖掘出隱藏在數(shù)據(jù)背后有價值的信息為用戶做出決策奠定基石。在大數(shù)據(jù)時代對數(shù)據(jù)的挖掘依然是結(jié)合云計算，采用的數(shù)據(jù)挖掘技術(shù)對存儲在云服務(wù)端的大量的、不完全的、模糊的教育資源挖掘其隱藏在這些數(shù)據(jù)背后的事先不知道的，但是又存在著對教師以及學(xué)生非常有價值的信息，并及時提出預(yù)警和指導(dǎo)幫助，同樣圖書館也可根據(jù)讀者的借閱圖書信息數(shù)據(jù)對讀者的學(xué)習(xí)行為、借閱行為、愛好等數(shù)據(jù)分析，提出新的服務(wù)方案、策略。其數(shù)據(jù)處理平臺如圖1所示。

（1）云資源層：云資源層的數(shù)據(jù)主要來源于云服務(wù)端的資源，如教室信息云，學(xué)生信息資源云等教育資源，通過Hadoop中的HDFS技術(shù)對這些數(shù)據(jù)信息進行存儲，再利Hbase、ZooKeeper等數(shù)據(jù)處理和管理工具動態(tài)生成MapReduce任務(wù)并對其進行計算和聚合高效處理。

（2）模型層：模型層對存儲在數(shù)據(jù)層里的學(xué)生信息數(shù)據(jù)進行Hadoop的ETL處理輸出匯總信息，包括學(xué)生學(xué)習(xí)行為，與他人協(xié)作行為等基本行為模型的分析，以掌握學(xué)生性格特征，學(xué)習(xí)能力，對資源滿意度等基本信息，以期在對學(xué)生有更多了解后，給他們提出最適合他們自己學(xué)習(xí)的指導(dǎo)。

（3）應(yīng)用層：通過模型層對學(xué)生信息或者其他教育資源信息分析后得出的結(jié)果，包括學(xué)生學(xué)習(xí)能力，學(xué)生性格特征等信息，對教師目前的教學(xué)效果以及學(xué)生的學(xué)習(xí)效果進行評估，并對未來師生教與學(xué)的效果進行預(yù)測，通過對預(yù)測的結(jié)果進行分析、挖掘給師生提出最佳教與學(xué)的策略。

2 大數(shù)據(jù)時代的教育資源服務(wù)

云計算和大數(shù)據(jù)技術(shù)的興起以及用戶對知識需求的變化使高校資源服務(wù)得以變遷。在大數(shù)據(jù)的背景下，高校教育資源在服務(wù)方式、途徑、模式等方面將會不斷得改變。未來的高校為教師、學(xué)生提供的服務(wù)將是通過數(shù)據(jù)的匯聚、過濾、分析和挖掘這一系列數(shù)據(jù)操作而得出的。因此，未來的高校提供給師生的服務(wù)將更加具有針對性和鮮明性。首先，在大數(shù)據(jù)的背景下，教育所提供的資源服務(wù)對于用戶來說，只需要關(guān)注其最終結(jié)果而不必知道其內(nèi)在原因。高校資源服務(wù)最終目標(biāo)是為用戶提供最快、最及時、最準(zhǔn)確的服務(wù)，對于高校數(shù)據(jù)處理中心而言只需應(yīng)用大數(shù)據(jù)技術(shù)對各種碎片數(shù)據(jù)進行分析和挖掘，以研判采取的某種教學(xué)方式對教師的教學(xué)效果或?qū)W生學(xué)習(xí)效果是否有影響，如果效果明顯，那么決策者只需決定是否采用這種教學(xué)方式，不必要去追究這樣做會使效率改變的原因。其次，大數(shù)據(jù)時代下的資源服務(wù)將會更加主動、更加貼近用戶的實際需求，隨著信息化時代的加速，各高校在以數(shù)字校園的背景下紛紛對資源系統(tǒng)進行整合，以最大限度的提高資源的應(yīng)用，如此一來高校師生不僅可以盡可能的應(yīng)用資源，而且也可以參與諸如資源平臺建設(shè)、服務(wù)評價等交互式工作，而系統(tǒng)可以收集用戶在該平臺上留下的“痕跡”以動態(tài)的掌握用戶對各種資源的需求，及時滿足用戶的需求，這樣使用戶對資源中心所提供的資源更加認(rèn)可，而資源中心也會因為用戶的認(rèn)可而大大增強主動服務(wù)的意識。

四 大數(shù)據(jù)時代高校教育發(fā)展趨勢

云計算為大數(shù)據(jù)提供了更多可彈性擴展，廉價的存儲空間和計算資源，而且其提供的資源不僅種類繁多，并且分布廣泛，是高校異構(gòu)系統(tǒng)處理數(shù)據(jù)的有力方式，因此，在大數(shù)據(jù)時代下，高校教育將會朝著更多方向發(fā)展。

1 向以學(xué)生心中有數(shù)的終生制學(xué)習(xí)方向發(fā)展

大數(shù)據(jù)時代，高校信息中心將不僅僅是簡單的關(guān)系數(shù)據(jù)，而更多的是記錄了關(guān)于學(xué)生在資源共享平臺留下的行為方式（瀏覽、下載）等非結(jié)構(gòu)化的數(shù)據(jù)，而數(shù)據(jù)處理中心的任務(wù)是對這些數(shù)據(jù)進行分析、挖掘，最終以某種數(shù)據(jù)表示方式呈現(xiàn)給學(xué)生，讓學(xué)生了解自己在各類資源子系統(tǒng)的活動頻次及活動類型和某段時期內(nèi)的學(xué)習(xí)狀況，同時給學(xué)生提出量身定制的學(xué)習(xí)計劃。因此，這將會使學(xué)生從以往的“模糊”學(xué)習(xí)向“以學(xué)生心中有數(shù)”的學(xué)習(xí)發(fā)展，真正實現(xiàn)終生制學(xué)習(xí)。

2 改變傳統(tǒng)教與學(xué)課堂，向以交流為主的課堂方向發(fā)展

在未來的大數(shù)據(jù)環(huán)境下，課堂將會是以交流為主的學(xué)習(xí)，在傳統(tǒng)的課堂中教師主要是充當(dāng)教的角色而很少是學(xué)生當(dāng)中交流的一員，這種方式很難達(dá)到很好的教學(xué)效果，然而在大數(shù)據(jù)時代下，通過大數(shù)據(jù)技術(shù)為教師呈現(xiàn)學(xué)生的基本情況，教師在了解學(xué)生基本情況后可以制作出盡可能包括眾多的學(xué)生不理解的知識點的學(xué)習(xí)視頻。而學(xué)生在課后可根據(jù)教師制作的教學(xué)視頻，有目的、有選擇性地觀看，回到傳統(tǒng)的課堂將疑難點與教師或同學(xué)面對面的交流，這樣一個以交流為主的課堂學(xué)生積極性也會更高，而且學(xué)習(xí)效率也將大大提高。

3 使教室管理向更高效、更安全、更快捷的方向發(fā)展

傳統(tǒng)的實驗室或多媒體教室的管理通常是一個管理人員管理一個機房或某幾個機房，然而這樣的管理方式卻不是高效率的，而且大大浪費高校的人力資源，在大數(shù)據(jù)時代，高校內(nèi)可將校內(nèi)所有計算機實驗室或者多媒體教室的信息存儲到數(shù)據(jù)中心，利用大數(shù)據(jù)技術(shù)，對不同校區(qū)、不同教室類型、不同學(xué)期、不同時段以及不同教室里的教學(xué)設(shè)備產(chǎn)生的各項參數(shù)進行分析，挖掘后，并通過反饋的數(shù)據(jù)對某一教室里在某一時刻的某一設(shè)備進行一個未來的趨勢的預(yù)測，判斷是否可能發(fā)生故障或者該設(shè)備是否可以承受高負(fù)載的運行等情況，這樣可使管理人員提前對這些將會發(fā)生故障的設(shè)備進行更換，以避免較大的損失，這將會大大提高設(shè)備的利用率，并且在這種趨勢下只需少數(shù)管理員在設(shè)備監(jiān)控中心對校內(nèi)所有機房進行監(jiān)控，這樣大大節(jié)省了高校的人力、物力、財力。

五 結(jié)束語

大數(shù)據(jù)是隨著移動互聯(lián)、云計算等技術(shù)的成熟而出現(xiàn)并不斷發(fā)展起來的，并且受到IT界、學(xué)術(shù)界的廣泛關(guān)注，它的出現(xiàn)為云計算的更多實際應(yīng)用找到了更大的舞臺，大數(shù)據(jù)通過利用云計算的超強大的數(shù)據(jù)存儲以及數(shù)據(jù)計算能力，可以更加方便的處理大數(shù)據(jù)的海量信息，為用戶提供了更方便、更快捷的服務(wù)，它將是人類走向“智慧”的鑰匙。然而大數(shù)據(jù)也面臨著諸多技術(shù)問題，如大數(shù)據(jù)的數(shù)據(jù)表示方法問題，高效率低成本的大數(shù)據(jù)存儲問題等，但是隨著市場的發(fā)展和信息技術(shù)的不斷成熟，圍繞大數(shù)據(jù)的問題將會得到解決。