卜南翔 徐述 王玉婷 曾海洋 湖南城市學(xué)院 信息與電子工程學(xué)院

1 引言

隨著我國社會的不斷發(fā)展，大數(shù)據(jù)時代隨之出現(xiàn)，在該時代當(dāng)中，我國教育事業(yè)也隨之受到影響，其信息技術(shù)同樣得到了不錯的發(fā)展，再次背景條件下，現(xiàn)今的課程教學(xué)資源數(shù)據(jù)更是變得多樣化、豐富化、大數(shù)據(jù)化。課程教學(xué)資源信息量的迅猛增加也讓傳統(tǒng)的架構(gòu)服務(wù)器無法將其高效存儲與管理。若要使多元化的、半結(jié)構(gòu)、非結(jié)構(gòu)化的課程教學(xué)資源數(shù)據(jù)得到有效的存儲與處理，需要摒棄傳統(tǒng)的服務(wù)器，采用基于大數(shù)據(jù)平臺上的大數(shù)據(jù)技術(shù)，并通過增加集群中服務(wù)器節(jié)點(diǎn)計算機(jī)擴(kuò)大平臺的儲存量。本文針對基于大數(shù)據(jù)平臺的課程教學(xué)資源推薦系統(tǒng)應(yīng)用展開研究，首先對其應(yīng)用意義進(jìn)行闡述，其次對基于大數(shù)據(jù)平臺的課程教學(xué)資源推薦系統(tǒng)建設(shè)進(jìn)行規(guī)劃與體系框架設(shè)計，以供參考。

2 建設(shè)基于大數(shù)據(jù)平臺的課程教學(xué)資源推薦系統(tǒng)的意義

隨著我國社會經(jīng)濟(jì)的不斷發(fā)展，教育事業(yè)得到相應(yīng)的發(fā)展。根據(jù)教育部提出的四個回歸要求，可以了解到，結(jié)合大數(shù)據(jù)技術(shù)設(shè)計個性化的課程教學(xué)資源服務(wù)十分必要，相關(guān)人員需要對其加以重視。但根據(jù)具體實(shí)施的研究調(diào)查可以發(fā)現(xiàn)，現(xiàn)如今，我國大部分的課程教學(xué)資源共享平臺建設(shè)都存在著，如：參差不齊，資源結(jié)構(gòu)差異較大等不良問題。這些問題的存在不僅使得課程教學(xué)資源共享利用率變得十分低下，而且嚴(yán)重的缺乏個性化推薦服務(wù)。就目前而言，傳統(tǒng)架構(gòu)的課程教學(xué)資源共享平臺無法實(shí)現(xiàn)通過搜索一個關(guān)鍵詞的課程教學(xué)資源反映出學(xué)習(xí)者的個性特征，也不能夠精準(zhǔn)的提供學(xué)習(xí)者真正需要的課程教學(xué)資源。

為了改善這一現(xiàn)象，提高學(xué)習(xí)者獲得的課程教學(xué)資源效率，相關(guān)人員首先需要做的就是對傳統(tǒng)單機(jī)服務(wù)器建設(shè)的課程教學(xué)資源共享平臺進(jìn)行改進(jìn)，并在基于大數(shù)據(jù)的平臺上，科學(xué)合理的利用大數(shù)據(jù)技術(shù)建立全新的、完善的課程教學(xué)資源推薦系統(tǒng)。因此，相關(guān)人員需要對基于大數(shù)據(jù)平臺的課程教學(xué)資源推薦系統(tǒng)的研究與建設(shè)應(yīng)用加以重視。

3 基于大數(shù)據(jù)平臺的課程教學(xué)資源推薦系統(tǒng)設(shè)計

3.1 主流技術(shù)

根據(jù)研究調(diào)查可了解到，Hadoop或Spark是目前構(gòu)建基于大數(shù)據(jù)平臺課程教學(xué)資源推薦系統(tǒng)中不可缺少的重要部分。

其分布式文件存儲框架主要是由NameNode與DataNode兩類節(jié)點(diǎn)構(gòu)成的。其中NameNode節(jié)點(diǎn)主要負(fù)責(zé)分布式文件系的命名空間管理與數(shù)據(jù)文件元數(shù)據(jù)管理；對于DataNode節(jié)點(diǎn)而言，DataNode節(jié)點(diǎn)在整個工作運(yùn)行的過程中扮演的是一個負(fù)責(zé)數(shù)據(jù)文件儲存的角色。在大數(shù)據(jù)時代，該課程教學(xué)推薦系統(tǒng)的優(yōu)勢主要在于，能夠隨著平臺上的課程資源、教學(xué)資源數(shù)據(jù)量的不斷增加，平臺中的存儲容量以及計算能力也會隨之得到相應(yīng)的增加。在需要擴(kuò)大系統(tǒng)存儲容量與計算能力時，系統(tǒng)管理員增加集群服務(wù)器節(jié)點(diǎn)計算機(jī)即可。

最新阿里技術(shù)與谷歌技術(shù)研究顯示，流式的數(shù)據(jù)訪問方式已逐漸成為大數(shù)據(jù)平臺框架的主要訪問方式。而流式的數(shù)據(jù)訪問方式主要指的是一次寫入，多次讀取數(shù)據(jù)。并在完成該步驟之后，以追加方式將課程教學(xué)資源數(shù)據(jù)寫入到分布式文件系統(tǒng)HDFS中。為了方便數(shù)據(jù)訪問，采用代理進(jìn)行數(shù)據(jù)訪問以實(shí)現(xiàn)數(shù)據(jù)的負(fù)載均衡。這樣的系統(tǒng)設(shè)計不但可以減少其他課程教學(xué)資源數(shù)據(jù)對學(xué)習(xí)者的干擾，而且能夠讓學(xué)習(xí)者快速精準(zhǔn)的找到自己想要的教學(xué)資源。

3.2 實(shí)現(xiàn)步驟

由1可知，在大數(shù)據(jù)時代背景之下，傳統(tǒng)的課程教學(xué)資源推薦系統(tǒng)已經(jīng)不能夠滿足多樣化的教學(xué)資源儲存，且不能準(zhǔn)確的推送個性化服務(wù)。因此，相關(guān)人員需要對其加以重視。

在實(shí)現(xiàn)基于大數(shù)據(jù)平臺的個性化課程教學(xué)資源推薦系統(tǒng)的過程中，相關(guān)人員可從以下幾點(diǎn)進(jìn)行：首先，搭架大數(shù)據(jù)硬件平臺；其次，利用平臺對課程教學(xué)資源進(jìn)行高效存儲與管理；最后實(shí)現(xiàn)課程教學(xué)資源推薦服務(wù)。

4 大數(shù)據(jù)平臺的課程教學(xué)資源推薦系統(tǒng)框架體系

結(jié)合1與2所述，本文設(shè)計基于Hadoop+Spark大數(shù)據(jù)平臺的課程教學(xué)資源推薦系統(tǒng)。

4.1 系統(tǒng)框架

系統(tǒng)框架分為終端接入層、業(yè)務(wù)應(yīng)用層與底層架構(gòu)層。

終端訪問層負(fù)責(zé)終端用戶的訪問，可以是PC、筆記本、瘦終端、平板電腦、智能手機(jī)等終端設(shè)備；業(yè)務(wù)應(yīng)用層為終端提供各種資源推薦服務(wù)和數(shù)據(jù)統(tǒng)計，包括課程資源存儲、課程資源搜索、課程資源推薦和用戶對教學(xué)資源統(tǒng)計的訪問。在業(yè)務(wù)應(yīng)用層，用戶訪問教學(xué)資源統(tǒng)計服務(wù)是在虛擬化的基礎(chǔ)上安裝和構(gòu)建分布式文件系統(tǒng)HDFS。底層架構(gòu)層對用戶屏蔽,虛擬化技術(shù)用于虛擬化服務(wù)器硬件，物理服務(wù)器被抽象為許多邏輯計算機(jī)。計算、存儲、網(wǎng)絡(luò)等資源在虛擬環(huán)境中運(yùn)行，而不是在真實(shí)環(huán)境中運(yùn)行。多個邏輯計算機(jī)可以在同一臺服務(wù)器上同時運(yùn)行，每個邏輯計算機(jī)可以獨(dú)立運(yùn)行完全不同的操作系統(tǒng)，可以有效地隔離資源，提高集群節(jié)點(diǎn)的工作效率。

4.2 工作流程

用戶點(diǎn)擊共享平臺、Socket或Http協(xié)議中的教學(xué)資源，將數(shù)據(jù)傳輸?shù)絎eb服務(wù)器，而Web服務(wù)器Apache等接收到的信息將在相應(yīng)目錄中生成日志數(shù)據(jù)，此時，相關(guān)的用戶就可通過使用Linux系統(tǒng)的計時系統(tǒng)進(jìn)行初步處理。當(dāng)被監(jiān)控的目錄發(fā)生變化時，水槽會記錄數(shù)據(jù)，然后將其交給HDFS文件系統(tǒng)或Hive數(shù)據(jù)倉庫。最后，SparkStreaming將通過實(shí)時流量處理對關(guān)鍵信息字段進(jìn)行分類和計數(shù)。

日志數(shù)據(jù)采集清洗整理后，需要編寫分布式計算程序來過濾數(shù)據(jù)，并將相關(guān)數(shù)據(jù)存儲在課程推薦系統(tǒng)的HDFS文件系統(tǒng)中。

5 結(jié)束語

隨著我國社會經(jīng)濟(jì)的不斷發(fā)展，教育事業(yè)得到了長足進(jìn)步。大數(shù)據(jù)時代，需要先進(jìn)的大數(shù)據(jù)技術(shù)支持教育事業(yè)的信息化技術(shù)發(fā)展。因此，開展基于大數(shù)據(jù)平臺，利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)全新的課程教學(xué)資源推薦系統(tǒng)的研究與建設(shè)十分有必要。再加上，基于大數(shù)據(jù)平臺的課程教學(xué)資源推薦系統(tǒng)可以更好地滿足學(xué)生的專業(yè)學(xué)習(xí)需求，也將推動教育信息化技術(shù)的高速發(fā)展。