程光勝

摘 ?要：“互聯(lián)網(wǎng)+教育”的本質(zhì)是教學(xué)和學(xué)習(xí)的數(shù)據(jù)化。為了應(yīng)對智慧校園應(yīng)用中海量數(shù)據(jù)的存儲需求，需要構(gòu)建易擴展的大數(shù)據(jù)存儲平臺，而HBase是一個構(gòu)建在HDFS基礎(chǔ)上基于列式的分布式存儲架構(gòu)，能夠根據(jù)鍵值的大小，把數(shù)據(jù)分布到不同的存儲節(jié)點上。為了支撐不同業(yè)務(wù)的分析以及性能方面的考慮，在數(shù)據(jù)存儲平臺的設(shè)計中，采用HBase+Hive+ Redis相組合的解決方案，一方面可以實現(xiàn)復(fù)雜的統(tǒng)計分析和數(shù)據(jù)挖掘的目的，另一方面也提升了數(shù)據(jù)不同組合下的查詢效率。

關(guān)鍵詞：“互聯(lián)網(wǎng)+教育”;智慧校園;HBase數(shù)據(jù)存儲;Redis數(shù)據(jù)緩存

中圖分類號：G717 ? ? ?文獻標(biāo)識碼：A ? ? ?文章編號：2096-3769（2020）06-066-04

互聯(lián)網(wǎng)的本質(zhì)是數(shù)據(jù)化，“互聯(lián)網(wǎng)+教育”也不例外，“互聯(lián)網(wǎng)+教育”、傳統(tǒng)教育和電子商務(wù)與傳統(tǒng)商務(wù)之間的關(guān)系如出一轍。在電子商務(wù)剛起步時，人們曾擔(dān)心不謀面交易背后潛藏的各種風(fēng)險，然而，伴隨著各種技術(shù)的發(fā)展以及制度的不斷完善，電子商務(wù)對傳統(tǒng)商務(wù)產(chǎn)生沖擊的同時，也給其帶來了新的機遇。一家電商和一家線下實體店的區(qū)別是是否保存了足夠的數(shù)據(jù)，數(shù)據(jù)的多少反映經(jīng)營規(guī)模的大小、交易的活躍程度，這些數(shù)據(jù)包括商品數(shù)據(jù)、交易數(shù)據(jù)以及其他相關(guān)數(shù)據(jù)，不僅為用戶挑選喜歡的商品提供了便利，也為商家進行商業(yè)分析提供了基礎(chǔ)。“互聯(lián)網(wǎng)+教育”在推動傳統(tǒng)教學(xué)的過程中，同樣需要有足夠的數(shù)據(jù)，這些數(shù)據(jù)就是各種優(yōu)質(zhì)教學(xué)資源、用戶信息數(shù)據(jù)以及用戶學(xué)習(xí)行為等，通過這些數(shù)據(jù)可以反映“互聯(lián)網(wǎng)+教育”的實施規(guī)模、程度和效果。因此，“互聯(lián)網(wǎng)+教育”也是數(shù)據(jù)化教育，在技術(shù)層面上對這些數(shù)據(jù)有效管理是實施“互聯(lián)網(wǎng)+教育”的一個重要方面，其存儲與管理質(zhì)量的高低直接影響到“互聯(lián)網(wǎng)+教育”的建設(shè)水平。

一、“互聯(lián)網(wǎng)+教育”與智慧校園建設(shè)

“互聯(lián)網(wǎng)+教育”是互聯(lián)網(wǎng)技術(shù)手段在教育上的應(yīng)用，以互聯(lián)網(wǎng)為基礎(chǔ)設(shè)施和創(chuàng)新要素，構(gòu)建新的教育生態(tài)和服務(wù)模式正當(dāng)時。在“互聯(lián)網(wǎng)+教育”環(huán)境下，學(xué)校的教育理念也從以教為主向以學(xué)為主轉(zhuǎn)變，這就要求智慧教學(xué)平臺必須以學(xué)習(xí)者為中心，提供個性化、多樣化的教育服務(wù)資源，在供給的同時，也可以根據(jù)學(xué)習(xí)者的學(xué)習(xí)行為進行精準(zhǔn)化推薦和建議?！盎ヂ?lián)網(wǎng)+教育”催生知識的載體日漸豐富，最終將實現(xiàn)從環(huán)境的數(shù)據(jù)化到數(shù)據(jù)的環(huán)境化、從教學(xué)的數(shù)據(jù)化到數(shù)據(jù)的教學(xué)化、從人格的數(shù)據(jù)化到數(shù)據(jù)的人格化轉(zhuǎn)變。針對智慧校園，不同學(xué)者有不同的詮釋，綜合起來看，智慧校園是通過信息技術(shù)的有效支撐，提供一個可感知、可個性化定制、可共享協(xié)作的開放教育教學(xué)環(huán)境，在這種環(huán)境中，師生可以便捷地進行教學(xué)、學(xué)習(xí)和生活，以發(fā)展學(xué)習(xí)者的智慧為目的，同時為學(xué)校提供管理決策，助力學(xué)校管理水平的提升。智慧校園建設(shè)是“互聯(lián)網(wǎng)+教育”的一個重要方面，在一定程度上豐富了“互聯(lián)網(wǎng)+教育”的內(nèi)涵，而“互聯(lián)網(wǎng)+教育”又給智慧校園建設(shè)提供了更大的空間。

二、數(shù)據(jù)存儲平臺的設(shè)計

在“互聯(lián)網(wǎng)+教育”下，互聯(lián)網(wǎng)化的本質(zhì)是數(shù)據(jù)化再次得以體現(xiàn)。其所產(chǎn)生的大部分是非關(guān)系型數(shù)據(jù)，如果仍然采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫進行存儲和管理，無論是進行日常的讀寫還是從可用性、可擴展性等角度考慮，都是不合適的。所以，數(shù)據(jù)存儲平臺采用NoSQL數(shù)據(jù)庫進行存儲和管理，這是因為NoSQL數(shù)據(jù)庫能夠提供數(shù)據(jù)模型，可伸縮性強，支持自動分片和自動復(fù)制等。當(dāng)然，也可采用其他技術(shù)實現(xiàn)分布式數(shù)據(jù)存儲，比如基于數(shù)據(jù)湖的大數(shù)據(jù)處理機制、基于區(qū)塊鏈設(shè)計數(shù)據(jù)存儲系統(tǒng)，但是讀寫效率不能滿足現(xiàn)有應(yīng)用的需求。

結(jié)合智慧校園建設(shè)和應(yīng)用實際，NoSQL數(shù)據(jù)庫最終選擇HBase進行存儲，這是因為HBase是一個構(gòu)建在HDFS基礎(chǔ)上基于列式的分布式存儲架構(gòu)，能夠根據(jù)鍵值大小，把數(shù)據(jù)分布到不同的存儲節(jié)點上，可靠性、可擴展性較強。同時，HBase底層采用了類B+樹的索引結(jié)構(gòu)，所以基于行鍵查詢數(shù)據(jù)的效率很高?；诖?，在數(shù)據(jù)存儲層可以HBase為核心管理海量的數(shù)據(jù)存儲，具體結(jié)構(gòu)如圖1所示。

在圖1中，智慧校園大數(shù)據(jù)存儲平臺的核心層為數(shù)據(jù)集成層、數(shù)據(jù)存儲層、數(shù)據(jù)緩存及分析層，其最高層為業(yè)務(wù)層，最底層為數(shù)據(jù)源層。智慧校園的建設(shè)不是從零開始，而是保護原有的投入，在此基礎(chǔ)上集成各個業(yè)務(wù)系統(tǒng)，通過數(shù)據(jù)集成層提供的各種工具和組件，將原有系統(tǒng)產(chǎn)生的各種業(yè)務(wù)數(shù)據(jù)集成到大數(shù)據(jù)存儲環(huán)境中，同時為了向業(yè)務(wù)層提供更快的響應(yīng)和更便利的分析，專門設(shè)計了數(shù)據(jù)緩存和分析層，通過該層向業(yè)務(wù)層提供基于Restful API的訪問接口。

作為“互聯(lián)網(wǎng)+教育”下智慧校園數(shù)據(jù)存儲平臺，數(shù)據(jù)存儲層是核心。在該層上，MySQL數(shù)據(jù)庫用來存放關(guān)系型數(shù)據(jù)以及Hive中的元數(shù)據(jù)，而海量數(shù)據(jù)通過具備高擴展性的HBase存儲到HDFS上。HBase存儲教育業(yè)務(wù)數(shù)據(jù)以及相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)，同時存儲多維數(shù)據(jù)模型，可以讓相關(guān)管理者和決策者通過不同的維度對數(shù)據(jù)進行分析，充分發(fā)揮大數(shù)據(jù)的作用和優(yōu)勢。

為了提升查詢效率和有效構(gòu)建分析模型，專門提供了數(shù)據(jù)緩存及分析層，通過Redis強大的分布式內(nèi)存緩存機制，將熱點數(shù)據(jù)緩存起來，這樣一方面減輕I/O壓力，另一方面使得數(shù)據(jù)的讀取更加快速。而Hive作為一個數(shù)據(jù)倉庫工具，可以基于有效的多維數(shù)據(jù)模型實現(xiàn)數(shù)據(jù)的匯總、統(tǒng)計和挖掘，具有良好的可伸縮性和可擴展性。在智慧校園環(huán)境下，多維數(shù)據(jù)模型維度的確定有很多種方法，在充分調(diào)研的基礎(chǔ)上，通過校園生活、課堂學(xué)習(xí)、課外學(xué)習(xí)、社團活動、專業(yè)成長等方面來進行設(shè)計，會產(chǎn)生相關(guān)的主題、維表和事實表。為了充分利用HBase中Rowkey的查詢優(yōu)勢，這里將數(shù)據(jù)模型中的每個維度映射為HBase中的一個列簇，將維表中包含的每個字段映射為列簇中的一列，從而實現(xiàn)Hive快速獲取分析數(shù)據(jù)的目的。

三、數(shù)據(jù)存儲與讀寫的優(yōu)化

HBase在存儲數(shù)據(jù)時，一方面需要預(yù)寫日志W(wǎng)AL（Write-Ahead Log），在某種程度上可以確保內(nèi)存中數(shù)據(jù)的可靠性;另一方面是實際的數(shù)據(jù)文件，具體執(zhí)行流程是：一旦數(shù)據(jù)被寫入到WAL中，數(shù)據(jù)就會被放到MemStore中，同時還會檢查MemStore是否已經(jīng)寫滿，如果寫滿，就會被刷新到磁盤中去。那么，對于大數(shù)據(jù)文件，Region服務(wù)器會頻繁執(zhí)行Split過程和Compact過程，導(dǎo)致HBase寫入性能大大降低。為了解決此問題，本文在數(shù)據(jù)存儲系統(tǒng)中設(shè)置一個閾值，當(dāng)文件的大小超過該閾值時，可以直接將其存儲到HDFS中，對應(yīng)地其索引信息保存到HBase表中，這樣可實現(xiàn)不同大小的文件分布存儲到不同的存儲系統(tǒng)上，與切分大文件的處理相比，這種方式的優(yōu)勢是系統(tǒng)開銷低、性能高。

與HBase中行鍵查詢相比，非主鍵查詢需要掃描全表，對于海量數(shù)據(jù)而言，時間延遲非常嚴(yán)重。因此，本文基于Redis的內(nèi)存緩存特性建立了HBase中非主鍵索引，當(dāng)一個查詢到來時，通過該索引快速找到Rowkey，從而獲取相應(yīng)的數(shù)據(jù)，同時根據(jù)程序執(zhí)行的局部性原理，對應(yīng)用中的熱數(shù)據(jù)也進行緩存，這樣可以大大提升HBase的響應(yīng)效率。綜上，針對HBase中的數(shù)據(jù)查詢可以通過圖2中的交互過程來表示。

在圖2中，客戶端可以直接在Redis上查詢熱點數(shù)據(jù)，因為所有的熱點數(shù)據(jù)都是存放在Redis分布式內(nèi)存上的。為了有效管理Redis上的熱點數(shù)據(jù)，可采用一致性哈希算法，即將整個哈希值空間組織成一個虛擬的圓環(huán)，根據(jù)數(shù)據(jù)Key進行哈希計算，然后將Key所對應(yīng)的Value放置在環(huán)中某一個位置，在進行數(shù)據(jù)讀取時，按順時針確定Key所對應(yīng)的哈希地址在環(huán)中的位置。一致性哈希算法對于節(jié)點的增減都只需定位環(huán)空間中的一小部分數(shù)據(jù)，具有較好的容錯性和可擴展性，也保證了各個存儲節(jié)點的平衡。

為了發(fā)揮HBase的存儲優(yōu)勢和Hive的查詢分析優(yōu)勢，通過將HBase和Hive進行有效集成，從而滿足復(fù)雜的海量數(shù)據(jù)統(tǒng)計分析需求。在這種集成環(huán)境下，HBase和Hive可以協(xié)同進行工作，基于Hive支持的HQL可以實現(xiàn)分組、條件、排序等相關(guān)數(shù)據(jù)統(tǒng)計分析，并將其自動轉(zhuǎn)化為MapReduce程序;同時可以針對查詢中常用的字段，在設(shè)計HBase時，將其作為Rowkey設(shè)計，這樣可以快速查詢HBase中的數(shù)據(jù)，并為復(fù)雜統(tǒng)計分析提供數(shù)據(jù)支持服務(wù)。

四、數(shù)據(jù)存儲平臺的實現(xiàn)

智慧校園數(shù)據(jù)存儲平臺采用Java EE架構(gòu)、基于B/S訪問模式，為用戶提供高效的文件及數(shù)據(jù)管理服務(wù)。在整個平臺上主要涉及客戶端、Web服務(wù)器、應(yīng)用服務(wù)器、文件服務(wù)器以及數(shù)據(jù)庫服務(wù)器。各種服務(wù)器都是以集群的形式出現(xiàn)的，每個集群內(nèi)含多個節(jié)點，Redis、HBase、Hive、Zookeeper、MySQL等部署在不同的節(jié)點上，以便相互交互，共同完成海量高并發(fā)的文件讀寫訪問請求。在系統(tǒng)中，業(yè)務(wù)數(shù)據(jù)文件分布在HBase和HDFS上，從而實現(xiàn)海量數(shù)據(jù)的管理，更具擴展性，而系統(tǒng)本身的數(shù)據(jù)存儲在關(guān)系型數(shù)據(jù)庫MySQL中，便于對系統(tǒng)中的業(yè)務(wù)文件數(shù)據(jù)進行權(quán)限管理。在功能上，系統(tǒng)具備用戶管理、文件管理以及權(quán)限驗證等。當(dāng)然，作為數(shù)據(jù)存儲平臺，文件管理是重中之重，除了類似操作系統(tǒng)文件管理的功能之外，也具備分布式集群環(huán)境下的文件管理，比如分區(qū)管理、分布式鎖管理等。對一般用戶來說，可以實現(xiàn)文件的上傳、下載、刪除和過濾等。為了給上層應(yīng)用提供數(shù)據(jù)資源訪問服務(wù)，數(shù)據(jù)存儲系統(tǒng)以HTTP+JSON定義接口，因為這樣可以滿足更多的需求，比如認證、授權(quán)、數(shù)據(jù)緩存、超時控制等，而且在應(yīng)用上也非常成熟，可以支持大多數(shù)的數(shù)據(jù)資源需求者。

互聯(lián)網(wǎng)化的本質(zhì)是數(shù)據(jù)化，“互聯(lián)網(wǎng)+教育”下的教育形態(tài)也是教育數(shù)據(jù)化。為了有效應(yīng)對智慧校園建設(shè)中產(chǎn)生的海量教育數(shù)據(jù)，并實現(xiàn)對海量數(shù)據(jù)的高效利用，本文以數(shù)據(jù)為中心、基于HBase+Hive +Redis組合的方式構(gòu)建了分層式的海量數(shù)據(jù)存儲方案，并從提升效率的角度，對數(shù)據(jù)的存儲、查詢和統(tǒng)計分析等方面進行優(yōu)化。事實上，本文的核心是基于智慧校園海量數(shù)據(jù)存儲和管理的需要，以HBase為中心，并基于HBase提出了查詢和優(yōu)化的具體方案。然而由于HBase應(yīng)用的廣泛性，基于HBase查詢優(yōu)化的解決方案有很多，比如在HBase上引入Elastic Search建立二級索引提高非主鍵查詢的速度，但是需要存儲和維護大量的索引文件;有些利用HBase內(nèi)部的Region服務(wù)器，在其中添加索引，以提高查詢速度，但是如果Region服務(wù)器很多，而索引數(shù)據(jù)有限，這樣不但沒有實現(xiàn)快速響應(yīng)反而增加額外的計算成本。本系統(tǒng)的設(shè)計在保留HBase主鍵查詢優(yōu)勢的前提下，引入了Redis生成、管理和維護HBase中的非主鍵索引數(shù)據(jù)以及存放熱點數(shù)據(jù)，相對于上述方案，這種分層模式的結(jié)構(gòu)設(shè)計具有很大的優(yōu)勢，一方面提高應(yīng)用邏輯上的獨立性，使得架構(gòu)更加清晰，不同層之間通過特定接口實現(xiàn)簡單交互;另一方面使得實現(xiàn)更加簡單，同時可以充分發(fā)揮不同層上各組件的特定優(yōu)勢。

基于HBase+Hive+Redis組合構(gòu)建的智慧校園海量數(shù)據(jù)存儲平臺能夠高效支持學(xué)校的各項管理工作和教師的教學(xué)，以及學(xué)生的個性化學(xué)習(xí)，從而使新技術(shù)與教育教學(xué)深度融合，推進教學(xué)從信息技術(shù)應(yīng)用向能力素質(zhì)提升的擴展。

參考文獻：

[1]孫善學(xué)，劉正宏.職業(yè)教育專業(yè)教學(xué)資源庫的未來走向研究[J].中國職業(yè)技術(shù)教育，2018（23）：8-11+22.

[2]趙志. 教育大數(shù)據(jù)統(tǒng)計分析平臺設(shè)計與研究[D].西安理工大學(xué)，2019.

[3]季一木，張寧，堯海昌，等. HOS：一種基于HBase的分布式存儲系統(tǒng)設(shè)計與實現(xiàn)[J]. 南京郵電大學(xué)學(xué)報（自然科學(xué)版），2019，39（5）：63-71.

[4]龔玉霞，呂家恪.一種基于區(qū)塊鏈的數(shù)據(jù)存儲系統(tǒng)的設(shè)計[J]. 重慶理工大學(xué)學(xué)報（自然科學(xué)），2019（9）： 190-195.

[5]陳永南，許桂明，張新建.一種基于數(shù)據(jù)湖的大數(shù)據(jù)處理機制研究[J]. 計算機與數(shù)字工程，2019（10）：2540-2545.