陳麗麗

摘要：大數(shù)據(jù)專業(yè)是現(xiàn)在非常熱門的專業(yè)，各大高校自2015年起陸續(xù)開設了大數(shù)據(jù)專業(yè)，大數(shù)據(jù)專業(yè)是實踐性比較強的專業(yè)，如何通過一個行之有效的大數(shù)據(jù)教學平臺更好地達到增強實踐能力的教學目的，是本文論述的主要問題。本文主要闡述了大數(shù)據(jù)專業(yè)實訓平臺的建設原則、建設過程以及實訓平臺在教學過程中的應用。

關鍵詞：交互實訓;集群;虛擬化;分布式

中圖分類號：TP311 ? ? ? 文獻標識碼： A

文章編號：1009-3044（2020）28-0108-03

Abstract：Big data major is a very popular major now. Every university has set up big data major since 2015. Big data major is a major with strong practicality. How to better achieve the purpose of enhancing practical ability through an effective big data teaching platform is the main problem discussed in this paper. This paper mainly expounds the construction principle， construction process and application of the training platform in the teaching process of big data specialty.

Key words：interactive training; cluster; virtualization; distributed

1 引言

隨著高校在大數(shù)據(jù)教育方面的發(fā)展，各大高校相繼設立了大數(shù)據(jù)專業(yè)，大數(shù)據(jù)專業(yè)的招生每年在逐步增長。但是與此同時高校在大數(shù)據(jù)專業(yè)建設上也面臨著巨大的問題和挑戰(zhàn)，例如：教學資源匱乏，現(xiàn)有實訓教室無法滿足大數(shù)據(jù)的教學需求，師資力量薄弱，缺少企業(yè)級的綜合實訓項目。針對這些問題，大數(shù)據(jù)實訓平臺項目提上立題議程，該平臺從資源管理、課程管理、實訓管理等方面去解決教學問題。

2 建設背景

近年來，國家大力推動大數(shù)據(jù)技術的發(fā)展和建設，大數(shù)據(jù)技術逐漸從概念走向落地的趨勢，無論是互聯(lián)網(wǎng)行業(yè)、通信行業(yè)，還是金融行業(yè)、服務業(yè)或是零售業(yè)大數(shù)據(jù)技術都得到廣泛的運用，各大企業(yè)對大數(shù)據(jù)高端人才的需求也越來越緊迫，企業(yè)的IT人員要緊隨大數(shù)據(jù)浪潮不斷在提高自身的技術水平，各大高校也陸續(xù)開設大數(shù)據(jù)相關專業(yè)向企業(yè)輸送人才。

2.1大數(shù)據(jù)政策背景

2014年以來，我國政府已將大數(shù)據(jù)明確提升到國家戰(zhàn)略的高度，中央和很多地方政府都對大數(shù)據(jù)予以高度重視。

2015年以來，習近平在多個場合針對大數(shù)據(jù)發(fā)表重要講話，明確指示要加快推動國家大數(shù)據(jù)戰(zhàn)略。同時，為了進一步推動我國大數(shù)據(jù)技術的發(fā)展與大數(shù)據(jù)應用的盡快落地。

2016年6月，教育部下發(fā)了《教育信息化“十三五”規(guī)劃》，從政策層面確定了教育大數(shù)據(jù)的建設方向。2016年2月教育部公布新增“數(shù)據(jù)科學與大數(shù)據(jù)技術”專業(yè)，2016年9月，正式批準增設“高職-大數(shù)據(jù)技術與應用專業(yè)” 。

2.2 大數(shù)據(jù)行業(yè)背景

各大企業(yè)為了尋求發(fā)展，也紛紛加入大數(shù)據(jù)行列，由此衍生了工業(yè)大數(shù)據(jù)、交通大數(shù)據(jù)、農(nóng)業(yè)大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)等行業(yè)應用。

2018年中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模為4384.5億元，到2021年，中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模將超過8000億元。

2018年全球大數(shù)據(jù)市場規(guī)模為420億美元，到2024年，全球大數(shù)據(jù)市場規(guī)模超過840億美元，年增長率為12.3%。

2.3大數(shù)據(jù)人才需求

越來越多的企業(yè)開始應用大數(shù)據(jù)，國內大數(shù)據(jù)人才供不應求。目前從各個招聘網(wǎng)站、各種人才分析報告來看，目前大數(shù)據(jù)崗位供需平衡嚴重不均衡，大部分受訪的大數(shù)據(jù)相關企業(yè)也認為大數(shù)據(jù)人才嚴重短缺，是企業(yè)謀求發(fā)展所面臨的關鍵問題之一。面對大數(shù)據(jù)人才荒，一方面，企業(yè)要加強已有技術人員大數(shù)據(jù)專業(yè)的技能培訓;另一方面，各大高校廣納賢才尋求大數(shù)據(jù)專任老師并積極討論研究大數(shù)據(jù)人才培養(yǎng)，爭取最短時間內向企業(yè)輸送大數(shù)據(jù)專業(yè)人才，實現(xiàn)校企合作互贏互利。

3 平臺概述

大數(shù)據(jù)教學實訓平臺立足于當前大數(shù)據(jù)時代背景，深度研究高校大數(shù)據(jù)教學實訓場景，深挖教學需求，是一款集教學、實驗、實訓、培訓、測評、學情分析于一體的大數(shù)據(jù)專業(yè)教學平臺。平臺提供簡單易用的教學、學習及運維管理功能。大數(shù)據(jù)專業(yè)技能點與實際項目案例相結合，讓學生能夠真實掌握每個技能點在實際項目中的實際應用。將一個項目拆分成多個實訓，多個實訓間共同使用同一實訓環(huán)境，以實現(xiàn)項目的連貫性和真實性。項目提供整套的實訓環(huán)境及配套工具，用戶在切換實訓時對應的實訓環(huán)境不會改變，在下一個實訓中會繼續(xù)使用上一實訓的環(huán)境，并最終完成該項目。

大數(shù)據(jù)教學實訓平臺提供先進、定制化的大數(shù)據(jù)課程體系，根據(jù)不同人才培養(yǎng)方案定制不同的課程，滿足不同高校大數(shù)據(jù)教學及實訓需求。

4 平臺設計

4.1平臺架構

4.2硬件環(huán)境

大數(shù)據(jù)實訓平臺的硬件環(huán)境有三部分構成，分別是高性能大數(shù)據(jù)實訓一體機、大數(shù)據(jù)實訓管理設備、實訓臺式機、數(shù)據(jù)可視化顯示系統(tǒng)。

高性能大數(shù)據(jù)實訓一體機是整個實訓系統(tǒng)的核心硬件平臺，提供整個實訓室的基礎IT資源，如計算能力、存儲能力及網(wǎng)絡能力等。

大數(shù)據(jù)實訓管理設備負責整合全部計算資源、網(wǎng)絡資源與存儲資源，用于對計算資源服務器進行統(tǒng)一管理，同時也是云實訓平臺、數(shù)據(jù)中臺等管理系統(tǒng)的支撐平臺。

實訓臺式機采用普通終端PC機，組合成實訓室局域網(wǎng)，支撐學生進行實訓。

隨著信息技術的發(fā)展，大屏顯示技術也日益普及。一套優(yōu)秀的數(shù)據(jù)可視化圖像系統(tǒng)具備較高的圖像顯示能力、提供豐富的圖像色彩，并且具有較高的兼容性，作為各種大數(shù)據(jù)項目數(shù)據(jù)以及圖像可視化的集中顯示終端，可有效用于數(shù)據(jù)監(jiān)控及輔助決策。

4.3軟件環(huán)境

為了滿足高職院校大數(shù)據(jù)課程的教學、實訓等多方面的需求，同時在一定程度上緩解大數(shù)據(jù)師資力量不足的問題。大數(shù)據(jù)技術與應用專業(yè)實訓平臺秉承“教學、科研、生產(chǎn)”一體化的思路和模式，從教學、實踐、科研和生產(chǎn)多方面構架專業(yè)人才和特色人才的培養(yǎng)體系，真正在教學、科研、生產(chǎn)實現(xiàn)互相配合，形成教學、科研、生產(chǎn)的系統(tǒng)運作模式，從而協(xié)助構建高職院校的大數(shù)據(jù)特色專業(yè)。

大數(shù)據(jù)技術與應用實訓室的軟件環(huán)境由基礎平臺、實訓系統(tǒng)、實訓資源體系及實訓案例體系構成。

4.3.1基礎平臺

基礎平臺包括云計算平臺、云實訓平臺、數(shù)據(jù)中臺。

云計算平臺通過對硬件設備的虛擬化形成虛擬化資源池，可實現(xiàn)按需提供基礎IT資源（包括計算能力、存儲能力和網(wǎng)絡能力），實現(xiàn)資源的“彈性”分配。用戶通過Web界面實現(xiàn)對整個集群的集中管理，包括虛擬機、資源池、數(shù)據(jù)等，從而為用戶提供可靠，優(yōu)質的虛擬環(huán)境。

云實訓平臺旨在提供便捷的實訓功能，完成對實訓指導手冊、實訓數(shù)據(jù)集、實訓過程、實訓報告、實訓成績等教學實訓過程的管理。同時，提供對學生、教師的信息管理。

數(shù)據(jù)中臺通過對本地數(shù)據(jù)倉庫集群以及外部數(shù)據(jù)庫數(shù)據(jù)源的關聯(lián)綁定，實現(xiàn)對海量數(shù)據(jù)的存儲、分析、查詢、遷移、導出等功能，為用戶提供方便、靈活的數(shù)據(jù)管理服務方便用戶進行實訓案例的設計。

4.3.2大數(shù)據(jù)實訓系統(tǒng)

大數(shù)據(jù)實訓系統(tǒng)包括數(shù)據(jù)采集與預處理實訓系統(tǒng)、大數(shù)據(jù)離線分析實訓系統(tǒng)、大數(shù)據(jù)實時分析實訓系統(tǒng)、數(shù)據(jù)可視化實訓系統(tǒng)等涉及大數(shù)據(jù)采集、清洗、存儲、分析、可視化各個環(huán)節(jié)的實訓，學生可充分利用該實訓系統(tǒng)進行大數(shù)據(jù)基本業(yè)務流程的操作訓練。

4.3.3實訓資源體系

大數(shù)據(jù)實訓資源體系主要以實訓任務為驅動，通過多方面的實訓內容輔助教學。通過原理驗證、實訓應用、綜合分析及自主設計等多層次的實訓操作，為大數(shù)據(jù)的教學科研提供一整套完整的、一體化的大數(shù)據(jù)實訓教學體系。該大數(shù)據(jù)實訓資源體系全部來源于企業(yè)真實的項目轉化成果，所有內容貼合實際運用，數(shù)據(jù)源來源真實可靠，模擬行業(yè)具體業(yè)務流程操作，能夠讓學生真實感受IT行業(yè)的真實工作流程。

根據(jù)大數(shù)據(jù)相關技術學習路徑，至少包括（但不限于）：大數(shù)據(jù)離線分析環(huán)境部署教學實訓包、大數(shù)據(jù)實時分析環(huán)境部署教學實訓包、數(shù)據(jù)采集與預處理教學實訓包、大數(shù)據(jù)離線存儲與分析教學實訓包、大數(shù)據(jù)實時分析教學實訓包、數(shù)據(jù)可視化教學實訓包。該資源體系輔助大數(shù)據(jù)實訓系統(tǒng)可充分提升實訓效果和效率。

4.3.4實訓案例體系

實訓案例體系引入不同類別的行業(yè)典型大數(shù)據(jù)方面的應用作為行業(yè)案例，針對特定的行業(yè)需求、面向不同類型、不同來源、不同頻率的數(shù)據(jù)渠道采用不同類型的大數(shù)據(jù)架構和處理方法，以協(xié)助客戶開展具有針對性的生產(chǎn)性實訓教學。

實訓案例主要包括：招聘市場監(jiān)控分析實訓系統(tǒng)、農(nóng)業(yè)大數(shù)據(jù)實訓系統(tǒng)、交通數(shù)據(jù)監(jiān)控分析實訓系統(tǒng)、疫情數(shù)據(jù)監(jiān)控分析實訓系統(tǒng)。學生在掌握基本業(yè)務流程的操作后，可通過具體生產(chǎn)業(yè)務的操作訓練，快速融入實際工作崗位。

5 研究方法和技術路線

5.1虛擬化技術分析

虛擬化技術是云計算的關鍵技術，它的用途是對計算機物理資源進行池化，并把物理資源做合理的分配。物理資源包括服務器、網(wǎng)絡和存儲。但是計算資源的池化不一定要用虛擬化技術，金屬裸機也能池化，比如 IBM 的Softlayer就是直接使用物理機來實現(xiàn)云計算的。

可以動手做個實驗：購買一臺計算機（配置：雙核 3.0GB CPU、4GB 內存、500GB 硬盤、1000MB 網(wǎng)卡），首先安裝 Windows 7 操作系統(tǒng)，把所有的硬件驅動安裝好，然后安裝辦公軟件、QQ、音視頻播放軟件和 C 語言開發(fā)工具等。接下來安裝 VMware Workstation 12.0 虛擬化軟件，安裝完成后重新啟動計算機，并雙擊桌面上的“VMware Workstation”圖標啟動虛擬化軟件，在里面可以創(chuàng)建很多虛擬機，擬機里安裝的操作系統(tǒng)分別是 Windows 7、Windows 8、Windows Server 2012、Windows XP 和Linux的各種發(fā)行版。只要不啟動虛擬機，就不會消耗內存和 CPU 資源，但是會占用硬盤空間。能同時啟動的虛擬機數(shù)目與計算機的物理內存容量和 CPU 速度有關。另一款免費的桌面虛擬機軟件是 Oracle 公司的VirtualBox。

CPU 發(fā)展到多核，且本身就支持虛擬化。虛擬化軟件廠商直接推出了能運行在裸機上的虛擬化軟件層，如微軟的 Windows Hyper-v 2012、EMC 的ESXi6、思杰的XenServer、紅帽的 RHEV-H等，然后在虛擬化軟件層上直接創(chuàng)建更多的虛擬機，虛擬化軟件層消耗的計算資源很少，一般在 10% 以內，相比前面的方法，同一臺物理機可以運行更多的虛擬機。

5.2集群技術分析

負載均衡技術用于解決如何把許多互不相關的小型任務或中型任務合理地分配到不同的服務器上的問題?；ゲ幌嚓P的小型任務或中型任務是指任務之間沒有關聯(lián)性，而且只用一臺服務器就可以完成的任務。絕大多數(shù)個人租戶的任務都屬于這類任務。對于大型任務，由于一臺服務器無法按時完成，所以就要把大型任務拆分成許多中小型任務，然后再分配給多臺服務器，由它們協(xié)同完成，這就是計算機集群技術所要解決的問題。對租戶來說，由很多臺服務器組成的集群系統(tǒng)就像一臺超級計算機，不管運行多么復雜、大型的任務，馬上就能得到結果。而具備同樣計算能力的超級計算機價格卻異常昂貴，所以當 PC 服務器價格大幅度下降之后，人們熱衷于采用廉價的集群系統(tǒng)來完成各種高性能的計算任務。比較明顯的例子就是，谷歌公司用幾萬臺服務器組建搜索集群系統(tǒng)，而且服務器都是他們自己組裝的。

集群是一個復雜的工程，它涉及很多分布式方面的基礎算法，如選舉算法、一致算法、波算法、快照、故障檢測等。Hadoop就是一個集群系統(tǒng)，它負責分布式系統(tǒng)的基礎算法，從而在Hadoop上編寫分布式程序就簡單多了。

5.3分布式技術分析

HDFS（Distributed File System）分布式文件系統(tǒng)是Hadoop生態(tài)系統(tǒng)中的重要組成部分，HDFS分布式文件系統(tǒng)是基于流式的數(shù)據(jù)訪問模式，它可以將同一網(wǎng)絡內大量的計算機組成一個龐大的存儲集群，從而來實現(xiàn)海量數(shù)據(jù)的分布式存儲。HDFS分布式文件系統(tǒng)的存儲不需要高價格高性能的服務器來支撐，一些低成本的PC機也能添加到存儲集群中，從而降低了數(shù)據(jù)存儲的成本。

隨著互聯(lián)網(wǎng)的快速發(fā)展，每個應用系統(tǒng)要存儲的數(shù)據(jù)量也在成本的增加，對數(shù)據(jù)的存儲提出了更高的要求，第一要有較高的吞吐量，第二要有較高的容錯能力，第三要有較高的性能和存儲效率，HDFS分布式文件系統(tǒng)正是具備了以上的特點，因此被廣泛地應用于大數(shù)據(jù)項目的數(shù)據(jù)存儲上。

6 關鍵技術及解決方法

基于Hadoop2.0分布式存儲和分布式計算大數(shù)據(jù)平臺的構建，整體架構設計的實現(xiàn)如下：

本次采用Hadoop2.0 HDFS的高可用架構;Hadoop集群中有2個NameNode節(jié)點和5個DataNode節(jié)點，兩個NameNode節(jié)點互為備份，一個節(jié)點處于活動狀態(tài)，另外一個節(jié)點處于備用狀態(tài)。Hadoop2.0中的ZooKeeper擔當兩個NameNode服務器節(jié)點的協(xié)調工作，ZooKeeper是一個分布式協(xié)調服務，它可以在HDFS高可用集群中提供故障自動轉移服務的功能。所有服務器之間配置SSH免密訪問，可以方便各節(jié)點間的訪問，同時為了保障Hadoop集群的安全性，大力加強安全網(wǎng)絡設置和用戶身份的驗證。

7 平臺應用

大數(shù)據(jù)教學實訓平臺中將用戶分為管理員、教師和學生，三種角色擁有不同的權限，有各自的操作工作區(qū)。

7.1管理員工作區(qū)

管理員工作區(qū)是大數(shù)據(jù)實訓平臺的統(tǒng)一管理后臺，該工作區(qū)可進行教學資源管理、課程資源管理、實驗報告設置，用戶管理，權限管理，安全設置等操作。

7.2教師工作區(qū)

教師工作區(qū)是大數(shù)據(jù)實訓平臺的教師教學模塊，該工作區(qū)可進行課程管理、實驗管理、實驗報告管理、實驗督導、成績管理、實驗監(jiān)控管理、學情分析等操作。

7.3學生工作區(qū)

學生工作區(qū)是大數(shù)據(jù)實訓平臺的學生學習模塊，該工作區(qū)可進行課程學習、觀看教學視頻、實驗訓練、編寫實驗報告、考試考核、成績查詢等操作。

8 結語

本項目的落地切實能在大數(shù)據(jù)教學上提供非常大的幫助，實現(xiàn)信息化和師生的交互教學，切實地提高大數(shù)據(jù)專業(yè)的上課效率、安全性及協(xié)同工作能力，降低設備采購的成本。

項目成功實施之后，減少大批量高性能臺式機的采購成本，只要配置少量高性能服務器就能完成高質量的實訓教學，并且大大地提高上課的效率。

實訓平臺的可擴展性極高，技術先進參照企業(yè)的生成標準，可確保今后好幾年年不需要更換平臺，可以在需要的情況下增加新的功能，提供實訓平臺的版本的升級。在服務器上安裝虛擬環(huán)境，可以布置多個不同的應用程序，大大提高了服務器的利用率，對各個應用系統(tǒng)實施動態(tài)冗余管理，系統(tǒng)可靠性有明顯提升。

參考文獻：

[1] 林子雨.大數(shù)據(jù)技術原理與應用[M].2版.北京：人民郵電出版社，2017.

[2] [英] 維克托·邁爾·舍恩伯格（Viktor Mayer-Sch?nberger）.大數(shù)據(jù)時代：生活、工作與思維的大變革 a revolution that will transform how we live，work and think[M].周濤譯.杭州：浙江人民出版社，2013.

[3] 李賀華.基于云計算機系統(tǒng)的實訓平臺研究與實現(xiàn)[J].實驗技術與管理，2015，32（3）：157-160，202.

【通聯(lián)編輯：梁書】