江接寶 王朝暉

摘要：針對《大數(shù)據(jù)技術(shù)》課程中涉及的Hadoop組件搭建實踐教學(xué)難開展，提出基于VirtualBox服務(wù)器虛擬化技術(shù)的實踐方法。在介紹了VirtualBox虛擬化軟件、虛擬機以及Hadoop平臺，通過從關(guān)鍵技術(shù)與工具介紹、基本工作原理、實踐教學(xué)內(nèi)容與效果三個方面，詳細介紹了VirtualBox服務(wù)器虛擬化技術(shù)應(yīng)用于大數(shù)據(jù)技術(shù)課程教學(xué)。經(jīng)過實際班級實踐教學(xué)檢驗，該方法方便學(xué)生學(xué)習(xí)Hadoop組件的實踐操作，提高了學(xué)生學(xué)習(xí)積極性。

關(guān)鍵詞：大數(shù)據(jù);虛擬機;Hadoop;VirtualBox;Xshell;Xftp

中圖分類號： G424? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2020）35-0107-02

開放科學(xué)（資源服務(wù)）標識碼（OSID）：

國家“十三五”規(guī)劃綱要中提出：“實施國家級大數(shù)據(jù)戰(zhàn)略，推動數(shù)據(jù)資源開放與共享”，各行各業(yè)新建大數(shù)據(jù)平臺與數(shù)據(jù)中心，急需大數(shù)據(jù)相關(guān)技術(shù)技能人才。各高職院校近幾年新增大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)，開設(shè)大數(shù)據(jù)相關(guān)的課程，其中在各個高職院校大數(shù)據(jù)實踐教學(xué)方面處于探索階段，以前一般是在研究生階段才設(shè)置大數(shù)據(jù)技術(shù)課程。大數(shù)據(jù)技術(shù)課程在實踐教學(xué)內(nèi)容設(shè)計、教學(xué)平臺選擇和教學(xué)方法方面面臨較大的挑戰(zhàn)。在大數(shù)據(jù)技術(shù)課程實踐教學(xué)中，缺少大數(shù)據(jù)技術(shù)教學(xué)案例，實踐學(xué)習(xí)開展難度較大，實驗環(huán)境搭建困難等問題比較普遍。本文提出《大數(shù)據(jù)技術(shù)》課程實踐教學(xué)改革，提高課程實踐教學(xué)效果。

1關(guān)鍵技術(shù)與工具介紹

VirtualBox：是一款源代碼免費向公眾開放的開源軟件，該軟件源代碼對公眾透明可見，安全隱患更容易被發(fā)現(xiàn)，更容易得到修正與更新。因此，與VMWare虛擬化軟件相比，該軟件更加安全且節(jié)約使用成本，可控性高。它可以在Windows、Mac、Linux等操作系統(tǒng)運行與使用，通用性強。它適用于32/64位Windows系統(tǒng)，且主機與虛擬機相互隔離，無關(guān)聯(lián)性，使用該軟件創(chuàng)建的虛擬機系統(tǒng)可安裝Linux、Unix、Windows等操作系統(tǒng);在虛擬機中進行的系統(tǒng)安裝與使用不會對原來主機造成任何影響，不影響原主機安全性?？梢苑奖闵膳c導(dǎo)入OCA鏡像文件，方便案例教學(xué)。

虛擬機：指通過軟件來（VirtualBox）模擬一整套計算機硬件系統(tǒng)，該硬件系統(tǒng)具備普通主機完整的功能，在系統(tǒng)上的所有操作均與原主機本身的硬件系統(tǒng)無關(guān)，是虛擬出來的一套模擬系統(tǒng)?？梢岳斫鉃?，通過虛擬機，在原主機系統(tǒng)上又增加了一臺主機，并且可以在該虛擬的主機上安裝Linux、Unix、Windows等操作系統(tǒng)，在新按照的操作系統(tǒng)上安裝運行獨立軟件、配置個性化設(shè)置、保存操作數(shù)據(jù)，具有獨立運行環(huán)境，在該系統(tǒng)進行的任何的操作，不會對原主機的真實系統(tǒng)產(chǎn)生任何影響。

Hadoop：是目前最流行的大數(shù)據(jù)教學(xué)與生產(chǎn)使用的平臺之一;它最先由Doug Cutting模仿谷歌公司的GFS（文件系統(tǒng)）與MapReduce（計算框架）而設(shè)計的一個大數(shù)據(jù)平臺，后來該項目貢獻給Apache基金會作為開源軟件。Hadoop其實是一個生態(tài)系統(tǒng)，包括HDFS分布式文件系統(tǒng)、MapReduce數(shù)據(jù)處理框架、HBase數(shù)據(jù)庫、Hive數(shù)據(jù)倉庫、Spark與Zookeeper協(xié)調(diào)器等功能模塊組件。目前Hadoop平臺已經(jīng)支持搭建成幾千臺機器組成的分布式集群，穩(wěn)定提供大數(shù)據(jù)計算處理服務(wù)。

Xshell：是一款功能強大的終端模擬軟件，它支持SSH1，SSH2與TELNET相關(guān)協(xié)議。在大數(shù)據(jù)平臺教學(xué)中，支持同時以多個窗口實現(xiàn)多個Linux主機的管理，且支持記住Linux主機的賬號密碼功能，shell命令編寫方便。

Xftp：是一個功能強大的文件傳輸軟件，在大數(shù)據(jù)平臺教學(xué)中，用于將Windows主機的文件安全方便的上傳到在Linux主機，很好地解決Windows系統(tǒng)與Linux系統(tǒng)文件傳輸不方便的問題。

2 基本工作原理

普通用戶在PC機Windows系統(tǒng)上安裝VirtualBox軟件，通過VirtualBox安裝Linux系統(tǒng)虛擬機，在Linux上面安裝hadoop、Hbase、Hive等組件，實現(xiàn)大數(shù)據(jù)技術(shù)實踐操作。其中，Xshell，Xftp安裝在Windows系統(tǒng)上面，Xshell用于連接Linux虛擬機主機、shell命令編寫;Xftp用戶與Linux和Windows PC之間傳輸文件。具體系統(tǒng)架構(gòu)圖如圖1所示。

3 實踐教學(xué)內(nèi)容與效果

通過10個實驗涵蓋了大數(shù)據(jù)技術(shù)Hadoop生態(tài)系統(tǒng)的多個組件的主要實踐教學(xué)內(nèi)容，具體實驗如下表1所示。

《大數(shù)據(jù)技術(shù)》課程涉及相關(guān)軟件工具較多，為了讓學(xué)生更好地掌握各個工具組件的搭建與使用，可以將每一個實驗完成后，通過VirtualBox導(dǎo)出后綴.ova的鏡像文件。通過VirtualBox可以直接導(dǎo)入鏡像文件，方便學(xué)生查看安裝的配置文件或者繼續(xù)下一個實驗。在個人PC主機通過安裝VirtualBox軟件，在VirtualBox上面安裝Linux虛擬機，在虛擬機上安裝Hadoop偽分布式平臺，或者在單機上新建3個虛擬機來模擬Hadoop完全分布式高可用的平臺環(huán)境。該方法的優(yōu)點是對硬件環(huán)境要求不高，一般內(nèi)存8G且CPU是i5處理器，既可以滿足實驗環(huán)境的條件，適合學(xué)生自學(xué)練習(xí)使用。該方法缺點是單機性虛擬環(huán)境下搭建，在整個學(xué)習(xí)過程中數(shù)據(jù)處理與調(diào)試效率較低，很難體驗到分布式計算提供的高效率。本文中PC機的Windows系統(tǒng)需要在BIOS設(shè)置硬件虛擬化支持功能，有些機器默認不支持;虛擬機上面安裝的Linux系統(tǒng)需設(shè)置固定IP地址，方便Xshell與Xftp連接操作，不需要每次更換IP;每個實驗階段完成，導(dǎo)出oca鏡像文件。大數(shù)據(jù)相關(guān)技術(shù)還包含數(shù)據(jù)抽?。╡xtract）、數(shù)據(jù)轉(zhuǎn)換（transform）、數(shù)據(jù)加載（load）等內(nèi)容，在教學(xué)內(nèi)容的設(shè)計中，需要根據(jù)課程目標、學(xué)情分析、學(xué)時安排和實驗條件等因素做適當?shù)恼{(diào)整。

4 小結(jié)

在高職院校的大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)的《大數(shù)據(jù)技術(shù)》課程教學(xué)實踐中，使用了本文的方法開展教學(xué)，對硬件環(huán)境要求不高，實踐環(huán)節(jié)上手難度不大，也適合學(xué)生自學(xué)使用。針對大數(shù)據(jù)技術(shù)課程的實踐教學(xué)改革是一個不斷豐富的過程，在今后的教學(xué)實踐過程中我們還需要根據(jù)學(xué)生的反饋與業(yè)界技術(shù)工具變更而不斷總結(jié)與提升，緊跟行業(yè)大數(shù)據(jù)技術(shù)發(fā)展方向與就業(yè)招聘崗位技能需求，不斷提升教學(xué)水平和質(zhì)量。

參考文獻：

[1] 梁晶，胡新榮.Hadoop大數(shù)據(jù)開發(fā)課程實踐教學(xué)研究[J].計算機教育，2020（2）：166-169.

[2] 王永坤，羅萱，金耀輝.基于私有云和物理機的混合型大數(shù)據(jù)平臺設(shè)計及實現(xiàn)[J].計算機工程與科學(xué)，2018，40（2）：191-199.

[3] 王偉，劉偉，崔海波.基于云件服務(wù)的新一代大數(shù)據(jù)工程實訓(xùn)平臺[J].計算機教育，2018（4）：162-166.

[4] 潘竟峰.基于VirtualBox虛擬機技術(shù)的信息化教學(xué)平臺構(gòu)建與應(yīng)用[J].實訓(xùn)與實踐探索，2019（8）： 69-72.

[5] 王焱，吳青林.基于Docker和OpenStack的高校大數(shù)據(jù)云實驗室構(gòu)建[J].實驗技術(shù)與管理，2019，36（9）：254-258.

[6] 羅曉慧.虛擬機技術(shù)的應(yīng)用[J].探索與觀察，2011（7）：186-189.

【通聯(lián)編輯：唐一東】