常香玉 王麗紅 黃俊平

摘要：從教育部《教育信息化2.0行動計劃》要求出發(fā)，依托大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)等先進技術，針對校內(nèi)資源短缺、資源利用率低下等問題，設計開發(fā)了校園信息交流和資源共享平臺，并在云服務器上進行部署，提供校園內(nèi)實時信息的發(fā)布、校園動態(tài)了解和資源共享，從而為師生提供方便。

關鍵詞：信息交流;資源共享;Hadoop

中圖分類號：TP311.1 文獻標識碼：A

文章編號：1009-3044（2019）29-0233-02

1背景

教育部在2018年4月印發(fā)《教育信息化2.0行動計劃》，行動指出要以云計算、人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等新興技術為基礎，依托各類智能設備及網(wǎng)絡進行信息資源建設，向師生提供全方位和個性化的信息化服務。

但是在當今高校內(nèi)還存在著信息資源分配不均，資源利用率低等諸多問題。本文意在通過建立一個校園內(nèi)的信息交流和資源共享的平臺，實現(xiàn)校園內(nèi)各院系師生交流討論、學校組織發(fā)布公告、校外商家發(fā)布招聘等的平臺，提高校內(nèi)凝聚力，加快公告發(fā)布速度。進而豐富校內(nèi)師生的校園生活，加快校園事務的散布執(zhí)行速度，提高校園政策的發(fā)布質(zhì)量。最大限度地調(diào)動校內(nèi)師生的學習積極性和工作積極性，拉近師生之間的關系，共同打造一個完美的校園平臺。

2平臺建設的主要技術載體

2.1大數(shù)據(jù)

Hadoop是大數(shù)據(jù)開發(fā)的重要框架，核心是HDFS（分布式文件系統(tǒng)）和MapReduce（并行計算模型），分布式文件系統(tǒng)高效地完成大規(guī)模數(shù)據(jù)集的存儲，MapReduce為海量數(shù)據(jù)提供計算。大數(shù)據(jù)分析的統(tǒng)計任務有Hive組件完成，應用HBase分布式數(shù)據(jù)庫實現(xiàn)文件的高速寫入和讀取。HDFS與MapReduce的結(jié)合使得Hadoop變得更加強大。

2.2云計算

“云”實質(zhì)上就是一個網(wǎng)絡，狹義上講，云計算就是提供一種資源的網(wǎng)絡，使用者可以隨時獲取“云”上的資源;廣義上講，云計算是信息技術、軟件、互聯(lián)網(wǎng)相關的一種服務，這種計算資源共享池叫作“云”。云計算的基礎是一個龐大的數(shù)據(jù)信息資源池，其最為突出的特點就是能夠在非常短的時間內(nèi)，完成海量數(shù)據(jù)的處理。云計算作為一種全新的網(wǎng)絡概念，其核心是可以將很多的計算機資源協(xié)調(diào)在一起，使用戶通過網(wǎng)絡就可以獲取到無限的資源，同時獲取的資源不受時間和空間的限制。

2.3物聯(lián)網(wǎng)

物聯(lián)網(wǎng)是一種將虛擬世界與物理世界連接在一起的低功耗廣域網(wǎng)，是在互聯(lián)網(wǎng)基礎上延伸和擴展的將各種信息傳感設備與互聯(lián)網(wǎng)結(jié)合起來而形成的一個巨大網(wǎng)絡。其基本特征可概括為整體感知、可靠傳輸和智能處理。物聯(lián)網(wǎng)是新一代信息技術的重要組成部分，其核心和基礎仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)基礎上延伸和擴展到了物品與物品之間，進行信息交換和通信，實現(xiàn)對物品的智能化識別、定位、跟蹤、監(jiān)控和管理。

3基于Hadoop的校園信息交流和資源共享平臺設計

3.1總體架構(gòu)

基于Ha（100p的校園信息交流和資源共享平臺按照邏輯分層的方法劃分為以下4層分別是“數(shù)據(jù)層”、“系統(tǒng)層”、“網(wǎng)絡層”和“應用層”。

數(shù)據(jù)層：利用HDFS根據(jù)數(shù)據(jù)特點和具體業(yè)務需求將數(shù)據(jù)分類存儲，并進行分布式處理，完成大型數(shù)據(jù)的各種需求分析，業(yè)務功能被識別后被分解成相應的任務。中間件通過相應參數(shù)對應用層具體需求做出判斷，并根據(jù)判決結(jié)果決定把任務如何處理。

系統(tǒng)層：校園信息交流和資源共享平臺包括操作系統(tǒng)及各類子系統(tǒng)，硬件平臺包括中心服務器及終端分布式設備。它連通和支撐其他各層，是整個信息交流和資源共享平臺的軟硬件載體。

網(wǎng)絡層：該層為校園各類信息及資源的傳輸和覆蓋提供支撐。它包括用戶與平臺聯(lián)系的有線和無線網(wǎng)絡;為人、物定位的位置網(wǎng)絡;支撐各類傳感器數(shù)據(jù)傳輸?shù)奈锫?lián)網(wǎng)絡等等。

應用層：將數(shù)據(jù)處理層得到的數(shù)據(jù)用相關圖或表進行表示，通過業(yè)務規(guī)則和管理流程向用戶提供交互服務，同時也可提供開放的應用系統(tǒng)開發(fā)環(huán)境。

3.2平臺開發(fā)實現(xiàn)

平臺包括登錄功能，提問模塊、回答模塊、私信模塊等。

登錄模塊功能首先在DAO層設定UserDAO接口，用來存放與數(shù)據(jù)庫用戶表交互的SQL語句，及其對應的方法。然后在Service層設置調(diào)用UserDAO方法及書寫控制邏輯，如注冊時生成salt、密碼加密、生成隨機頭像路徑，登錄時設置登錄狀態(tài)，生成身份標識等。最后在Controller層的LoginContmller設置登錄、注冊響應路徑，設置攔截器，設置注冊登錄的異步隊列處理方法。

提問模塊功能首先在DAO層設定QuestionDAO接口，用來存放與數(shù)據(jù)庫問題表交互的SQL語句，及其對應的方法。然后在Service層設置調(diào)用QuestionDAO方法及書寫控制邏輯，如在提問時對問題標題及內(nèi)容做敏感詞過濾，對問題答案進行排序，生成問題的用戶關注列表，問題回答的贊踩統(tǒng)計等功能。最后在Controller層的QuestionController設置提問，問題詳情頁等的響應路徑及贊踩、關注等功能的調(diào)用。

實現(xiàn)回答模塊功能首先在DAO層設定CommentDAO接口，用來存放與數(shù)據(jù)庫評論表（由于回答可以看作對問題的評論，和對回答的評論類似，所以這里把回答模塊和評論模塊作為一個模塊）交互的SQL語句，及其對應的方法。然后在Ser-vice層設置調(diào)用CommentDAO方法及書寫控制邏輯，如顯示回答數(shù)，設置、顯示贊踩數(shù)等。最后在Controller層的Comment-Controller設置回答的響應路徑及對回答內(nèi)容進行敏感詞過濾等功能的調(diào)用。

實現(xiàn)私信模塊功能首先在DAO層設定MessageDAO接口，用來存放與數(shù)據(jù)庫私信表交互的SQL語句，及其對應的方法。然后在Service層設置調(diào)用MessageDAO方法及書寫控制邏輯，如發(fā)送私信，獲取對話列表，獲取未讀私信數(shù)，對閱讀完的私信進行清零等。最后在Controller層的MessageController設置私信的列表展示頁面、對話列表頁面、發(fā)送私信頁的路徑設置，及對MessageService的方法的調(diào)用處理。

3.3平臺細節(jié)設計

1）敏感詞過濾

為了打造一個“干凈”“和諧”的校園網(wǎng)站，過濾掉那些不堪人目的詞匯是一項很有必要的工作，所以在該項目中，每一個有文字發(fā)表的過程都會有一次敏感詞過濾。本人采用的敏感詞過濾算法是使用“前綴樹”實現(xiàn)的。

2）Redis的使用

Redis的高速、強有效性在本人的項目中起到一個很重要的作用。例如為了及時響應用戶的關注列表，Reds能夠快速地完成操作。并且在使用Set這個數(shù)據(jù)結(jié)構(gòu)之后，十分方便快捷地響應用戶的“贊”“踩”操作，在私信模塊中也發(fā)揮重大作用。而在做異步隊列的操作時，Reds的參與也加強了程序的有效性，保證了程序運行時的流暢性。

3）異步處理

由于服務器的處理能力有限，在某一時刻可能會有大量的用戶請求發(fā)生，此時若無有效的處理算法，則會發(fā)生嚴重的接口堵塞，甚至宕機。為了防止此類事件的發(fā)生，在平臺設計中書寫了一個異步架構(gòu)。所有的請求會發(fā)送到優(yōu)先隊列中存儲，然后處理程序會不斷地從請求隊列中取出請求處理。

4）消息發(fā)送模式

因為不同用戶在線狀態(tài)不同，不同用戶的粉絲數(shù)不同，不同問題的被關注數(shù)不同，所以對于不同的主體，消息的發(fā)送模式應該有所區(qū)分，以充分發(fā)揮服務器的性能，提高用戶體驗。本項目采用的消息發(fā)送模式是：對于活躍的、在線的用戶采用推送消息的模式，這樣新產(chǎn)生的事件能夠及時被這類用戶看到;對于其他用戶則采用拉取消息的模式，在這類用戶不上線的時候，與他們相關的事件會晚些觸發(fā)，這樣節(jié)省下來的性能可以用來提高在線用戶、活躍用戶的用戶體驗。

5）全文搜索

作為一個信息集成的網(wǎng)站，搜索功能是必不可少的，這里使用的是Solr來作為平臺的搜索引擎。但是Solr只有英文的分詞，所以這里需要自定義中文的分詞。首先要創(chuàng)建中文分詞器，這里創(chuàng)建了索引時候的分詞器和查詢時候的分詞器，并將Solr自帶的分詞分析程序?qū)氲脚渲弥?。然后在配置中加入mysql的配置、數(shù)據(jù)配置、導數(shù)據(jù)庫數(shù)據(jù)的iar包，重啟并導人索引，最后設置一些細節(jié)配置如關鍵詞高亮等就可以使用了。

4結(jié)束語

基于Hadoop的校園信息交流和資源共享平臺，借助于現(xiàn)今比較成熟的云計算虛擬服務器，構(gòu)建了一個供校內(nèi)各院系師生交流討論、學校組織發(fā)布公告、校外商家發(fā)布招聘等的平臺，提高校內(nèi)凝聚力，加快公告發(fā)布速度。進而豐富校內(nèi)師生的校園生活，加快校園事務的散布執(zhí)行速度，提高校園政策的發(fā)布質(zhì)量。打造了一個信息多元化、管理高效化、可快速搭建起來的實時信息交流和資源共享的平臺。