摘? 要：大數(shù)據(jù)背景下，傳統(tǒng)的決策支持系統(tǒng)很難適應海量數(shù)據(jù)的存儲、處理以及實時決策的需求。利用大數(shù)據(jù)技術(shù)建立基于Hadoop的大數(shù)據(jù)決策支持系統(tǒng)體系結(jié)構(gòu)，依據(jù)這個體系結(jié)構(gòu)，結(jié)合高校畢業(yè)生就業(yè)決策支持系統(tǒng)的具體需求，建立基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)，該系統(tǒng)對高校畢業(yè)生的就業(yè)以及高校專業(yè)的設置、招生計劃的制定都有較好的指導作用。

關(guān)鍵詞：大數(shù)據(jù);Hadoop;決策支持系統(tǒng)

中圖分類號：TP311.52? ? ? ?文獻標識碼：A 文章編號：2096-4706（2019）15-0082-03

Design of Decision Support System for College GraduatesEmployment

Based on Big Data

DUAN Wei

（School of Math and Computer Science，Jiangxi Science & Technology Normal University，Nanchang? 330038，China）

Abstract：Under the background of big data，traditional decision support system（DSS） is hard to meet needs of massive data storage，processing and real-time decision-making. By using big data technology，a big data decision support system that system structure based on Hadoop is constructed. Then combining this structure with the needs of the decision support system of graduatesgraduate employment，the decision support system of college graduate employment based on big data can be constructed. It will benefit to help college graduatesemployment and instruct colleges majors setting and establishment of enrollment plan.

Keywords：big data;Hadoop;decision support system

0? 引? 言

大學生的就業(yè)一直都是社會各界普遍關(guān)注的社會問題。教育部頒布的《教育部關(guān)于做好2019屆全國普通高等學校畢業(yè)生就業(yè)創(chuàng)業(yè)工作的通知》明確指出“促進高校畢業(yè)生就業(yè)創(chuàng)業(yè)，事關(guān)廣大群眾切身利益，事關(guān)社會和諧穩(wěn)定，事關(guān)高等教育健康發(fā)展”[1]。

隨著我國教育信息化步伐的不斷加快，各高校基本上都建立了與畢業(yè)生就業(yè)相關(guān)的管理信息系統(tǒng)，通過信息化手段服務于畢業(yè)生就業(yè)工作，但就目前應用狀況而言，這些系統(tǒng)的功能基本停留于簡單的信息采集、查詢等層面，對諸如畢業(yè)生的就業(yè)信息分析、就業(yè)趨勢的預測以及個性化就業(yè)推薦服務等深層次的應用，更多流于形式。因此，這些系統(tǒng)對指導高校畢業(yè)生的就業(yè)及預測未來的就業(yè)趨勢發(fā)揮的作用比較有限。目前高校就業(yè)管理部門對畢業(yè)生的就業(yè)指導主要依賴于個人的主觀經(jīng)驗，導致就業(yè)指導的專業(yè)性不足。如何提高就業(yè)指導決策的科學性和專業(yè)性成為高校就業(yè)指導工作面臨的首要問題。

隨著“大數(shù)據(jù)”時代的來臨，大數(shù)據(jù)技術(shù)在社會各領域中日益發(fā)揮著重要作用，決策者的決策基于數(shù)據(jù)和分析而做出，而并非基于經(jīng)驗和直覺。將大數(shù)據(jù)技術(shù)運用到高校畢業(yè)生就業(yè)領域，對于為高校畢業(yè)生的就業(yè)提供決策支持是十分有益的。

1? 決策支持系統(tǒng)簡介

決策支持系統(tǒng)（Decision Support System，DSS）是從管理信息系統(tǒng)發(fā)展而來的，利用數(shù)據(jù)和模型，通過人機交互的方式輔助決策者解決半結(jié)構(gòu)化和非結(jié)構(gòu)化決策問題的信息系統(tǒng)。傳統(tǒng)的決策支持系統(tǒng)由數(shù)據(jù)庫子系統(tǒng)、模型庫子系統(tǒng)、人機交互子系統(tǒng)三個部分構(gòu)成[2]，如圖1所示。

數(shù)據(jù)庫子系統(tǒng)：由數(shù)據(jù)庫和數(shù)據(jù)庫管理系統(tǒng)構(gòu)成，存儲和管理了決策支持系統(tǒng)所需的各類數(shù)據(jù)。

模型庫子系統(tǒng)：由模型庫、模型庫管理系統(tǒng)構(gòu)成，存儲和管理決策支持系統(tǒng)中的各類決策模型。

人機交互子系統(tǒng)：用戶通過該子系統(tǒng)與決策支持系統(tǒng)中的數(shù)據(jù)庫管理系統(tǒng)，模型庫管理系統(tǒng)對話，以查詢、操作數(shù)據(jù)庫，或運行模型獲得結(jié)果。

2? 基于Hadoop的大數(shù)據(jù)決策支持系統(tǒng)

2.1? 基于大數(shù)據(jù)的決策支持系統(tǒng)需要解決的問題

“大數(shù)據(jù)”時代的到來對決策支持系統(tǒng)的發(fā)展提出了許多新的要求，這些要求主要體現(xiàn)在大數(shù)據(jù)環(huán)境下決策支持系統(tǒng)中海量數(shù)據(jù)的存儲、處理以及實時決策這三個方面。傳統(tǒng)的決策支持系統(tǒng)所包含的數(shù)據(jù)多為結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)一般都存儲在單結(jié)點的關(guān)系數(shù)據(jù)庫中，但關(guān)系數(shù)據(jù)庫在非結(jié)構(gòu)化數(shù)據(jù)的存儲和數(shù)據(jù)庫的擴展性方面存在不足，不適合在大數(shù)據(jù)環(huán)境下進行包含多種非結(jié)構(gòu)化數(shù)據(jù)的海量數(shù)據(jù)的存儲和處理。由于傳統(tǒng)的決策支持系統(tǒng)處理的數(shù)據(jù)量小，數(shù)據(jù)的查詢和模型庫模型算法的運行的時間都很短，因此傳統(tǒng)的決策支持系統(tǒng)僅能滿足數(shù)據(jù)量較小的情況下用戶實時決策的需求。在大數(shù)據(jù)環(huán)境下，由于涉及的數(shù)據(jù)量巨大，數(shù)據(jù)的查詢和模型算法的運行都需要花費很多時間，因此傳統(tǒng)關(guān)系數(shù)據(jù)庫和模型庫中的模型算法已無法滿足決策者實時決策的需求，需要從數(shù)據(jù)的存儲方式以及模型庫模型的實現(xiàn)算法兩方面解決基于大數(shù)據(jù)的決策支持系統(tǒng)的實時決策需求。

2.2? 建立基于Hadoop的大數(shù)據(jù)決策支持系統(tǒng)體系結(jié)構(gòu)

Hadoop是由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構(gòu)，其核心是能夠?qū)崿F(xiàn)海量數(shù)據(jù)存儲的HDFS（分布式文件存儲系統(tǒng)）以及能解決大數(shù)據(jù)的并行處理、計算的MapReduce（分布式并行計算框架）[3]。Hadoop發(fā)展至今，已成為構(gòu)建大數(shù)據(jù)平臺的主流技術(shù)，除了HDFS和MapReduce，還有許多基于Hadoop的軟件，為其提供多方面的業(yè)務支撐。如：數(shù)據(jù)倉庫Hive;NoSQL數(shù)據(jù)庫HBase;機器學習算法庫Mahout;數(shù)據(jù)遷移工具Sqoop以及大數(shù)據(jù)可視化工具（R語言，Python語言）等。

依據(jù)“基于大數(shù)據(jù)的決策支持系統(tǒng)”對海量數(shù)據(jù)的存儲、處理以及實時決策要求，利用Hadoop框架和相關(guān)技術(shù)采用分層設計方法對“基于大數(shù)據(jù)的決策支持系統(tǒng)”的體系結(jié)構(gòu)進行設計[4，5]，整個系統(tǒng)體系結(jié)構(gòu)包括四層：基礎層、數(shù)據(jù)存儲層、分析層、決策支持層，系統(tǒng)結(jié)構(gòu)如圖2所示。

基礎層：實現(xiàn)決策支持系統(tǒng)所需的各類數(shù)據(jù)的抽取、清理、轉(zhuǎn)換等預處理工作。

數(shù)據(jù)存儲層：實現(xiàn)決策系統(tǒng)所需的各類數(shù)據(jù)的存取、管理功能。為解決海量數(shù)據(jù)的存儲，數(shù)據(jù)存儲層將基礎層預處理后的數(shù)據(jù)存儲到Hadoop的HDFS中。為提高數(shù)據(jù)庫子系統(tǒng)的查詢、處理速度，在數(shù)據(jù)存儲層利用Hive數(shù)據(jù)倉庫結(jié)合HBase寬表數(shù)據(jù)庫，為基于大數(shù)據(jù)的決策支持系統(tǒng)構(gòu)建一個低延遲的數(shù)據(jù)庫子系統(tǒng)。Hive是基于Hadoop的數(shù)據(jù)倉庫，它能使用類SQL的HiveQL（HQL）語言實現(xiàn)數(shù)據(jù)查詢操作，能使不熟悉MapReduce的用戶利用HQL處理和計算HDS上的結(jié)構(gòu)化數(shù)據(jù)，因此十分適合針對數(shù)據(jù)倉庫的OLAP（聯(lián)機分析處理）操作。由于Hadoop通常都有較高的延遲，因此Hive不適合低延時的實時應用。HBase是面向列存儲的NoSQL數(shù)據(jù)庫，可以存儲結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，可進行快速查詢，但HBase數(shù)據(jù)庫不支持類SQL語句，因此可以將Hive和HBase結(jié)合，將基于大數(shù)據(jù)決策支持中所需的隨機查詢數(shù)據(jù)存入HBase數(shù)據(jù)庫，通過Hive利用HQL語句對HBase數(shù)據(jù)庫存儲的數(shù)據(jù)進行OLTP（聯(lián)機事務處理）操作，以滿足基于大數(shù)據(jù)決策支持實時決策的需要。

分析層：提供決策模型，以及針對數(shù)據(jù)庫和數(shù)據(jù)倉庫的OLTP和OLAP操作，輔助決策者決策。Mahout中提供了許多可擴展的機器學習領域經(jīng)典算法，它在最近版本中提供了對Hadoop的支持，利用Mahout中這些經(jīng)典算法結(jié)合決策支持系統(tǒng)的決策需求，可構(gòu)建模型庫的決策模型，在Hadoop框架下運行，提高決策模型的運算速度，滿足基于大數(shù)據(jù)決策支持實時決策的需要。

決策支持層：這是一個人機交互子系統(tǒng)，決策者可通過人機交互調(diào)用分析層中模型庫的模型，對數(shù)據(jù)庫子系統(tǒng)中的數(shù)據(jù)執(zhí)行OLTP/OLAP操作，獲取決策所需的信息，輔助決策者進行決策。

3? 基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)

3.1? 可行性

大數(shù)據(jù)技術(shù)為提升高校就業(yè)指導決策的科學性提供了可能。目前各高校建立的與畢業(yè)生就業(yè)相關(guān)的管理信息系統(tǒng)中已存儲了大量歷屆畢業(yè)生就業(yè)的相關(guān)信息，各高校的就業(yè)信息網(wǎng)上也發(fā)布了最新的招聘信息。這些信息數(shù)據(jù)量大，數(shù)據(jù)類型多樣，既有結(jié)構(gòu)化數(shù)據(jù)也包含了許多半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，且每年都有大量的畢業(yè)生信息以及招聘信息產(chǎn)生，數(shù)據(jù)的增長速度非常快，但這些數(shù)據(jù)的價值密度低。因此，目前大多數(shù)高校所掌握的和高校畢業(yè)生就業(yè)有關(guān)的數(shù)據(jù)信息具備了大數(shù)據(jù)的“4V”特征，即數(shù)據(jù)體量巨大（Volume）、數(shù)據(jù)類型繁多（Variety）、產(chǎn)生速度快（Velocity）、價值密度低（Value）[6]。

當前大數(shù)據(jù)技術(shù)的飛速發(fā)展，為大數(shù)據(jù)的存儲、處理提供了可能。以Hadoop為代表的大數(shù)據(jù)技術(shù)為基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)的設計提供了技術(shù)支持。對基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)可基于Hadoop的框架來實現(xiàn)。

3.2? 基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)的功能需求分析

（1）對高校畢業(yè)生就業(yè)情況進行分析，產(chǎn)生大學畢業(yè)生就業(yè)質(zhì)量年度分析報告;

（2）對高校畢業(yè)生就業(yè)的熱點和發(fā)展趨勢分析;

（3）對就業(yè)整體趨勢進行預測;

（4）智能化的推薦，為高校畢業(yè)生進行個性化就業(yè)推薦[7-9]。

3.3? 基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)的設計

高校畢業(yè)生就業(yè)決策支持系統(tǒng)按照“基于Hadoop的大數(shù)據(jù)決策支持系統(tǒng)”體系結(jié)構(gòu)進行設計，其基礎層、數(shù)據(jù)存儲層、分析層和決策支持層的具體功能如下：

基礎層：數(shù)據(jù)來源于畢業(yè)生生源信息數(shù)據(jù)庫，畢業(yè)生就業(yè)信息數(shù)據(jù)庫，就業(yè)信息網(wǎng)站的招聘信息，雙選會，公務員、事業(yè)單位的招考信息等，這些信息數(shù)據(jù)既包含了關(guān)系數(shù)據(jù)庫中存儲的結(jié)構(gòu)化數(shù)據(jù)，也包含了網(wǎng)站上的半結(jié)構(gòu)化、非結(jié)構(gòu)化信息?；A層需要對這些異構(gòu)的數(shù)據(jù)進行采集、清理、預處理，再將其輸出到數(shù)據(jù)存儲層的HDFS中。

數(shù)據(jù)存儲層：數(shù)據(jù)存儲層不僅要能夠存儲海量的數(shù)據(jù)，更重要的是為其上層——分析層能夠更好地對數(shù)據(jù)進行分析提供支持。數(shù)據(jù)倉庫是為了決策需要而設計的，是面向主題的、集成的。數(shù)據(jù)倉庫的設計是數(shù)據(jù)存儲層設計的重點。在本系統(tǒng)中，依據(jù)其功能需求，設定數(shù)據(jù)倉庫面向畢業(yè)生就業(yè)的職業(yè)流向和畢業(yè)生就業(yè)的地域流向兩大主題。數(shù)據(jù)倉庫的邏輯結(jié)構(gòu)采用雪花模型進行設計，如圖3所示，它包括兩個基本的元素：事實表和維度表，事實表用來存放要分析的全部數(shù)據(jù)，維度表中的維度是分析問題的角度（例如：性別、專業(yè)、學歷層次、地域、職位、行業(yè)、就業(yè)單位的性質(zhì)等）。

分析層：針對數(shù)據(jù)庫和數(shù)據(jù)倉庫的OLTP和OLAP操作可生成決策所需的各類統(tǒng)計數(shù)據(jù)，但決策者使用決策支持系統(tǒng)不是直接依靠數(shù)據(jù)庫子系統(tǒng)中的數(shù)據(jù)進行決策，而是在很大程度上利用模型庫中的模型進行決策。因此，模型庫是分析層設計的重點。根據(jù)本系統(tǒng)的需求，按照“選擇模型/自定義模型—訓練模型—評估模型—優(yōu)化模型”的步驟，利用Mahout中的算法建立模型庫中的模型，如：構(gòu)建關(guān)系模型對大學生就業(yè)價值取向與就業(yè)流向（職業(yè)流向、地域流向）的關(guān)系進行研究，構(gòu)建時間序列模型對就業(yè)整體趨勢進行預測，構(gòu)建聚類模型對掌握高校畢業(yè)生就業(yè)的熱點進行分析，構(gòu)建推薦模型對大學生進行個性化就業(yè)推薦。

決策支持層：利用Python實現(xiàn)該層的人機交互功能，通過人機交互調(diào)用模型庫中的模型或進行數(shù)據(jù)查詢，引導決策者進行決策。

4? 結(jié)? 論

大數(shù)據(jù)技術(shù)正在成為推動社會發(fā)展、進步的新力量，基于大數(shù)據(jù)的高校畢業(yè)生就業(yè)決策支持系統(tǒng)利用大數(shù)據(jù)技術(shù)分析就業(yè)形勢和畢業(yè)生特點，不僅能幫助畢業(yè)生調(diào)整就業(yè)預期/找準就業(yè)定位，還可以為高校的專業(yè)設置和招生計劃的決策提供指導。

參考文獻：

[1] 中華人民共和國教育部.教育部關(guān)于做好2019屆全國普通高等學校畢業(yè)生就業(yè)創(chuàng)業(yè)工作的通知[EB/OL].https：//www.ncss.cn/tbch/2019jycytz/，2019-06-01.

[2] Sprague R H，Jr. A Framework for the Development of Decision Support Systems [J].MIS Quarterly，1980，4（4）：1-26.

[3] 百度百科.Hadoop簡介 [EB/OL].https：//baike.baidu.com/item/Hadoop/3526507？fr=aladdin，2019-06-01.

[4] 王振.基于Hadoop的大數(shù)據(jù)處理關(guān)鍵技術(shù)研究 [D].南京：南京郵電大學，2014.

[5] 任建新.基于Hadoop平臺的大數(shù)據(jù)應用系統(tǒng)架構(gòu)的研究與實現(xiàn) [D].北京：北京郵電大學，2014.

[6] [奧地利]維克托·邁爾-舍恩伯格.大數(shù)據(jù)時代 [M].盛揚燕，周濤，譯.杭州：浙江人民出版社，2013.

[7] 張亮.大數(shù)據(jù)時代下的大學生就業(yè)指導工作研究 [J].石家莊職業(yè)技術(shù)學院學報，2014，260（6）：60-62.

[8] 李鵬，蔡治廷.大數(shù)據(jù)時代的大學生就業(yè)工作探析 [J].黑龍江高教研究，2015（5）：86-88.

[9] 楊銳，夏紅.大數(shù)據(jù)時代下大學生就業(yè)數(shù)據(jù)信息的應用研究 [J].中國電力教育，2014（20）：119-120.

作者簡介：段薇（1974.12-），女，漢族，湖南祁陽人，副教授，碩士，研究方向：數(shù)據(jù)挖掘。